THT DUYURU

chat
takipci
Seçenekler

WordPress robots.txt Kullanımı ve Önlem Alma

'iMuh@fiz - ait Kullanıcı Resmi (Avatar)
Özel Üye
Üyelik tarihi:
08/2012
Nereden:
Bakü
Yaş:
27
Mesajlar:
11.074
Konular:
4080
Teşekkür (Etti):
1114
Teşekkür (Aldı):
1193
Ticaret:
(0) %
0
689
30-11-2014 11:19
#1
Merhaba değerli arkadaşlar, bu makalemizde bloglar ve diğer web siteleri için çok önemli bir araç olan robots.txt dosyasını irdeleyeceğiz. Öncelikle robots.txt dosyası nedir, ne işe yarar ve ne için gereklidir gibi sorularla bu aracımızı inceleyelim.
Robots.txt Dosyası Nedir ve Neye Yarar?
Özetle Robots.txt dosyasına Google Botları için sitenizin indexleme kılavuzu diyebiliriz. Çünkü robots.txt dosyası içine yazacağınız komutlarla sitenizde Google tarafından nerelerin indexlenmesi nerlerin indexlenmemesi gerektiğini sorguluyorsunuz ve Botlar istemediğiniz yerleri indexlemiyor.

Robots.txt Ne İçin Gereklidir?
WordPress Web sitelerinizin wp-admin, wp-includes ile wp-content dizininde bulunan bazı klasörlerinde bulunan ?ref=alanadi gibi kısımları indexlemesini engelleyerek Google’da kötü amaçlı ziyaretçilerin sitenizdeki bi kısım zafiyetlere ulaşmasını engelleyebiliyoruz. Yani aynı zamanda da güvenlik için gerekli bir uygulama olmaktadır.

Sitemize Robots.txt Dosyası Oluşturalım
Masaüstümüzde Yeni Metin Belgesi oluşturuyoruz ve adını Robots.txt yapıp kaydediyoruz. Sırası ile içine eklenecek kodlar neye yarar önce onu inceleyelim sonra dosyayı oluşturmaya başlayalım;
User-agent: Google Botu’un adı gelecek.
Disallow: Botlara vereceğimiz izinlerin komutları buraya gelecek.

Disallow önüne gelecek klasör isimleri Botların bu dosyayı indexlememesini sağlıyor. Aşağıda bir örnek verelim,
Örnek1:
User-agent: *
Disallow: /

Gördüğünüz kısımda isim gelecek yere “*” ifadesini yazdım. Neden? Bu ifade isim belirtmeksizin tüm botların bu siteyi indexleme izni verilmesidir. Peki Disallow’a gelelen “/” komutu nedir? Bu komut kök dizini belirtir. Yani alanadi.com/ ifadesi altında ne dosya varsa bunları indexlemeyecektir.
Örnek2:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

burda gördüğümüz kodlar Disallow’ların önüne gelen klasörleri Botların indexlememesini sağlıyor.
Aşağıdaki Kodlar Robots.txt için en İdeal Kodlar;
User-agent: Googlebot
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /


Kaynak
--------------------- Kimler geldi kimler gecti don bak arkana elbet ki zaman bizi sizide silip supurecektir peki bizden geriye ne kalicak ? keske hic bir sey kalmasa...

Youtube kanalim ► https://goo.gl/eM6wz2

Bookmarks


« Önceki Konu | Sonraki Konu »
Seçenekler