Merhaba TürkHackTeam Üyeleri.
Bu Konumda Sizlere Robots.txt Dosyasının Ne Olduğundan Bahsedeceğim.
Konu İçeriği
➤ Robots.txt Dosyası Nedir?
➤ Robots.txt Dosyası İle Neler Yapılabilir?
➤ Robots.txt Dosyası Nasıl Oluşturulur?
➤ Örnek Robots.txt Dosyası
Robots.txt Dosyası Nedir?
Robots, arama motorlarıyla web sunucunuzun iletişim kurduğu bir dosyadır. Bu dosya sayesinde arama motorlarına sitenizin nerelerini indexleyeceğini, nerelere girmeyeceğini söyleyebilirsiniz. Arama motorlarının botları sitenizi ziyaret ettiklerinde ilk olarak robots.txt dosyasını incelerler ve sizin robots.txt dosyasına yazdığınız komutlara göre indexlemelerini yaparlar. Robots dosyasına yazacağınız uygun komutlar ile sitenizin sınırlarını belirlerlediğiniz için SEO açısından çok önemlidir.
Robots.txt Dosyası İle Neler Yapılabilir?
» Sitenizin erişilmesini istemediğiniz bölümlerini gizleyebilirsiniz.
» Site haritasının nerede olduğunu belirtebilirsiniz.
» Siteniz yapım aşamasında ve bakım aşamasında olduğu zamanlarda erişimi kısıtlayabilirsiniz.
» Tarayıcıların fazla içerik yüklemesi yaparak sunucularınıza fazla yüklenmemesi için tarama gecikmeleri yapabilirsiniz.
» Sitenizdeki istediğiniz dosyaların/bölümlerin indexlenmesini engelleyebilirsiniz.
Robots.txt Dosyası Nasıl Oluşturulur?
Robots dosyası hem manuel olarak hemde otomatik programlar/siteler ile oluşturulabilir. Otomatik oluşturmak için internetde robots.txt generator şeklinde bir arama yaparak buradaki gibi bir tool kullanabilirsiniz. Manuel olarak oluşturmak için ise öncelikle robots.txt adında bir dosya oluşturuyoruz ve bu dosyayı sitemizin ana dizinine ekliyoruz. Şimdi dosyamıza yazacağımız komutları eklememiz gerekiyor. Robots dosyasına yazacağımız komutlara ve ne işe yaradıklarına geçelim...
User-agent: Komutların hangi arama botlarında çalışması gerektiğini belirtir. Aşağıdakiler Google ve Yandex in kullandığı arama motoru botlarıdır.
'Googlebot' Temel indeksleme robotu
'APIs-Google' API servis robotu
'Mediapartners-Google' Reklam servisine kayıtlı sitelerde kullanılmak üzere
'Mediapartners (Googlebot)' Reklam servisine kayıtlı sitelerde kullanılmak üzere
'AdsBot-Google-Mobile' Android web sayfası reklam kalitesini kontrol eder
'AdsBot-Google-Mobile' iPhone web sayfası reklam kalitesini kontrol eder
'AdsBot' Masaüstü web sayfası reklam kalitesini denetler
'Googlebot-Image' Görsel robotu
'Googlebot-News' Haber robotu
'Googlebot-Video' Video robotu
'AdsBot-Google-Mobile-Apps' Android uygulama sayfası reklam kalitesini kontrol eder. AdsBot-Google robotlarının kurallarına uyar
'YandexBot' Temel indeksleme robotu
'YandexMedia' Multimedya verilerini indeksleyen robot
'YandexImages' Yandex.Görsel indeksleyicisi
'YaDirectFetcher' Yandex.Direct robotu, Direct servisinde kayıtlı sitelerin incelenmesi
'YandexBlogs' Gönderilen yorumları indeksleyen blog araması robotu
'YandexNews' Yandex.Haberler robotu
'YandexPagechecker' Mikro etiket doğrulayıcısı
'YandexMetrika' Yandex.Metrica robotu
'YandexMarket' Yandex.Market robotu
'YandexCalendar' Yandex.Takvim robotu
Disallow: Belirtilen dosyanın/dizinin indexlenmesine izin verilmediğini belirtir.
Allow: Belirtilen dosyanın/dizinin indexlenmesine izin verildiğini belirtir.
Crawl-delay: Tarayıcının sunucunuza çok yüklenmemesi için işlemler arasında tarayıcının bekleyeceği süreyi belirtir.
Sitemap: Sitenizin xml uzantılı sitemapını robota bildirir.
Clean-param: Sitenizin sayfa adresleri içeriklerini etkilemeyen dinamik parametreler (örneğin: oturum, kullanıcı, başvuran vs. tanımlayıcıları) içerdiğini belirtirmenizi sağlar.
#: Dosyaya yorum ve not koymayı sağlar.
*: Herhangibir şeyi belirtmenizi sağlar.
$: URL nin sonunu belirtir.
Örnek Robots.txt Dosyası
Kod:
[FONT="System"][SIZE="3"][COLOR="RoyalBlue"][COLOR="White"]#TurkHackTeam [/COLOR] → [COLOR="silver"]Turkhackteam[/COLOR] Adında Bir Yorum Bırakır.
[COLOR="white"]User-agent: * [/COLOR] → [COLOR="silver"]*[/COLOR] İşareti Tüm Arama Botları İçin Çalışmasını Tanımlar.
[COLOR="white"]Allow: /dosya1/ [/COLOR] → [COLOR="silver"]dosya1[/COLOR] Dizinindeki Her Şeye Arama Botlarının Erişmesi İçin İzin Verir.
[COLOR="white"]Disallow: /dosya2/private.html [/COLOR] → [COLOR="silver"]dosya2[/COLOR] Dizinindeki [COLOR="silver"]private.html[/COLOR] Dosyasına Arama Botlarının Erişmesine İzin Vermez.
[COLOR="white"]Disallow: /dosya3/*.txt$ [/COLOR] → [COLOR="silver"]dosya2[/COLOR] Dizinindeki Tüm txt Uzantılı Dosyalara Arama Botlarının Erişmesine İzin Vermez.
[COLOR="white"]Crawl-delay: 4.5 [/COLOR] → Tarayıcının İşlem Geçişlerinde Belirtilen Süre Kadar Beklemesini Sağlar.
[COLOR="white"]Sitemap: https://www.site.com/dosya4/sitemap.xml [/COLOR] → Arama Botlarına Sitenin Haritasının Yolunu Belirtir.[/COLOR][/SIZE][/FONT]
Konum Bu Kadardı Umarım Beğenmişinizdir Ve Faydalı Olmuştur.
Okuduğunuz İçin Teşekkür Ederim.
Esenlikle Kalın...
Saygılarımla:Smiley1021:
