Sistem üstünde arama motorları için index sınırlaması
Arama motorları spiderlar aracılığı sitenizi indexleyerek arandığında daha kolay bulunabilmesini sağlıyorlar,fakat sitenizin bazı bölümlerini açığa çıkarmak istemeyebilirsiniz. Bunun için birkaç yönerge kullanacağız size uygun olanını kullanabilirsiniz.
İlk olarak sitemizin bulunduğu ana dizinde arama motorlarının sitenize uğradığında baktığı robots.txt dosyasını oluşturalım.robots.txt dosyası arama motorlarının uyması gereken kuralların yazılı olduğu dosyanın ismidir.
dosyanın yapısı oldukça basittir topu topu 2 adet parametre ile çalışır.
Bunlardan biri User-agent: diğeri de Disallow: dur
User-agent ile hangi arama motorlarının sitemizi indexleyebileceğini belirtmiş oluruz,Disallow ile de hangi dizinleri ya da dosyaları indexlememesini istediğimizi bildiririz.
Örnek 1:
Tüm arama motoru robotlarının sitenizin tümünü indexlemesine izin vermek için
Kod:
User-agent: *Disallow:
Örnek 2:
Tüm arama motorlarının sitenizin hiçbiryerini indexleyememesini sağlamak için
Kod:
User-agent: *Disallow: /
Örnek 3
google ara motorunun sitemizin belirli bölümlerini indexlememesini sağlamak için
Kod:
User-agent: googlebotDisallow: /cgi-bin/Disallow: /resimler/Disallow: askim.html
Arama motorları spiderlar aracılığı sitenizi indexleyerek arandığında daha kolay bulunabilmesini sağlıyorlar,fakat sitenizin bazı bölümlerini açığa çıkarmak istemeyebilirsiniz. Bunun için birkaç yönerge kullanacağız size uygun olanını kullanabilirsiniz.
İlk olarak sitemizin bulunduğu ana dizinde arama motorlarının sitenize uğradığında baktığı robots.txt dosyasını oluşturalım.robots.txt dosyası arama motorlarının uyması gereken kuralların yazılı olduğu dosyanın ismidir.
dosyanın yapısı oldukça basittir topu topu 2 adet parametre ile çalışır.
Bunlardan biri User-agent: diğeri de Disallow: dur
User-agent ile hangi arama motorlarının sitemizi indexleyebileceğini belirtmiş oluruz,Disallow ile de hangi dizinleri ya da dosyaları indexlememesini istediğimizi bildiririz.
Örnek 1:
Tüm arama motoru robotlarının sitenizin tümünü indexlemesine izin vermek için
Kod:
User-agent: *Disallow:
Örnek 2:
Tüm arama motorlarının sitenizin hiçbiryerini indexleyememesini sağlamak için
Kod:
User-agent: *Disallow: /
Örnek 3
google ara motorunun sitemizin belirli bölümlerini indexlememesini sağlamak için
Kod:
User-agent: googlebotDisallow: /cgi-bin/Disallow: /resimler/Disallow: askim.html