Sistem üstünde arama motorları için index sınırlaması

C

CheⓢsteR

Katılımcı Üye
30 Tem 2007
524
12
Sistem üstünde arama motorları için index sınırlaması
Arama motorları spiderlar aracılığı sitenizi indexleyerek arandığında daha kolay bulunabilmesini sağlıyorlar,fakat sitenizin bazı bölümlerini açığa çıkarmak istemeyebilirsiniz. Bunun için birkaç yönerge kullanacağız size uygun olanını kullanabilirsiniz.

İlk olarak sitemizin bulunduğu ana dizinde arama motorlarının sitenize uğradığında baktığı robots.txt dosyasını oluşturalım.robots.txt dosyası arama motorlarının uyması gereken kuralların yazılı olduğu dosyanın ismidir.

dosyanın yapısı oldukça basittir topu topu 2 adet parametre ile çalışır.
Bunlardan biri User-agent: diğeri de Disallow: dur
User-agent ile hangi arama motorlarının sitemizi indexleyebileceğini belirtmiş oluruz,Disallow ile de hangi dizinleri ya da dosyaları indexlememesini istediğimizi bildiririz.

Örnek 1:
Tüm arama motoru robotlarının sitenizin tümünü indexlemesine izin vermek için

Kod:
User-agent: *Disallow:
Örnek 2:
Tüm arama motorlarının sitenizin hiçbiryerini indexleyememesini sağlamak için

Kod:
User-agent: *Disallow: /
Örnek 3
google ara motorunun sitemizin belirli bölümlerini indexlememesini sağlamak için

Kod:
User-agent: googlebotDisallow: /cgi-bin/Disallow: /resimler/Disallow: askim.html
 
Cevap yazmak için giriş yap yada kayıt ol.
Üst

Turkhackteam.org internet sitesi 5651 sayılı kanun’un 2. maddesinin 1. fıkrasının m) bendi ile aynı kanunun 5. maddesi kapsamında "Yer Sağlayıcı" konumundadır. İçerikler ön onay olmaksızın tamamen kullanıcılar tarafından oluşturulmaktadır. Turkhackteam.org; Yer sağlayıcı olarak, kullanıcılar tarafından oluşturulan içeriği ya da hukuka aykırı paylaşımı kontrol etmekle ya da araştırmakla yükümlü değildir. Türkhackteam saldırı timleri Türk sitelerine hiçbir zararlı faaliyette bulunmaz. Türkhackteam üyelerinin yaptığı bireysel hack faaliyetlerinden Türkhackteam sorumlu değildir. Sitelerinize Türkhackteam ismi kullanılarak hack faaliyetinde bulunulursa, site-sunucu erişim loglarından bu faaliyeti gerçekleştiren ip adresini tespit edip diğer kanıtlarla birlikte savcılığa suç duyurusunda bulununuz.