- 28 Eki 2008
- 1,536
- 1
Robots.txt internet ortamı üzerinde tüm arama motorları ve örümceklerin sizin sitenizde gezmesi yada gezmemesi için ayarlanması gereken bir dosyadır. Bu dosya sayesinde siteniz içerisindeki belirli bölümleri belirli örümceklere kapatabilir/açabilirsiniz.
Kullanılmalıdır, faydalıdır.
Kısaca birkaç bilgi:
Kod:
User-Agent:*Disallow: /admin/
* : bütün örümcekler demek.
disallow: bu dizini indexleme, görmezden gel, girme demek.
kafanıza göre düzenleyebilirsiniz.
robots.txt dosyasını oluşturduktan sonra siteadı.com/robots.txt şeklinde kullanmalısınız. Ana dizinde olmalı yani.
Kullanılmalıdır, faydalıdır.
Kısaca birkaç bilgi:
Kod:
User-Agent:*Disallow: /admin/
* : bütün örümcekler demek.
disallow: bu dizini indexleme, görmezden gel, girme demek.
kafanıza göre düzenleyebilirsiniz.
robots.txt dosyasını oluşturduktan sonra siteadı.com/robots.txt şeklinde kullanmalısınız. Ana dizinde olmalı yani.