THT DUYURU

chat
Genel Güvenlik Web, Gprs, Wap, Üzerinde Gizlenmek İçin Neler Yapmanız Gerekenler ...

ugursuz reklam
takipci
Seçenekler

Robots.txt dosyası

ByZehirxx - ait Kullanıcı Resmi (Avatar)
Yeni Üye
Üyelik tarihi:
03/2018
Nereden:
Geldin
Mesajlar:
596
Konular:
67
Teşekkür (Etti):
71
Teşekkür (Aldı):
92
Ticaret:
(0) %
17
12750
29-07-2018 12:50
#1
Neden robots.txt dosyasına ihtiyacım var?

Tüm önemli arama motorları, sitenize girer girmez öncelikli olarak bir robots.txt dosyası arar. Sitenizin herhangi bir bölümüne, örümceklerin girmesini istemiyorsanız ya da girmelerini engellemek istemiyorsanız bile bir robots.txt dosyası bulundurmak her zaman için yararlıdır. Çünkü bu dosya örümcekler için bir karşılama dosyası, menü gibi görev yapar.
Neden örümcekleri engellemek isteyebilirim?


1. Site henüz tamamlanmamış olabilir. Ya da henüz tam oalrak bitmemiş sayfalar içeriyor olabilir. Ve bu durumda sitenizin ya da sayfalarınızın yarım yamalak kayıt edilmesini istemeyebilirsiniz.
2. Şifrelemeye gerek duymadığınız ama yine de sizin için özel olan bir içeriğe ya da sitenizde bir bölüme sahip olabilirsiniz ve bunun arama motorları tarafından kayıt edilmesini ve aramalarda çıkmasını istemeyebilirsiniz.
3. Hata sayfalarının, cgi-bin gibi klasörlerin ya da teşekkür ettiğiniz, içinde sadece "tamam" gibi kısa mesajlar bulundurduğunuz dosya ve klasörlerinizin kayıt edilmesi kimsenin işine yaramayacaktır.
4. Birbirine benzeyen, geçişli sayfalarınız varsa bütün robotların aynı şeyi kaydetmesini istemeyebilirsiniz. Bu spam riski doğurabilir.
5. Yer almak istemediğiniz arama motorlarından ya da e-mail toplayan zararlı örümceklerden robots.txt dosyası aracılığıyla kurtulabilirsiniz.Neden örümcekleri engellemek isteyebilirim?




Robots.txt dosyası oluşturmak

Robots.txt dosyasını herhangi bir text editor ya da notepad ile oluşturabilirsiniz. Temelde içeriği şu şekildedir :
User-Agent: [Örümcek ya da Bot ismi]
Disallow: [Klasör ya da Dosya ismi]


Robots.txt ile belirli bir dosyayı belirli bir bottan korumak


Mesela "Haberler" diye bir bölüm oluşturuyorsunuz ve henüz tamamlanmadan robotların gelip kayıt etmesini istemiyorsunuz. Bu durumda, hedef tüm robotlar olduğu için özellikle robot ismi belirtmek yerine yıldız işareti "*" kullanmalısınız. Bu tüm robotları kapsayacaktır.
User-Agent: *
Disallow: /haberler/

Koruduğunuz bölüm isminin başına ve sonuna slah işareti "/" koymanız o klasördeki tüm dosyaları kapsayacaktır.


Tüm robotlara kayıt izmi vermek

Hedefimiz yine tüm robotlar olduğu için yıldız "*" işareti kullanarak Disallow bölümünü boş bırakıyoruz.
User-agent: *
Disallow:

Tüm robotları dosya ve klasörlerinizden uzak tutmak


Yukarıdaki koda çok benzeyen ama ufak bir değişikliği olan bir kod ile tüm robotları dosya ve kalsörlerinizden uzak tutabilir, kayıt etmelerini engelleyebilirsiniz.
User-agent: *
Disallow: /

Robots.txt ile birden fazla klasör engellemek

Ayarları dikkatli bir şekilde yapmalısınız. Yoksa istemediğiniz dosya ve klasörleri kayıt ettirebilir, istediklerinizi engelleyebilirsiniz. Diyelim ki "cgi-bin" klasörünüzün içindeki bazı dosyaların kayıt edilmesini istemiyorsunuz.
User-agent: *
Disallow: /cgi-bin/
Disallow: /_borders/
Disallow: /_derived/
Disallow: /_fpclass/
Disallow: /_overlay/
Disallow: /_private/
Disallow: /_themes/
Disallow: /_vti_bin/
Disallow: /_vti_cnf/
Disallow: /_vti_log/
Disallow: /_vti_map/
Disallow: /_vti_pvt/
Disallow: /_vti_txt/

Her klasör için ayrı bir komut yazmak en verimlisidir.

Sadece Altavista örümceğinin girmesini istemediğimiz klasörümüze, Altavista robotunun ismi olan Scooter ı ekliyoruz.

User-Agent: Scooter
Disallow: /

Google'ın resim dosyalarımızdan uzak durmasını istiyorsak

User-Agent: Googlebot-Image
Disallow: /images/

Eğer dosyalarınız "images" klasöründe değil ve dağınık olarak değişik yerlerdeyse o zaman

User-Agent: Googlebot-Image
Disallow: /
--------------------- Eğer kendilerini tanımış olsaydınız, Türklere hayran olurdunuz.-
AccoStolen, "Tranquila, puqe16 Teşekkür etti.
jGozluk - ait Kullanıcı Resmi (Avatar)
Yardımsever
Üyelik tarihi:
08/2017
Nereden:
Russia
Yaş:
20
Mesajlar:
1.916
Konular:
103
Teşekkür (Etti):
515
Teşekkür (Aldı):
579
Ticaret:
(0) %
29-07-2018 12:53
#2
Ellerine Sağlık
---------------------
Balık; Gökyüzünün en masum masalıdır, Kuş; Gökyüzüne adanmış bir masal karekteri.
ByZehirxx - ait Kullanıcı Resmi (Avatar)
Yeni Üye
Üyelik tarihi:
03/2018
Nereden:
Geldin
Mesajlar:
596
Konular:
67
Teşekkür (Etti):
71
Teşekkür (Aldı):
92
Ticaret:
(0) %
29-07-2018 12:54
#3
Alıntı:
jGozluk´isimli üyeden Alıntı Mesajı göster
Ellerine Sağlık
Saol Dostum
--------------------- Eğer kendilerini tanımış olsaydınız, Türklere hayran olurdunuz.-
"Tranquila - ait Kullanıcı Resmi (Avatar)
Tamamen Askıya Alındı
Üyelik tarihi:
08/2017
Nereden:
Trabzon
Yaş:
2
Mesajlar:
1.999
Konular:
229
Ticaret:
(0) %
29-07-2018 13:00
#4
eline sağlık
BlueQaptan - ait Kullanıcı Resmi (Avatar)
Yeni Üye
Üyelik tarihi:
03/2017
Mesajlar:
75
Konular:
26
Teşekkür (Etti):
5
Teşekkür (Aldı):
12
Ticaret:
(0) %
29-07-2018 13:04
#5
HTTrack'dan robots.txt ile kurtulabilirsiniz.
iEfe - ait Kullanıcı Resmi (Avatar)
Yeni Üye
Üyelik tarihi:
10/2017
Nereden:
İzmir
Mesajlar:
65
Konular:
12
Teşekkür (Etti):
1
Teşekkür (Aldı):
5
Ticaret:
(0) %
29-07-2018 14:00
#6
Alıntı:
ByZehirxx´isimli üyeden Alıntı Mesajı göster
Neden robots.txt dosyasına ihtiyacım var?

Tüm önemli arama motorları, sitenize girer girmez öncelikli olarak bir robots.txt dosyası arar. Sitenizin herhangi bir bölümüne, örümceklerin girmesini istemiyorsanız ya da girmelerini engellemek istemiyorsanız bile bir robots.txt dosyası bulundurmak her zaman için yararlıdır. Çünkü bu dosya örümcekler için bir karşılama dosyası, menü gibi görev yapar.
Neden örümcekleri engellemek isteyebilirim?


1. Site henüz tamamlanmamış olabilir. Ya da henüz tam oalrak bitmemiş sayfalar içeriyor olabilir. Ve bu durumda sitenizin ya da sayfalarınızın yarım yamalak kayıt edilmesini istemeyebilirsiniz.
2. Şifrelemeye gerek duymadığınız ama yine de sizin için özel olan bir içeriğe ya da sitenizde bir bölüme sahip olabilirsiniz ve bunun arama motorları tarafından kayıt edilmesini ve aramalarda çıkmasını istemeyebilirsiniz.
3. Hata sayfalarının, cgi-bin gibi klasörlerin ya da teşekkür ettiğiniz, içinde sadece "tamam" gibi kısa mesajlar bulundurduğunuz dosya ve klasörlerinizin kayıt edilmesi kimsenin işine yaramayacaktır.
4. Birbirine benzeyen, geçişli sayfalarınız varsa bütün robotların aynı şeyi kaydetmesini istemeyebilirsiniz. Bu spam riski doğurabilir.
5. Yer almak istemediğiniz arama motorlarından ya da e-mail toplayan zararlı örümceklerden robots.txt dosyası aracılığıyla kurtulabilirsiniz.Neden örümcekleri engellemek isteyebilirim?




Robots.txt dosyası oluşturmak

Robots.txt dosyasını herhangi bir text editor ya da notepad ile oluşturabilirsiniz. Temelde içeriği şu şekildedir :
User-Agent: [Örümcek ya da Bot ismi]
Disallow: [Klasör ya da Dosya ismi]


Robots.txt ile belirli bir dosyayı belirli bir bottan korumak


Mesela "Haberler" diye bir bölüm oluşturuyorsunuz ve henüz tamamlanmadan robotların gelip kayıt etmesini istemiyorsunuz. Bu durumda, hedef tüm robotlar olduğu için özellikle robot ismi belirtmek yerine yıldız işareti "*" kullanmalısınız. Bu tüm robotları kapsayacaktır.
User-Agent: *
Disallow: /haberler/

Koruduğunuz bölüm isminin başına ve sonuna slah işareti "/" koymanız o klasördeki tüm dosyaları kapsayacaktır.


Tüm robotlara kayıt izmi vermek

Hedefimiz yine tüm robotlar olduğu için yıldız "*" işareti kullanarak Disallow bölümünü boş bırakıyoruz.
User-agent: *
Disallow:

Tüm robotları dosya ve klasörlerinizden uzak tutmak


Yukarıdaki koda çok benzeyen ama ufak bir değişikliği olan bir kod ile tüm robotları dosya ve kalsörlerinizden uzak tutabilir, kayıt etmelerini engelleyebilirsiniz.
User-agent: *
Disallow: /

Robots.txt ile birden fazla klasör engellemek

Ayarları dikkatli bir şekilde yapmalısınız. Yoksa istemediğiniz dosya ve klasörleri kayıt ettirebilir, istediklerinizi engelleyebilirsiniz. Diyelim ki "cgi-bin" klasörünüzün içindeki bazı dosyaların kayıt edilmesini istemiyorsunuz.
User-agent: *
Disallow: /cgi-bin/
Disallow: /_borders/
Disallow: /_derived/
Disallow: /_fpclass/
Disallow: /_overlay/
Disallow: /_private/
Disallow: /_themes/
Disallow: /_vti_bin/
Disallow: /_vti_cnf/
Disallow: /_vti_log/
Disallow: /_vti_map/
Disallow: /_vti_pvt/
Disallow: /_vti_txt/

Her klasör için ayrı bir komut yazmak en verimlisidir.

Sadece Altavista örümceğinin girmesini istemediğimiz klasörümüze, Altavista robotunun ismi olan Scooter ı ekliyoruz.

User-Agent: Scooter
Disallow: /

Google'ın resim dosyalarımızdan uzak durmasını istiyorsak

User-Agent: Googlebot-Image
Disallow: /images/

Eğer dosyalarınız "images" klasöründe değil ve dağınık olarak değişik yerlerdeyse o zaman

User-Agent: Googlebot-Image
Disallow: /
Eline sağlık, birazdan okuyacağım robots.txt bilmediğim bir konuydu
--------------------- Hayattan bir ders çıkarılacaksa; doğru kararların tecrübelerden, tecrübelerinde tecrübesizlikten geldiğidir.

"Ben nefes alıyorum sen dalgalan."


Python %65-%75

15.08.2019 - Geri döndüm.
iEfe - ait Kullanıcı Resmi (Avatar)
Yeni Üye
Üyelik tarihi:
10/2017
Nereden:
İzmir
Mesajlar:
65
Konular:
12
Teşekkür (Etti):
1
Teşekkür (Aldı):
5
Ticaret:
(0) %
29-07-2018 14:06
#7
Peki arama motorlarının indexlemesini istemediğimiz sayfalar için kod nedir ?
--------------------- Hayattan bir ders çıkarılacaksa; doğru kararların tecrübelerden, tecrübelerinde tecrübesizlikten geldiğidir.

"Ben nefes alıyorum sen dalgalan."


Python %65-%75

15.08.2019 - Geri döndüm.
DarkKnight35 - ait Kullanıcı Resmi (Avatar)
Yeni Üye
Üyelik tarihi:
03/2017
Mesajlar:
288
Konular:
52
Teşekkür (Etti):
198
Teşekkür (Aldı):
45
Ticaret:
(0) %
29-07-2018 14:07
#8
Ellerine sağlık
DarkVenom2 - ait Kullanıcı Resmi (Avatar)
Yeni Üye
Üyelik tarihi:
03/2018
Nereden:
İstanbul
Mesajlar:
517
Konular:
14
Teşekkür (Etti):
54
Teşekkür (Aldı):
50
Ticaret:
(0) %
29-07-2018 14:09
#9
Eline sağlık
ByZehirxx - ait Kullanıcı Resmi (Avatar)
Yeni Üye
Üyelik tarihi:
03/2018
Nereden:
Geldin
Mesajlar:
596
Konular:
67
Teşekkür (Etti):
71
Teşekkür (Aldı):
92
Ticaret:
(0) %
29-07-2018 14:15
#10
Alıntı:
iEfe´isimli üyeden Alıntı Mesajı göster
Peki arama motorlarının indexlemesini istemediğimiz sayfalar için kod nedir ?
Aşağıda belirttim dostum
--------------------- Eğer kendilerini tanımış olsaydınız, Türklere hayran olurdunuz.-
Konu ByZehirxx tarafından (29-07-2018 14:21 Saat 14:21 ) değiştirilmiştir.

Bookmarks


« Önceki Konu | Sonraki Konu »
Seçenekler