Turkhackteam.net/org - Turkish Hacking & Security Platform  
Geri git   Turkhackteam.net/org - Turkish Hacking & Security Platform >
Turkhackteam Under Ground
> Genel Güvenlik

Genel Güvenlik Web, Gprs, Wap, Üzerinde Gizlenmek İçin Neler Yapmanız Gerekenler ...



Robots.txt dosyası

Genel Güvenlik

Yeni Konu aç Cevapla
 
Seçenekler
Alt 29-07-2018 12:50   #1
  • Üsteğmen
  • Üye Bilgileri
Üyelik tarihi
03/2018
Nereden
Geldin
Mesajlar
Konular

Teşekkür (Etti): 73
Teşekkür (Aldı): 90


Robots.txt dosyası



Neden robots.txt dosyasına ihtiyacım var?

Tüm önemli arama motorları, sitenize girer girmez öncelikli olarak bir robots.txt dosyası arar. Sitenizin herhangi bir bölümüne, örümceklerin girmesini istemiyorsanız ya da girmelerini engellemek istemiyorsanız bile bir robots.txt dosyası bulundurmak her zaman için yararlıdır. Çünkü bu dosya örümcekler için bir karşılama dosyası, menü gibi görev yapar.
Neden örümcekleri engellemek isteyebilirim?


1. Site henüz tamamlanmamış olabilir. Ya da henüz tam oalrak bitmemiş sayfalar içeriyor olabilir. Ve bu durumda sitenizin ya da sayfalarınızın yarım yamalak kayıt edilmesini istemeyebilirsiniz.
2. Şifrelemeye gerek duymadığınız ama yine de sizin için özel olan bir içeriğe ya da sitenizde bir bölüme sahip olabilirsiniz ve bunun arama motorları tarafından kayıt edilmesini ve aramalarda çıkmasını istemeyebilirsiniz.
3. Hata sayfalarının, cgi-bin gibi klasörlerin ya da teşekkür ettiğiniz, içinde sadece "tamam" gibi kısa mesajlar bulundurduğunuz dosya ve klasörlerinizin kayıt edilmesi kimsenin işine yaramayacaktır.
4. Birbirine benzeyen, geçişli sayfalarınız varsa bütün robotların aynı şeyi kaydetmesini istemeyebilirsiniz. Bu spam riski doğurabilir.
5. Yer almak istemediğiniz arama motorlarından ya da e-mail toplayan zararlı örümceklerden robots.txt dosyası aracılığıyla kurtulabilirsiniz.Neden örümcekleri engellemek isteyebilirim?




Robots.txt dosyası oluşturmak

Robots.txt dosyasını herhangi bir text editor ya da notepad ile oluşturabilirsiniz. Temelde içeriği şu şekildedir :
User-Agent: [Örümcek ya da Bot ismi]
Disallow: [Klasör ya da Dosya ismi]


Robots.txt ile belirli bir dosyayı belirli bir bottan korumak


Mesela "Haberler" diye bir bölüm oluşturuyorsunuz ve henüz tamamlanmadan robotların gelip kayıt etmesini istemiyorsunuz. Bu durumda, hedef tüm robotlar olduğu için özellikle robot ismi belirtmek yerine yıldız işareti "*" kullanmalısınız. Bu tüm robotları kapsayacaktır.
User-Agent: *
Disallow: /haberler/

Koruduğunuz bölüm isminin başına ve sonuna slah işareti "/" koymanız o klasördeki tüm dosyaları kapsayacaktır.


Tüm robotlara kayıt izmi vermek

Hedefimiz yine tüm robotlar olduğu için yıldız "*" işareti kullanarak Disallow bölümünü boş bırakıyoruz.
User-agent: *
Disallow:

Tüm robotları dosya ve klasörlerinizden uzak tutmak


Yukarıdaki koda çok benzeyen ama ufak bir değişikliği olan bir kod ile tüm robotları dosya ve kalsörlerinizden uzak tutabilir, kayıt etmelerini engelleyebilirsiniz.
User-agent: *
Disallow: /

Robots.txt ile birden fazla klasör engellemek

Ayarları dikkatli bir şekilde yapmalısınız. Yoksa istemediğiniz dosya ve klasörleri kayıt ettirebilir, istediklerinizi engelleyebilirsiniz. Diyelim ki "cgi-bin" klasörünüzün içindeki bazı dosyaların kayıt edilmesini istemiyorsunuz.
User-agent: *
Disallow: /cgi-bin/
Disallow: /_borders/
Disallow: /_derived/
Disallow: /_fpclass/
Disallow: /_overlay/
Disallow: /_private/
Disallow: /_themes/
Disallow: /_vti_bin/
Disallow: /_vti_cnf/
Disallow: /_vti_log/
Disallow: /_vti_map/
Disallow: /_vti_pvt/
Disallow: /_vti_txt/

Her klasör için ayrı bir komut yazmak en verimlisidir.

Sadece Altavista örümceğinin girmesini istemediğimiz klasörümüze, Altavista robotunun ismi olan Scooter ı ekliyoruz.

User-Agent: Scooter
Disallow: /

Google'ın resim dosyalarımızdan uzak durmasını istiyorsak

User-Agent: Googlebot-Image
Disallow: /images/

Eğer dosyalarınız "images" klasöründe değil ve dağınık olarak değişik yerlerdeyse o zaman

User-Agent: Googlebot-Image
Disallow: /



___________________________________________

Eğer kendilerini tanımış olsaydınız, Türklere hayran olurdunuz.-

 Offline  
 
Alıntı ile Cevapla
Teşekkür

AccoStolen, "Tranquila, puqe16 Teşekkür etti.
Alt 29-07-2018 12:53   #2
  • Binbaşı
  • Üye Bilgileri
Üyelik tarihi
08/2017
Nereden
Russia
Yaş
19
Mesajlar
Konular

Teşekkür (Etti): 397
Teşekkür (Aldı): 480




Ellerine Sağlık



___________________________________________

Balık; Gökyüzünün en masum masalıdır, Kuş; Gökyüzüne adanmış bir masal karekteri.
 Offline  
 
Alıntı ile Cevapla
Alt 29-07-2018 12:54   #3
  • Üsteğmen
  • Üye Bilgileri
Üyelik tarihi
03/2018
Nereden
Geldin
Mesajlar
Konular

Teşekkür (Etti): 73
Teşekkür (Aldı): 90




Alıntı:
jGozluk´isimli üyeden Alıntı Mesajı göster
Ellerine Sağlık
Saol Dostum



___________________________________________

Eğer kendilerini tanımış olsaydınız, Türklere hayran olurdunuz.-

 Offline  
 
Alıntı ile Cevapla
Alt 29-07-2018 13:00   #4
  • Bilgi Teknolojileri Ekibi
  • Üye Bilgileri
Üyelik tarihi
08/2017
Nereden
Trabzon
Yaş
1
Mesajlar
Konular

Teşekkür (Etti): 664
Teşekkür (Aldı): 269




eline sağlık



___________________________________________

-Ernoylmz

  • <Kalbimizde>Solidstar</Kalbimizde>
==>Telegram<==
Cam gibi olacaksın, Kırdılarmı Keseceksin.
 Online  
 
Alıntı ile Cevapla
Alt 29-07-2018 13:04   #5
  • Asteğmen
  • Üye Bilgileri
Üyelik tarihi
03/2017
Mesajlar
Konular

Teşekkür (Etti): 5
Teşekkür (Aldı): 12




HTTrack'dan robots.txt ile kurtulabilirsiniz.
 Offline  
 
Alıntı ile Cevapla
Alt 29-07-2018 14:00   #6
  • Asteğmen
  • Üye Bilgileri
Üyelik tarihi
10/2017
Nereden
İzmir
Mesajlar
Konular

Teşekkür (Etti): 1
Teşekkür (Aldı): 5




Alıntı:
ByZehirxx´isimli üyeden Alıntı Mesajı göster
Neden robots.txt dosyasına ihtiyacım var?

Tüm önemli arama motorları, sitenize girer girmez öncelikli olarak bir robots.txt dosyası arar. Sitenizin herhangi bir bölümüne, örümceklerin girmesini istemiyorsanız ya da girmelerini engellemek istemiyorsanız bile bir robots.txt dosyası bulundurmak her zaman için yararlıdır. Çünkü bu dosya örümcekler için bir karşılama dosyası, menü gibi görev yapar.
Neden örümcekleri engellemek isteyebilirim?


1. Site henüz tamamlanmamış olabilir. Ya da henüz tam oalrak bitmemiş sayfalar içeriyor olabilir. Ve bu durumda sitenizin ya da sayfalarınızın yarım yamalak kayıt edilmesini istemeyebilirsiniz.
2. Şifrelemeye gerek duymadığınız ama yine de sizin için özel olan bir içeriğe ya da sitenizde bir bölüme sahip olabilirsiniz ve bunun arama motorları tarafından kayıt edilmesini ve aramalarda çıkmasını istemeyebilirsiniz.
3. Hata sayfalarının, cgi-bin gibi klasörlerin ya da teşekkür ettiğiniz, içinde sadece "tamam" gibi kısa mesajlar bulundurduğunuz dosya ve klasörlerinizin kayıt edilmesi kimsenin işine yaramayacaktır.
4. Birbirine benzeyen, geçişli sayfalarınız varsa bütün robotların aynı şeyi kaydetmesini istemeyebilirsiniz. Bu spam riski doğurabilir.
5. Yer almak istemediğiniz arama motorlarından ya da e-mail toplayan zararlı örümceklerden robots.txt dosyası aracılığıyla kurtulabilirsiniz.Neden örümcekleri engellemek isteyebilirim?




Robots.txt dosyası oluşturmak

Robots.txt dosyasını herhangi bir text editor ya da notepad ile oluşturabilirsiniz. Temelde içeriği şu şekildedir :
User-Agent: [Örümcek ya da Bot ismi]
Disallow: [Klasör ya da Dosya ismi]


Robots.txt ile belirli bir dosyayı belirli bir bottan korumak


Mesela "Haberler" diye bir bölüm oluşturuyorsunuz ve henüz tamamlanmadan robotların gelip kayıt etmesini istemiyorsunuz. Bu durumda, hedef tüm robotlar olduğu için özellikle robot ismi belirtmek yerine yıldız işareti "*" kullanmalısınız. Bu tüm robotları kapsayacaktır.
User-Agent: *
Disallow: /haberler/

Koruduğunuz bölüm isminin başına ve sonuna slah işareti "/" koymanız o klasördeki tüm dosyaları kapsayacaktır.


Tüm robotlara kayıt izmi vermek

Hedefimiz yine tüm robotlar olduğu için yıldız "*" işareti kullanarak Disallow bölümünü boş bırakıyoruz.
User-agent: *
Disallow:

Tüm robotları dosya ve klasörlerinizden uzak tutmak


Yukarıdaki koda çok benzeyen ama ufak bir değişikliği olan bir kod ile tüm robotları dosya ve kalsörlerinizden uzak tutabilir, kayıt etmelerini engelleyebilirsiniz.
User-agent: *
Disallow: /

Robots.txt ile birden fazla klasör engellemek

Ayarları dikkatli bir şekilde yapmalısınız. Yoksa istemediğiniz dosya ve klasörleri kayıt ettirebilir, istediklerinizi engelleyebilirsiniz. Diyelim ki "cgi-bin" klasörünüzün içindeki bazı dosyaların kayıt edilmesini istemiyorsunuz.
User-agent: *
Disallow: /cgi-bin/
Disallow: /_borders/
Disallow: /_derived/
Disallow: /_fpclass/
Disallow: /_overlay/
Disallow: /_private/
Disallow: /_themes/
Disallow: /_vti_bin/
Disallow: /_vti_cnf/
Disallow: /_vti_log/
Disallow: /_vti_map/
Disallow: /_vti_pvt/
Disallow: /_vti_txt/

Her klasör için ayrı bir komut yazmak en verimlisidir.

Sadece Altavista örümceğinin girmesini istemediğimiz klasörümüze, Altavista robotunun ismi olan Scooter ı ekliyoruz.

User-Agent: Scooter
Disallow: /

Google'ın resim dosyalarımızdan uzak durmasını istiyorsak

User-Agent: Googlebot-Image
Disallow: /images/

Eğer dosyalarınız "images" klasöründe değil ve dağınık olarak değişik yerlerdeyse o zaman

User-Agent: Googlebot-Image
Disallow: /
Eline sağlık, birazdan okuyacağım robots.txt bilmediğim bir konuydu



___________________________________________

Hayattan bir ders çıkarılacaksa; doğru kararların tecrübelerden, tecrübelerinde tecrübesizlikten geldiğidir.

"Ben nefes alıyorum sen dalgalan."


Python %65-%75
Construct 2 %kestiremiyorum

 Offline  
 
Alıntı ile Cevapla
Alt 29-07-2018 14:06   #7
  • Asteğmen
  • Üye Bilgileri
Üyelik tarihi
10/2017
Nereden
İzmir
Mesajlar
Konular

Teşekkür (Etti): 1
Teşekkür (Aldı): 5




Peki arama motorlarının indexlemesini istemediğimiz sayfalar için kod nedir ?



___________________________________________

Hayattan bir ders çıkarılacaksa; doğru kararların tecrübelerden, tecrübelerinde tecrübesizlikten geldiğidir.

"Ben nefes alıyorum sen dalgalan."


Python %65-%75
Construct 2 %kestiremiyorum

 Offline  
 
Alıntı ile Cevapla
Alt 29-07-2018 14:07   #8
  • Teğmen
  • Üye Bilgileri
Üyelik tarihi
03/2017
Nereden
TURAN
Mesajlar
Konular

Teşekkür (Etti): 197
Teşekkür (Aldı): 45




Ellerine sağlık



___________________________________________

BU ARALAR FORUMDA AKTİF DEĞİLİM.

 Offline  
 
Alıntı ile Cevapla
Alt 29-07-2018 14:09   #9
  • Üsteğmen
  • Üye Bilgileri
Üyelik tarihi
03/2018
Nereden
İstanbul
Mesajlar
Konular

Teşekkür (Etti): 54
Teşekkür (Aldı): 51




Eline sağlık
 Offline  
 
Alıntı ile Cevapla
Alt 29-07-2018 14:15   #10
  • Üsteğmen
  • Üye Bilgileri
Üyelik tarihi
03/2018
Nereden
Geldin
Mesajlar
Konular

Teşekkür (Etti): 73
Teşekkür (Aldı): 90




Alıntı:
iEfe´isimli üyeden Alıntı Mesajı göster
Peki arama motorlarının indexlemesini istemediğimiz sayfalar için kod nedir ?
Aşağıda belirttim dostum



___________________________________________

Eğer kendilerini tanımış olsaydınız, Türklere hayran olurdunuz.-


Konu ByZehirxx tarafından (29-07-2018 14:21 Saat 14:21 ) değiştirilmiştir..
 Offline  
 
Alıntı ile Cevapla
Cevapla

Bookmarks

Seçenekler


Bilgilendirme Turkhackteam.net/org
Sitemizde yer alan konular üyelerimiz tarafından paylaşılmaktadır.
Bu konular yasalara uygunluk ve telif hakkı konusunda yönetimimiz tarafından kontrol edilse de, gözden kaçabilen içerikler yer alabilmektedir.
Bu tür konuları turkhackteamiletisim [at] gmail.com mail adresimize bildirebilirsiniz, konular hakkında en kısa sürede gerekli işlemler yapılacaktır.
Please Report Abuse, DMCA, Harassment, Scamming, Warez, Crack, Divx, Mp3 or any Illegal Activity to turkhackteamiletisim [at] gmail.com

Türkhackteam saldırı timleri Türk sitelerine hiçbir zararlı faaliyette bulunmaz.
Türkhackteam üyelerinin yaptığı bireysel hack faaliyetlerinden Türkhackteam sorumlu değildir. Sitelerinize Türkhackteam ismi kullanılarak hack faaliyetinde bulunulursa, site-sunucu erişim loglarından bu faaliyeti gerçekleştiren ip adresini tespit edip diğer kanıtlarla birlikte savcılığa suç duyurusunda bulununuz.



         

Powered by vBulletin® Copyright ©2000 - 2019

TSK Mehmetçik Vakfı

Türk Polis Teşkilatını Güçlendirme Vakfı

Google+
Pomeranian Boo
instagram takipci hilesi

wau