Robots.txt Nedir? WordPress Site İçin Nasıl Optimize Edilir? //therealbugra

The Coηq

Uzman üye
30 Tem 2019
1,791
45
Merhaba TürkHackTeam Ailesi

Bugün sizlere Robots.txt Nedir? WordPress Site İçin Nasıl Optimize Edilir? bundan bahsedeceğim.




Robots.txt Nedir?


Robots.Txt, arama motorlarının sahip olduğu botlar, web sitenizi ziyarete geldiğinde; site içerisindeki hangi bölümlerin dizine eklenebileceğini, hangi bölümleri taraması gerekli olduğu ya da taramaması gerekli olduğu konusunda yol gösterene komut dosyalarına verilen ismi ifade ediyor. Robots.Txt tarafından gösterilen dosya izinleri üzerinden bot olarak da bilinen arama motoru örümcekleri internet sitenizde gezinti sağlıyor. Web robotlarına adanmış bir kod sistemi olan robots.Txt ilk defa 1995 senesinde **** arama motoru olan WebCravler’ın robotlarının ev sahipliğinde oluşturuluyor. 2000 senesinden itibaren ise bağımsız bir kuruluş olarak faaliyet gösteriyor. İlk ciddi modernizasyonunu ise 2007 senesinde yaşıyor. Günümüzde halen milyonlarca web projesi içerisinde aktif olarak kullanılıyor.



Robots.txt Neden Gereklidir?


Web projesinin robots.Txt dosyasına sahip olmaması ya da doğru biçimde hazırlanmamış bir robots.Txt dosyasına sahip olması arama motoru sıralamalarına olumsuz ektiler oluşturabilir. Aynı zamanda doğru sayfaların dizine alınmamış olması da kullanıcıların kaliteli sayfalara ulaşamamasına neden olabilir. Tüm bunlar hem kullanıcıların hem de arama motoru botlarının değerlendirmesinde web projenizin kalite değerini düşürebilir. Robots.Txt dosyası hacim olarak küçük ancak web projeniz üstünde büyük bir etkiye sahip olduğunu unutmamalısınız.



WordPress Site İçin Robots.txt Nasıl Optimize Edilir


WordPress sisteme sahip bir web projeniz var ise, robots.Txt dosyasına otomatik olarak sahip olacaksınız. Ancak onu özelleştirmek sisteminizin daha iyi sonuçlar almasını sağlayacak. Web projenizin robots.Txt dosyasına sahip olup olmadığını kontrol etmek için;

Alan Adınız/robots.Txt uzantısını tarayıcıda aratabilirsiniz. Eğer bir robots.Txt dosyasına sahipseniz karşınıza;

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.Php

Görünümlü bir sonuç çıkacak. Ancak buna sahip değilseniz ilgili sayfaya erişemeyeceksiniz. Robots.Txt’yi özelleştirmek için 2 farklı yöntem kullanabilirsiniz.




Manuel Olarak Robots.txt Oluşturma


Manuel olarak robots.Txt dosyasını yaratmak için bilgisayarınızda bulunan Not Defteri gibi bir metin programını açın.

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.Php

Gösterilen kodu metin programının içerisine yapıştırın ve ardından dosyayı, robots.Txt olarak bilgisayarınıza kaydedin. FileZilla gibi bir FTP programı ile sistem dosyalarınıza erişin. Sistem dosyaları içerisinde yer alan public_html klasörünü açın ve bilgisayarınızda oluşturduğunuz robots.Txt dosyasını yükleyin.




YoastSEO Eklentisi İle Robots.txt Oluşturma


Manuel olarak robot.Txt oluşturabileceğiniz gibi isterseniz YoastSEO gibi eklentiler aracılığı ile da bu işlemi kolayca yapabilirsiniz. Öncelikle WordPress sisteminizin içerisine ilgili eklentiyi yüklemelisiniz. Ardından, YoastSEO eklentisinin araçlar menüsüne girin ve dosya düzenleyici sekmesine tıklayın. Karşınıza çıkan sayfadan robots.Txt oluştur butonuna basın. Karşınıza çıkan sayfadan robots.Txt dosyanıza dilediğiniz kuralları tanımlayabilirsiniz.



Robots.txt’ye Kural Nasıl Eklenir?


Robots.Txt üzerinden tanımlayabileceğiniz iki talimat bulunuyor. İzin ver (allow) ve izin verme (disallow) biçimde tanımlanır. Söz konusu talimatlar bot sistemlerinin herhangi bir klasöre erişimlerine izin vermek ya da izin vermemek biçimde gerçekleşir. Örneğin;

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-admin/ Örnekte olduğu gibi dilediğiniz dosyalara erişimi engelleyebilir, dilediğinize de erişim izni verebilirsiniz.




Saygılarımla therealbugra
 
Üst

Turkhackteam.org internet sitesi 5651 sayılı kanun’un 2. maddesinin 1. fıkrasının m) bendi ile aynı kanunun 5. maddesi kapsamında "Yer Sağlayıcı" konumundadır. İçerikler ön onay olmaksızın tamamen kullanıcılar tarafından oluşturulmaktadır. Turkhackteam.org; Yer sağlayıcı olarak, kullanıcılar tarafından oluşturulan içeriği ya da hukuka aykırı paylaşımı kontrol etmekle ya da araştırmakla yükümlü değildir. Türkhackteam saldırı timleri Türk sitelerine hiçbir zararlı faaliyette bulunmaz. Türkhackteam üyelerinin yaptığı bireysel hack faaliyetlerinden Türkhackteam sorumlu değildir. Sitelerinize Türkhackteam ismi kullanılarak hack faaliyetinde bulunulursa, site-sunucu erişim loglarından bu faaliyeti gerçekleştiren ip adresini tespit edip diğer kanıtlarla birlikte savcılığa suç duyurusunda bulununuz.