Web Sitesi İndex Taraması - Python Botu

jessies

Yeni üye
1 Eki 2023
37
11
Öncelikle herkese merhabalar. Bu benim ilk konum olacak.
Bu sebepten ötürü eksiklerim ve hatalarım olabilir. Mazur görün.


Öncelikle web sitesinin indexi nedir ve neden önemlidir bundan başlayalım.
Sonrasında yavaş yavaş botumuza geçiş yapalım.


Web Sitesi İndexi nedir ?

Web sitesi indexi, bir arama motorunun web sayfalarını tarayarak içeriği anlamaya ve indekslemeye yönelik oluşturduğu bir veritabanını ifade eder. Bu veritabanı, arama motorlarının kullanıcıların sorgularına daha etkili ve hızlı yanıt vermesini sağlar. Indexleme işlemi, bir web sayfasının arama motoru tarafından taranarak içeriğinin anlaşılması ve bu içeriğin daha sonra arama motoru veritabanına eklenmesi sürecidir.

Arama motorları, web sayfalarını sıklıkla tarar ve bu sayfaların içeriğini analiz eder. Bu analiz sonucunda, sayfanın hangi anahtar kelimelerle ilişkilendirilebileceği, içeriğinin ne kadar özgün olduğu ve diğer birçok faktör değerlendirilir. Bu bilgiler daha sonra arama motoru indexinde saklanır.

Web sitesi indexi, kullanıcıların arama motorları aracılığıyla arama yaptıklarında, arama motorunun bu index üzerinden hızlı ve etkili bir şekilde sonuçlar üretmesine olanak tanır. Indexleme, arama motoru optimizasyonu (SEO) stratejileri içinde önemli bir rol oynar, çünkü doğru anahtar kelimeler ve kaliteli içerik, bir web sitesinin indexlenme sürecini etkileyebilir.


Web Sitesi İndexi Neden Önemlidir ?
Web sitesi indexi önemlidir çünkü arama motorları tarafından indekslenmiş bir site, kullanıcıların arama sorgularına daha iyi yanıt verebilir. İşte web sitesi indexinin neden önemli olduğuna dair bazı nedenler:
Arama Motoru Sıralamaları:
Arama motorları, indeksledikleri web sitelerini sıralamak için bir dizi algoritma kullanır. Indexi güçlü olan ve düzenli olarak güncellenen bir web sitesi, arama sonuçlarında daha üst sıralarda görünebilir.
Trafik ve Keşif:
İndexlenmiş bir web sitesi, arama motorları üzerinden organik trafik çeker. İnsanlar genellikle arama motorlarını kullanarak bilgi ararlar ve bu nedenle indexi güçlü bir site, daha fazla keşfedilir ve ziyaret edilir.
Kullanıcı Deneyimi:
İyi bir indexe sahip olmak, kullanıcı deneyimini olumlu yönde etkiler. Kullanıcılar, arama sonuçlarında daha üst sıralarda yer alan ve hızlıca erişilebilen siteleri tercih ederler.
Relevans ve Doğruluk:
Arama motorları, indexledikleri siteleri sıralarken içeriklerinin ne kadar relevan ve doğru olduğunu değerlendirir. İyi bir index, içeriklerin doğru bir şekilde anlaşıldığını ve sıralandığını gösterir.
SEO Etkinliği:
Arama motoru optimizasyonu (SEO) stratejileri, web sitelerinin indexlenme sürecini etkiler. Doğru anahtar kelimelerin kullanımı, kaliteli içerik ve diğer SEO faktörleri, indexleme sonuçlarını olumlu yönde etkiler.
Reklam ve Pazarlama:
İndexi güçlü bir web sitesi, potansiyel müşterilere ve hedef kitleye ulaşmak için etkili bir reklam ve pazarlama aracıdır. İndekslenmiş içerik, reklam kampanyalarının daha geniş bir kitleye ulaşmasına yardımcı olabilir.
Sonuç olarak, web sitesi indexi, kullanıcıların arama motorları üzerinden daha etkili bir şekilde bilgiye ulaşmasını sağlar ve web sitesi sahipleri için online varlıklarını geliştirmelerine yardımcı olan bir faktördür.

Peki Bu Bot Ne İşimize Yarayacak ?
Özellikle SEO çalışmaları yapan kişilerin, çalışmalarını daha iyi listeleyebilmesi adına yazılmış bir bottur.
Kod:
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()

desktop_path = "C:\\Users\\k.adı\\Desktop\\"
dusuk_sonuclar_dosya = desktop_path + "dusuk.txt"
yuksek_sonuclar_dosya = desktop_path + "yuksek.txt"

with open(desktop_path + "wordlist.txt", "r") as file:
    web_siteleri = file.read().splitlines()

def google_arama(site):
    driver.get("https://www.google.com")

    arama_cubugu = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.NAME, "q"))
    )
    arama_cubugu.send_keys(f"site:{site}")
    arama_cubugu.send_keys(Keys.RETURN)

    
    sonuc_elementi = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "result-stats"))
    ).text

    sonuc = int(sonuc_elementi.split()[1].replace(".", ""))
    if sonuc <= 300:
        with open(dusuk_sonuclar_dosya, "a") as dusuk_file:
            dusuk_file.write(f"site:{site} - {sonuc_elementi}\n")
    else:
        with open(yuksek_sonuclar_dosya, "a") as yuksek_file:
            yuksek_file.write(f"site:{site} - {sonuc_elementi}\n")

# Ana döngü
for site in web_siteleri:
    print(f"Taranıyor: {site}") 
    google_arama(site)

print("Tarama tamamlandı.")

driver.quit()

Verileme sistemi ve kullanım şekli hakkında da ufak bir bilgilendirme yapayım. Masaüstünüzde wordlist.txt adında bir metin belgesi açıyorsunuz. Burada sırasıyla taratmak istediğiniz web sitelerinin URL lerinin listesini alt alta olacak şekilde yazıyorsunuz.
Ardından botu çalıştırdığınız da girdiğiniz siteleri tek tek Google üzerinden arama sonuçlarında ne kadar index aldığı bilgisine ulaşıyorsunuz. Eğer site 300'den az index aldıysa
dusuk.txt içerisinde, 300'den fazlaysa yuksek.txt dosyasında karşınıza çıkıyor.
 
Üst

Turkhackteam.org internet sitesi 5651 sayılı kanun’un 2. maddesinin 1. fıkrasının m) bendi ile aynı kanunun 5. maddesi kapsamında "Yer Sağlayıcı" konumundadır. İçerikler ön onay olmaksızın tamamen kullanıcılar tarafından oluşturulmaktadır. Turkhackteam.org; Yer sağlayıcı olarak, kullanıcılar tarafından oluşturulan içeriği ya da hukuka aykırı paylaşımı kontrol etmekle ya da araştırmakla yükümlü değildir. Türkhackteam saldırı timleri Türk sitelerine hiçbir zararlı faaliyette bulunmaz. Türkhackteam üyelerinin yaptığı bireysel hack faaliyetlerinden Türkhackteam sorumlu değildir. Sitelerinize Türkhackteam ismi kullanılarak hack faaliyetinde bulunulursa, site-sunucu erişim loglarından bu faaliyeti gerçekleştiren ip adresini tespit edip diğer kanıtlarla birlikte savcılığa suç duyurusunda bulununuz.