Çözüldü Web Crawler?

Parzivalkind' Alıntı:

Merhaba forumdaki değerli üyeler, crawler hakkında bilgisi olan varsa yardımcı olma şansı varmı. Crawler a yaptırmam gereken işlemler şu şekilde olucak:

1-)Crawler a url yazdığımızda büyük ihtimal takılıcaktır çünkü password ile giriş yapılan bir site, giriş bilgilerini yazılıma(crawler'a) nasıl verebilirim?
2-)Crawler a demem gerek ki sitedeki arama çubuğuna "a" yaz çıkan tüm sonuçları kazı,çek,kaydet işte herneyse?

Bunları yapmam için gerekli olan şeyler nelerdir nelere dikkat etmek lazım yada neler yapılmalı?

Uzun süreli yardımda bulunabilicek kişiler dm açabilirse çok iyi olur. Önerilerde bulunsanızda yeterli olucaktır...
Yardımcı Olanlara Veya Olmaya Çalışanlara Çok Teşekkürler...


İyi Forumlar

Genişletmek için tıkla ...

Mentalistler' Alıntı:

Merhaba,

Anladığım kadarıyla biraz custom birşey istiyorsunuz. Hali hazırda bir crawler yazılımı var mı bilmiyorum. Fakat, Python ve requests kütüphanesi ile 5-10 dakikada yazabilirsiniz. Eğer Python tecrübeniz yoksa kopyala yapıştır yaparak ve 1-2 saat zaman harcayarak muhtemelen üstesinden geleceğinize inanıyorum.

İyi forumlar!

Genişletmek için tıkla ...

BeoWulf007' Alıntı:

1 - Bir sayfaya login olmak işin özünde aynı sayfaya geçerli bir kimlik bilgisi ile girmek demektir. Yani aynı adrese doğru bilgilerle girmek farklı sonuç verir. Bir sayfaya HTTP isteği atarsan ve o HTTP isteğinin içinde senin giriş bilgilerini taşıyan değerler yoksa giriş yapmanı isteyecektir, ancak varsa giriş yapmışsın gibi sana cevap dönecektir. Eğer doğru değerler olmadan giriş zorunluluğu olan bir sayfaya girersen, site giriş yapmanı ister ve giriş yaptığın zaman tarayıcıya otomatik olarak sunucudan özel dönülen değer kaydedilir ve bundan sonra yaptığın her istekte giriş yapıldığında olması gerekiyorsa o şekilde davranılır.

Şimdi aslında isteğin çok basit ama her şeyde olduğu bilene basit. Aslında takıldığın noktalar ilgili konuları bilsen takılmayacağın konular. Konunun algoritmasını kafanda oturtabilmek için HTTP nedir öğrenmen sitelerin nasıl HTTP üzerinden çalıştığını da biraz tecrübe etmen gerekiyor.
Siteye, doğru çerez(cookie) bilgileri ile HTTP isteği atarsan, o "url yazdığımızda büyük ihtimal takılıcaktır çünkü password ile giriş yapılan bir site" senaryon gerçekleşmez. Çünkü cookie'de gerekli kimlik doğrulama(authentication) değeri vardır ve giriş yapıldığı zaman o sayfa ne dönmesi gerekiyorsa onu döner.

2 - Arama çubuğuna bir şey yazıp ara tuşuna basıktan sonra sitede ne gerçekleşiyor sence? Burada ara tuşunun olup olmaması önemli değil, daha dinamik olarak da gerçekleşebilir problem yok. Önemli olan o değerleri bir şekilde karşına geliyor bunu site nerede biliyor? Doğru cevap HTTP evet. Yine bir yerlere HTTP isteği atılıyor ve değerler bir yerden çekiliyor.
Not: Siteyi incelemek lazım sayfasına göre değişir, illa istek atacak diye bir şey yok. Belki de ilk istekde html içinde json dönüyordur ve gerektiği durumda ekrana yazıyordur.
Şimdi sonuç olarak her şeyi HTTP istekleri ile halledebilirsin. Çünkü web sitesi de işin sonunda arkada JS çalıştırıyor ve bir yerlere istek atıp sana sunuyor. Sadece siteyi incelemek ve ona göre manevra almak lazım.


Öğrenmen gereken başlıklar;
1 - HTTP nedir?
2 - Web sayfalarının ön yüzü nasıl çalışır?
3 - Herhangi bir dilde HTTP istekleri nasıl atılır.
4 - HTML nasıl ayıklanır(Parse)
5 - Gerektiği durumlarda JSON Serialization.

aklıma şimdilik gelenler bunlar.

Genişletmek için tıkla ...