Web Bot konusunda tarayıcı tabanlı kütüphanelerden kurtulmak için yardım.

Requests kullanarak sadece istek atabilirsiniz butona fln tiklayamaz sitede pek Bi işlem yapamazsinjz

Carlonhack' Alıntı:

Requests kullanarak sadece istek atabilirsiniz butona fln tiklayamaz sitede pek Bi işlem yapamazsinjz

Genişletmek için tıkla ...

Demek istediğim o buton tıklaması vs vs gibi işlemler olduğu için onlarında bir şekilde taklit etmek gerekiyor.
Elbette yapılabiliyor o işlemler ancak sorumda nasıl yapıldığı kaynak olsun vs
Get veya post istekleri sorun değil. rest api istekleri vs de giriyor işin içine veya başka bilmediğim şeyler.
Hedeflediğim site herhangi bir site olabilir elbet.
Ona göre davranışı düzenlemem gerek.
Dev tools ile göremediğim tıklamalar ve işlemleri nasıl taklit edicem örn giriş yapılmış bir api key almam gerek ancak get veya post isteği ile olan şeyler değil.
Selenium veya puppeter in getirdiği ağırlıktan kurturlmam gerek.

sokratez' Alıntı:

Demek istediğim o buton tıklaması vs vs gibi işlemler olduğu için onlarında bir şekilde taklit etmek gerekiyor.
Elbette yapılabiliyor o işlemler ancak sorumda nasıl yapıldığı kaynak olsun vs
Get veya post istekleri sorun değil. rest api istekleri vs de giriyor işin içine veya başka bilmediğim şeyler.
Hedeflediğim site herhangi bir site olabilir elbet.
Ona göre davranışı düzenlemem gerek.
Dev tools ile göremediğim tıklamalar ve işlemleri nasıl taklit edicem örn giriş yapılmış bir api key almam gerek ancak get veya post isteği ile olan şeyler değil.
Selenium veya puppeter in getirdiği ağırlıktan kurturlmam gerek.

Genişletmek için tıkla ...

Peki bilmiyorum web alanını kusura bakmayın

Carlonhack' Alıntı:

Peki bilmiyorum web alanını kusura bakmayın

Genişletmek için tıkla ...

Önemli değil.

ruby'nin net/http kütüphanesiyle yapabilirsin galiba

Doğru tespit, selenium hemen hemen hiçbir yerde gerekmiyor ve aşırı kaynak kullanıyor. %0.01 istisnalar hariç her şeyi sadece isteklerle halledebilirsin. Anlamadığı noktalarda yardımcı olabilirim ama sormak istediğim bir soru var... Dev tools'da görmediğin ne gibi şeyler var mesela? Her şeyi görebiliyor olman gerek. Daha rahat bir analiz için Fiddler kullanabilirsin. Insomnia gibi API test programları sayesinde bir siteyi analiz ederken notlar tutabilirsin.
Örneğin siteye giriş yaparken hangi adreslere istek attığını, hangi header'ları kullandığını, hangi methodu kullandığını, isteğin body'sini vs not tutabilir örnek istekler atıp programa dökebilirsin.
Eğer aklında örnek bir site varsa, yapamadığın yeri yazarsan yardımcı olmaya çalışırım.

Ben böyle kullanıyorum:

BeoWulf007' Alıntı:

Doğru tespit, selenium hemen hemen hiçbir yerde gerekmiyor ve aşırı kaynak kullanıyor. %0.01 istisnalar hariç her şeyi sadece isteklerle halledebilirsin. Anlamadığı noktalarda yardımcı olabilirim ama sormak istediğim bir soru var... Dev tools'da görmediğin ne gibi şeyler var mesela? Her şeyi görebiliyor olman gerek. Daha rahat bir analiz için Fiddler kullanabilirsin. Insomnia gibi API test programları sayesinde bir siteyi analiz ederken notlar tutabilirsin.
Örneğin siteye giriş yaparken hangi adreslere istek attığını, hangi header'ları kullandığını, hangi methodu kullandığını, isteğin body'sini vs not tutabilir örnek istekler atıp programa dökebilirsin.
Eğer aklında örnek bir site varsa, yapamadığın yeri yazarsan yardımcı olmaya çalışırım.

Ben böyle kullanıyorum:

Genişletmek için tıkla ...

Şöyle bir daha baktımda ctrl f ile aramak aklıma gelmedi buton tıklamarı sonrasında gelen veri orda gözümün onundeydi.
Örnek bir site var üzerinde çalışıyorum daha önceki uygulamayı login ve cookie gibi sorunları çektiğim için http kütüphanesini kullanamadım.
Temelde bir kaç işlem yapıcam.
Once kayıt olup hesap oluşturucak bunu istekle oluşturuyorum diyelim.
Ancak devamında bir doğrulama kodu okuyacağım ve oluşturduğum üyeliğe giriş bu kod ile yapacağım.
Sorun burda başlıyor
Oturum bilgilerini tutarak işlemlere devam etmem gerek. sayfa yenilenmeden açılan menu üzerinde bir kaç buton tıklaması ve sonrasınde gelen
tek seferlik bi link var. Onu almam gerekiyor.
Burası kafamı karıştıran nokta devamında oturum bilgilerini nasıl tutmam gerekiyor hangisi oturum bilgisi.
Yapı olarak header da nasıl eklemem lazım.

kullandığın browser'ın developer console'unu aç network kısmından gelen giden dataya bak daha sonra c# httpclient ile istediğini yaparsın sadece ve sadece gerçekten web sitesini render etmen gerekmediği taktirde harici hiçbir library kullanmana gerek yok. web işi basit iştir en babası jamstack çalışır arkaya rest api koymuştur aldım verdim
ha sürekli değişen js dinamik content basar arkaya da bir soket bağlantısı koymuştur uçtan uca da şifreliyordur sourcetan baktığında tüm js libraryler obfuscate edilmiştir o zaman reverse engineering yapmakla uğraşmaktansa render eder dom manuplation yaparsın belki. (zorlarsan bunu da çözer httpcientla yaparsın ama harcadığın vakte değmeyebilir sana kalmış)