Python .get istekleri

[ZayruS010]

İneternetten çektiğim bilgilerle bi veri seti oluşturuyorum. Requests modülüyle veriyi çeiyorum biraz yavaş kalıyo çektiğim veriler basit metinler ama çok fazla siteye girdiğim ve binlerce veriyi toplamaya çalıştığım için işleri hızlandırmanın bir yolunu arıyorum. nmap dirb gibi araçlar nasıl bukadar yüksek hızda sorgu yapıyo bilen varsa yardımcı olusa çok sevinirim. İstediğim şey internet ve pc hızımın el verdiği kadarıyla maksiumum hızla veri çekmek.
Soran olursa diye söyliyim pentesting aracı yazmaya çalışmıyorum.

 

[zztri]

Boyut ne kadar? Multiprocessing kütüphanesi gayet güzel paralel olarak çekebilmelidir. Mesela request edeceğin adresler 'adresler' array'inde olsun...

import multiprocessing as mp
#bu yapacağın işlem olsun. Yani verinin çekilmesi+işlenmesi
def VeriyeYaptiginIslem(adres)
  .....
  .....
  return ..... #İşlenmiş veriyi return edeceğiz. Böylece sonucu bir array olarak alacağız.
#Multiprocessing pool'u hazırlarız. İşlemci sayınız kadar olması hemen hemen her zaman için en optimize olanıdır.
pool=mp.Pool(mp.cpu_count())
sonuc=pool.map(VeriyeYaptiginIslem,[adres for adres in adresler])
pool.close()

Tam olarak bu sayfalardan çektiğin veriye ne yapacağını bilirsem daha ayrıntılı bir cevap verebilirim.

 

[Falcondtr]

İneternetten çektiğim bilgilerle bi veri seti oluşturuyorum. Requests modülüyle veriyi çeiyorum biraz yavaş kalıyo çektiğim veriler basit metinler ama çok fazla siteye girdiğim ve binlerce veriyi toplamaya çalıştığım için işleri hızlandırmanın bir yolunu arıyorum. nmap dirb gibi araçlar nasıl bukadar yüksek hızda sorgu yapıyo bilen varsa yardımcı olusa çok sevinirim. İstediğim şey internet ve pc hızımın el verdiği kadarıyla maksiumum hızla veri çekmek.
Soran olursa diye söyliyim pentesting aracı yazmaya çalışmıyorum.

nmap - dirb gibi bahsettiğiniz araçlar açık kaynak yazılımları bunları detaylı incelemeniz için link bırakıyorum.
bkz: GitHub - nmap/nmap: Nmap - the Network Mapper. Github mirror of official SVN repository.

Bu araçlar sadece tek methoddan veya yapıdan oluşmuyorlar yüzeysel işlemler aslında bir çok açıdan geliştirilmiş , hızlandırılmış o yüzden daha hızlı bir tool geliştirebilmek için baya emek vermeniz gerekiyor. Eğer yeterli zamana sahip değilseniz bu tarz toolları github üzerinden indirip üzerine eklemeler yaparak kendinize göre ayarlayabilirsiniz.

 

[ZayruS010]

Boyut ne kadar? Multiprocessing kütüphanesi gayet güzel paralel olarak çekebilmelidir. Mesela request edeceğin adresler 'adresler' array'inde olsun...

import multiprocessing as mp
#bu yapacağın işlem olsun. Yani verinin çekilmesi+işlenmesi
def VeriyeYaptiginIslem(adres)
  .....
  .....
  return ..... #İşlenmiş veriyi return edeceğiz. Böylece sonucu bir array olarak alacağız.
#Multiprocessing pool'u hazırlarız. İşlemci sayınız kadar olması hemen hemen her zaman için en optimize olanıdır.
pool=mp.Pool(mp.cpu_count())
sonuc=pool.map(VeriyeYaptiginIslem,[adres for adres in adresler])
pool.close()

Tam olarak bu sayfalardan çektiğin veriye ne yapacağını bilirsem daha ayrıntılı bir cevap verebilirim.

hocam aldığım veriyi çok fazla bir işleme sokmuyorum html kodlarından belirli textler alıyorum ve bunları en sonunda csv dosyama kaydediyorum. attığınız kod örneğine uyarlamayı deniycem

 

[ZayruS010]

nmap - dirb gibi bahsettiğiniz araçlar açık kaynak yazılımları bunları detaylı incelemeniz için link bırakıyorum.
bkz: GitHub - nmap/nmap: Nmap - the Network Mapper. Github mirror of official SVN repository.

Bu araçlar sadece tek methoddan veya yapıdan oluşmuyorlar yüzeysel işlemler aslında bir çok açıdan geliştirilmiş , hızlandırılmış o yüzden daha hızlı bir tool geliştirebilmek için baya emek vermeniz gerekiyor. Eğer yeterli zamana sahip değilseniz bu tarz toolları github üzerinden indirip üzerine eklemeler yaparak kendinize göre ayarlayabilirsiniz.

konuyu açmadan önce baktım ama çok fazla fonksiyonları olduğu için anlamak zor

 

[Falcondtr]

konuyu açmadan önce baktım ama çok fazla fonksiyonları olduğu için anlamak zor

Evet maalesef üzerine araştırmak zor olabiliyor. Bu konuda verebileceğim tavsiye şu;

Siber güvenlik toplulukları ve içerik üreticilerinin oluyor genelde yabancıları daha çok tavsiye ederim herneyse buralarda bilgili insanlar kendileri araç geliştiriyorlar zaten 1 - 2 dosyalık ufak toollar oluyor işine yarar bir tane github reposu bulup bu tarz onu alıp üzerine ekleyebilirsiniz. Yani fikir edinmenin en iyi yanı diğer insanların ne yaptıklarını nasıl kullandığını araştırmak olur bu konuda size en net bilgiyi verebileceğine eminim. Uzun vali bir tool geliştirmeyi planlıyorsanız bu dediğimi uygulayabilirsiniz ancak kısa vadede o an için yeterli olabilecek şeylerle de idare edebilirsiniz üstte bir arkadaşımız örnek kod bloğu bırakmıştı.

 

[ZayruS010]

Evet maalesef üzerine araştırmak zor olabiliyor. Bu konuda verebileceğim tavsiye şu;

Siber güvenlik toplulukları ve içerik üreticilerinin oluyor genelde yabancıları daha çok tavsiye ederim herneyse buralarda bilgili insanlar kendileri araç geliştiriyorlar zaten 1 - 2 dosyalık ufak toollar oluyor işine yarar bir tane github reposu bulup bu tarz onu alıp üzerine ekleyebilirsiniz. Yani fikir edinmenin en iyi yanı diğer insanların ne yaptıklarını nasıl kullandığını araştırmak olur bu konuda size en net bilgiyi verebileceğine eminim. Uzun vali bir tool geliştirmeyi planlıyorsanız bu dediğimi uygulayabilirsiniz ancak kısa vadede o an için yeterli olabilecek şeylerle de idare edebilirsiniz üstte bir arkadaşımız örnek kod bloğu bırakmıştı.

program benim için önemli uzun zamandır üstünde duruyorum şuanda çalışır durumda zaten ufak tefek geliştirmeler yapıyorum .get i hızlandırmak ilerde çıkabilicek aksaklıkları hızlı bir şekilde çözmek için şuan istediğim veriyi çekmek toplamda 4 saat sürüyo bunu basit bi şekilde 30dk veya 1 saate indirebilirsem uygularım ama bunu yapmak için çok uzun bi zaman harcıyamam arkadaşın attığı kod işe yarıycak gibi duruyo umarım yarar fikirleriniz içinde teşekkür ederim

 

[Falcondtr]

program benim için önemli uzun zamandır üstünde duruyorum şuanda çalışır durumda zaten ufak tefek geliştirmeler yapıyorum .get i hızlandırmak ilerde çıkabilicek aksaklıkları hızlı bir şekilde çözmek için şuan istediğim veriyi çekmek toplamda 4 saat sürüyo bunu basit bi şekilde 30dk veya 1 saate indirebilirsem uygularım ama bunu yapmak için çok uzun bi zaman harcıyamam arkadaşın attığı kod işe yarıycak gibi duruyo umarım yarar fikirleriniz içinde teşekkür ederim

Ben sıfırdan tekrar geliştireceksiniz sanmıştım kusura bakmayın evet bu durumda anlattığım olay mantıksız kalıyor diğer arkadaşımızın attığı kod umarım iş görür. Eğer sıkıntı olursa stackoverflow ve redditten konu açarak konuya hakim insanlardan da fikir alabilirsiniz kolay gelsin.

 

[ZayruS010]

Ben sıfırdan tekrar geliştireceksiniz sanmıştım kusura bakmayın evet bu durumda anlattığım olay mantıksız kalıyor diğer arkadaşımızın attığı kod umarım iş görür. Eğer sıkıntı olursa stackoverflow ve redditten konu açarak konuya hakim insanlardan da fikir alabilirsiniz kolay gelsin.

Programı yazarken stackoverflow okadar çok işimi gördüki neredeyse aldığım her hatanın benzerleri vardı reddit e hiç bakmadım orayıda bi incelerim

 

[Falcondtr]

Programı yazarken stackoverflow okadar çok işimi gördüki neredeyse aldığım her hatanın benzerleri vardı reddit e hiç bakmadım orayıda bi incelerim

Redditte soru cevabı bulmak biraz daha zor ancak kod hatasından ziyade mantıksal sorunlar veya kodlarken tıkandığınızda daha genel yazabileceğiniz bir yer orada da alanında bilgili insanlar mevcut yine de elde bulundurmakta fayda var

 

[ZayruS010]

Boyut ne kadar? Multiprocessing kütüphanesi gayet güzel paralel olarak çekebilmelidir. Mesela request edeceğin adresler 'adresler' array'inde olsun...

import multiprocessing as mp
#bu yapacağın işlem olsun. Yani verinin çekilmesi+işlenmesi
def VeriyeYaptiginIslem(adres)
  .....
  .....
  return ..... #İşlenmiş veriyi return edeceğiz. Böylece sonucu bir array olarak alacağız.
#Multiprocessing pool'u hazırlarız. İşlemci sayınız kadar olması hemen hemen her zaman için en optimize olanıdır.
pool=mp.Pool(mp.cpu_count())
sonuc=pool.map(VeriyeYaptiginIslem,[adres for adres in adresler])
pool.close()

Tam olarak bu sayfalardan çektiğin veriye ne yapacağını bilirsem daha ayrıntılı bir cevap verebilirim.

Hocam bunu denedim ama hızlanmadı hatta daha yavaş kaldı bile diyebilirim
modül anladığım kadarıtla bilgisayarın işlemcilerini kullanıyo 4er 4 er işleme sokuyo adresleri

 

[zztri]

Hocam bunu denedim ama hızlanmadı hatta daha yavaş kaldı bile diyebilirim
modül anladığım kadarıtla bilgisayarın işlemcilerini kullanıyo 4er 4 er işleme sokuyo adresleri

O zaman internet bağlantın bottleneck... Yapabileceğin bir şey yok. İnternetini hızlandıracaksın.

Edit: Html kodunu nasıl parse ediyorsun? htmlparser filan yavaştır. Eğer spesifik bir text alıyorsan regexp ile çekip alırsan hızlanır. Hatta gaza gelip requestleri stream edersin, ihtiyacın olan kısım geldiği anda stream'i kapatır sonrakine geçersin, mesela sayfa 1k ise, sen 300. byte'tan itibaren bulmuşsan aradığını, geri kalan 700 byte da kâr kalır.

Hani geçen zamanı debug ekranına yazdırarak ne kadar zamanı veriyi çekmeye, ne kadar zamanı ise işlemeye ayırıyormuş bir baksan anlarsın.

 

[ZayruS010]

O zaman internet bağlantın bottleneck... Yapabileceğin bir şey yok. İnternetini hızlandıracaksın.

hocam sayaç koyup ikisini birden denedim bayağı hızlanmış ilk başta farkedememiştim çok teşekkürler
konu kapanabilir

 

[zztri]

hocam sayaç koyup ikisini birden denedim bayağı hızlanmış ilk başta farkedememiştim çok teşekkürler
konu kapanabilir

Edit ettim. Devamını da oku istersen... Hala daha hızlandırabilirsin duruma göre...

 

[ZayruS010]

Edit ettim. Devamını da oku istersen... Hala daha hızlandırabilirsin duruma göre...

devamı görünmüyo hocam başka konudan alıntıysa link atarmısnız bakıyım

 

[zztri]

O zaman internet bağlantın bottleneck... Yapabileceğin bir şey yok. İnternetini hızlandıracaksın.

Edit: Html kodunu nasıl parse ediyorsun? htmlparser filan yavaştır. Eğer spesifik bir text alıyorsan regexp ile çekip alırsan hızlanır. Hatta gaza gelip requestleri stream edersin, ihtiyacın olan kısım geldiği anda stream'i kapatır sonrakine geçersin, mesela sayfa 1k ise, sen 300. byte'tan itibaren bulmuşsan aradığını, geri kalan 700 byte da kâr kalır.

Hani geçen zamanı debug ekranına yazdırarak ne kadar zamanı veriyi çekmeye, ne kadar zamanı ise işlemeye ayırıyormuş bir baksan anlarsın.

 

[ZayruS010]

mantığı anladım araştırıp denerim çok teşekkürler