Osint-Spiderfoot

22 May 2019
73
26
internetli
71kcx0k.png


Herkese merhaba THT ailesi.

Bugün sizlere “Cyber Security” Alanında çokca kullanılan “Osint tools – Spiderfoot” hakkında bilgi paylaşımı yapacağım.

Ana konumuza geçmeden önce, konumuza ön bilgi olabilecek “Web Uygulamalarının Çalışma Mantığı Ve Güvenliği” ve “İnternet Nedir? Nasıl Çalışır?” hakkında kısa bir bilgiler vererek başlayacağım.

3e7w4r7.png



Artan teknolojik gelişmelerle internetin kullanımı yaygınlaşmış ve her türlü bilgiye kolaylıkla erişim internet aracılığı ile mümkün hale gelmiştir. İnternet’in yaygınlaşması ile web siteleri üzerinden birçok alanda hizmet alınmaya başlandı. Kurumsal firmalarda dijital ortamda işlerini yürütmeye başladı akabinde gerek bireysel gerek kurumsal firmaların web siteleri üzerinden işler halledilmeye başlandı. Bu işlemlerle birlikte ortaya çıkan tehdit ve tehlikelerde de artışlar gözlenmektedir. Bu ortamlar kişi veya kurumların çok önemli bilgilerini içermektedir bu yüzden kişisel bilgilerin korunması ve güvenliğin sağlanması çok önemli bir hal almıştır. İnternet kullanıcılarının web siteleri üzerinde yaptığı etkileşimler sonucunda kişisel bilgilerini paylaşmaları gerekebilmekte bu kişisel veya kurumsal bilgiler internet saldırganları tarafından kötü amaçlar doğrultusunda çeşitli yöntemlerle elde edilerek kullanılabilmektedir. Web uygulamaları üzerinde meydana gelen bu saldırılar geliştiricilerin ilgisiz ve bilgisiz tutumlarından kaynaklanmaktadır. Ortaya çıkan illegal işlemler sadece birey veya kurum odaklı olmayıp Devlet yönetimi, ekonomisi gibi daha birçok alanda büyük çapta zararlara neden olmaktadır. Web uygulamalarında meydana gelen zafiyetleri daha iyi anlamak adına çalışma prensipleri açıklanırsa: Web siteleri statik ve dinamik olmak üzere türdedir. Günümüzde statik web siteleri yerine dinamik tabanlı web siteleri daha çok tercih edilmektedir. Dinamik web siteleri kullanıcılardan gelen istekleri içermektedir ve 3 katmanlı bir yapıya sahiptir.

mt1c6qr.png


Burada belirtilen katmanlardan kısaca bahsedecek olursak;
1. katman : web siteleri üzerinde taleplerin başladığı web tarayıcılar bulunur. Bu tarayıcılar ile kullanıcılar sunucuya taleplerini gönderirler.

2.katman : Talep ettiğimiz istekler doğrultusunda sayfaların üretildiği uygulama katmanıdır.


3.Katman : Web uygulamalarının kullandığı verilerin depolandığı veri tabanını içeren katmandır.

Web tarayıcına gelen talepler web uygulamalarına iletildikten sonra veri tabanı sorgu işleminden sonra istenilen sayfaya erişilir. Web sitelerinin bu esnekliğinden dolayı birçok güvenlik tehditleri meydana gelmektedir.

94kq67p.png


İnterneti genel olarak tanımlarsak, birbirine bağlı bilgisayar ağlarının hepsini bir arada kapsayan dinamik yapılı büyük bir ağdır. Bu bilgisayarlar arasındaki bağlantılar, eski moda bakır kabloların, fiber optik kabloların, kablosuz radyo bağlantılarının ve uydu bağlantılarının bir karışımıdır.

İnternet aslen donanım (hardware) ve protokol dediğimiz iki temel bileşenden oluşur. Çalışmasını sağlayan da işte bu iki temel bileşendir.

Protokol Nedir?


Bir protokol, bilgisayarların birbirleriyle bir ağ üzerinden nasıl iletişim kuracaklarını belirleyen bir dizi kural sistemidir. Buna bir örnek olarak, birden fazla protokolü bünyesinde bulunduran ve en popüler olan iki protokolünden ikisinden alan TCP (Transmission Control Protocol)/ IP (Internet Protocol) protokol ailesi verilebilir. Protokol ailesi denilerek, TCP/IP dediğimizde içerisinde http, ftp gibi başka protokolleri de bulundurduğu anlatılmak istenilir.



TCP/IP protokolleriyle verinin ağ üzerinden nasıl paketlenileceği, iletilen verinin nasıl denetleneceği belirlenir. IP kısmı verinin gönderileceği adresin elde edilmesidir. TCP ise IP adresi bulunduktan sonra verinin iletiminden sorumlu kısımdır.







TCP/IP ve OSI Katmanları’na bir örnek



3yub3i0.png




CP/IP’nin yanı sıra, 7 katmanlı OSI (Open Systems Interconnection) de bilindik bir protokoldür. İkisi de ağ iletişiminin kullanılması için kullanılan kavramsal modeller olsa da birbirlerinden farklı katman sayıları, işleyişleri vardır ve TCP/IP daha yaygın bir protokoldür.



Özet olarak:



Diyelim ki bu yazıyı görüntülemek için bu siteye girmek istiyorsunuz. İlk başta tarayıcınız üzerinden internet servis sağlayıcınıza (ISP), yani internet bağlantısını sağlayan kuruma IP adresiniz gibi gerekli bilgilerle birlikte istek gönderilir. Servis sağlayıcılarına Türkiye için Telekom, Türksat , Vodafone veya Turkcell vb. kurumları örnek verebiliriz.

Tarayıcı ulaşmak istediğiniz sitesinin alan adı sunucusunu (DNS- Domain Name Server) bir IP adresine çevirir. Ardından, tarayıcınız sitenin sunucusuna TCP isteği gönderir ve sunucu buna ya veriyi göndermeyi onaylayarak ya da “404 Not Found” olarak bildiğimiz cevabı göndererek tepki verir. Bu isteğin onaylanmasıyla iletişim başlamış olur. Bilgi yani veri, nereye gideceği gibi bilgileri içeren başlıklara sahip olan paketler haline getirilir.Taşıma katmanına geldiğimizde paketler TCP protokolüne göre iletilir. İlk olarak yerel yönlendiriciye, daha sonra da başka yönlendiricilere (routers) iletilerek bir yönlendirici zinciri oluşturulur. Paketler hedef noktaya ulaştıklarında, tarayıcının paketlerdeki tüm bu kelimelerin ve görüntülerin bizim tarafımızdan okunabilir bir hale dönüşmesini sağlar.







Şimdi Ana konumuz olan SPIDERFOOT ile devam edelim.



iyeev0m.png




dxjdnbv.png




Open Source Intelligence kelimelerinin kısaltması olarak tanımlanan OSINT, Türkçede Açık Kaynak İstihbaratı manasına gelmektedir.Pasif bilgi toplama aracıdır.Hedefle birebir yakın temasa geçmeden arkada iz bırakmadan , hedef hakkında bilgi edinme faaliyetini pasif bilgi toplama olarak tanımlayabiliriz.



OSINT herhangi bir gizlilik gerektirmeyen, kamuoyuna açık, belirli bir amaç için toplanan bilgilerin ayrıştırılıp analiz edilerek elde edilen istihbarat faaliyetleri olarak tanımlanır.








OSINT’in Avantajları

  • Tamamı olmasa da çoğu OSINT aracının ücretsiz olmasından dolayı bilgi toplama aşamasında yüksek bütçe gerektirmez, maliyeti azaltır.​
  • Hedef ile direkt temas kurulmadığından dolayı gizlilik ve güvenlik açısından korunma ihtiyacı gerektirmez. Bundan dolayı sızma testlerinde ek zaman kazancı sağlar.​

OSINT İle Neler Yapılabilir?

  • Sosyal medya hesaplarının taranması.​
  • Alan adları ile DNS adresi bilgilerinin keşfedilmesi ve mail adreslerinin tespit edilmesi.​
  • Kişisel veya kurumsal blogların izlenip analiz edilerek hedef kullanıcının etkinliklerinin gözden geçirilmesi.​
  • Google,Bing,Yahoo vb arama motorlarının kullanılarak bilgilerin incelenmesi.​
  • Önemli bilgileri ortaya çıkarmak,fikir sahibi olmak için web sitelerinin eski sürümlerini bünyesinde bulunduran Waybak Machine vb. kaynaklar incelenebilir.​

OSINT Araçları’nın Gerekliliği



Örneğin tüm sosyal medyalarda hedefe yönelik kullanıcı adı taraması yapmak istiyorsunuz.Tek tek bütün sosyal medyaları gezip tarama yapmak oldukça vakit çalar ki bilmediğiniz sosyal medyalar olabilir.OSINT araçlarına ihtiyaç duymamızın ana nedeni budur çünkü yukarıda bahsedilen işlem bu araçlar kullanılarak saniyeler içinde yapılabilir.



OSINT Araçları



OSINT Framework : İçerisinde çeşitli birçok aracı barındırır.Hedefe ait kullanıcı adı,e-posta,IP adresi telefon numarası,arama motoru,forum veya blog,metadata taramaları yapabilmeyi destekler.



fswu8hi.png




Maltego: Maltego, Paterva tarafından geliştirilmiş açık kaynaklı istihbarat toplamak ve analiz etmek için kullanılan popüler bir araçtır.Çeşitli kaynaklardan kolayca bilgi toplayabilir ve grafiksel sonuçlar üretmek için çeşitli dönüşümleri kullanabilir.



ozlvey9.jpg




Shodan: Shodan tıpkı Google gibi bir arama motorudur.Fakat Google'dan farklı olarak bir güvenlik araştırmacısına daha mantıklı gelecek sonuçlar gösterecektir.Shodan, ağa bağlanan varlıklar hakkında size birçok bilgi sağlar.Bunlar bilgisayarlar,dizüstü bilgisayarlar,web kameraları ve çeşitli IoT cihazları olabilir.



h98uvy6.jpg




Google Dorks: Google'da yapacağımız basit bir aramayla birlikte önümüze yüzlerce sayfa sonuç dönecektir.İşte Google Dorks sayesinde yapacağımız aramayı filtreleyip sadece verdiğimiz parametrelere yönelik daha az ama daha işe yarar sonuçların dönmesini sağlarız.En çok kullanılan Google Dorklardan bazıları şunlardır ;

  • Allintext: Verilen tüm terimleri içeren sonuçları listeler.​
  • Intext: Verilen tüm terimleri sayfa içeriğinde arar.​
  • Inurl: Verilen kelime veya kelime grubunu URL adresinde içeren sonuçları listeler.​
  • Allinurl: Verilen tüm terimleri içeren URL adreslerine sahip sonuçları listeler.​
  • Intitle: Verilen kelime veya kelime grubunu başlık olarak barındıran sonuçları listeler.​
  • Allintitle: Verilen tüm terimleri başlığında barındıran sonuçları listeler.​
  • Site: Spesifik bir internet sitesi belirtirken kullanılır.​
  • Filetype: Spesifik bir dosya türü belirtirken kullanılır.​
Örneğin herhangi bir konudaki pdf kaynaklara erişmek istediğimizde google arama kısmına:



filetype:pdf intext:erişilmek istenilen veri türü



86l5830.png




The Harvester: The Harvester ,Kali Linux işletim sisteminin bir parçasıdır.Pasif bilgi toplarkan açık kaynak istihbaratı için çok tercih edilen bir araçtır.Harvester kullanarak e-posta adresi,kullanıcı adları,alt alanlar,IP'ler,domain bilgilerini toplayabiliriz.



1f0oblt.jpg




Diğer OSINT araçları:



Recon-Ng



Recon-ng, hedef hakkında internet üzerinden bilgi toplamaya yarayan ve sonuçlarını raporlayan web tabanlı keşif aracıdır.








std9dt4.png



TinEye



Ücretsiz ve güçlü bir tersine görsel arama aracı olan TinEye, internette aynı veya benzer bir görselin yayınlanıp yayınlanmadığını bulmanıza yardımcı oluyor.


mze1k6v.jpg




Metagoofil



Metagoofil aracı, exiftool gibi resim, ses veya video kayıtları üzerinden değil domain adresleri üzerinden metadata toplayan bir araçtır. Mesela hedef sistem üzerinde doküman arama işlemini gerçekleştirebiliriz. pdf, doc, xls, ppt, odp, ods, docx, xlsx, pptx dosya uzantılarını aramayı desteklemektedir.


l05gpq0.png




SpiderFoot

6mtwgn4.png



Searchcode

26iuepm.png



Exiftool



ExifTool, görüntü, ses, video ve PDF meta verilerini okumak, yazmak ve işlemek için ücretsiz ve açık kaynaklı bir yazılım programıdır. Platformdan bağımsızdır, hem Perl kitaplığı hem de komut satırı uygulaması olarak mevcuttur.


2wz2snb.png




Dig,Nslookup ve WHOIS gibi çeşitli DNS yardımcı programları.




dttep5n.png



SpiderFoot, ilk kez 2005 yılında piyasaya sürülen bir masaüstü uygulaması olarak “Steve Micallef”tarafından Python ile geliştirildi. Yalnızca beş veri kaynağını sorgulamasına ve ardından yıllarca el değmeden kalmasına rağmen, o zamanlar bile oldukça popülerdi. Hedefiniz hakkında bilgi toplamak için tek bir arayüze sahip olmanın güvenlik profesyonelleri için çok faydalı olacağı fikrinden doğdu ve aynı motivasyonla günümüze kadar gelişmeye devam etti.



Bugün, tipik bir kuruluşun saldırı yüzeyi şirket içi altyapı, çoklu bulut platformu hizmetleri, SaaS platformları ve uzak iş-ev cihazları ve ağlarındaki artış nedeniyle dağıtılmıştır. Buna, İnternet'i sürekli olarak tarayan ve bulunan güvenlik açıklarını yayınlayan artan sayıda hizmetin yanı sıra rapor edilen neredeyse günlük veri ihlallerini toplayan ve analiz eden hizmetleri ekleyin. İyi ya da zarar için kullanılmayı bekleyen OSINT verileri hazineleriyle baş başa kaldık.



Savunucuların (ayrıca kırmızı ekiplerin(saldırı timleri)) bu verileri bulmak ve kendi kuruluşları, müşterileri veya rakipleri olsun, hedefin güvenlik durumu hakkında akıl yürütmelerine yardımcı olacak şekilde anlaşılır hale getirmek için araçlara ihtiyacı vardır.



Tam anlamı ile Spıderfoot : Belirli bir hedef hakkında istihbarat toplama sürecini otomatikleştirme işlevi olan bir OSINT (Açık Kaynak İstihbarat) otomasyonu ve keşif aracıdır. (IP adresi, alan adı, ana bilgisayar adı, ağ alt ağı, ASN, vb.)



DNS, Whois, Web sayfaları, pasif DNS, spam kara listeler, dosya meta verileri, tehdit istihbarat listeleri ve hizmetler gibi herhangi bir hedef hakkında bilgi toplamak için kara kutu pentest sürecinde kullanabileceğiniz bir OSINT otomasyon aracıdır.











ij2hqde.png


  • Web tabanlı UI (user interface) veya CLI (command line interface)
  • 200’den fazla modül
  • Python 3 ile çalışır
  • CSV / JSON / GEXF dışa aktarma
  • API anahtarı dışa / içe aktarma
  • Özel sorgulama için SQLite arka ucu
  • Son derece yapılandırılabilir
  • Tamamen belgelenmiş
  • Görselleştirmeler
  • Dark web araması için TOR entegrasyonu
  • Docker tabanlı dağıtımlar için Dockerfile
  • DNSTwist, Whatweb, Nmap ve CMSeeK gibi diğer araçları çağırabilir

bo4z68v.png








Bir SpiderFoot taramasında aşağıdaki varlıkları hedefleyebilirsiniz:
  • IP adresi
  • Etki alanı / alt etki alanı adı
  • Hostname
  • Ağ alt ağı (CIDR)
  • ASN
  • E-mail adresi
  • Telefon numarası
  • Kullanıcı adı
  • Kişinin adı



SpiderFoot’un 200’den fazla modülü, aşağıdakileri yapmak ve maksimum veri çıkarma sağlamak için kullanır:
  • Ana bilgisayar / alt alan / TLD numaralandırma / çıkarma
  • E-posta adresi, telefon numarası ve insan adı çıkarma
  • Bitcoin ve Ethereum adres çıkarma
  • Alt alan adının ele geçirilmesine karşı duyarlılığı kontrol edin
  • DNS bölge aktarımları
  • Tehdit bilgisi ve Kara liste sorguları
  • SHODAN, HaveIBeenPwned, GreyNoise, AlienVault, SecurityTrails vb. İle API entegrasyonu
  • Sosyal medya hesap numaralandırma
  • S3 / Azure / Digitalocean kova numaralandırma / kazıma
  • IP coğrafi konumu
  • Web kazıma, web içeriği analizi
  • Görüntü, belge ve ikili dosya meta veri analizi
  • Dark web aramaları
  • Bağlantı noktası tarama ve afiş yakalama
  • Veri ihlali aramaları




fsjvfmq.png




SpiderFoot’u kurmak ve çalıştırmak için en az Python 3.6’ya ve pip ile kurabileceğiniz bir dizi Python kitaplığına ihtiyacınız var. Ana sürümde genellikle tam olarak test edilmemiş son teknoloji özelliklere ve modüllere sahip olacağından, paketlenmiş bir sürüm kurulması önerilir.



SpiderFoot'u Kali Linux içinde çalıştırmak için şu adımları izleyin:



Kali Linux'u kurulum veya Canlı önyükleme olarak başlatın.



Terminali çalıştırın.



Çalıştır: spiderfoot -l 127.0.0.1:5009



Kali'de tarayıcı’yı açın ve http://127.0.0.1:5009 adresine gidin.



5py3nj4.png




Spiderfoot ile hedef sistem hakkında istediğimiz bilgiyi belirli bir modül kullanarak elde edebiliyoruz. Bunu yaparken spiderfoot dizinindeki sf.py dosyasını komut satırında python ile çalıştırıp loopback ip adresimizde çalıştırıp 5001 numaralı porttan dinliyoruz ve ardından komut satırında tekrar sfcli.py dosyasını çalıştırıyoruz. Bunu modüller komutu ile modül isimlerini ve özelliklerini listelediğimizde yapabiliriz.




sfcli.py dosyasını python aracılığı ile çalıştırdık ve modules komutu ile birlikte modul listeleme’yi gerçekleştirdik.



Burada
-m seçeneği ile modüller arasından sfp_dnsresolve modülünü seçip -s seçeneği ile hedefi belirterek komut satırında çalıştırdığımızda modülün fonksiyonunda belirtilen tanımlı hostları ve ip adreslerini çözmeye çalıştı.



Görüldüğü gibi burada
-t seçeneği ile e-posta adreslerini hedef alan adına algılama, -f ve -x ile hedef ile direkt olarak ihtiyaç duyulan modül üzerinden filtreleme ve - ile kayıt tutma için kendine ait bir modül -q devre dışı bırakıldı.


Tarama Çalıştırma



İlk çalıştırmada Spiderfoot geçmiş verileri olmaz.



Bir tarama başlatmak için üst menü çubuğundaki
'Yeni Tarama' düğmesine tıklayın.Daha sonra taramanız için bir ad (bunlar benzersiz değildir) ve bir hedef (ayrıca benzersiz değildir) tanımlamanız gerekecektir:



Ardından, kullanım durumuna (varsayılan olarak seçilen sekme), gerekli verilere veya modüle göre taramayı nasıl çalıştırmak istediğinizi tanımlayabilirsiniz.



Modül tabanlı tarama, farklı modül sağlayıcılarının davranış ve verilere aşina ile tarama üzerinde daha fazla kontrol sahibi olmak ileri düzey kullanıcı bilgileri gerektirir.



Modül taramasında bağımlılık denetimi yapılmaz, sadece gerekli verilere göre tarama yapılır.




Tarama sonuçları



'Taramayı Çalıştır'ı tıkladığınız andan itibaren, taramanızı neredeyse gerçek zamanlı olarak izlemek için bir ekrana yönlendirileceksiniz:



Bu ekran, şu ana kadar elde edilen verilerin dökümünü gösteren bir grafik ve SpiderFoot ve modülleri tarafından oluşturulan günlük mesajlarından oluşur. Grafikler sizi veri tür\türleri için sonuç tablosuna iletir.










Bir tarama için 'Gözat' düğmesine tıklayarak, verilere türe göre göz atabilirsiniz:



Bu veriler dışa aktarılabilir ve aranabilir. Arama yardımları için Arama kutusunu tıklayın. Gerçek veriler için veri türlerinden birini seçin.



Görüntülenen alanlar aşağıdaki şekilde açıklanmıştır:


  • Onay kutusu alanı: Alanları yanlış pozitif olarak ayarlamak/ayarını kaldırmak için bunu kullanın. En az biri işaretlendiğinde, kaydı ayarlamak/ayarını kaldırmak için yukarıdaki turuncu Yanlış Pozitif düğmesine tıklayın.​
  • Veri Öğesi: Modülün hedefiniz hakkında elde edebildiği veriler.​
  • Kaynak Veri Öğesi: Modülün, veri toplaması için temel olarak aldığı veriler. Yukarıdaki örnekte, sfp_portscan_tcp modülü açık bir bağlantı noktasıyla ilgili bir olay aldı ve bunu, o bağlantı noktasındaki başlığı elde etmek için kullandı.​
  • Kaynak Modülü: Bu verileri tanımlayan modül.​
  • Tanımlandı: Veriler modül tarafından tanımlandığında.​




Yanlış Pozitif Ayarlama



Sürüm 2.6.0, veri kayıtlarını yanlış pozitifler olarak ayarlama yeteneğini tanıttı. Önceki bölümde bahsedildiği gibi, kayıtları yanlış pozitif olarak ayarlamak/ayarını kaldırmak için onay kutusunu ve turuncu düğmeyi kullanın.



Kayıtları yanlış pozitif olarak ayarladıktan sonra, bu kayıtların yanında bir gösterge göreceksiniz ve bunları aşağıda gösterildiği gibi görünümden filtreleyebilirsiniz:




NOT : Kayıtlar yalnızca bir tarama bittiğinde yanlış pozitif olarak ayarlanabilir. Bunun nedeni, bir kaydın yanlış pozitif olarak ayarlanması, tüm alt veri öğelerinin de yanlış pozitif olarak ayarlanmasıyla sonuçlanır. Tarama hala devam ediyorsa, bu açıkça yapılamaz ve bu nedenle arka uçta tutarsız bir duruma yol açabilir. Kullanıcı arabirimi bunu yapmanızı engelleyecektir.



Bir kaydın yanlış pozitif olarak ayarlanmasının sonucu, veri tablosu görünümündeki ve dışa aktarılan gösterge dışında, bu tür verilerin düğüm grafiklerinde gösterilmemesidir.




Arama Sonuçları



Sonuçlar, tüm tarama düzeyinde veya ayrı ayrı veri türleri içinde aranabilir. Aramanın kapsamı, o sırada bulunduğunuz ekrana göre belirlenir.



Arama alanını seçerken açılan kutunun gösterdiği gibi, aşağıdaki gibi arama yapabilirsiniz:


  • Tam değer: Belirli bir değer için joker olmayan arama. Örneğin, bulunmayan tüm sayfaları görmek için HTTP Durum Kodu bölümünde 404'ü arayın.​
  • Kalıp eşleştirme: Kalıpları bulmak için basit joker karakterleri arayın. Örneğin, 22 numaralı bağlantı noktasının tüm açık örneklerini görmek için Açık TCP Bağlantı Noktası bölümünde *:22'yi arayın.​
  • Normal ifade aramaları: Normal ifadeye göre arama yapmak için dizginizi '/' içine alın. Örneğin, tarama sonuçlarınızda IP adresi gibi görünen herhangi bir şey bulmak için​
    '/\d+.\d+.\d+.\d+/'​
    ifadesini arayın.​

Taramaları Yönetme



Birikmiş geçmiş göz atma verileriniz olduğunda, bunları yönetmek için 'Taramalar' bölümündeki listeyi kullanabilirsiniz:



Filtre açılır seçimini değiştirerek gösterilen taramaları filtreleyebilirsiniz. Yeşil simgeler dışındaki tüm simgeler, onay kutularını işaretlediğiniz taramalar için geçerlidir.








Tor Entegrasyonu



Giriş



Keşif/ayak izi yürütmeyle ilgili en ilginç şeylerden biri, hedefiniz hakkında internetteki çok sayıda ve çeşitli veri kaynaklarından akmaya başlayan bilgi zenginliğidir. Keşfi manuel olarak gerçekleştirmek zaman alıcıdır ve genellikle sıkıcıdır, ancak bunu otomatikleştirmenin de zorlukları vardır:

  • Birçok arama motoru, CAPTCHA'ları gösterecek veya otomatik etkinlikten şüphelendiklerinde sizi engelleyecektir.​
  • Hedefinize bilgi topladığınıza dair erken bir işaret vermemek için keşif sırasında kimliğinizi korumak isteyebilirsiniz.​
Tor'un çok kullanışlı olduğu yer burasıdır ve bu yazıda biraz Tor hakkında, SpiderFoot'un onunla nasıl bütünleştiğini ve keşif sonuçlarınızı iyileştirmek için SpierFoot 2.5.0'daki bu yeni yeteneği nasıl kullanabileceğinizi açıklayacağım.



Tor nedir?



Tor web sitesinden alınan Tor ağı:



… insanların İnternet'teki gizliliklerini ve güvenliklerini geliştirmelerine olanak tanıyan, gönüllü olarak işletilen bir grup sunucu. Tor kullanıcıları bu ağı doğrudan bağlantı kurmak yerine bir dizi sanal tünel üzerinden bağlanarak kullanırlar, böylece hem kuruluşların hem de bireylerin kamuya açık ağlar üzerinden gizliliklerinden ödün vermeden bilgi paylaşmalarına olanak tanır...



Tor ağını kullanmak, temelde SOCKS uyumlu bir proxy görevi gören istemci yazılımını kurmak ve SOCKS özellikli istemcinizden (örn. bir web tarayıcısı) TCP bağlantılarını proxy yapmak kadar basittir. Bağlanmakta olduğunuz hedef sunucu IP adresinizi görmez, bunun yerine Tor ağındaki diğer düğümlerden geçtikten sonra bağlantınızın yönlendirildiği Tor "çıkış düğümü"nün IP adresini görür (Tor çıkış düğümü bile görmez) IP adresinizi bilin). Tor ağındaki bu atlama grubu, "Tor devreniz" olarak bilinir ve her on dakikada bir otomatik olarak değiştirilir.



Tor yapılandırmanıza bağlı olarak, Tor istemcisi iki bağlantı noktasını dinleyecektir - biri proxy bağlantısı için ve diğeri kontrol komutlarını kabul etmek için. Kontrol bağlantı noktası, SpiderFoot tarafından devrenin yenilenmesini talep etmek için kullanılır ("yeniden devre kurma" olarak adlandırdığım şey).




Çalışan Tor



Tor'u yükleme ve yapılandırmayla ilgili zengin bilgiler web'de mevcuttur, ancak SpiderFoot ile amaçlarınız için, Tor istemcisini indirip çalıştırmanız ve SpiderFoot'un kontrol edebilmesi için kontrol bağlantılarını etkinleştirmeniz yeterlidir.



NOT: Tor, SpiderFoot ile kullanmak zorunda OLMAYAN bir "Tor Tarayıcı" sunar - Tor "bağımsız" istemciye ihtiyacınız vardır.



Linux/BSD için


• Tor indirme sayfasına gidin ve platformunuz için paketi indirin.



• Paketi sağlanan talimatlara göre derleyin/yükleyin.



• Tor'u şu şekilde çalıştırın:



• tor --SocksPort 9050 --ControlPort 9051



• İşlemden elde edilen çıktı, tüm hataları ve genel durum güncellemelerini belirtmelidir, ancak bunun gibi bir mesaj, kurulumun başarıyla yapıldığını gösterir:



• [notice] Tor has successfully opened a circuit. Looks like client functionality is working.



Pencereler İçin:


• Tor indirme sayfasına gidin, Windows'a tıklayın ve ardından Expert Bundle'ı indirin. “Tor Tarayıcı”yı indirmeyin!



• Paketi seçtiğiniz bir dizine açın, Windows komut satırını açın ve sıkıştırılmış paketin “Tor” dizinine geçin.



• Tor'u şu şekilde çalıştırın:



• tor --SocksPort 9050 --ControlPort 9051


Görev Yöneticisi'ni kullanarak her iki bağlantı noktasında da çalıştığını ve dinlediğini kontrol edin ve ardından
netstat, her iki bağlantı noktasını da dinlediğini belirtmelidir:



C:\Tor>netstat /na | findstr 905



TCP 127.0.0.1:9050 0.0.0.0:0 LISTENING



TCP 127.0.0.1:9051 0.0.0.0:0 LISTENING




Tor için SpiderFoot'u Yapılandırma







SpiderFoot'ta Tor'u etkinleştirmek için Ayarlar menüsüne ve ardından Global sekmesine gidin. Aşağı kaydırın ve aşağıdaki seçenekleri göreceksiniz:



Burada açıklanan her seçenek:



• SOCKS Sunucu Türü : Değeri 'TOR' (tırnak işaretleri olmadan) olarak ayarlamanız yeterlidir.



• SOCKS Sunucu IP Adresi : Yukarıdaki kısımdan Tor sunucunuzun dinlediği IP Adresi olmalıdır. Farklı bir şekilde yapılandırmadıysanız, bu genellikle 127.0.0.1 olacaktır.



• SOCKS Sunucusu TCP Bağlantı Noktası : Tor'un proxy için kullanması için yukarıdaki bölümde ayarladığınız bağlantı noktası.
Varsayılan Tor proxy bağlantı noktası 9050'dir.



• SOCKS Proxy'sinden DNS geçirilsin mi? : Bu, SOCKS'a özgü bir seçenektir ve proxy'niz olarak Tor kullanıldığında geçerli değildir. Tor söz konusu olduğunda, Tor'dan geçen tüm istekler yerel olarak değil, Tor hizmeti aracılığıyla çözümlenir. Bununla birlikte, genel olarak DNS ile ilgili aşağıdaki uyarıya bakın.



• Tor'un kontrol komutlarını aldığı bağlantı noktası : Önceki bölümde açıklandığı gibi, bu, Tor'un kontrol komutlarını dinlediği bağlantı noktasıdır ve SpiderFoot'un gerektiğinde yeniden devre yapması talimatını vermesini sağlar. Yukarıdaki talimatlara göre, bu 9051 olacaktır.



• Bu ayarları değiştirdikten sonra Değişiklikleri Kaydet düğmesine tıklayın ve taramanızı Tor üzerinden yapmaya hazırsınız. Tor ile ilgili olabilecek hataları görmek için taramanız için SpiderFoot günlüklerini kontrol edin.


Uyarı : Çok kritik bir uyarı, Tor kullanımının yalnızca TCP bağlantısı için geçerli olmasıdır çünkü Tor açıkça UDP'yi desteklemez ve bu nedenle doğrudan SpiderFoot'un sfp_dns modülü tarafından gerçekleştirilen herhangi bir DNS araması doğrudan yapılandırılmış DNS sunucunuza gider.




O Nasıl Çalışır?



Çeşitli SpiderFoot modülleri, çeşitli istihbarat kaynakları (örn. Google, Bing, vb.) tarafından CAPTCHA'lar veya diğer engellemeler uygulandığında bunu algılayacak mekanizmalara sahiptir. SpiderFoot bunu algıladığında, Tor'a bir NEWNYM komutu göndermek için Stem kitaplığını kullanır. Tor daha sonra sonraki bağlantılar için yeni bir devre kurar. SpiderFoot, pes etmeden önce devreleri üç defaya kadar değiştirmeye çalışacaktır.







Modüller



Genel Bakış



SpiderFoot, tüm veri toplamayı modüler hale getirdi. Bir modül bir veri parçası keşfettiğinde, bu veri işlenmek üzere o veri türüyle 'ilgilenen' diğer tüm modüllere iletilir. Bu modüller daha sonra yeni verileri tanımlamak için o veri parçası üzerinde hareket edecek ve ardından ilgilenebilecek diğer modüller için yeni olaylar üretecek ve bu böyle devam edecek.



Örneğin,
sfp_dnsresolve ilgili tüm modüllere bildirimde bulunarak hedefinizle ilişkili bir IP adresi tanımlayabilir. İlgili modüllerden biri, bu sfp_ripe IP adresini alacak ve parçası olduğu netblock'u, BGP ASN'yi vb. tanımlayacak olan modül olacaktır.



Bu, modül koduna bakarak en iyi şekilde gösterilebilir. Örneğin
sfp_names modül, insan adlarını tanımlamak için TARGET_WEB_CONTENT ve EMAILADDR olaylarını arar:



# Bu modül giriş için hangi olaylarla ilgileniyor?



# * = tüm etkinliklerden haberdar olun.



def watchedEvents(self):



return ["TARGET_WEB_CONTENT", "EMAILADDR"]







# Bu modülün ürettiği olaylar



# Bu, son kullanıcıyı olaylara göre modül seçme konusunda desteklemek içindir.



# üretilmiş.



def producedEvents(self):



return ["HUMAN_NAME"]



Bu arada, her olay bir modülde oluşturulduğundan, kullanıcı arabiriminde raporlama ve görüntüleme için SpiderFoot veritabanına da kaydedilir.




Modül Listesi



Tüm SpiderFoot modüllerinin bir listesini görmek için şunu çalıştırın sf.py -M:



~/spiderfoot$ python3 ./sf.py -M



Veritabanını doğrulamaya ve gerekirse güncellemeye çalışılıyor...



Modules available:




sfp_abusech ile Bir ana bilgisayar/etki alanı, IP veya ağ bloğunun abuse.ch'e göre kötü amaçlı olup olmadığını kontrol edin.



sfp_abuseipdb ile AbuseIPDB.com'a göre bir netblock veya IP'nin kötü amaçlı olup olmadığını kontrol edin.



sfp_accounts ile Ebay, Slashdot, reddit, vb. gibi yaklaşık 200 web sitesinde olası ilişkili hesapları arayın.sfp_adblock Check if linked pages would be blocked by AdBlock Plus.



sfp_ahmia ile Hedef etki alanından bahsetmek için Tor 'Ahmia' arama motorunda arama yapın.



sfp_alienvault ile AlienVault Open Threat Exchange'den (OTX)



bilgi almasfp_alienvaultiprep ile AlienVault IP Reputation veritabanına göre bir IP veya ağ bloğunun kötü niyetli olup olmadığını kontrol edin.



sfp_apility ile IP adresi ve etki alanı itibarı için Arama Beceri API'si.



sfp_archiveorg ile Wayback Machine'deki ilginç dosyaların/sayfaların eski sürümlerini tanımlar.



sfp_arin ile İletişim bilgileri için ARIN kaydını sorgular.



...




Veri Öğeleri



Yukarıda belirtildiği gibi SpiderFoot, her modülün diğer modüllerin dinlediği ve tükettiği veri öğeleri hakkında olaylar ürettiği "olay güdümlü" bir modül üzerinde çalışır.



Veri öğeleri aşağıdaki türlerden biridir:



• IP adresleri, İnternet adları (ana bilgisayar adları, alt alanlar, alanlar),



• port numaraları, URL'ler ve kurulu yazılımlar gibi alt varlıklar ,



• bu varlıkların tanımlayıcıları (kötü amaçlı, fiziksel konum bilgileri, …) veya



• çoğunlukla yapılandırılmamış veriler (web sayfası içeriği, bağlantı noktası başlıkları, ham DNS kayıtları, … )



Mevcut tüm türlerin tam listesini görmek için şunu çalıştırın
sf.py -T:



~/spiderfoot$ python3 ./sf.py -T



Veritabanını doğrulamaya ve gerekirse güncellemeye çalışılıyor...



Types available:



ACCOUNT_EXTERNAL_OWNED Account on External Site



ACCOUNT_EXTERNAL_OWNED_COMPROMISED Hacked Account on External Site



ACCOUNT_EXTERNAL_USER_SHARED_COMPROMISED Hacked User Account on External Site



AFFILIATE_COMPANY_NAME Affiliate - Company Name



AFFILIATE_DESCRIPTION_ABSTRACT Affiliate Description - Abstract



AFFILIATE_DESCRIPTION_CATEGORY Affiliate Description - Category



AFFILIATE_DOMAIN Affiliate - Domain Name



AFFILIATE_DOMAIN_NAME Affiliate - Domain Name



AFFILIATE_DOMAIN_UNRESOLVED Affiliate - Domain Name - Unresolved



AFFILIATE_DOMAIN_WHOIS Affiliate - Domain Whois



AFFILIATE_EMAILADDR Affiliate - Email Address






Modül Yazma



sfp_template.py Bir SpiderFoot modülü yazmak için , hiçbir şey yapmayan bir iskelet modül olan dosyaya bakarak başlayın . Rehberiniz olarak aşağıdaki adımları kullanın:

  • sfp_template.py Modülünüzün adı ne olursa olsun, bir kopyasını oluşturun . Bunu tanımlayıcı bir şey yapmaya çalışın, yani şöyle bir şey​
    sfp_mymodule.py​
    değil, bunun yerine​
    sfp_imageanalyser.py​
    resim içeriğini analiz etmek için bir modül oluşturuyormuşsunuz gibi bir şey yapın.​
  • Yeni modülde XXX'i modülünüzün adıyla değiştirin ve başlıktaki açıklayıcı bilgileri ve modül içindeki yorumu güncelleyin.​

  • Sınıfın yorumu​
    check in sfp_template.py​
    SpiderFoot tarafından kullanıcı arabiriminde modülleri doğru bir şekilde kategorize etmek için kullanılır, bu nedenle onu anlamlı bir şey haline getirin. Örnekler için diğer modüllere bakın.​
  • Olayları , önceki bölümdeki veri öğesi tablosuna göre​
    watchedEvents()​
    ve buna göre ayarlayın.​
    producedEvents()​
    SpiderFoot'ta önceden var olmayan yeni bir veri öğesi üretiyorsanız, bunu veritabanında oluşturmalısınız:​
  • ~/spiderfoot$ sqlite3 spiderfoot.db sqlite> INSERT INTO tbl_event_types (event, event_descr, event_raw) VALUES ('NEW_DATA_ELEMENT_TYPE_NAME_HERE', 'Description of your New Data Element Here', 0, 'DESCRIPTOR or DATA or ENTITY or SUBENTITY');`​
  • Modülün mantığını handleEvent(). Her çağrıya handleEvent() bir SpiderFootEvent nesne sağlanır. Bu nesne içindeki en önemli değerler şunlardır:​
  • eventType: Veri öğesi kimliği ( IP_ADDRESS, WEBSERVER_BANNER, vb.)​
  • data: Gerçek veriler, örneğin IP adresi veya web sunucusu başlığı, vb.​
  • module: Olayı üreten modülün adı ( sfp_dnsresolve, vb.)​
  • Etkinliğinizi oluşturma zamanı geldiğinde, şunun bir örneğini oluşturun SpiderFootEvent:​
  • e = SpiderFootEvent("IP_ADDRESS", ipaddr, self.__name__, event)​
  • Not: event Son değişken olarak iletilen, modülünüzün aldığı olaydır. Spiderfoot,Veritabanındaki veri öğeleri arasında ilişki oluşmasını sağlar.​
  • Etkinlikle ilgilenebilecek tüm modülleri bilgilendirin:​

  • self.notifyListeners(e)​



Veri tabanı



Tüm SpiderFoot verileri, verilerinizin spiderfoot.db analizi için SpiderFoot dışında kullanılabilen bir SQLite veritabanında (SpiderFoot kurulum klasörünüzde) saklanır.



Şema oldukça basittir ve GitHub deposunda görüntülenebilir .



Aşağıdaki sorgular bazı ek ipuçları sağlayabilir:



# SpiderFoot veritabanındaki toplam tarama sayısı



sqlite> select count(*) from tbl_scan_instance;



# Belirli bir tarama için kimliği edinin



sqlite> tbl_scan_instance'tan guid seçin, burada seed_target = 'binarypool.com';



# Number of results per data type



sqlite> select count(*), type from tbl_scan_results where scan_instance_id = 'b459e339523b8d06235bd06087ae6c6017aaf4ed68dccea0b65a1999a17e460a' group by type;



5|AFFILIATE_INTERNET_NAME



2|AFFILIATE_IPADDR



1|CO_HOSTED_SITE



1|DOMAIN_NAME



1|DOMAIN_REGISTRAR



1|DOMAIN_WHOIS



1|GEOINFO



28|HTTP_CODE



48|HUMAN_NAME



49|INTERNET_NAME



2|IP_ADDRESS



49|LINKED_URL_EXTERNAL



144|LINKED_URL_INTERNAL



2|PROVIDER_DNS



1|PROVIDER_MAIL



4|RAW_DNS_RECORDS



1|RAW_FILE_META_DATA



1|ROOT



14|SEARCH_ENGINE_WEB_CONTENT



1|SOFTWARE_USED



16|TARGET_WEB_CONTENT



2|TCP_PORT_OPEN



1|TCP_PORT_OPEN_BANNER



1|URL_FORM



10|URL_JAVASCRIPT



6|URL_STATIC



21|URL_WEB_FRAMEWORK



28|WEBSERVER_BANNER



28|WEBSERVER_HTTPHEADERS






OSNIT - SPIDERFOOT hakkında bazı Youtube videoları :
9 Aşamada Açık Kaynak İstihbaratı Nasıl Gerçekleştirilir? (Türkçe)

Bir hedef hakkında bilgi toplamak için OSINT Spıderfoot nasıl kullanılır?

Linux ve Windows için OpenSource OSINT Spıderfoot

OSINT Spıderfoot Termux Kurulumu

Açık kaynak kodlarına ulaşmak için SPIDERFOOT GİTHUB sayfasını ziyaret edebilirsiniz.
Daha fazla bilgi için Spıderfoot resmi internet sitesine Buradan ulaşabilirsiniz.

Buraya kadar okuduğunuz için teşekkür ederim.
Faydalı olması dileği ile.
Saygılar.

Elinize sağlık mükemmel bir içerik olmuş, teşekkür ederiz🌹
 

JİTEM

Uzman üye
31 May 2020
1,592
382
KATO DAĞI
71kcx0k.png


Herkese merhaba THT ailesi.

Bugün sizlere “Cyber Security” Alanında çokca kullanılan “Osint tools – Spiderfoot” hakkında bilgi paylaşımı yapacağım.

Ana konumuza geçmeden önce, konumuza ön bilgi olabilecek “Web Uygulamalarının Çalışma Mantığı Ve Güvenliği” ve “İnternet Nedir? Nasıl Çalışır?” hakkında kısa bir bilgiler vererek başlayacağım.

3e7w4r7.png



Artan teknolojik gelişmelerle internetin kullanımı yaygınlaşmış ve her türlü bilgiye kolaylıkla erişim internet aracılığı ile mümkün hale gelmiştir. İnternet’in yaygınlaşması ile web siteleri üzerinden birçok alanda hizmet alınmaya başlandı. Kurumsal firmalarda dijital ortamda işlerini yürütmeye başladı akabinde gerek bireysel gerek kurumsal firmaların web siteleri üzerinden işler halledilmeye başlandı. Bu işlemlerle birlikte ortaya çıkan tehdit ve tehlikelerde de artışlar gözlenmektedir. Bu ortamlar kişi veya kurumların çok önemli bilgilerini içermektedir bu yüzden kişisel bilgilerin korunması ve güvenliğin sağlanması çok önemli bir hal almıştır. İnternet kullanıcılarının web siteleri üzerinde yaptığı etkileşimler sonucunda kişisel bilgilerini paylaşmaları gerekebilmekte bu kişisel veya kurumsal bilgiler internet saldırganları tarafından kötü amaçlar doğrultusunda çeşitli yöntemlerle elde edilerek kullanılabilmektedir. Web uygulamaları üzerinde meydana gelen bu saldırılar geliştiricilerin ilgisiz ve bilgisiz tutumlarından kaynaklanmaktadır. Ortaya çıkan illegal işlemler sadece birey veya kurum odaklı olmayıp Devlet yönetimi, ekonomisi gibi daha birçok alanda büyük çapta zararlara neden olmaktadır. Web uygulamalarında meydana gelen zafiyetleri daha iyi anlamak adına çalışma prensipleri açıklanırsa: Web siteleri statik ve dinamik olmak üzere türdedir. Günümüzde statik web siteleri yerine dinamik tabanlı web siteleri daha çok tercih edilmektedir. Dinamik web siteleri kullanıcılardan gelen istekleri içermektedir ve 3 katmanlı bir yapıya sahiptir.

mt1c6qr.png


Burada belirtilen katmanlardan kısaca bahsedecek olursak;
1. katman : web siteleri üzerinde taleplerin başladığı web tarayıcılar bulunur. Bu tarayıcılar ile kullanıcılar sunucuya taleplerini gönderirler.

2.katman : Talep ettiğimiz istekler doğrultusunda sayfaların üretildiği uygulama katmanıdır.


3.Katman : Web uygulamalarının kullandığı verilerin depolandığı veri tabanını içeren katmandır.

Web tarayıcına gelen talepler web uygulamalarına iletildikten sonra veri tabanı sorgu işleminden sonra istenilen sayfaya erişilir. Web sitelerinin bu esnekliğinden dolayı birçok güvenlik tehditleri meydana gelmektedir.

94kq67p.png


İnterneti genel olarak tanımlarsak, birbirine bağlı bilgisayar ağlarının hepsini bir arada kapsayan dinamik yapılı büyük bir ağdır. Bu bilgisayarlar arasındaki bağlantılar, eski moda bakır kabloların, fiber optik kabloların, kablosuz radyo bağlantılarının ve uydu bağlantılarının bir karışımıdır.

İnternet aslen donanım (hardware) ve protokol dediğimiz iki temel bileşenden oluşur. Çalışmasını sağlayan da işte bu iki temel bileşendir.

Protokol Nedir?


Bir protokol, bilgisayarların birbirleriyle bir ağ üzerinden nasıl iletişim kuracaklarını belirleyen bir dizi kural sistemidir. Buna bir örnek olarak, birden fazla protokolü bünyesinde bulunduran ve en popüler olan iki protokolünden ikisinden alan TCP (Transmission Control Protocol)/ IP (Internet Protocol) protokol ailesi verilebilir. Protokol ailesi denilerek, TCP/IP dediğimizde içerisinde http, ftp gibi başka protokolleri de bulundurduğu anlatılmak istenilir.



TCP/IP protokolleriyle verinin ağ üzerinden nasıl paketlenileceği, iletilen verinin nasıl denetleneceği belirlenir. IP kısmı verinin gönderileceği adresin elde edilmesidir. TCP ise IP adresi bulunduktan sonra verinin iletiminden sorumlu kısımdır.







TCP/IP ve OSI Katmanları’na bir örnek



3yub3i0.png




CP/IP’nin yanı sıra, 7 katmanlı OSI (Open Systems Interconnection) de bilindik bir protokoldür. İkisi de ağ iletişiminin kullanılması için kullanılan kavramsal modeller olsa da birbirlerinden farklı katman sayıları, işleyişleri vardır ve TCP/IP daha yaygın bir protokoldür.



Özet olarak:



Diyelim ki bu yazıyı görüntülemek için bu siteye girmek istiyorsunuz. İlk başta tarayıcınız üzerinden internet servis sağlayıcınıza (ISP), yani internet bağlantısını sağlayan kuruma IP adresiniz gibi gerekli bilgilerle birlikte istek gönderilir. Servis sağlayıcılarına Türkiye için Telekom, Türksat , Vodafone veya Turkcell vb. kurumları örnek verebiliriz.

Tarayıcı ulaşmak istediğiniz sitesinin alan adı sunucusunu (DNS- Domain Name Server) bir IP adresine çevirir. Ardından, tarayıcınız sitenin sunucusuna TCP isteği gönderir ve sunucu buna ya veriyi göndermeyi onaylayarak ya da “404 Not Found” olarak bildiğimiz cevabı göndererek tepki verir. Bu isteğin onaylanmasıyla iletişim başlamış olur. Bilgi yani veri, nereye gideceği gibi bilgileri içeren başlıklara sahip olan paketler haline getirilir.Taşıma katmanına geldiğimizde paketler TCP protokolüne göre iletilir. İlk olarak yerel yönlendiriciye, daha sonra da başka yönlendiricilere (routers) iletilerek bir yönlendirici zinciri oluşturulur. Paketler hedef noktaya ulaştıklarında, tarayıcının paketlerdeki tüm bu kelimelerin ve görüntülerin bizim tarafımızdan okunabilir bir hale dönüşmesini sağlar.







Şimdi Ana konumuz olan SPIDERFOOT ile devam edelim.



iyeev0m.png




dxjdnbv.png




Open Source Intelligence kelimelerinin kısaltması olarak tanımlanan OSINT, Türkçede Açık Kaynak İstihbaratı manasına gelmektedir.Pasif bilgi toplama aracıdır.Hedefle birebir yakın temasa geçmeden arkada iz bırakmadan , hedef hakkında bilgi edinme faaliyetini pasif bilgi toplama olarak tanımlayabiliriz.



OSINT herhangi bir gizlilik gerektirmeyen, kamuoyuna açık, belirli bir amaç için toplanan bilgilerin ayrıştırılıp analiz edilerek elde edilen istihbarat faaliyetleri olarak tanımlanır.








OSINT’in Avantajları

  • Tamamı olmasa da çoğu OSINT aracının ücretsiz olmasından dolayı bilgi toplama aşamasında yüksek bütçe gerektirmez, maliyeti azaltır.​
  • Hedef ile direkt temas kurulmadığından dolayı gizlilik ve güvenlik açısından korunma ihtiyacı gerektirmez. Bundan dolayı sızma testlerinde ek zaman kazancı sağlar.​

OSINT İle Neler Yapılabilir?

  • Sosyal medya hesaplarının taranması.​
  • Alan adları ile DNS adresi bilgilerinin keşfedilmesi ve mail adreslerinin tespit edilmesi.​
  • Kişisel veya kurumsal blogların izlenip analiz edilerek hedef kullanıcının etkinliklerinin gözden geçirilmesi.​
  • Google,Bing,Yahoo vb arama motorlarının kullanılarak bilgilerin incelenmesi.​
  • Önemli bilgileri ortaya çıkarmak,fikir sahibi olmak için web sitelerinin eski sürümlerini bünyesinde bulunduran Waybak Machine vb. kaynaklar incelenebilir.​

OSINT Araçları’nın Gerekliliği



Örneğin tüm sosyal medyalarda hedefe yönelik kullanıcı adı taraması yapmak istiyorsunuz.Tek tek bütün sosyal medyaları gezip tarama yapmak oldukça vakit çalar ki bilmediğiniz sosyal medyalar olabilir.OSINT araçlarına ihtiyaç duymamızın ana nedeni budur çünkü yukarıda bahsedilen işlem bu araçlar kullanılarak saniyeler içinde yapılabilir.



OSINT Araçları



OSINT Framework : İçerisinde çeşitli birçok aracı barındırır.Hedefe ait kullanıcı adı,e-posta,IP adresi telefon numarası,arama motoru,forum veya blog,metadata taramaları yapabilmeyi destekler.



fswu8hi.png




Maltego: Maltego, Paterva tarafından geliştirilmiş açık kaynaklı istihbarat toplamak ve analiz etmek için kullanılan popüler bir araçtır.Çeşitli kaynaklardan kolayca bilgi toplayabilir ve grafiksel sonuçlar üretmek için çeşitli dönüşümleri kullanabilir.



ozlvey9.jpg




Shodan: Shodan tıpkı Google gibi bir arama motorudur.Fakat Google'dan farklı olarak bir güvenlik araştırmacısına daha mantıklı gelecek sonuçlar gösterecektir.Shodan, ağa bağlanan varlıklar hakkında size birçok bilgi sağlar.Bunlar bilgisayarlar,dizüstü bilgisayarlar,web kameraları ve çeşitli IoT cihazları olabilir.



h98uvy6.jpg




Google Dorks: Google'da yapacağımız basit bir aramayla birlikte önümüze yüzlerce sayfa sonuç dönecektir.İşte Google Dorks sayesinde yapacağımız aramayı filtreleyip sadece verdiğimiz parametrelere yönelik daha az ama daha işe yarar sonuçların dönmesini sağlarız.En çok kullanılan Google Dorklardan bazıları şunlardır ;

  • Allintext: Verilen tüm terimleri içeren sonuçları listeler.​
  • Intext: Verilen tüm terimleri sayfa içeriğinde arar.​
  • Inurl: Verilen kelime veya kelime grubunu URL adresinde içeren sonuçları listeler.​
  • Allinurl: Verilen tüm terimleri içeren URL adreslerine sahip sonuçları listeler.​
  • Intitle: Verilen kelime veya kelime grubunu başlık olarak barındıran sonuçları listeler.​
  • Allintitle: Verilen tüm terimleri başlığında barındıran sonuçları listeler.​
  • Site: Spesifik bir internet sitesi belirtirken kullanılır.​
  • Filetype: Spesifik bir dosya türü belirtirken kullanılır.​
Örneğin herhangi bir konudaki pdf kaynaklara erişmek istediğimizde google arama kısmına:



filetype:pdf intext:erişilmek istenilen veri türü



86l5830.png




The Harvester: The Harvester ,Kali Linux işletim sisteminin bir parçasıdır.Pasif bilgi toplarkan açık kaynak istihbaratı için çok tercih edilen bir araçtır.Harvester kullanarak e-posta adresi,kullanıcı adları,alt alanlar,IP'ler,domain bilgilerini toplayabiliriz.



1f0oblt.jpg




Diğer OSINT araçları:



Recon-Ng



Recon-ng, hedef hakkında internet üzerinden bilgi toplamaya yarayan ve sonuçlarını raporlayan web tabanlı keşif aracıdır.








std9dt4.png



TinEye



Ücretsiz ve güçlü bir tersine görsel arama aracı olan TinEye, internette aynı veya benzer bir görselin yayınlanıp yayınlanmadığını bulmanıza yardımcı oluyor.


mze1k6v.jpg




Metagoofil



Metagoofil aracı, exiftool gibi resim, ses veya video kayıtları üzerinden değil domain adresleri üzerinden metadata toplayan bir araçtır. Mesela hedef sistem üzerinde doküman arama işlemini gerçekleştirebiliriz. pdf, doc, xls, ppt, odp, ods, docx, xlsx, pptx dosya uzantılarını aramayı desteklemektedir.


l05gpq0.png




SpiderFoot

6mtwgn4.png



Searchcode

26iuepm.png



Exiftool



ExifTool, görüntü, ses, video ve PDF meta verilerini okumak, yazmak ve işlemek için ücretsiz ve açık kaynaklı bir yazılım programıdır. Platformdan bağımsızdır, hem Perl kitaplığı hem de komut satırı uygulaması olarak mevcuttur.


2wz2snb.png




Dig,Nslookup ve WHOIS gibi çeşitli DNS yardımcı programları.




dttep5n.png



SpiderFoot, ilk kez 2005 yılında piyasaya sürülen bir masaüstü uygulaması olarak “Steve Micallef”tarafından Python ile geliştirildi. Yalnızca beş veri kaynağını sorgulamasına ve ardından yıllarca el değmeden kalmasına rağmen, o zamanlar bile oldukça popülerdi. Hedefiniz hakkında bilgi toplamak için tek bir arayüze sahip olmanın güvenlik profesyonelleri için çok faydalı olacağı fikrinden doğdu ve aynı motivasyonla günümüze kadar gelişmeye devam etti.



Bugün, tipik bir kuruluşun saldırı yüzeyi şirket içi altyapı, çoklu bulut platformu hizmetleri, SaaS platformları ve uzak iş-ev cihazları ve ağlarındaki artış nedeniyle dağıtılmıştır. Buna, İnternet'i sürekli olarak tarayan ve bulunan güvenlik açıklarını yayınlayan artan sayıda hizmetin yanı sıra rapor edilen neredeyse günlük veri ihlallerini toplayan ve analiz eden hizmetleri ekleyin. İyi ya da zarar için kullanılmayı bekleyen OSINT verileri hazineleriyle baş başa kaldık.



Savunucuların (ayrıca kırmızı ekiplerin(saldırı timleri)) bu verileri bulmak ve kendi kuruluşları, müşterileri veya rakipleri olsun, hedefin güvenlik durumu hakkında akıl yürütmelerine yardımcı olacak şekilde anlaşılır hale getirmek için araçlara ihtiyacı vardır.



Tam anlamı ile Spıderfoot : Belirli bir hedef hakkında istihbarat toplama sürecini otomatikleştirme işlevi olan bir OSINT (Açık Kaynak İstihbarat) otomasyonu ve keşif aracıdır. (IP adresi, alan adı, ana bilgisayar adı, ağ alt ağı, ASN, vb.)



DNS, Whois, Web sayfaları, pasif DNS, spam kara listeler, dosya meta verileri, tehdit istihbarat listeleri ve hizmetler gibi herhangi bir hedef hakkında bilgi toplamak için kara kutu pentest sürecinde kullanabileceğiniz bir OSINT otomasyon aracıdır.











ij2hqde.png


  • Web tabanlı UI (user interface) veya CLI (command line interface)
  • 200’den fazla modül
  • Python 3 ile çalışır
  • CSV / JSON / GEXF dışa aktarma
  • API anahtarı dışa / içe aktarma
  • Özel sorgulama için SQLite arka ucu
  • Son derece yapılandırılabilir
  • Tamamen belgelenmiş
  • Görselleştirmeler
  • Dark web araması için TOR entegrasyonu
  • Docker tabanlı dağıtımlar için Dockerfile
  • DNSTwist, Whatweb, Nmap ve CMSeeK gibi diğer araçları çağırabilir

bo4z68v.png








Bir SpiderFoot taramasında aşağıdaki varlıkları hedefleyebilirsiniz:
  • IP adresi
  • Etki alanı / alt etki alanı adı
  • Hostname
  • Ağ alt ağı (CIDR)
  • ASN
  • E-mail adresi
  • Telefon numarası
  • Kullanıcı adı
  • Kişinin adı



SpiderFoot’un 200’den fazla modülü, aşağıdakileri yapmak ve maksimum veri çıkarma sağlamak için kullanır:
  • Ana bilgisayar / alt alan / TLD numaralandırma / çıkarma
  • E-posta adresi, telefon numarası ve insan adı çıkarma
  • Bitcoin ve Ethereum adres çıkarma
  • Alt alan adının ele geçirilmesine karşı duyarlılığı kontrol edin
  • DNS bölge aktarımları
  • Tehdit bilgisi ve Kara liste sorguları
  • SHODAN, HaveIBeenPwned, GreyNoise, AlienVault, SecurityTrails vb. İle API entegrasyonu
  • Sosyal medya hesap numaralandırma
  • S3 / Azure / Digitalocean kova numaralandırma / kazıma
  • IP coğrafi konumu
  • Web kazıma, web içeriği analizi
  • Görüntü, belge ve ikili dosya meta veri analizi
  • Dark web aramaları
  • Bağlantı noktası tarama ve afiş yakalama
  • Veri ihlali aramaları




fsjvfmq.png




SpiderFoot’u kurmak ve çalıştırmak için en az Python 3.6’ya ve pip ile kurabileceğiniz bir dizi Python kitaplığına ihtiyacınız var. Ana sürümde genellikle tam olarak test edilmemiş son teknoloji özelliklere ve modüllere sahip olacağından, paketlenmiş bir sürüm kurulması önerilir.



SpiderFoot'u Kali Linux içinde çalıştırmak için şu adımları izleyin:



Kali Linux'u kurulum veya Canlı önyükleme olarak başlatın.



Terminali çalıştırın.



Çalıştır: spiderfoot -l 127.0.0.1:5009



Kali'de tarayıcı’yı açın ve http://127.0.0.1:5009 adresine gidin.



5py3nj4.png




Spiderfoot ile hedef sistem hakkında istediğimiz bilgiyi belirli bir modül kullanarak elde edebiliyoruz. Bunu yaparken spiderfoot dizinindeki sf.py dosyasını komut satırında python ile çalıştırıp loopback ip adresimizde çalıştırıp 5001 numaralı porttan dinliyoruz ve ardından komut satırında tekrar sfcli.py dosyasını çalıştırıyoruz. Bunu modüller komutu ile modül isimlerini ve özelliklerini listelediğimizde yapabiliriz.




sfcli.py dosyasını python aracılığı ile çalıştırdık ve modules komutu ile birlikte modul listeleme’yi gerçekleştirdik.



Burada
-m seçeneği ile modüller arasından sfp_dnsresolve modülünü seçip -s seçeneği ile hedefi belirterek komut satırında çalıştırdığımızda modülün fonksiyonunda belirtilen tanımlı hostları ve ip adreslerini çözmeye çalıştı.



Görüldüğü gibi burada
-t seçeneği ile e-posta adreslerini hedef alan adına algılama, -f ve -x ile hedef ile direkt olarak ihtiyaç duyulan modül üzerinden filtreleme ve - ile kayıt tutma için kendine ait bir modül -q devre dışı bırakıldı.


Tarama Çalıştırma



İlk çalıştırmada Spiderfoot geçmiş verileri olmaz.



Bir tarama başlatmak için üst menü çubuğundaki
'Yeni Tarama' düğmesine tıklayın.Daha sonra taramanız için bir ad (bunlar benzersiz değildir) ve bir hedef (ayrıca benzersiz değildir) tanımlamanız gerekecektir:



Ardından, kullanım durumuna (varsayılan olarak seçilen sekme), gerekli verilere veya modüle göre taramayı nasıl çalıştırmak istediğinizi tanımlayabilirsiniz.



Modül tabanlı tarama, farklı modül sağlayıcılarının davranış ve verilere aşina ile tarama üzerinde daha fazla kontrol sahibi olmak ileri düzey kullanıcı bilgileri gerektirir.



Modül taramasında bağımlılık denetimi yapılmaz, sadece gerekli verilere göre tarama yapılır.




Tarama sonuçları



'Taramayı Çalıştır'ı tıkladığınız andan itibaren, taramanızı neredeyse gerçek zamanlı olarak izlemek için bir ekrana yönlendirileceksiniz:



Bu ekran, şu ana kadar elde edilen verilerin dökümünü gösteren bir grafik ve SpiderFoot ve modülleri tarafından oluşturulan günlük mesajlarından oluşur. Grafikler sizi veri tür\türleri için sonuç tablosuna iletir.










Bir tarama için 'Gözat' düğmesine tıklayarak, verilere türe göre göz atabilirsiniz:



Bu veriler dışa aktarılabilir ve aranabilir. Arama yardımları için Arama kutusunu tıklayın. Gerçek veriler için veri türlerinden birini seçin.



Görüntülenen alanlar aşağıdaki şekilde açıklanmıştır:


  • Onay kutusu alanı: Alanları yanlış pozitif olarak ayarlamak/ayarını kaldırmak için bunu kullanın. En az biri işaretlendiğinde, kaydı ayarlamak/ayarını kaldırmak için yukarıdaki turuncu Yanlış Pozitif düğmesine tıklayın.​
  • Veri Öğesi: Modülün hedefiniz hakkında elde edebildiği veriler.​
  • Kaynak Veri Öğesi: Modülün, veri toplaması için temel olarak aldığı veriler. Yukarıdaki örnekte, sfp_portscan_tcp modülü açık bir bağlantı noktasıyla ilgili bir olay aldı ve bunu, o bağlantı noktasındaki başlığı elde etmek için kullandı.​
  • Kaynak Modülü: Bu verileri tanımlayan modül.​
  • Tanımlandı: Veriler modül tarafından tanımlandığında.​




Yanlış Pozitif Ayarlama



Sürüm 2.6.0, veri kayıtlarını yanlış pozitifler olarak ayarlama yeteneğini tanıttı. Önceki bölümde bahsedildiği gibi, kayıtları yanlış pozitif olarak ayarlamak/ayarını kaldırmak için onay kutusunu ve turuncu düğmeyi kullanın.



Kayıtları yanlış pozitif olarak ayarladıktan sonra, bu kayıtların yanında bir gösterge göreceksiniz ve bunları aşağıda gösterildiği gibi görünümden filtreleyebilirsiniz:




NOT : Kayıtlar yalnızca bir tarama bittiğinde yanlış pozitif olarak ayarlanabilir. Bunun nedeni, bir kaydın yanlış pozitif olarak ayarlanması, tüm alt veri öğelerinin de yanlış pozitif olarak ayarlanmasıyla sonuçlanır. Tarama hala devam ediyorsa, bu açıkça yapılamaz ve bu nedenle arka uçta tutarsız bir duruma yol açabilir. Kullanıcı arabirimi bunu yapmanızı engelleyecektir.



Bir kaydın yanlış pozitif olarak ayarlanmasının sonucu, veri tablosu görünümündeki ve dışa aktarılan gösterge dışında, bu tür verilerin düğüm grafiklerinde gösterilmemesidir.




Arama Sonuçları



Sonuçlar, tüm tarama düzeyinde veya ayrı ayrı veri türleri içinde aranabilir. Aramanın kapsamı, o sırada bulunduğunuz ekrana göre belirlenir.



Arama alanını seçerken açılan kutunun gösterdiği gibi, aşağıdaki gibi arama yapabilirsiniz:


  • Tam değer: Belirli bir değer için joker olmayan arama. Örneğin, bulunmayan tüm sayfaları görmek için HTTP Durum Kodu bölümünde 404'ü arayın.​
  • Kalıp eşleştirme: Kalıpları bulmak için basit joker karakterleri arayın. Örneğin, 22 numaralı bağlantı noktasının tüm açık örneklerini görmek için Açık TCP Bağlantı Noktası bölümünde *:22'yi arayın.​
  • Normal ifade aramaları: Normal ifadeye göre arama yapmak için dizginizi '/' içine alın. Örneğin, tarama sonuçlarınızda IP adresi gibi görünen herhangi bir şey bulmak için​
    '/\d+.\d+.\d+.\d+/'​
    ifadesini arayın.​

Taramaları Yönetme



Birikmiş geçmiş göz atma verileriniz olduğunda, bunları yönetmek için 'Taramalar' bölümündeki listeyi kullanabilirsiniz:



Filtre açılır seçimini değiştirerek gösterilen taramaları filtreleyebilirsiniz. Yeşil simgeler dışındaki tüm simgeler, onay kutularını işaretlediğiniz taramalar için geçerlidir.








Tor Entegrasyonu



Giriş



Keşif/ayak izi yürütmeyle ilgili en ilginç şeylerden biri, hedefiniz hakkında internetteki çok sayıda ve çeşitli veri kaynaklarından akmaya başlayan bilgi zenginliğidir. Keşfi manuel olarak gerçekleştirmek zaman alıcıdır ve genellikle sıkıcıdır, ancak bunu otomatikleştirmenin de zorlukları vardır:

  • Birçok arama motoru, CAPTCHA'ları gösterecek veya otomatik etkinlikten şüphelendiklerinde sizi engelleyecektir.​
  • Hedefinize bilgi topladığınıza dair erken bir işaret vermemek için keşif sırasında kimliğinizi korumak isteyebilirsiniz.​
Tor'un çok kullanışlı olduğu yer burasıdır ve bu yazıda biraz Tor hakkında, SpiderFoot'un onunla nasıl bütünleştiğini ve keşif sonuçlarınızı iyileştirmek için SpierFoot 2.5.0'daki bu yeni yeteneği nasıl kullanabileceğinizi açıklayacağım.



Tor nedir?



Tor web sitesinden alınan Tor ağı:



… insanların İnternet'teki gizliliklerini ve güvenliklerini geliştirmelerine olanak tanıyan, gönüllü olarak işletilen bir grup sunucu. Tor kullanıcıları bu ağı doğrudan bağlantı kurmak yerine bir dizi sanal tünel üzerinden bağlanarak kullanırlar, böylece hem kuruluşların hem de bireylerin kamuya açık ağlar üzerinden gizliliklerinden ödün vermeden bilgi paylaşmalarına olanak tanır...



Tor ağını kullanmak, temelde SOCKS uyumlu bir proxy görevi gören istemci yazılımını kurmak ve SOCKS özellikli istemcinizden (örn. bir web tarayıcısı) TCP bağlantılarını proxy yapmak kadar basittir. Bağlanmakta olduğunuz hedef sunucu IP adresinizi görmez, bunun yerine Tor ağındaki diğer düğümlerden geçtikten sonra bağlantınızın yönlendirildiği Tor "çıkış düğümü"nün IP adresini görür (Tor çıkış düğümü bile görmez) IP adresinizi bilin). Tor ağındaki bu atlama grubu, "Tor devreniz" olarak bilinir ve her on dakikada bir otomatik olarak değiştirilir.



Tor yapılandırmanıza bağlı olarak, Tor istemcisi iki bağlantı noktasını dinleyecektir - biri proxy bağlantısı için ve diğeri kontrol komutlarını kabul etmek için. Kontrol bağlantı noktası, SpiderFoot tarafından devrenin yenilenmesini talep etmek için kullanılır ("yeniden devre kurma" olarak adlandırdığım şey).




Çalışan Tor



Tor'u yükleme ve yapılandırmayla ilgili zengin bilgiler web'de mevcuttur, ancak SpiderFoot ile amaçlarınız için, Tor istemcisini indirip çalıştırmanız ve SpiderFoot'un kontrol edebilmesi için kontrol bağlantılarını etkinleştirmeniz yeterlidir.



NOT: Tor, SpiderFoot ile kullanmak zorunda OLMAYAN bir "Tor Tarayıcı" sunar - Tor "bağımsız" istemciye ihtiyacınız vardır.



Linux/BSD için


• Tor indirme sayfasına gidin ve platformunuz için paketi indirin.



• Paketi sağlanan talimatlara göre derleyin/yükleyin.



• Tor'u şu şekilde çalıştırın:



• tor --SocksPort 9050 --ControlPort 9051



• İşlemden elde edilen çıktı, tüm hataları ve genel durum güncellemelerini belirtmelidir, ancak bunun gibi bir mesaj, kurulumun başarıyla yapıldığını gösterir:



• [notice] Tor has successfully opened a circuit. Looks like client functionality is working.



Pencereler İçin:


• Tor indirme sayfasına gidin, Windows'a tıklayın ve ardından Expert Bundle'ı indirin. “Tor Tarayıcı”yı indirmeyin!



• Paketi seçtiğiniz bir dizine açın, Windows komut satırını açın ve sıkıştırılmış paketin “Tor” dizinine geçin.



• Tor'u şu şekilde çalıştırın:



• tor --SocksPort 9050 --ControlPort 9051


Görev Yöneticisi'ni kullanarak her iki bağlantı noktasında da çalıştığını ve dinlediğini kontrol edin ve ardından
netstat, her iki bağlantı noktasını da dinlediğini belirtmelidir:



C:\Tor>netstat /na | findstr 905



TCP 127.0.0.1:9050 0.0.0.0:0 LISTENING



TCP 127.0.0.1:9051 0.0.0.0:0 LISTENING




Tor için SpiderFoot'u Yapılandırma







SpiderFoot'ta Tor'u etkinleştirmek için Ayarlar menüsüne ve ardından Global sekmesine gidin. Aşağı kaydırın ve aşağıdaki seçenekleri göreceksiniz:



Burada açıklanan her seçenek:



• SOCKS Sunucu Türü : Değeri 'TOR' (tırnak işaretleri olmadan) olarak ayarlamanız yeterlidir.



• SOCKS Sunucu IP Adresi : Yukarıdaki kısımdan Tor sunucunuzun dinlediği IP Adresi olmalıdır. Farklı bir şekilde yapılandırmadıysanız, bu genellikle 127.0.0.1 olacaktır.



• SOCKS Sunucusu TCP Bağlantı Noktası : Tor'un proxy için kullanması için yukarıdaki bölümde ayarladığınız bağlantı noktası.
Varsayılan Tor proxy bağlantı noktası 9050'dir.



• SOCKS Proxy'sinden DNS geçirilsin mi? : Bu, SOCKS'a özgü bir seçenektir ve proxy'niz olarak Tor kullanıldığında geçerli değildir. Tor söz konusu olduğunda, Tor'dan geçen tüm istekler yerel olarak değil, Tor hizmeti aracılığıyla çözümlenir. Bununla birlikte, genel olarak DNS ile ilgili aşağıdaki uyarıya bakın.



• Tor'un kontrol komutlarını aldığı bağlantı noktası : Önceki bölümde açıklandığı gibi, bu, Tor'un kontrol komutlarını dinlediği bağlantı noktasıdır ve SpiderFoot'un gerektiğinde yeniden devre yapması talimatını vermesini sağlar. Yukarıdaki talimatlara göre, bu 9051 olacaktır.



• Bu ayarları değiştirdikten sonra Değişiklikleri Kaydet düğmesine tıklayın ve taramanızı Tor üzerinden yapmaya hazırsınız. Tor ile ilgili olabilecek hataları görmek için taramanız için SpiderFoot günlüklerini kontrol edin.


Uyarı : Çok kritik bir uyarı, Tor kullanımının yalnızca TCP bağlantısı için geçerli olmasıdır çünkü Tor açıkça UDP'yi desteklemez ve bu nedenle doğrudan SpiderFoot'un sfp_dns modülü tarafından gerçekleştirilen herhangi bir DNS araması doğrudan yapılandırılmış DNS sunucunuza gider.




O Nasıl Çalışır?



Çeşitli SpiderFoot modülleri, çeşitli istihbarat kaynakları (örn. Google, Bing, vb.) tarafından CAPTCHA'lar veya diğer engellemeler uygulandığında bunu algılayacak mekanizmalara sahiptir. SpiderFoot bunu algıladığında, Tor'a bir NEWNYM komutu göndermek için Stem kitaplığını kullanır. Tor daha sonra sonraki bağlantılar için yeni bir devre kurar. SpiderFoot, pes etmeden önce devreleri üç defaya kadar değiştirmeye çalışacaktır.







Modüller



Genel Bakış



SpiderFoot, tüm veri toplamayı modüler hale getirdi. Bir modül bir veri parçası keşfettiğinde, bu veri işlenmek üzere o veri türüyle 'ilgilenen' diğer tüm modüllere iletilir. Bu modüller daha sonra yeni verileri tanımlamak için o veri parçası üzerinde hareket edecek ve ardından ilgilenebilecek diğer modüller için yeni olaylar üretecek ve bu böyle devam edecek.



Örneğin,
sfp_dnsresolve ilgili tüm modüllere bildirimde bulunarak hedefinizle ilişkili bir IP adresi tanımlayabilir. İlgili modüllerden biri, bu sfp_ripe IP adresini alacak ve parçası olduğu netblock'u, BGP ASN'yi vb. tanımlayacak olan modül olacaktır.



Bu, modül koduna bakarak en iyi şekilde gösterilebilir. Örneğin
sfp_names modül, insan adlarını tanımlamak için TARGET_WEB_CONTENT ve EMAILADDR olaylarını arar:



# Bu modül giriş için hangi olaylarla ilgileniyor?



# * = tüm etkinliklerden haberdar olun.



def watchedEvents(self):



return ["TARGET_WEB_CONTENT", "EMAILADDR"]







# Bu modülün ürettiği olaylar



# Bu, son kullanıcıyı olaylara göre modül seçme konusunda desteklemek içindir.



# üretilmiş.



def producedEvents(self):



return ["HUMAN_NAME"]



Bu arada, her olay bir modülde oluşturulduğundan, kullanıcı arabiriminde raporlama ve görüntüleme için SpiderFoot veritabanına da kaydedilir.




Modül Listesi



Tüm SpiderFoot modüllerinin bir listesini görmek için şunu çalıştırın sf.py -M:



~/spiderfoot$ python3 ./sf.py -M



Veritabanını doğrulamaya ve gerekirse güncellemeye çalışılıyor...



Modules available:




sfp_abusech ile Bir ana bilgisayar/etki alanı, IP veya ağ bloğunun abuse.ch'e göre kötü amaçlı olup olmadığını kontrol edin.



sfp_abuseipdb ile AbuseIPDB.com'a göre bir netblock veya IP'nin kötü amaçlı olup olmadığını kontrol edin.



sfp_accounts ile Ebay, Slashdot, reddit, vb. gibi yaklaşık 200 web sitesinde olası ilişkili hesapları arayın.sfp_adblock Check if linked pages would be blocked by AdBlock Plus.



sfp_ahmia ile Hedef etki alanından bahsetmek için Tor 'Ahmia' arama motorunda arama yapın.



sfp_alienvault ile AlienVault Open Threat Exchange'den (OTX)



bilgi almasfp_alienvaultiprep ile AlienVault IP Reputation veritabanına göre bir IP veya ağ bloğunun kötü niyetli olup olmadığını kontrol edin.



sfp_apility ile IP adresi ve etki alanı itibarı için Arama Beceri API'si.



sfp_archiveorg ile Wayback Machine'deki ilginç dosyaların/sayfaların eski sürümlerini tanımlar.



sfp_arin ile İletişim bilgileri için ARIN kaydını sorgular.



...




Veri Öğeleri



Yukarıda belirtildiği gibi SpiderFoot, her modülün diğer modüllerin dinlediği ve tükettiği veri öğeleri hakkında olaylar ürettiği "olay güdümlü" bir modül üzerinde çalışır.



Veri öğeleri aşağıdaki türlerden biridir:



• IP adresleri, İnternet adları (ana bilgisayar adları, alt alanlar, alanlar),



• port numaraları, URL'ler ve kurulu yazılımlar gibi alt varlıklar ,



• bu varlıkların tanımlayıcıları (kötü amaçlı, fiziksel konum bilgileri, …) veya



• çoğunlukla yapılandırılmamış veriler (web sayfası içeriği, bağlantı noktası başlıkları, ham DNS kayıtları, … )



Mevcut tüm türlerin tam listesini görmek için şunu çalıştırın
sf.py -T:



~/spiderfoot$ python3 ./sf.py -T



Veritabanını doğrulamaya ve gerekirse güncellemeye çalışılıyor...



Types available:



ACCOUNT_EXTERNAL_OWNED Account on External Site



ACCOUNT_EXTERNAL_OWNED_COMPROMISED Hacked Account on External Site



ACCOUNT_EXTERNAL_USER_SHARED_COMPROMISED Hacked User Account on External Site



AFFILIATE_COMPANY_NAME Affiliate - Company Name



AFFILIATE_DESCRIPTION_ABSTRACT Affiliate Description - Abstract



AFFILIATE_DESCRIPTION_CATEGORY Affiliate Description - Category



AFFILIATE_DOMAIN Affiliate - Domain Name



AFFILIATE_DOMAIN_NAME Affiliate - Domain Name



AFFILIATE_DOMAIN_UNRESOLVED Affiliate - Domain Name - Unresolved



AFFILIATE_DOMAIN_WHOIS Affiliate - Domain Whois



AFFILIATE_EMAILADDR Affiliate - Email Address






Modül Yazma



sfp_template.py Bir SpiderFoot modülü yazmak için , hiçbir şey yapmayan bir iskelet modül olan dosyaya bakarak başlayın . Rehberiniz olarak aşağıdaki adımları kullanın:

  • sfp_template.py Modülünüzün adı ne olursa olsun, bir kopyasını oluşturun . Bunu tanımlayıcı bir şey yapmaya çalışın, yani şöyle bir şey​
    sfp_mymodule.py​
    değil, bunun yerine​
    sfp_imageanalyser.py​
    resim içeriğini analiz etmek için bir modül oluşturuyormuşsunuz gibi bir şey yapın.​
  • Yeni modülde XXX'i modülünüzün adıyla değiştirin ve başlıktaki açıklayıcı bilgileri ve modül içindeki yorumu güncelleyin.​

  • Sınıfın yorumu​
    check in sfp_template.py​
    SpiderFoot tarafından kullanıcı arabiriminde modülleri doğru bir şekilde kategorize etmek için kullanılır, bu nedenle onu anlamlı bir şey haline getirin. Örnekler için diğer modüllere bakın.​
  • Olayları , önceki bölümdeki veri öğesi tablosuna göre​
    watchedEvents()​
    ve buna göre ayarlayın.​
    producedEvents()​
    SpiderFoot'ta önceden var olmayan yeni bir veri öğesi üretiyorsanız, bunu veritabanında oluşturmalısınız:​
  • ~/spiderfoot$ sqlite3 spiderfoot.db sqlite> INSERT INTO tbl_event_types (event, event_descr, event_raw) VALUES ('NEW_DATA_ELEMENT_TYPE_NAME_HERE', 'Description of your New Data Element Here', 0, 'DESCRIPTOR or DATA or ENTITY or SUBENTITY');`​
  • Modülün mantığını handleEvent(). Her çağrıya handleEvent() bir SpiderFootEvent nesne sağlanır. Bu nesne içindeki en önemli değerler şunlardır:​
  • eventType: Veri öğesi kimliği ( IP_ADDRESS, WEBSERVER_BANNER, vb.)​
  • data: Gerçek veriler, örneğin IP adresi veya web sunucusu başlığı, vb.​
  • module: Olayı üreten modülün adı ( sfp_dnsresolve, vb.)​
  • Etkinliğinizi oluşturma zamanı geldiğinde, şunun bir örneğini oluşturun SpiderFootEvent:​
  • e = SpiderFootEvent("IP_ADDRESS", ipaddr, self.__name__, event)​
  • Not: event Son değişken olarak iletilen, modülünüzün aldığı olaydır. Spiderfoot,Veritabanındaki veri öğeleri arasında ilişki oluşmasını sağlar.​
  • Etkinlikle ilgilenebilecek tüm modülleri bilgilendirin:​

  • self.notifyListeners(e)​



Veri tabanı



Tüm SpiderFoot verileri, verilerinizin spiderfoot.db analizi için SpiderFoot dışında kullanılabilen bir SQLite veritabanında (SpiderFoot kurulum klasörünüzde) saklanır.



Şema oldukça basittir ve GitHub deposunda görüntülenebilir .



Aşağıdaki sorgular bazı ek ipuçları sağlayabilir:



# SpiderFoot veritabanındaki toplam tarama sayısı



sqlite> select count(*) from tbl_scan_instance;



# Belirli bir tarama için kimliği edinin



sqlite> tbl_scan_instance'tan guid seçin, burada seed_target = 'binarypool.com';



# Number of results per data type



sqlite> select count(*), type from tbl_scan_results where scan_instance_id = 'b459e339523b8d06235bd06087ae6c6017aaf4ed68dccea0b65a1999a17e460a' group by type;



5|AFFILIATE_INTERNET_NAME



2|AFFILIATE_IPADDR



1|CO_HOSTED_SITE



1|DOMAIN_NAME



1|DOMAIN_REGISTRAR



1|DOMAIN_WHOIS



1|GEOINFO



28|HTTP_CODE



48|HUMAN_NAME



49|INTERNET_NAME



2|IP_ADDRESS



49|LINKED_URL_EXTERNAL



144|LINKED_URL_INTERNAL



2|PROVIDER_DNS



1|PROVIDER_MAIL



4|RAW_DNS_RECORDS



1|RAW_FILE_META_DATA



1|ROOT



14|SEARCH_ENGINE_WEB_CONTENT



1|SOFTWARE_USED



16|TARGET_WEB_CONTENT



2|TCP_PORT_OPEN



1|TCP_PORT_OPEN_BANNER



1|URL_FORM



10|URL_JAVASCRIPT



6|URL_STATIC



21|URL_WEB_FRAMEWORK



28|WEBSERVER_BANNER



28|WEBSERVER_HTTPHEADERS






OSNIT - SPIDERFOOT hakkında bazı Youtube videoları :
9 Aşamada Açık Kaynak İstihbaratı Nasıl Gerçekleştirilir? (Türkçe)

Bir hedef hakkında bilgi toplamak için OSINT Spıderfoot nasıl kullanılır?

Linux ve Windows için OpenSource OSINT Spıderfoot

OSINT Spıderfoot Termux Kurulumu

Açık kaynak kodlarına ulaşmak için SPIDERFOOT GİTHUB sayfasını ziyaret edebilirsiniz.
Daha fazla bilgi için Spıderfoot resmi internet sitesine Buradan ulaşabilirsiniz.

Buraya kadar okuduğunuz için teşekkür ederim.
Faydalı olması dileği ile.
Saygılar.

Ellerine sağlık gerçekten güzel temel aticak bir konu olmuş.
 

amosa99

Üye
21 Eyl 2022
89
41
Web
71kcx0k.png


Herkese merhaba THT ailesi.

Bugün sizlere “Cyber Security” Alanında çokca kullanılan “Osint tools – Spiderfoot” hakkında bilgi paylaşımı yapacağım.

Ana konumuza geçmeden önce, konumuza ön bilgi olabilecek “Web Uygulamalarının Çalışma Mantığı Ve Güvenliği” ve “İnternet Nedir? Nasıl Çalışır?” hakkında kısa bir bilgiler vererek başlayacağım.

3e7w4r7.png



Artan teknolojik gelişmelerle internetin kullanımı yaygınlaşmış ve her türlü bilgiye kolaylıkla erişim internet aracılığı ile mümkün hale gelmiştir. İnternet’in yaygınlaşması ile web siteleri üzerinden birçok alanda hizmet alınmaya başlandı. Kurumsal firmalarda dijital ortamda işlerini yürütmeye başladı akabinde gerek bireysel gerek kurumsal firmaların web siteleri üzerinden işler halledilmeye başlandı. Bu işlemlerle birlikte ortaya çıkan tehdit ve tehlikelerde de artışlar gözlenmektedir. Bu ortamlar kişi veya kurumların çok önemli bilgilerini içermektedir bu yüzden kişisel bilgilerin korunması ve güvenliğin sağlanması çok önemli bir hal almıştır. İnternet kullanıcılarının web siteleri üzerinde yaptığı etkileşimler sonucunda kişisel bilgilerini paylaşmaları gerekebilmekte bu kişisel veya kurumsal bilgiler internet saldırganları tarafından kötü amaçlar doğrultusunda çeşitli yöntemlerle elde edilerek kullanılabilmektedir. Web uygulamaları üzerinde meydana gelen bu saldırılar geliştiricilerin ilgisiz ve bilgisiz tutumlarından kaynaklanmaktadır. Ortaya çıkan illegal işlemler sadece birey veya kurum odaklı olmayıp Devlet yönetimi, ekonomisi gibi daha birçok alanda büyük çapta zararlara neden olmaktadır. Web uygulamalarında meydana gelen zafiyetleri daha iyi anlamak adına çalışma prensipleri açıklanırsa: Web siteleri statik ve dinamik olmak üzere türdedir. Günümüzde statik web siteleri yerine dinamik tabanlı web siteleri daha çok tercih edilmektedir. Dinamik web siteleri kullanıcılardan gelen istekleri içermektedir ve 3 katmanlı bir yapıya sahiptir.

mt1c6qr.png


Burada belirtilen katmanlardan kısaca bahsedecek olursak;
1. katman : web siteleri üzerinde taleplerin başladığı web tarayıcılar bulunur. Bu tarayıcılar ile kullanıcılar sunucuya taleplerini gönderirler.

2.katman : Talep ettiğimiz istekler doğrultusunda sayfaların üretildiği uygulama katmanıdır.


3.Katman : Web uygulamalarının kullandığı verilerin depolandığı veri tabanını içeren katmandır.

Web tarayıcına gelen talepler web uygulamalarına iletildikten sonra veri tabanı sorgu işleminden sonra istenilen sayfaya erişilir. Web sitelerinin bu esnekliğinden dolayı birçok güvenlik tehditleri meydana gelmektedir.

94kq67p.png


İnterneti genel olarak tanımlarsak, birbirine bağlı bilgisayar ağlarının hepsini bir arada kapsayan dinamik yapılı büyük bir ağdır. Bu bilgisayarlar arasındaki bağlantılar, eski moda bakır kabloların, fiber optik kabloların, kablosuz radyo bağlantılarının ve uydu bağlantılarının bir karışımıdır.

İnternet aslen donanım (hardware) ve protokol dediğimiz iki temel bileşenden oluşur. Çalışmasını sağlayan da işte bu iki temel bileşendir.

Protokol Nedir?


Bir protokol, bilgisayarların birbirleriyle bir ağ üzerinden nasıl iletişim kuracaklarını belirleyen bir dizi kural sistemidir. Buna bir örnek olarak, birden fazla protokolü bünyesinde bulunduran ve en popüler olan iki protokolünden ikisinden alan TCP (Transmission Control Protocol)/ IP (Internet Protocol) protokol ailesi verilebilir. Protokol ailesi denilerek, TCP/IP dediğimizde içerisinde http, ftp gibi başka protokolleri de bulundurduğu anlatılmak istenilir.



TCP/IP protokolleriyle verinin ağ üzerinden nasıl paketlenileceği, iletilen verinin nasıl denetleneceği belirlenir. IP kısmı verinin gönderileceği adresin elde edilmesidir. TCP ise IP adresi bulunduktan sonra verinin iletiminden sorumlu kısımdır.







TCP/IP ve OSI Katmanları’na bir örnek



3yub3i0.png




CP/IP’nin yanı sıra, 7 katmanlı OSI (Open Systems Interconnection) de bilindik bir protokoldür. İkisi de ağ iletişiminin kullanılması için kullanılan kavramsal modeller olsa da birbirlerinden farklı katman sayıları, işleyişleri vardır ve TCP/IP daha yaygın bir protokoldür.



Özet olarak:



Diyelim ki bu yazıyı görüntülemek için bu siteye girmek istiyorsunuz. İlk başta tarayıcınız üzerinden internet servis sağlayıcınıza (ISP), yani internet bağlantısını sağlayan kuruma IP adresiniz gibi gerekli bilgilerle birlikte istek gönderilir. Servis sağlayıcılarına Türkiye için Telekom, Türksat , Vodafone veya Turkcell vb. kurumları örnek verebiliriz.

Tarayıcı ulaşmak istediğiniz sitesinin alan adı sunucusunu (DNS- Domain Name Server) bir IP adresine çevirir. Ardından, tarayıcınız sitenin sunucusuna TCP isteği gönderir ve sunucu buna ya veriyi göndermeyi onaylayarak ya da “404 Not Found” olarak bildiğimiz cevabı göndererek tepki verir. Bu isteğin onaylanmasıyla iletişim başlamış olur. Bilgi yani veri, nereye gideceği gibi bilgileri içeren başlıklara sahip olan paketler haline getirilir.Taşıma katmanına geldiğimizde paketler TCP protokolüne göre iletilir. İlk olarak yerel yönlendiriciye, daha sonra da başka yönlendiricilere (routers) iletilerek bir yönlendirici zinciri oluşturulur. Paketler hedef noktaya ulaştıklarında, tarayıcının paketlerdeki tüm bu kelimelerin ve görüntülerin bizim tarafımızdan okunabilir bir hale dönüşmesini sağlar.







Şimdi Ana konumuz olan SPIDERFOOT ile devam edelim.



iyeev0m.png




dxjdnbv.png




Open Source Intelligence kelimelerinin kısaltması olarak tanımlanan OSINT, Türkçede Açık Kaynak İstihbaratı manasına gelmektedir.Pasif bilgi toplama aracıdır.Hedefle birebir yakın temasa geçmeden arkada iz bırakmadan , hedef hakkında bilgi edinme faaliyetini pasif bilgi toplama olarak tanımlayabiliriz.



OSINT herhangi bir gizlilik gerektirmeyen, kamuoyuna açık, belirli bir amaç için toplanan bilgilerin ayrıştırılıp analiz edilerek elde edilen istihbarat faaliyetleri olarak tanımlanır.








OSINT’in Avantajları

  • Tamamı olmasa da çoğu OSINT aracının ücretsiz olmasından dolayı bilgi toplama aşamasında yüksek bütçe gerektirmez, maliyeti azaltır.​
  • Hedef ile direkt temas kurulmadığından dolayı gizlilik ve güvenlik açısından korunma ihtiyacı gerektirmez. Bundan dolayı sızma testlerinde ek zaman kazancı sağlar.​

OSINT İle Neler Yapılabilir?

  • Sosyal medya hesaplarının taranması.​
  • Alan adları ile DNS adresi bilgilerinin keşfedilmesi ve mail adreslerinin tespit edilmesi.​
  • Kişisel veya kurumsal blogların izlenip analiz edilerek hedef kullanıcının etkinliklerinin gözden geçirilmesi.​
  • Google,Bing,Yahoo vb arama motorlarının kullanılarak bilgilerin incelenmesi.​
  • Önemli bilgileri ortaya çıkarmak,fikir sahibi olmak için web sitelerinin eski sürümlerini bünyesinde bulunduran Waybak Machine vb. kaynaklar incelenebilir.​

OSINT Araçları’nın Gerekliliği



Örneğin tüm sosyal medyalarda hedefe yönelik kullanıcı adı taraması yapmak istiyorsunuz.Tek tek bütün sosyal medyaları gezip tarama yapmak oldukça vakit çalar ki bilmediğiniz sosyal medyalar olabilir.OSINT araçlarına ihtiyaç duymamızın ana nedeni budur çünkü yukarıda bahsedilen işlem bu araçlar kullanılarak saniyeler içinde yapılabilir.



OSINT Araçları



OSINT Framework : İçerisinde çeşitli birçok aracı barındırır.Hedefe ait kullanıcı adı,e-posta,IP adresi telefon numarası,arama motoru,forum veya blog,metadata taramaları yapabilmeyi destekler.



fswu8hi.png




Maltego: Maltego, Paterva tarafından geliştirilmiş açık kaynaklı istihbarat toplamak ve analiz etmek için kullanılan popüler bir araçtır.Çeşitli kaynaklardan kolayca bilgi toplayabilir ve grafiksel sonuçlar üretmek için çeşitli dönüşümleri kullanabilir.



ozlvey9.jpg




Shodan: Shodan tıpkı Google gibi bir arama motorudur.Fakat Google'dan farklı olarak bir güvenlik araştırmacısına daha mantıklı gelecek sonuçlar gösterecektir.Shodan, ağa bağlanan varlıklar hakkında size birçok bilgi sağlar.Bunlar bilgisayarlar,dizüstü bilgisayarlar,web kameraları ve çeşitli IoT cihazları olabilir.



h98uvy6.jpg




Google Dorks: Google'da yapacağımız basit bir aramayla birlikte önümüze yüzlerce sayfa sonuç dönecektir.İşte Google Dorks sayesinde yapacağımız aramayı filtreleyip sadece verdiğimiz parametrelere yönelik daha az ama daha işe yarar sonuçların dönmesini sağlarız.En çok kullanılan Google Dorklardan bazıları şunlardır ;

  • Allintext: Verilen tüm terimleri içeren sonuçları listeler.​
  • Intext: Verilen tüm terimleri sayfa içeriğinde arar.​
  • Inurl: Verilen kelime veya kelime grubunu URL adresinde içeren sonuçları listeler.​
  • Allinurl: Verilen tüm terimleri içeren URL adreslerine sahip sonuçları listeler.​
  • Intitle: Verilen kelime veya kelime grubunu başlık olarak barındıran sonuçları listeler.​
  • Allintitle: Verilen tüm terimleri başlığında barındıran sonuçları listeler.​
  • Site: Spesifik bir internet sitesi belirtirken kullanılır.​
  • Filetype: Spesifik bir dosya türü belirtirken kullanılır.​
Örneğin herhangi bir konudaki pdf kaynaklara erişmek istediğimizde google arama kısmına:



filetype:pdf intext:erişilmek istenilen veri türü



86l5830.png




The Harvester: The Harvester ,Kali Linux işletim sisteminin bir parçasıdır.Pasif bilgi toplarkan açık kaynak istihbaratı için çok tercih edilen bir araçtır.Harvester kullanarak e-posta adresi,kullanıcı adları,alt alanlar,IP'ler,domain bilgilerini toplayabiliriz.



1f0oblt.jpg




Diğer OSINT araçları:



Recon-Ng



Recon-ng, hedef hakkında internet üzerinden bilgi toplamaya yarayan ve sonuçlarını raporlayan web tabanlı keşif aracıdır.








std9dt4.png



TinEye



Ücretsiz ve güçlü bir tersine görsel arama aracı olan TinEye, internette aynı veya benzer bir görselin yayınlanıp yayınlanmadığını bulmanıza yardımcı oluyor.


mze1k6v.jpg




Metagoofil



Metagoofil aracı, exiftool gibi resim, ses veya video kayıtları üzerinden değil domain adresleri üzerinden metadata toplayan bir araçtır. Mesela hedef sistem üzerinde doküman arama işlemini gerçekleştirebiliriz. pdf, doc, xls, ppt, odp, ods, docx, xlsx, pptx dosya uzantılarını aramayı desteklemektedir.


l05gpq0.png




SpiderFoot

6mtwgn4.png



Searchcode

26iuepm.png



Exiftool



ExifTool, görüntü, ses, video ve PDF meta verilerini okumak, yazmak ve işlemek için ücretsiz ve açık kaynaklı bir yazılım programıdır. Platformdan bağımsızdır, hem Perl kitaplığı hem de komut satırı uygulaması olarak mevcuttur.


2wz2snb.png




Dig,Nslookup ve WHOIS gibi çeşitli DNS yardımcı programları.




dttep5n.png



SpiderFoot, ilk kez 2005 yılında piyasaya sürülen bir masaüstü uygulaması olarak “Steve Micallef”tarafından Python ile geliştirildi. Yalnızca beş veri kaynağını sorgulamasına ve ardından yıllarca el değmeden kalmasına rağmen, o zamanlar bile oldukça popülerdi. Hedefiniz hakkında bilgi toplamak için tek bir arayüze sahip olmanın güvenlik profesyonelleri için çok faydalı olacağı fikrinden doğdu ve aynı motivasyonla günümüze kadar gelişmeye devam etti.



Bugün, tipik bir kuruluşun saldırı yüzeyi şirket içi altyapı, çoklu bulut platformu hizmetleri, SaaS platformları ve uzak iş-ev cihazları ve ağlarındaki artış nedeniyle dağıtılmıştır. Buna, İnternet'i sürekli olarak tarayan ve bulunan güvenlik açıklarını yayınlayan artan sayıda hizmetin yanı sıra rapor edilen neredeyse günlük veri ihlallerini toplayan ve analiz eden hizmetleri ekleyin. İyi ya da zarar için kullanılmayı bekleyen OSINT verileri hazineleriyle baş başa kaldık.



Savunucuların (ayrıca kırmızı ekiplerin(saldırı timleri)) bu verileri bulmak ve kendi kuruluşları, müşterileri veya rakipleri olsun, hedefin güvenlik durumu hakkında akıl yürütmelerine yardımcı olacak şekilde anlaşılır hale getirmek için araçlara ihtiyacı vardır.



Tam anlamı ile Spıderfoot : Belirli bir hedef hakkında istihbarat toplama sürecini otomatikleştirme işlevi olan bir OSINT (Açık Kaynak İstihbarat) otomasyonu ve keşif aracıdır. (IP adresi, alan adı, ana bilgisayar adı, ağ alt ağı, ASN, vb.)



DNS, Whois, Web sayfaları, pasif DNS, spam kara listeler, dosya meta verileri, tehdit istihbarat listeleri ve hizmetler gibi herhangi bir hedef hakkında bilgi toplamak için kara kutu pentest sürecinde kullanabileceğiniz bir OSINT otomasyon aracıdır.











ij2hqde.png


  • Web tabanlı UI (user interface) veya CLI (command line interface)
  • 200’den fazla modül
  • Python 3 ile çalışır
  • CSV / JSON / GEXF dışa aktarma
  • API anahtarı dışa / içe aktarma
  • Özel sorgulama için SQLite arka ucu
  • Son derece yapılandırılabilir
  • Tamamen belgelenmiş
  • Görselleştirmeler
  • Dark web araması için TOR entegrasyonu
  • Docker tabanlı dağıtımlar için Dockerfile
  • DNSTwist, Whatweb, Nmap ve CMSeeK gibi diğer araçları çağırabilir

bo4z68v.png








Bir SpiderFoot taramasında aşağıdaki varlıkları hedefleyebilirsiniz:
  • IP adresi
  • Etki alanı / alt etki alanı adı
  • Hostname
  • Ağ alt ağı (CIDR)
  • ASN
  • E-mail adresi
  • Telefon numarası
  • Kullanıcı adı
  • Kişinin adı



SpiderFoot’un 200’den fazla modülü, aşağıdakileri yapmak ve maksimum veri çıkarma sağlamak için kullanır:
  • Ana bilgisayar / alt alan / TLD numaralandırma / çıkarma
  • E-posta adresi, telefon numarası ve insan adı çıkarma
  • Bitcoin ve Ethereum adres çıkarma
  • Alt alan adının ele geçirilmesine karşı duyarlılığı kontrol edin
  • DNS bölge aktarımları
  • Tehdit bilgisi ve Kara liste sorguları
  • SHODAN, HaveIBeenPwned, GreyNoise, AlienVault, SecurityTrails vb. İle API entegrasyonu
  • Sosyal medya hesap numaralandırma
  • S3 / Azure / Digitalocean kova numaralandırma / kazıma
  • IP coğrafi konumu
  • Web kazıma, web içeriği analizi
  • Görüntü, belge ve ikili dosya meta veri analizi
  • Dark web aramaları
  • Bağlantı noktası tarama ve afiş yakalama
  • Veri ihlali aramaları




fsjvfmq.png




SpiderFoot’u kurmak ve çalıştırmak için en az Python 3.6’ya ve pip ile kurabileceğiniz bir dizi Python kitaplığına ihtiyacınız var. Ana sürümde genellikle tam olarak test edilmemiş son teknoloji özelliklere ve modüllere sahip olacağından, paketlenmiş bir sürüm kurulması önerilir.



SpiderFoot'u Kali Linux içinde çalıştırmak için şu adımları izleyin:



Kali Linux'u kurulum veya Canlı önyükleme olarak başlatın.



Terminali çalıştırın.



Çalıştır: spiderfoot -l 127.0.0.1:5009



Kali'de tarayıcı’yı açın ve http://127.0.0.1:5009 adresine gidin.



5py3nj4.png




Spiderfoot ile hedef sistem hakkında istediğimiz bilgiyi belirli bir modül kullanarak elde edebiliyoruz. Bunu yaparken spiderfoot dizinindeki sf.py dosyasını komut satırında python ile çalıştırıp loopback ip adresimizde çalıştırıp 5001 numaralı porttan dinliyoruz ve ardından komut satırında tekrar sfcli.py dosyasını çalıştırıyoruz. Bunu modüller komutu ile modül isimlerini ve özelliklerini listelediğimizde yapabiliriz.




sfcli.py dosyasını python aracılığı ile çalıştırdık ve modules komutu ile birlikte modul listeleme’yi gerçekleştirdik.



Burada
-m seçeneği ile modüller arasından sfp_dnsresolve modülünü seçip -s seçeneği ile hedefi belirterek komut satırında çalıştırdığımızda modülün fonksiyonunda belirtilen tanımlı hostları ve ip adreslerini çözmeye çalıştı.



Görüldüğü gibi burada
-t seçeneği ile e-posta adreslerini hedef alan adına algılama, -f ve -x ile hedef ile direkt olarak ihtiyaç duyulan modül üzerinden filtreleme ve - ile kayıt tutma için kendine ait bir modül -q devre dışı bırakıldı.


Tarama Çalıştırma



İlk çalıştırmada Spiderfoot geçmiş verileri olmaz.



Bir tarama başlatmak için üst menü çubuğundaki
'Yeni Tarama' düğmesine tıklayın.Daha sonra taramanız için bir ad (bunlar benzersiz değildir) ve bir hedef (ayrıca benzersiz değildir) tanımlamanız gerekecektir:



Ardından, kullanım durumuna (varsayılan olarak seçilen sekme), gerekli verilere veya modüle göre taramayı nasıl çalıştırmak istediğinizi tanımlayabilirsiniz.



Modül tabanlı tarama, farklı modül sağlayıcılarının davranış ve verilere aşina ile tarama üzerinde daha fazla kontrol sahibi olmak ileri düzey kullanıcı bilgileri gerektirir.



Modül taramasında bağımlılık denetimi yapılmaz, sadece gerekli verilere göre tarama yapılır.




Tarama sonuçları



'Taramayı Çalıştır'ı tıkladığınız andan itibaren, taramanızı neredeyse gerçek zamanlı olarak izlemek için bir ekrana yönlendirileceksiniz:



Bu ekran, şu ana kadar elde edilen verilerin dökümünü gösteren bir grafik ve SpiderFoot ve modülleri tarafından oluşturulan günlük mesajlarından oluşur. Grafikler sizi veri tür\türleri için sonuç tablosuna iletir.










Bir tarama için 'Gözat' düğmesine tıklayarak, verilere türe göre göz atabilirsiniz:



Bu veriler dışa aktarılabilir ve aranabilir. Arama yardımları için Arama kutusunu tıklayın. Gerçek veriler için veri türlerinden birini seçin.



Görüntülenen alanlar aşağıdaki şekilde açıklanmıştır:


  • Onay kutusu alanı: Alanları yanlış pozitif olarak ayarlamak/ayarını kaldırmak için bunu kullanın. En az biri işaretlendiğinde, kaydı ayarlamak/ayarını kaldırmak için yukarıdaki turuncu Yanlış Pozitif düğmesine tıklayın.​
  • Veri Öğesi: Modülün hedefiniz hakkında elde edebildiği veriler.​
  • Kaynak Veri Öğesi: Modülün, veri toplaması için temel olarak aldığı veriler. Yukarıdaki örnekte, sfp_portscan_tcp modülü açık bir bağlantı noktasıyla ilgili bir olay aldı ve bunu, o bağlantı noktasındaki başlığı elde etmek için kullandı.​
  • Kaynak Modülü: Bu verileri tanımlayan modül.​
  • Tanımlandı: Veriler modül tarafından tanımlandığında.​




Yanlış Pozitif Ayarlama



Sürüm 2.6.0, veri kayıtlarını yanlış pozitifler olarak ayarlama yeteneğini tanıttı. Önceki bölümde bahsedildiği gibi, kayıtları yanlış pozitif olarak ayarlamak/ayarını kaldırmak için onay kutusunu ve turuncu düğmeyi kullanın.



Kayıtları yanlış pozitif olarak ayarladıktan sonra, bu kayıtların yanında bir gösterge göreceksiniz ve bunları aşağıda gösterildiği gibi görünümden filtreleyebilirsiniz:




NOT : Kayıtlar yalnızca bir tarama bittiğinde yanlış pozitif olarak ayarlanabilir. Bunun nedeni, bir kaydın yanlış pozitif olarak ayarlanması, tüm alt veri öğelerinin de yanlış pozitif olarak ayarlanmasıyla sonuçlanır. Tarama hala devam ediyorsa, bu açıkça yapılamaz ve bu nedenle arka uçta tutarsız bir duruma yol açabilir. Kullanıcı arabirimi bunu yapmanızı engelleyecektir.



Bir kaydın yanlış pozitif olarak ayarlanmasının sonucu, veri tablosu görünümündeki ve dışa aktarılan gösterge dışında, bu tür verilerin düğüm grafiklerinde gösterilmemesidir.




Arama Sonuçları



Sonuçlar, tüm tarama düzeyinde veya ayrı ayrı veri türleri içinde aranabilir. Aramanın kapsamı, o sırada bulunduğunuz ekrana göre belirlenir.



Arama alanını seçerken açılan kutunun gösterdiği gibi, aşağıdaki gibi arama yapabilirsiniz:


  • Tam değer: Belirli bir değer için joker olmayan arama. Örneğin, bulunmayan tüm sayfaları görmek için HTTP Durum Kodu bölümünde 404'ü arayın.​
  • Kalıp eşleştirme: Kalıpları bulmak için basit joker karakterleri arayın. Örneğin, 22 numaralı bağlantı noktasının tüm açık örneklerini görmek için Açık TCP Bağlantı Noktası bölümünde *:22'yi arayın.​
  • Normal ifade aramaları: Normal ifadeye göre arama yapmak için dizginizi '/' içine alın. Örneğin, tarama sonuçlarınızda IP adresi gibi görünen herhangi bir şey bulmak için​
    '/\d+.\d+.\d+.\d+/'​
    ifadesini arayın.​

Taramaları Yönetme



Birikmiş geçmiş göz atma verileriniz olduğunda, bunları yönetmek için 'Taramalar' bölümündeki listeyi kullanabilirsiniz:



Filtre açılır seçimini değiştirerek gösterilen taramaları filtreleyebilirsiniz. Yeşil simgeler dışındaki tüm simgeler, onay kutularını işaretlediğiniz taramalar için geçerlidir.








Tor Entegrasyonu



Giriş



Keşif/ayak izi yürütmeyle ilgili en ilginç şeylerden biri, hedefiniz hakkında internetteki çok sayıda ve çeşitli veri kaynaklarından akmaya başlayan bilgi zenginliğidir. Keşfi manuel olarak gerçekleştirmek zaman alıcıdır ve genellikle sıkıcıdır, ancak bunu otomatikleştirmenin de zorlukları vardır:

  • Birçok arama motoru, CAPTCHA'ları gösterecek veya otomatik etkinlikten şüphelendiklerinde sizi engelleyecektir.​
  • Hedefinize bilgi topladığınıza dair erken bir işaret vermemek için keşif sırasında kimliğinizi korumak isteyebilirsiniz.​
Tor'un çok kullanışlı olduğu yer burasıdır ve bu yazıda biraz Tor hakkında, SpiderFoot'un onunla nasıl bütünleştiğini ve keşif sonuçlarınızı iyileştirmek için SpierFoot 2.5.0'daki bu yeni yeteneği nasıl kullanabileceğinizi açıklayacağım.



Tor nedir?



Tor web sitesinden alınan Tor ağı:



… insanların İnternet'teki gizliliklerini ve güvenliklerini geliştirmelerine olanak tanıyan, gönüllü olarak işletilen bir grup sunucu. Tor kullanıcıları bu ağı doğrudan bağlantı kurmak yerine bir dizi sanal tünel üzerinden bağlanarak kullanırlar, böylece hem kuruluşların hem de bireylerin kamuya açık ağlar üzerinden gizliliklerinden ödün vermeden bilgi paylaşmalarına olanak tanır...



Tor ağını kullanmak, temelde SOCKS uyumlu bir proxy görevi gören istemci yazılımını kurmak ve SOCKS özellikli istemcinizden (örn. bir web tarayıcısı) TCP bağlantılarını proxy yapmak kadar basittir. Bağlanmakta olduğunuz hedef sunucu IP adresinizi görmez, bunun yerine Tor ağındaki diğer düğümlerden geçtikten sonra bağlantınızın yönlendirildiği Tor "çıkış düğümü"nün IP adresini görür (Tor çıkış düğümü bile görmez) IP adresinizi bilin). Tor ağındaki bu atlama grubu, "Tor devreniz" olarak bilinir ve her on dakikada bir otomatik olarak değiştirilir.



Tor yapılandırmanıza bağlı olarak, Tor istemcisi iki bağlantı noktasını dinleyecektir - biri proxy bağlantısı için ve diğeri kontrol komutlarını kabul etmek için. Kontrol bağlantı noktası, SpiderFoot tarafından devrenin yenilenmesini talep etmek için kullanılır ("yeniden devre kurma" olarak adlandırdığım şey).




Çalışan Tor



Tor'u yükleme ve yapılandırmayla ilgili zengin bilgiler web'de mevcuttur, ancak SpiderFoot ile amaçlarınız için, Tor istemcisini indirip çalıştırmanız ve SpiderFoot'un kontrol edebilmesi için kontrol bağlantılarını etkinleştirmeniz yeterlidir.



NOT: Tor, SpiderFoot ile kullanmak zorunda OLMAYAN bir "Tor Tarayıcı" sunar - Tor "bağımsız" istemciye ihtiyacınız vardır.



Linux/BSD için


• Tor indirme sayfasına gidin ve platformunuz için paketi indirin.



• Paketi sağlanan talimatlara göre derleyin/yükleyin.



• Tor'u şu şekilde çalıştırın:



• tor --SocksPort 9050 --ControlPort 9051



• İşlemden elde edilen çıktı, tüm hataları ve genel durum güncellemelerini belirtmelidir, ancak bunun gibi bir mesaj, kurulumun başarıyla yapıldığını gösterir:



• [notice] Tor has successfully opened a circuit. Looks like client functionality is working.



Pencereler İçin:


• Tor indirme sayfasına gidin, Windows'a tıklayın ve ardından Expert Bundle'ı indirin. “Tor Tarayıcı”yı indirmeyin!



• Paketi seçtiğiniz bir dizine açın, Windows komut satırını açın ve sıkıştırılmış paketin “Tor” dizinine geçin.



• Tor'u şu şekilde çalıştırın:



• tor --SocksPort 9050 --ControlPort 9051


Görev Yöneticisi'ni kullanarak her iki bağlantı noktasında da çalıştığını ve dinlediğini kontrol edin ve ardından
netstat, her iki bağlantı noktasını da dinlediğini belirtmelidir:



C:\Tor>netstat /na | findstr 905



TCP 127.0.0.1:9050 0.0.0.0:0 LISTENING



TCP 127.0.0.1:9051 0.0.0.0:0 LISTENING




Tor için SpiderFoot'u Yapılandırma







SpiderFoot'ta Tor'u etkinleştirmek için Ayarlar menüsüne ve ardından Global sekmesine gidin. Aşağı kaydırın ve aşağıdaki seçenekleri göreceksiniz:



Burada açıklanan her seçenek:



• SOCKS Sunucu Türü : Değeri 'TOR' (tırnak işaretleri olmadan) olarak ayarlamanız yeterlidir.



• SOCKS Sunucu IP Adresi : Yukarıdaki kısımdan Tor sunucunuzun dinlediği IP Adresi olmalıdır. Farklı bir şekilde yapılandırmadıysanız, bu genellikle 127.0.0.1 olacaktır.



• SOCKS Sunucusu TCP Bağlantı Noktası : Tor'un proxy için kullanması için yukarıdaki bölümde ayarladığınız bağlantı noktası.
Varsayılan Tor proxy bağlantı noktası 9050'dir.



• SOCKS Proxy'sinden DNS geçirilsin mi? : Bu, SOCKS'a özgü bir seçenektir ve proxy'niz olarak Tor kullanıldığında geçerli değildir. Tor söz konusu olduğunda, Tor'dan geçen tüm istekler yerel olarak değil, Tor hizmeti aracılığıyla çözümlenir. Bununla birlikte, genel olarak DNS ile ilgili aşağıdaki uyarıya bakın.



• Tor'un kontrol komutlarını aldığı bağlantı noktası : Önceki bölümde açıklandığı gibi, bu, Tor'un kontrol komutlarını dinlediği bağlantı noktasıdır ve SpiderFoot'un gerektiğinde yeniden devre yapması talimatını vermesini sağlar. Yukarıdaki talimatlara göre, bu 9051 olacaktır.



• Bu ayarları değiştirdikten sonra Değişiklikleri Kaydet düğmesine tıklayın ve taramanızı Tor üzerinden yapmaya hazırsınız. Tor ile ilgili olabilecek hataları görmek için taramanız için SpiderFoot günlüklerini kontrol edin.


Uyarı : Çok kritik bir uyarı, Tor kullanımının yalnızca TCP bağlantısı için geçerli olmasıdır çünkü Tor açıkça UDP'yi desteklemez ve bu nedenle doğrudan SpiderFoot'un sfp_dns modülü tarafından gerçekleştirilen herhangi bir DNS araması doğrudan yapılandırılmış DNS sunucunuza gider.




O Nasıl Çalışır?



Çeşitli SpiderFoot modülleri, çeşitli istihbarat kaynakları (örn. Google, Bing, vb.) tarafından CAPTCHA'lar veya diğer engellemeler uygulandığında bunu algılayacak mekanizmalara sahiptir. SpiderFoot bunu algıladığında, Tor'a bir NEWNYM komutu göndermek için Stem kitaplığını kullanır. Tor daha sonra sonraki bağlantılar için yeni bir devre kurar. SpiderFoot, pes etmeden önce devreleri üç defaya kadar değiştirmeye çalışacaktır.







Modüller



Genel Bakış



SpiderFoot, tüm veri toplamayı modüler hale getirdi. Bir modül bir veri parçası keşfettiğinde, bu veri işlenmek üzere o veri türüyle 'ilgilenen' diğer tüm modüllere iletilir. Bu modüller daha sonra yeni verileri tanımlamak için o veri parçası üzerinde hareket edecek ve ardından ilgilenebilecek diğer modüller için yeni olaylar üretecek ve bu böyle devam edecek.



Örneğin,
sfp_dnsresolve ilgili tüm modüllere bildirimde bulunarak hedefinizle ilişkili bir IP adresi tanımlayabilir. İlgili modüllerden biri, bu sfp_ripe IP adresini alacak ve parçası olduğu netblock'u, BGP ASN'yi vb. tanımlayacak olan modül olacaktır.



Bu, modül koduna bakarak en iyi şekilde gösterilebilir. Örneğin
sfp_names modül, insan adlarını tanımlamak için TARGET_WEB_CONTENT ve EMAILADDR olaylarını arar:



# Bu modül giriş için hangi olaylarla ilgileniyor?



# * = tüm etkinliklerden haberdar olun.



def watchedEvents(self):



return ["TARGET_WEB_CONTENT", "EMAILADDR"]







# Bu modülün ürettiği olaylar



# Bu, son kullanıcıyı olaylara göre modül seçme konusunda desteklemek içindir.



# üretilmiş.



def producedEvents(self):



return ["HUMAN_NAME"]



Bu arada, her olay bir modülde oluşturulduğundan, kullanıcı arabiriminde raporlama ve görüntüleme için SpiderFoot veritabanına da kaydedilir.




Modül Listesi



Tüm SpiderFoot modüllerinin bir listesini görmek için şunu çalıştırın sf.py -M:



~/spiderfoot$ python3 ./sf.py -M



Veritabanını doğrulamaya ve gerekirse güncellemeye çalışılıyor...



Modules available:




sfp_abusech ile Bir ana bilgisayar/etki alanı, IP veya ağ bloğunun abuse.ch'e göre kötü amaçlı olup olmadığını kontrol edin.



sfp_abuseipdb ile AbuseIPDB.com'a göre bir netblock veya IP'nin kötü amaçlı olup olmadığını kontrol edin.



sfp_accounts ile Ebay, Slashdot, reddit, vb. gibi yaklaşık 200 web sitesinde olası ilişkili hesapları arayın.sfp_adblock Check if linked pages would be blocked by AdBlock Plus.



sfp_ahmia ile Hedef etki alanından bahsetmek için Tor 'Ahmia' arama motorunda arama yapın.



sfp_alienvault ile AlienVault Open Threat Exchange'den (OTX)



bilgi almasfp_alienvaultiprep ile AlienVault IP Reputation veritabanına göre bir IP veya ağ bloğunun kötü niyetli olup olmadığını kontrol edin.



sfp_apility ile IP adresi ve etki alanı itibarı için Arama Beceri API'si.



sfp_archiveorg ile Wayback Machine'deki ilginç dosyaların/sayfaların eski sürümlerini tanımlar.



sfp_arin ile İletişim bilgileri için ARIN kaydını sorgular.



...




Veri Öğeleri



Yukarıda belirtildiği gibi SpiderFoot, her modülün diğer modüllerin dinlediği ve tükettiği veri öğeleri hakkında olaylar ürettiği "olay güdümlü" bir modül üzerinde çalışır.



Veri öğeleri aşağıdaki türlerden biridir:



• IP adresleri, İnternet adları (ana bilgisayar adları, alt alanlar, alanlar),



• port numaraları, URL'ler ve kurulu yazılımlar gibi alt varlıklar ,



• bu varlıkların tanımlayıcıları (kötü amaçlı, fiziksel konum bilgileri, …) veya



• çoğunlukla yapılandırılmamış veriler (web sayfası içeriği, bağlantı noktası başlıkları, ham DNS kayıtları, … )



Mevcut tüm türlerin tam listesini görmek için şunu çalıştırın
sf.py -T:



~/spiderfoot$ python3 ./sf.py -T



Veritabanını doğrulamaya ve gerekirse güncellemeye çalışılıyor...



Types available:



ACCOUNT_EXTERNAL_OWNED Account on External Site



ACCOUNT_EXTERNAL_OWNED_COMPROMISED Hacked Account on External Site



ACCOUNT_EXTERNAL_USER_SHARED_COMPROMISED Hacked User Account on External Site



AFFILIATE_COMPANY_NAME Affiliate - Company Name



AFFILIATE_DESCRIPTION_ABSTRACT Affiliate Description - Abstract



AFFILIATE_DESCRIPTION_CATEGORY Affiliate Description - Category



AFFILIATE_DOMAIN Affiliate - Domain Name



AFFILIATE_DOMAIN_NAME Affiliate - Domain Name



AFFILIATE_DOMAIN_UNRESOLVED Affiliate - Domain Name - Unresolved



AFFILIATE_DOMAIN_WHOIS Affiliate - Domain Whois



AFFILIATE_EMAILADDR Affiliate - Email Address






Modül Yazma



sfp_template.py Bir SpiderFoot modülü yazmak için , hiçbir şey yapmayan bir iskelet modül olan dosyaya bakarak başlayın . Rehberiniz olarak aşağıdaki adımları kullanın:

  • sfp_template.py Modülünüzün adı ne olursa olsun, bir kopyasını oluşturun . Bunu tanımlayıcı bir şey yapmaya çalışın, yani şöyle bir şey​
    sfp_mymodule.py​
    değil, bunun yerine​
    sfp_imageanalyser.py​
    resim içeriğini analiz etmek için bir modül oluşturuyormuşsunuz gibi bir şey yapın.​
  • Yeni modülde XXX'i modülünüzün adıyla değiştirin ve başlıktaki açıklayıcı bilgileri ve modül içindeki yorumu güncelleyin.​

  • Sınıfın yorumu​
    check in sfp_template.py​
    SpiderFoot tarafından kullanıcı arabiriminde modülleri doğru bir şekilde kategorize etmek için kullanılır, bu nedenle onu anlamlı bir şey haline getirin. Örnekler için diğer modüllere bakın.​
  • Olayları , önceki bölümdeki veri öğesi tablosuna göre​
    watchedEvents()​
    ve buna göre ayarlayın.​
    producedEvents()​
    SpiderFoot'ta önceden var olmayan yeni bir veri öğesi üretiyorsanız, bunu veritabanında oluşturmalısınız:​
  • ~/spiderfoot$ sqlite3 spiderfoot.db sqlite> INSERT INTO tbl_event_types (event, event_descr, event_raw) VALUES ('NEW_DATA_ELEMENT_TYPE_NAME_HERE', 'Description of your New Data Element Here', 0, 'DESCRIPTOR or DATA or ENTITY or SUBENTITY');`​
  • Modülün mantığını handleEvent(). Her çağrıya handleEvent() bir SpiderFootEvent nesne sağlanır. Bu nesne içindeki en önemli değerler şunlardır:​
  • eventType: Veri öğesi kimliği ( IP_ADDRESS, WEBSERVER_BANNER, vb.)​
  • data: Gerçek veriler, örneğin IP adresi veya web sunucusu başlığı, vb.​
  • module: Olayı üreten modülün adı ( sfp_dnsresolve, vb.)​
  • Etkinliğinizi oluşturma zamanı geldiğinde, şunun bir örneğini oluşturun SpiderFootEvent:​
  • e = SpiderFootEvent("IP_ADDRESS", ipaddr, self.__name__, event)​
  • Not: event Son değişken olarak iletilen, modülünüzün aldığı olaydır. Spiderfoot,Veritabanındaki veri öğeleri arasında ilişki oluşmasını sağlar.​
  • Etkinlikle ilgilenebilecek tüm modülleri bilgilendirin:​

  • self.notifyListeners(e)​



Veri tabanı



Tüm SpiderFoot verileri, verilerinizin spiderfoot.db analizi için SpiderFoot dışında kullanılabilen bir SQLite veritabanında (SpiderFoot kurulum klasörünüzde) saklanır.



Şema oldukça basittir ve GitHub deposunda görüntülenebilir .



Aşağıdaki sorgular bazı ek ipuçları sağlayabilir:



# SpiderFoot veritabanındaki toplam tarama sayısı



sqlite> select count(*) from tbl_scan_instance;



# Belirli bir tarama için kimliği edinin



sqlite> tbl_scan_instance'tan guid seçin, burada seed_target = 'binarypool.com';



# Number of results per data type



sqlite> select count(*), type from tbl_scan_results where scan_instance_id = 'b459e339523b8d06235bd06087ae6c6017aaf4ed68dccea0b65a1999a17e460a' group by type;



5|AFFILIATE_INTERNET_NAME



2|AFFILIATE_IPADDR



1|CO_HOSTED_SITE



1|DOMAIN_NAME



1|DOMAIN_REGISTRAR



1|DOMAIN_WHOIS



1|GEOINFO



28|HTTP_CODE



48|HUMAN_NAME



49|INTERNET_NAME



2|IP_ADDRESS



49|LINKED_URL_EXTERNAL



144|LINKED_URL_INTERNAL



2|PROVIDER_DNS



1|PROVIDER_MAIL



4|RAW_DNS_RECORDS



1|RAW_FILE_META_DATA



1|ROOT



14|SEARCH_ENGINE_WEB_CONTENT



1|SOFTWARE_USED



16|TARGET_WEB_CONTENT



2|TCP_PORT_OPEN



1|TCP_PORT_OPEN_BANNER



1|URL_FORM



10|URL_JAVASCRIPT



6|URL_STATIC



21|URL_WEB_FRAMEWORK



28|WEBSERVER_BANNER



28|WEBSERVER_HTTPHEADERS






OSNIT - SPIDERFOOT hakkında bazı Youtube videoları :
9 Aşamada Açık Kaynak İstihbaratı Nasıl Gerçekleştirilir? (Türkçe)

Bir hedef hakkında bilgi toplamak için OSINT Spıderfoot nasıl kullanılır?

Linux ve Windows için OpenSource OSINT Spıderfoot

OSINT Spıderfoot Termux Kurulumu

Açık kaynak kodlarına ulaşmak için SPIDERFOOT GİTHUB sayfasını ziyaret edebilirsiniz.
Daha fazla bilgi için Spıderfoot resmi internet sitesine Buradan ulaşabilirsiniz.

Buraya kadar okuduğunuz için teşekkür ederim.
Faydalı olması dileği ile.
Saygılar.

Ayrıntılı ve güzel bir anlatım olmuş teşekkürler.
 
Üst

Turkhackteam.org internet sitesi 5651 sayılı kanun’un 2. maddesinin 1. fıkrasının m) bendi ile aynı kanunun 5. maddesi kapsamında "Yer Sağlayıcı" konumundadır. İçerikler ön onay olmaksızın tamamen kullanıcılar tarafından oluşturulmaktadır. Turkhackteam.org; Yer sağlayıcı olarak, kullanıcılar tarafından oluşturulan içeriği ya da hukuka aykırı paylaşımı kontrol etmekle ya da araştırmakla yükümlü değildir. Türkhackteam saldırı timleri Türk sitelerine hiçbir zararlı faaliyette bulunmaz. Türkhackteam üyelerinin yaptığı bireysel hack faaliyetlerinden Türkhackteam sorumlu değildir. Sitelerinize Türkhackteam ismi kullanılarak hack faaliyetinde bulunulursa, site-sunucu erişim loglarından bu faaliyeti gerçekleştiren ip adresini tespit edip diğer kanıtlarla birlikte savcılığa suç duyurusunda bulununuz.