Spiderfoot
Spiderfoot, IP adreslerini, telefon, adları ve kullanıcı adlarını, e-posta adreslerini, etki alanlarını ve alt etki alanlarını, CIDR aralıklarını, ASN'leri, BTC adreslerini vb. toplamak ve analiz etmek için birden fazla veri kaynağıyla bütünleşen ücretsiz bir OSINT keşif aracıdır. GitHub'da bulunan Spiderfoot, sezgisel bir web tabanlı GUI sağlamak için hem komut satırı arayüzü hem de gömülü bir web sunucusu ile birlikte gelir.
Uygulamanın kendisi, hedefiniz hakkında daha fazla bilgi edinmek veya sizin veya kuruluşunuzun yanlışlıkla internette neler açığa çıkarabileceğini belirlemek için kırmızı ekip keşif faaliyetleri için ideal hale getiren 200'den fazla modülle birlikte gelir.
- Hakkında
- Spiderfoot HX
- Yardım istemek
- Önkoşullar
- Spiderfoot’u Çalıştırmak
- Güvenlik
- API Anahtarları
- Spiderfoot'u Yapılandırma
- Spiderfoot’u Kullanma
- Modüller
- Veritabanı
---------------------------------------------------------------------------------------------------------------------------
Hakkında
SpiderFoot nedir?
SpiderFoot, IP adresleri, alan adları, e-posta adresleri, adlar ve daha fazlası hakkında bilgi toplamak için 100'den fazla genel veri kaynağını (OSINT) otomatik olarak sorgulayan bir keşif aracıdır. Araştırmak istediğiniz hedefi belirtmeniz, hangi modüllerin etkinleştirileceğini seçmeniz ve ardından Spiderfoot'un tüm varlıkları ve birbirleriyle nasıl ilişkili olduklarını anlamak için veri toplaması yeterlidir.
OSINT nedir?
OSINT (Open Source Intelligence), hedefinizle ilgili ilginç bilgileri ortaya çıkarabilecek, kamuya açık alanda bulunan verilerdir. Buna DNS, Whois'ler, Web sayfaları, pasif DNS, spam kara listeleri, dosya meta verileri, tehdit istihbarat listeleri ve SHODAN, HaveİBeenPwned gibi hizmetler dahildir. ve daha fazlası.
SpiderFoot ile ne yapabilirim?
SpiderFoot taramasından geri döndürülen veriler, penetrasyon testi, kırmızı takım egzersizi veya tehdit istihbaratı sırasında kullanılabilecek olası veri sızıntıları, güvenlik açıkları veya diğer hassas bilgiler hakkında fikir vererek hedefinizle ilgili birçok bilgiyi ortaya çıkaracaktır. Neye maruz kalmış olabileceğinizi görmek için kendi ağınıza karşı deneyin!
Spiderfoot HX
Spiderfoot HX, performans, kullanılabilirlik, veri görselleştirme, güvenlik ve daha fazlası dahil olmak üzere Spiderfoot'un her alanında gelişmiş işlevler sunmak için açık kaynak sürümünün modül tabanını temel alır.
Ek Özellikleri
Ekim ayında Spiderfoot, açık kaynak sürümünün veri toplama yeteneklerine, aşağıdaki özelliklerle işleri bir adım öteye taşıyor:
Kurulum gerekli değildir: Kayıttan sonra her şey çalışır durumdadır. Yüklenecek Python bağımlılıklarınız, döndürülecek sanal makineleriniz veya büyük bir tarama çalıştırmak için yeterli bilgi işlem / bellek / diskiniz olmadığından emin olun.
Soruşturmalar: Bazen, taramanızın tam otomasyonunu istemezsiniz ve adım adım, modül modül, veri toplama sürecine girmek istersiniz. Anketler, tarama sürecini tam olarak kontrol altına almanız için size görsel bir yol sunar.
Çok hedefli tarama: Birden çok varlığınızın olduğu durumlarda (etki alanları, e-posta adresleri vb.) aynı hedefle ilgili olarak, hepsini tek bir taramanın hedefi olarak sağlayabilirsiniz. Bu, Spiderfoot'un ilişkileri daha iyi tanımlamasını ve ilgili bilgileri bulmasını sağlar.
Taramalar daha hızlı: Spiderfoot hx'in tamamen elden geçirilmiş arka uç mimarisi sayesinde taramalar açık kaynak sürümünden 10 kata kadar daha hızlı çalışır. Bu, ihtiyacınız olan verileri daha hızlı aldığınız anlamına gelir.
OSINT izleme: Taramaları istediğiniz zaman aralık, haftalık veya aylık olarak otomatik olarak çalıştırın ve taramalar arasındaki tüm değişikliklerin otomatik olarak izlenmesini ve uyarılmasını sağlayın.
E-posta bildirimleri. Spiderfoot taramaları bittiğinde veya zamanlanmış taramalar tarama çalışmaları arasındaki değişiklikleri çözdüğünde e-posta bildirimleri alın.
Gevşek entegrasyon: Slack yerine bildirimlerinizi mi tercih ediyorsunuz? Sorun değil; Slack hook URL'nizi girin ve Slack'te tarama tamamlamaları için bildirimler göreceksiniz ve / veya zamanlanmış taramalardan gelen bildirimleri değiştireceksiniz.
Tarama hedeflerini içe aktar: Birçok hedefi tararken, bunları CSV yoluyla veya Hunchly'den dışa aktarıldığı şekilde yüklemek daha kolay olabilir.
Daha fazla modül: Spiderfoot HX, UDP bağlantı noktası taraması, içerik ve sosyal medya profilleri gibi karanlık web sitelerinde kullanılan dili tanımlamak için kimlik bilgilerini kabul edenler ve web sayfaları gibi güvenliğe duyarlı içerikler, alınacak belirli ek modüllerin ekran görüntüsünü ekler.
Korelasyonlar: Tarama sırasında ve tamamlandıktan sonra, SpiderFoot HX korelasyon motoru derhal araştırılması gereken belirli koşulları arıyor. Bu sadece anormalileri değil, aynı zamanda açık bulut depolama kovalarını, yalnızca belirli kaynaklardan bulunan ana bilgisayar adlarını ve çok daha fazlasını içerir.
Raporlama ve Görselleştirme: Veri türü, veri ailesi, modül, modül kategori ve veri kaynağı tarafından tarama sonuçları sunulur. Nasıl keşfedildiğini, ilişkilerini ve daha fazlasını görmek için her veri noktasına derinlemesine bir göz atın.
Takım işbirliği: OSINT ve tehdit istihbaratı üzerinde çalışan bir ekibiniz var mı? SpiderFoot HX ile rol tabanlı erişim kontrolüne sahip birden fazla kullanıcıya sahip olabilir, taramalar ve araştırmalar üzerinde işbirliği yapabilirsiniz.
Talimatlar: Sonuçları taramak için notlar ekleyin ve bunları yerleşik SIEM araçları, araştırma platformları ve biletleme sistemleriyle zengin entegrasyonlar için API ile yukarı çekin.
Güvenlik: İki faktörlü kimlik doğrulama (2FA), rol tabanlı erişim kontrolü ve tamamen kilitli bir bulut altyapısı, OSINT platformunuzun ve araştırmanızın güvenliği ile uğraşmak zorunda olmadığınız anlamına gelir.
Anonim: SpiderFoot HX kullanıma hazır TOR entegrasyonuna sahiptir ve taranan bir varlığın taramayı yaptığınızı bilmesinin hiçbir yolunu sağlamaz.
Özel Tarama Profilleri: Taramalarınız için kullanmak istediğiniz ancak her seferinde tanımlamak zorunda kalmaktan hoşlanmadığınız belirli bir modül kombinasyonunuz var mı? SpiderFoot HX ile tarama profillerini tanımlayabilir ve gelecekteki taramalar için yeniden kullanabilirsiniz.
SpiderFoot HX API: SpiderFoot HX API, platformu düzenleyebilmeniz ve verileri programlı olarak ayıklayabilmeniz için neredeyse tüm UI işlevlerini destekleyen tam belgelenmiş bir RESTful Apı'dir.
Yardım istemek
Bu belgeye ek olarak, çeşitli yerlerden SpiderFoot ile yardım alabileceksiniz:
Hakkında
SpiderFoot nedir?
SpiderFoot, IP adresleri, alan adları, e-posta adresleri, adlar ve daha fazlası hakkında bilgi toplamak için 100'den fazla genel veri kaynağını (OSINT) otomatik olarak sorgulayan bir keşif aracıdır. Araştırmak istediğiniz hedefi belirtmeniz, hangi modüllerin etkinleştirileceğini seçmeniz ve ardından Spiderfoot'un tüm varlıkları ve birbirleriyle nasıl ilişkili olduklarını anlamak için veri toplaması yeterlidir.
OSINT nedir?
OSINT (Open Source Intelligence), hedefinizle ilgili ilginç bilgileri ortaya çıkarabilecek, kamuya açık alanda bulunan verilerdir. Buna DNS, Whois'ler, Web sayfaları, pasif DNS, spam kara listeleri, dosya meta verileri, tehdit istihbarat listeleri ve SHODAN, HaveİBeenPwned gibi hizmetler dahildir. ve daha fazlası.
SpiderFoot ile ne yapabilirim?
SpiderFoot taramasından geri döndürülen veriler, penetrasyon testi, kırmızı takım egzersizi veya tehdit istihbaratı sırasında kullanılabilecek olası veri sızıntıları, güvenlik açıkları veya diğer hassas bilgiler hakkında fikir vererek hedefinizle ilgili birçok bilgiyi ortaya çıkaracaktır. Neye maruz kalmış olabileceğinizi görmek için kendi ağınıza karşı deneyin!
Spiderfoot HX
Spiderfoot HX, performans, kullanılabilirlik, veri görselleştirme, güvenlik ve daha fazlası dahil olmak üzere Spiderfoot'un her alanında gelişmiş işlevler sunmak için açık kaynak sürümünün modül tabanını temel alır.
Ek Özellikleri
Ekim ayında Spiderfoot, açık kaynak sürümünün veri toplama yeteneklerine, aşağıdaki özelliklerle işleri bir adım öteye taşıyor:
Kurulum gerekli değildir: Kayıttan sonra her şey çalışır durumdadır. Yüklenecek Python bağımlılıklarınız, döndürülecek sanal makineleriniz veya büyük bir tarama çalıştırmak için yeterli bilgi işlem / bellek / diskiniz olmadığından emin olun.
Soruşturmalar: Bazen, taramanızın tam otomasyonunu istemezsiniz ve adım adım, modül modül, veri toplama sürecine girmek istersiniz. Anketler, tarama sürecini tam olarak kontrol altına almanız için size görsel bir yol sunar.
Çok hedefli tarama: Birden çok varlığınızın olduğu durumlarda (etki alanları, e-posta adresleri vb.) aynı hedefle ilgili olarak, hepsini tek bir taramanın hedefi olarak sağlayabilirsiniz. Bu, Spiderfoot'un ilişkileri daha iyi tanımlamasını ve ilgili bilgileri bulmasını sağlar.
Taramalar daha hızlı: Spiderfoot hx'in tamamen elden geçirilmiş arka uç mimarisi sayesinde taramalar açık kaynak sürümünden 10 kata kadar daha hızlı çalışır. Bu, ihtiyacınız olan verileri daha hızlı aldığınız anlamına gelir.
OSINT izleme: Taramaları istediğiniz zaman aralık, haftalık veya aylık olarak otomatik olarak çalıştırın ve taramalar arasındaki tüm değişikliklerin otomatik olarak izlenmesini ve uyarılmasını sağlayın.
E-posta bildirimleri. Spiderfoot taramaları bittiğinde veya zamanlanmış taramalar tarama çalışmaları arasındaki değişiklikleri çözdüğünde e-posta bildirimleri alın.
Gevşek entegrasyon: Slack yerine bildirimlerinizi mi tercih ediyorsunuz? Sorun değil; Slack hook URL'nizi girin ve Slack'te tarama tamamlamaları için bildirimler göreceksiniz ve / veya zamanlanmış taramalardan gelen bildirimleri değiştireceksiniz.
Tarama hedeflerini içe aktar: Birçok hedefi tararken, bunları CSV yoluyla veya Hunchly'den dışa aktarıldığı şekilde yüklemek daha kolay olabilir.
Daha fazla modül: Spiderfoot HX, UDP bağlantı noktası taraması, içerik ve sosyal medya profilleri gibi karanlık web sitelerinde kullanılan dili tanımlamak için kimlik bilgilerini kabul edenler ve web sayfaları gibi güvenliğe duyarlı içerikler, alınacak belirli ek modüllerin ekran görüntüsünü ekler.
Korelasyonlar: Tarama sırasında ve tamamlandıktan sonra, SpiderFoot HX korelasyon motoru derhal araştırılması gereken belirli koşulları arıyor. Bu sadece anormalileri değil, aynı zamanda açık bulut depolama kovalarını, yalnızca belirli kaynaklardan bulunan ana bilgisayar adlarını ve çok daha fazlasını içerir.
Raporlama ve Görselleştirme: Veri türü, veri ailesi, modül, modül kategori ve veri kaynağı tarafından tarama sonuçları sunulur. Nasıl keşfedildiğini, ilişkilerini ve daha fazlasını görmek için her veri noktasına derinlemesine bir göz atın.
Takım işbirliği: OSINT ve tehdit istihbaratı üzerinde çalışan bir ekibiniz var mı? SpiderFoot HX ile rol tabanlı erişim kontrolüne sahip birden fazla kullanıcıya sahip olabilir, taramalar ve araştırmalar üzerinde işbirliği yapabilirsiniz.
Talimatlar: Sonuçları taramak için notlar ekleyin ve bunları yerleşik SIEM araçları, araştırma platformları ve biletleme sistemleriyle zengin entegrasyonlar için API ile yukarı çekin.
Güvenlik: İki faktörlü kimlik doğrulama (2FA), rol tabanlı erişim kontrolü ve tamamen kilitli bir bulut altyapısı, OSINT platformunuzun ve araştırmanızın güvenliği ile uğraşmak zorunda olmadığınız anlamına gelir.
Anonim: SpiderFoot HX kullanıma hazır TOR entegrasyonuna sahiptir ve taranan bir varlığın taramayı yaptığınızı bilmesinin hiçbir yolunu sağlamaz.
Özel Tarama Profilleri: Taramalarınız için kullanmak istediğiniz ancak her seferinde tanımlamak zorunda kalmaktan hoşlanmadığınız belirli bir modül kombinasyonunuz var mı? SpiderFoot HX ile tarama profillerini tanımlayabilir ve gelecekteki taramalar için yeniden kullanabilirsiniz.
SpiderFoot HX API: SpiderFoot HX API, platformu düzenleyebilmeniz ve verileri programlı olarak ayıklayabilmeniz için neredeyse tüm UI işlevlerini destekleyen tam belgelenmiş bir RESTful Apı'dir.
Yardım istemek
Bu belgeye ek olarak, çeşitli yerlerden SpiderFoot ile yardım alabileceksiniz:
- Discord sunucumuzda topluluktaki diğer kişilerle sohbet etme
- CLI öğreticiler asciinema.org / ~ spiderfoot (yalnızca açık kaynak sürümü)
- YouTube kanalımızdaki kısa videolara göz atın (Yalnızca SpiderFoot HX)
- Github deposunda bir sorun ortaya çıkıyor
-
- E-posta gönderme [email protected]
-
-
-
Önkoşullar
Docker'ı Kullanma
Spiderfoot'un Linux üzerinde çalışmasını sağlamak için herhangi bir şey yüklemeniz gerekiyorsa, Spiderfoot'u Docker kapsayıcısında çalıştırmak için buradaki talimatları izleyin.
Linux/BSD/Solaris
SpiderFoot, Linux / Solaris / FreeBSD / etc üzerinde çalışmak üzere Python 3 ile yazılmıştır. çeşitli modül bağımlılıklarına ek olarak, PIP kullanarak bağımlılıkları yüklemek için Python 3.6 + yüklü olmalıdır, aşağıdaki komutu çalıştırın:
$ pip3 install -r requirements.txt
Windows
Windows için eski SpiderFoot 2.12 kullanıyorsanız, derlenmiş bir yürütülebilir dosya (.EXE) dosyası ve böylece tüm bağımlılıklar onunla birlikte paketlenir. Python bile değil, üçüncü taraf araçları / kütüphaneleri yüklemeye gerek yok.
Spiderfoot bağımlılıklarını Windows için Python ile Windows'a kolayca yüklemek için aşağıdaki talimatları takip edebilirsiniz:
Spiderfoot'un Linux üzerinde çalışmasını sağlamak için herhangi bir şey yüklemeniz gerekiyorsa, Spiderfoot'u Docker kapsayıcısında çalıştırmak için buradaki talimatları izleyin.
Linux/BSD/Solaris
SpiderFoot, Linux / Solaris / FreeBSD / etc üzerinde çalışmak üzere Python 3 ile yazılmıştır. çeşitli modül bağımlılıklarına ek olarak, PIP kullanarak bağımlılıkları yüklemek için Python 3.6 + yüklü olmalıdır, aşağıdaki komutu çalıştırın:
$ pip3 install -r requirements.txt
Windows
Windows için eski SpiderFoot 2.12 kullanıyorsanız, derlenmiş bir yürütülebilir dosya (.EXE) dosyası ve böylece tüm bağımlılıklar onunla birlikte paketlenir. Python bile değil, üçüncü taraf araçları / kütüphaneleri yüklemeye gerek yok.
Spiderfoot bağımlılıklarını Windows için Python ile Windows'a kolayca yüklemek için aşağıdaki talimatları takip edebilirsiniz:
- Windows için Python'u yüklemek:
- Bu dosyayı indirip Python ile çalıştırarak pip'i yükleyin: python get-pip.py
- Pip'i Linux için yaptığınız gibi çalıştırın: pip3 install -r requirements.txt
- (Paketlenmiş bir sürüm yerine depodan çalıştırmak istiyorsanız isteğe bağlı) Git'i yükleyin
MacOs
MacOS X'e yükleme, Python 3.5+, pip'i yüklemek için Homebrew paket yöneticisini kullanarak ve ardından Linux'ta yaptığınız gibi Spiderfoot bağımlılıklarını yükleyerek kolaylaştırılır:
- İlk olarak, Homebrew'in çalışır olduğundan emin olun. Brew'u çalıştırmayı deneyin ve bu işe yaramazsa kurun.
- Python 3.5+ 'yı, pip'i yükleyecek olan brew ınstall python ile yükleyin
- Pıp ile artık Spiderfoot bağımlılıklarını pip3 install -r requirements.txt Linux'ta olduğu gibi yükleyebilirsiniz.
- (Paketlenmiş bir sürüm yerine depodan çalıştırmak istiyorsanız isteğe bağlı) Git'i brew ınstall git ile yükleyin.
Spiderfoot git kullanılarak kurulabilir (bu, yalnızca bir git çekme işlemi yaparak her zaman en son sürüme sahip olacağınız için önerilen yaklaşımdır) veya bir sürümün tarball'unu indirerek. Platformdan bağımsız olarak, yaklaşım aynıdır:
Git'ten:
$git klonu https://github.com/smicallef/spiderfoot.git
$ cd Spiderfoot
$~/spiderfoot
Bir paket olarak:
$wget https://github.com/smicallef/spiderfoot/archive/v3.0-final.tar.gz
$ tar zxvf v3.0- en son sürüm.katran.gz
$ cd Spiderfoot
$~/spiderfoot
SpiderFoot Çalıştırmak
Spiderfoot'u çalıştırmak için basitçe yürütün.. sf.py spiderfoot'u ayıkladığınız / çektiğiniz dizinden. Python 3 kullandığınızdan emin olun; Bazı Linux dağıtımlarında python Python 2.7'dir, bu nedenle açık olmak ve python3 kullanmak en iyisidir:
~ /spiderfoot $ python3 sf.py
Tarama modunda çalışırken, bir hedef belirtmeniz gerekir. Rehberlik için -- help deneyin.
Bu, komut satırı argümanlarını kaçırdığınızı gösterir, çünkü Spiderfoot bunu tarama modunda mı yoksa Web UI modunda mı çalıştırmak istediğinizi bilmiyor.
Spiderfoot'un yerleşik web sunucusuyla çalışmasını istediğinizde, taramaları çalıştırmanıza, verilere göz atmanıza ve yapılandırmayı bir web tarayıcısı üzerinden yönetmenize olanak sağlayan Web UI modunu kullanın. Web UI modu ayrıca spiderfoot kullanarak sürmenizi sağlar sfcli.py bir istemci/sunucu modelinde.
Tarama modunu yalnızca Spiderfoot'un taramayı başlatmasını ve sonuçları çıktı olarak ayrıştırmasını istediğinizde kullanın. Bu modda hiçbir web sunucusu başlatılmaz.
Web kullanıcı arabirimi modu:
Spiderfoot'u Web UI modunda başlatmak için, hangi IP ve bağlantı noktasını dinleyeceğinizi söylemeniz gerekir. Aşağıdaki örnek, spiderfoot'u 5001 numaralı bağlantı noktasında localhost'a (127.0.0.1) bağlar:
~/spiderfoot$ python3 sf.py -l 127.0.0.1:5001
Çalıştırıldıktan sonra, 127.0.0.1: 5001'de dinleyecek bir web sunucusu başlatılacaktır. Ardından, seçtiğiniz web tarayıcısını şu adrese göz atarak kullanabilirsiniz: https://127.0.0.1:5001. Veya 2.10 sürümünden itibaren varsayılan olarak sunucuya yerel olarak bağlanacak olan clı'yi 127.0.0.1: 5001'de kullanabilir veya sunucunuzun URL'sini açıkça belirtebilirsiniz:
~/spiderfoot$ python3 sfcli.py -s https://127.0.0.1:5001
Spiderfoot'u başka bir sistemden erişilebilir hale getirmek istiyorsanız, örneğin bir sunucuda çalıştırmak ve uzaktan kontrol etmek sfcli.py ardından, Spiderfoot'un bağlanacağı harici bir IP belirtebilir veya 0.0.0.0'ı 127.0.0.1 dahil tüm adreslere bağlanacak şekilde kullanabilirsiniz:
~/spiderfoot$ python3 ./sf.py -l 0.0.0.0:5001
Daha sonra CLI'Yİ uzak bir sistemden kullanmak için sfcli.py dosya kopyalandı, çalıştıracaksınız:
$ python3 sfcli.py -u https:// <uzak ip>: 5001
python3./sfcli.py –help, çalıştırınca istemci CLI'nın nasıl kullanılacağını daha iyi anlamaya yardımcı olun.
5001 numaralı bağlantı noktası sisteminizde başka bir uygulama tarafından kullanılıyorsa, bağlantı noktasını değiştirebilirsiniz:
~/spiderfoot$ python3 sf.py -l 127.0.0.1:9999
Başladıktan sonra, buna benzer bir şey göreceksiniz, bu da gitmeye hazır olduğunuz anlamına geliyor. Bunun yerine eksik modüller hakkında bir hata mesajı görürseniz, lütfen geri dönün ve tüm önkoşulları yüklediğinizden emin olun.
~/ Spiderfoot $ python3 ./sf.py -l 0.0.0.0:5001
Web sunucusunu şu adresten başlatma ...
*************************************************************
Seçtiğiniz web tarayıcısını başlatarak spiderfoot'u kullanın ve
https://<Bu bilgisayarın IP adresi>:5001 adresine gidin.
*************************************************************
[08 / Temmuz / 2019: 14:40:53] ENGINE Listening for SIGHUP.
[08 / Temmuz / 2019: 14:40:53] ENGINE Listening for SIGTERM.
[08 / Temmuz / 2019: 14:40:53] ENGINE Listening for SIGUSR1.
[08 / Temmuz / 2019: 14:40:53] ENGINE Bus STARTING.
[08 / Temmuz / 2019: 14:40:53] ENGINE Serving on https://0.0.0.0:5001.
[08 / Temmuz / 2019: 14:40:53] ENGINE Bus STARTED.
Dikkat!
Varsayılan olarak, Spiderfoot kullanıcı arabirimine bağlanan veya HTTPS üzerinden hizmet veren kullanıcıların kimliğini doğrulamaz, bu nedenle Spiderfoot'u güvenilmeyen aygıtlardan erişilebilen bir sunucu/iş istasyonunda çalıştırmaktan kaçının, çünkü bunlar uzaktan denetleyebilir ve aygıtlarınızdan taramalar başlatabilir. Spiderfoot 2.7 ile başlayan kimlik doğrulama ve HTTPS kullanmak için aşağıdaki Güvenlik bölümüne bakın.
Tarama modu
Spiderfoot 3.0'daki yeni özellik, taramayı çalıştırmak için Spiderfoot'u tamamen komut satırı üzerinden (bir web sunucusu başlatmadan) çalıştırma yeteneğidir. --Yardım bayrağını kullanarak, mevcut tüm komut satırı argümanlarını görebilirsiniz:
~/spiderfoot $python3./sf.py --yardım
kullanımı: sf.py [-h] [-d] [-l IP: bağlantı noktası] [-m mod1, mod2,...[-M] [-s TARGET]
[-t tip1, tip2,...] [-T] [-o sekmesi / csv / json] [-n] [-r] [-S LENGHT]
[-D DELİMETER] [-f] [-F FİLTER] [-x] [-q]
Spiderfoot 3.0: Açık Kaynak İstihbarat Otomasyonu.
İsteğe bağlı bağımsız değişkenler:
-h, --help bana bu yardım mesajını göster ve çıkış yap.Git'ten:
$git klonu https://github.com/smicallef/spiderfoot.git
$ cd Spiderfoot
$~/spiderfoot
Bir paket olarak:
$wget https://github.com/smicallef/spiderfoot/archive/v3.0-final.tar.gz
$ tar zxvf v3.0- en son sürüm.katran.gz
$ cd Spiderfoot
$~/spiderfoot
SpiderFoot Çalıştırmak
Spiderfoot'u çalıştırmak için basitçe yürütün.. sf.py spiderfoot'u ayıkladığınız / çektiğiniz dizinden. Python 3 kullandığınızdan emin olun; Bazı Linux dağıtımlarında python Python 2.7'dir, bu nedenle açık olmak ve python3 kullanmak en iyisidir:
~ /spiderfoot $ python3 sf.py
Tarama modunda çalışırken, bir hedef belirtmeniz gerekir. Rehberlik için -- help deneyin.
Bu, komut satırı argümanlarını kaçırdığınızı gösterir, çünkü Spiderfoot bunu tarama modunda mı yoksa Web UI modunda mı çalıştırmak istediğinizi bilmiyor.
Spiderfoot'un yerleşik web sunucusuyla çalışmasını istediğinizde, taramaları çalıştırmanıza, verilere göz atmanıza ve yapılandırmayı bir web tarayıcısı üzerinden yönetmenize olanak sağlayan Web UI modunu kullanın. Web UI modu ayrıca spiderfoot kullanarak sürmenizi sağlar sfcli.py bir istemci/sunucu modelinde.
Tarama modunu yalnızca Spiderfoot'un taramayı başlatmasını ve sonuçları çıktı olarak ayrıştırmasını istediğinizde kullanın. Bu modda hiçbir web sunucusu başlatılmaz.
Web kullanıcı arabirimi modu:
Spiderfoot'u Web UI modunda başlatmak için, hangi IP ve bağlantı noktasını dinleyeceğinizi söylemeniz gerekir. Aşağıdaki örnek, spiderfoot'u 5001 numaralı bağlantı noktasında localhost'a (127.0.0.1) bağlar:
~/spiderfoot$ python3 sf.py -l 127.0.0.1:5001
Çalıştırıldıktan sonra, 127.0.0.1: 5001'de dinleyecek bir web sunucusu başlatılacaktır. Ardından, seçtiğiniz web tarayıcısını şu adrese göz atarak kullanabilirsiniz: https://127.0.0.1:5001. Veya 2.10 sürümünden itibaren varsayılan olarak sunucuya yerel olarak bağlanacak olan clı'yi 127.0.0.1: 5001'de kullanabilir veya sunucunuzun URL'sini açıkça belirtebilirsiniz:
~/spiderfoot$ python3 sfcli.py -s https://127.0.0.1:5001
Spiderfoot'u başka bir sistemden erişilebilir hale getirmek istiyorsanız, örneğin bir sunucuda çalıştırmak ve uzaktan kontrol etmek sfcli.py ardından, Spiderfoot'un bağlanacağı harici bir IP belirtebilir veya 0.0.0.0'ı 127.0.0.1 dahil tüm adreslere bağlanacak şekilde kullanabilirsiniz:
~/spiderfoot$ python3 ./sf.py -l 0.0.0.0:5001
Daha sonra CLI'Yİ uzak bir sistemden kullanmak için sfcli.py dosya kopyalandı, çalıştıracaksınız:
$ python3 sfcli.py -u https:// <uzak ip>: 5001
python3./sfcli.py –help, çalıştırınca istemci CLI'nın nasıl kullanılacağını daha iyi anlamaya yardımcı olun.
5001 numaralı bağlantı noktası sisteminizde başka bir uygulama tarafından kullanılıyorsa, bağlantı noktasını değiştirebilirsiniz:
~/spiderfoot$ python3 sf.py -l 127.0.0.1:9999
Başladıktan sonra, buna benzer bir şey göreceksiniz, bu da gitmeye hazır olduğunuz anlamına geliyor. Bunun yerine eksik modüller hakkında bir hata mesajı görürseniz, lütfen geri dönün ve tüm önkoşulları yüklediğinizden emin olun.
~/ Spiderfoot $ python3 ./sf.py -l 0.0.0.0:5001
Web sunucusunu şu adresten başlatma ...
*************************************************************
Seçtiğiniz web tarayıcısını başlatarak spiderfoot'u kullanın ve
https://<Bu bilgisayarın IP adresi>:5001 adresine gidin.
*************************************************************
[08 / Temmuz / 2019: 14:40:53] ENGINE Listening for SIGHUP.
[08 / Temmuz / 2019: 14:40:53] ENGINE Listening for SIGTERM.
[08 / Temmuz / 2019: 14:40:53] ENGINE Listening for SIGUSR1.
[08 / Temmuz / 2019: 14:40:53] ENGINE Bus STARTING.
[08 / Temmuz / 2019: 14:40:53] ENGINE Serving on https://0.0.0.0:5001.
[08 / Temmuz / 2019: 14:40:53] ENGINE Bus STARTED.
Dikkat!
Varsayılan olarak, Spiderfoot kullanıcı arabirimine bağlanan veya HTTPS üzerinden hizmet veren kullanıcıların kimliğini doğrulamaz, bu nedenle Spiderfoot'u güvenilmeyen aygıtlardan erişilebilen bir sunucu/iş istasyonunda çalıştırmaktan kaçının, çünkü bunlar uzaktan denetleyebilir ve aygıtlarınızdan taramalar başlatabilir. Spiderfoot 2.7 ile başlayan kimlik doğrulama ve HTTPS kullanmak için aşağıdaki Güvenlik bölümüne bakın.
Tarama modu
Spiderfoot 3.0'daki yeni özellik, taramayı çalıştırmak için Spiderfoot'u tamamen komut satırı üzerinden (bir web sunucusu başlatmadan) çalıştırma yeteneğidir. --Yardım bayrağını kullanarak, mevcut tüm komut satırı argümanlarını görebilirsiniz:
~/spiderfoot $python3./sf.py --yardım
kullanımı: sf.py [-h] [-d] [-l IP: bağlantı noktası] [-m mod1, mod2,...[-M] [-s TARGET]
[-t tip1, tip2,...] [-T] [-o sekmesi / csv / json] [-n] [-r] [-S LENGHT]
[-D DELİMETER] [-f] [-F FİLTER] [-x] [-q]
Spiderfoot 3.0: Açık Kaynak İstihbarat Otomasyonu.
İsteğe bağlı bağımsız değişkenler:
-d, --debug Hata ayıklamanın hata ayıklama çıktısını etkinleştir.
-l IPport Dinlemek için bağlantı noktası IP ve bağlantı noktası.
-m mod1, mod2,... Modülleri etkinleştirmek için.
-M, --modules Mevcut modülleri listeler.
-s TARGET Tarama için Hedef.
-t type 1, type 2,... Toplanacak etkinlik türleri.
-T --types Kullanılabilir olay türlerini listeler.
-o sekme | csv | json Çıktı biçimi. Sekme varsayılandır.
-n Verilerden yeni satır kaldırın.
-r Kaynak veri alanını sekme /csv çıktısına ekleyin.
-S LENGTH Görüntülenecek maksimum veri uzunluğudur. Varsayılan olarak, tüm veriler gösterilmiştir.
-D DELIMETER CSV çıktısı için kullanılacak D sınırlayıcı Sınırlayıcı. Varsayılan, .
-f Diğer istenmeyen olay türlerini (–t dışındaki) filtrele
-F FİLTER
-x Katı MODU. Yalnızca doğrudan çalışabilen modülleri etkinleştirir hedefinizi tüketin ve -t yalnızca belirtilenler belirtilmişse olaylar modüller tarafından tüketilecektir. Bu -t ve -m seçenekleri. geçersiz kılar.
-q Günlüğü devre dışı bırak.
Komut satırı argümanları oldukça açıklayıcıdır, ancak birkaçı biraz açıklama gerektirir. İlk olarak, bazı basit örnekler…
Aşağıdaki örnek karşı bir tarama çalıştırıyor binarypool.com hedef olarak, çok basit bir modül sağlayan sfp_dnsresolve, tanımlanmış IP adreslerinin ve ana bilgisayar adlarının basit DNS çözümlemelerini gerçekleştirir.
~/ spiderfoot $python3./sf.py -m sfp_dnsresolve binarypool.com
Veritabanını doğrulamaya ve gerekirse güncellemeye çalışmak için...
[*] Etkin modüller (3): sfp_dnsresolve,sfp__stor_db,sfp__stor_stdout
[*] [FA0D8528] taraması başlatıldı.
[*] Yapılandırma verilerini şu adresten indirme: https://publicsuffix.org/list/effective_tld_names.dat
[*] Belirtilen hedef (ler) için takma ad ayarlama
[*] Tanımlı diğer adlar: [{'değer': '104.236.67.238', 'tür': 'IP_ADDRESS'}, {'değer': 'binarypool.com ', 'tür': 'İNTERNET_NAME'}, {'değer': b'binarypool.com ', 'tür': 'İNTERNET_NAME'}]
[*] sfp_dnsresolve modülü kuruldu.
[*] sfp__stor_db modülü kuruldu.
[*] sfp__stor_stdout modülü kuruldu.
SpiderFoot kullanıcı arayüzü internetin Adıdır binarypool.com
sfp_dnsresolve IP Adresi 104.236.67.238
sfp_dnsresolve Etki Alanı Adı (Üst) com
[*] Tarama [FA0D8528] tamamlandı.
[*] Tarama tamamlandı ve durum tamamlandı
Biraz karmaşa olduğunu görebiliyoruz, bu nedenle çıktıyı yalnızca taramadaki verilere indirgemek için -q bayrağını ekleyebiliriz:
~/spiderfoot $python3 ./sf.py -m sfp_dnsresolve -s binarypool.com -q
Veritabanını doğrulamaya ve gerekirse güncellemeye çalışıyorum...
SpiderFoot kullanıcı arayüzü internetin Adıdır binarypool.com
sfp_dnsresolve IP Adresi 104.236.67.238
sfp_dnsresolve Alan Adı binarypool.com
SpiderFoot UI Alan Adı binarypool.com
Ayrıca, herhangi bir modül belirtmek ve tarama için tüm modülleri çalıştırmak gerekli değildir:
~/ spiderfoot $python3 ./sf.py -s binarypool.com -q
Veritabanını doğrulamaya ve gerekirse güncellemeye çalışır...
Uyarı: Herhangi bir modül veya tür belirtmediniz, bu nedenle hepsi etkinleştirilecek.
SpiderFoot kullanıcı arayüzü internetin Adıdır binarypool.com
sfp_hunter E-posta Adresi [email protected]
sfp_email E-posta Adresi [email protected]
sfp_emailrep Saldırıya Uğramış E-posta Adresi [email protected] [Bilinmiyor]
Şimdiye kadar bunların hepsi oldukça basitti. Ancak, mümkün olan her e-posta adresini bir alan adına (-t EMAILADDR) almak gibi biraz daha gelişmiş bir şey yapmak istiyorsak, yalnızca hedefimizi doğrudan girdi olarak alan modülleri ("katı mod" olarak adlandırılır) kullanarak, -x) ve yalnızca e-posta adresini alır, ancak başka hiçbir veri almaz (-f), aşağıdakileri yapabiliriz:
~/ spiderfoot $python3 ./sf.py q spiderfoot.net -t e-POSTAADDR -f -x -q
Veritabanını doğrulamaya ve gerekirse güncellemeye çalışmak için...
sfp_hunter E-posta Adresi [email protected]
~/spiderfoot$
Güvenlik
2.7 Sürümünden bu yana, SpiderFoot TLS / SSL desteğinin yanı sıra kimlik doğrulaması da getirmiştir. Belirli dosyaların varlığına bağlı olarak otomatiktirler.
Doğrulamış spiderfoot kök dizininde passwd adlı bir dosya varsa, Spiderfoot temel özet kimlik doğrulaması gerektirir. Dosyanın formatı basittir - hesap başına sadece bir giriş oluşturun:
kullanıcı adı:şifre
Örneğin:
yönetici:supersecretpassword
Dosya oluşturulduktan sonra Spiderfoot’u yeniden başlatın.
TLS/SSL
Spiderfoot, Spiderfoot'un kök dizininde bir ortak sertifika ve anahtar dosyasının varlığını tespit ederse HTTPS'YE (ve yalnızca ona) hizmet edecektir. Bu, Spiderfoot'u dinlemek için hangi bağlantı noktasını ayarladığınıza bakılmaksızın TLS / SSL bağlantı noktasının kullanılacağı anlamına gelir. Spiderfoot'un farklı bağlantı noktalarında aynı anda hem HTTP hem de https sunması mümkün değildir. Bunu yapmanız gerekiyorsa, Spiderfoot'un önündeki bir nginx proxy'si daha iyi bir çözüm olacaktır.
Sadece Spiderfoot dizinine iki dosya koyun - spiderfoot.crt (PEM biçiminde RSA ortak anahtarı) ve spiderfoot.key (PEM biçiminde RSA özel anahtarı). Spiderfoot'u yeniden başlatın ve artık yalnızca https'ye hizmet vereceksiniz.
Linux kullanıcılarına OpenSSL kullanarak kendinden imzalı bir sertifika oluşturmak için yardımcı bir komut dosyası sağlanır veya bu StackOverflow makalesindeki talimatları takip edebilirsiniz.
API Anahtarları
Birçok Spiderfoot modülü, API anahtarlarının tam olarak çalışmasını gerektirir (veya hiç gerektirmez), bu nedenle her servise gitmeniz ve böyle bir anahtara sahip olmanın taramalarınıza değer katacağını düşündüğünüz bir API anahtarı almanız gerekir. Her API anahtarının nasıl elde edileceğine ilişkin talimatlar ilgili modülün Ayarlarında bulunabilir:
Spiderfoot'u Yapılandırma
Spiderfoot'un arkasındaki temel ilkelerden biri son derece yapılandırılabilir olmaktır. Her ayar, Ayarlar bölümündeki kullanıcı arayüzünde bulunur ve orada yeterince açıklanmalıdır. Birkaç önemli noktalası::
API anahtarları, ”Import API Keys“ ve ”Export API Keys" işlevleri kullanılarak SpiderFoot ve SpiderFoot HX arasında içe aktarılabilir ve dışa aktarılabilir. Biçim aynı zamanda basit bir csv'dir, bu nedenle isterseniz yüklenecek olan SpiderFoot dışında da manipüle edilebilir.
Hata ayıklama etkinleştirildiğinde, bazen veritabanı kilitleme ile ilgili hata iletilerine neden olabilecek çok sayıda günlük oluşturulur. Bu tarama için zararsız görünüyor, ancak günlüklerin kapalı olduğu anlamına gelebilir.
İhtiyaçlarınıza, en önemlisi DNS ile ilgili modüllere uyacak şekilde yapılandırıldıklarından emin olmak için büyük ölçüde güvenmeyi düşündüğünüz modüllerden geçmeye değer, çünkü diğer birçok modül için bir vurma etkisine sahip olma eğilimindedirler.
Spiderfoot’u Kullanma
Taramayı Çalıştırma
Spiderfoot'u Web UI modunda ilk kez çalıştırdığınızda, geçmiş verileri yoktur, bu nedenle aşağıdaki gibi bir ekran sunulmalıdır:
Taramayı başlatmak için üst menü çubuğundaki ‘Yeni Tarama’ düğmesine tıklayın. Ardından, taramanız için bir ad (benzersiz değiller) ve bir hedef (benzersiz de değiller) tanımlamanız gerekir.:
Ardından, taramayı varsayılan olarak seçilen gerekli veri veya modülle (sekme), tanımlama veya kullanım durumu seçili olarak çalıştırabilirsiniz.
Modül tabanlı tarama, farklı modüller tarafından sağlanan davranış ve verilere aşina olan ve tarama üzerinde daha fazla kontrole sahip olmak isteyen daha ileri düzey kullanıcılar içindir:
Modülü tararken, bağımlılığı kontrol ediyorsunuz, sadece gerekli verileri tarama zamanı gelse bile dikkat edin. Bu, yalnızca diğer modüller tarafından sağlanan olay türlerine bağlı bir modül seçerseniz, ancak bu modüller seçilmezse sonuç alamayacağınız anlamına gelir.
Tarama Sonuçları
'Taramayı Çalıştır' düğmesine tıkladığınız andan itibaren, taramanızı neredeyse gerçek zamanlı olarak izlemek için bir ekrana götürüleceksiniz:
Bu ekran, Spiderfoot ve modülleri tarafından oluşturulan günlük iletilerinin bozulmasını ve şimdiye kadar elde edilen verileri gösteren bir grafikten oluşur.
Grafiğin çubukları tıklanabilir, bu da sizi belirli veri türü için sonuç tablosuna götürür.
Tarama Sonuçları
Bir tarama için 'Gözat' düğmesine tıklayarak, verilere türüne göre göz atabilirsiniz:
Bu veriler dışa aktarılabilir ve aranabilir. Aramaların nasıl gerçekleştirileceğini açıklayan bir açılır pencere almak için Arama kutusunu tıklatın. Aramaların nasıl gerçekleştirileceğini açıklayan bir açılır pencere almak için arama kutusunun kodunu çözün.
Veri türlerinden birine tıklayarak, gerçek verilerle birlikte sunulacaksınız:
Görüntülenen alanlar aşağıdaki gibi açıklanmıştır:
Onay kutusu alanı: Alanları yanlış pozitif olarak ayarlamak / kaldırmak için bunu kullanın. En az bir tanesi işaretlendikten sonra, kaydı ayarlamak / kaldırmak için yukarıdaki turuncu Yanlış Pozitif düğmesini tıklayın.
Veri Öğesi: Modülün hedefiniz hakkında edinebileceği veriler.
Kaynak Veri Öğesi: Modülün veri toplama için temel olarak aldığı verilerdir. Yukarıdaki örnekte, sfp_portscan_tcp modülü açık bir bağlantı noktasıyla ilgili bir olay aldı ve bu bağlantı noktasındaki üstbilgiyi elde etmek için kullandı.
Kaynak Modülü: Bu verileri tanımlayan modül.
Tanımlı: Veriler modül tarafından tanımlandığında.
Bu verilerin nasıl temsil edildiğini değiştirmek için siyah simgelere tıklayabilirsiniz. Örneğin, Benzersiz Veri Görünümü simgesine tıklayarak benzersiz bir veri gösterimi elde edebilirsiniz:
Yanlış olan Pozitifleri Ayarlama
Sürüm 2.6.0, veri kayıtlarını yanlış pozitif olarak ayarlama yeteneğini tanıttı. Önceki bölümde belirtildiği gibi, kayıtları yanlış pozitif olarak ayarlamak / kaldırmak için onay kutusunu ve turuncu düğmeyi kullanın.
Kayıtları yanlış pozitif olarak ayarladıktan sonra, bu kayıtların yanında bir gösterge göreceksiniz ve bunları aşağıda gösterildiği gibi görünümden filtreleme olanağına sahip olacaksınız:
NOT: Kayıtlar yalnızca tarama tamamlandıktan sonra yanlış pozitif olarak ayarlanabilir. Bunun nedeni, bir kaydın yanlış pozitif olarak ayarlanmasının tüm alt veri öğelerinin yanlış pozitif olarak ayarlanmasına da neden olmasıdır. Tarama hala çalışıyorsa bu açıkça yapılamaz ve bu nedenle arka uçta tutarsız bir duruma neden olabilir. Kullanıcı arabirimi bunu yapmanızı engeller.
Veri tablosu görünümü ve dışa aktarmadaki göstergenin yanı sıra yanlış pozitif olarak ayarlanmış bir kaydın sonucu, bu tür verilerin düğüm grafiklerinde görüntülenmeyeceğidir.
Arama Sonuçları
Sonuçlar hem tüm tarama düzeyinde hem de tek tek veri türlerinde aranabilir. Aramanın kapsamı, o sırada bulunduğunuz ekran tarafından belirlenir.
Arama alanını seçerken açılır kutu ile belirtildiği gibi, aşağıdaki Aralık aralık gibi arama yapabilirsiniz:
Tam değer: Belirli bir değer için joker olmayan bir aralık. Örneğin, kullanılamayan tüm sayfaları görmek için HTTP Durum Kodu bölümünde 404'ü arayın.
Desen eşleştirme: Desenleri bulmak için basit joker karakterleri arayın. Örneğin, 22 numaralı bağlantı noktasının tüm örneklerini görmek için TCP Bağlantı Noktasını Aç bölümünde *:22'yi arayın.
Düzenli ifade aramaları: Aralık düzenli ifadesini aramak için dizenizi ‘/’ içine alın. Örneğin, ‘/\d+ arayın.e +.e +.\d +/’ tarama sonuçlarınızda IP adresi gibi görünen herhangi bir şeyi bulmak için.
Taramaları Yönetme
Birikmiş bazı geçmiş tarama verileriniz olduğunda, bunları yönetmek için 'Taramalar' bölümünde bulunan listeyi kullanabilirsiniz:
Filtre açılır seçimini değiştirerek gösterilen taramaları filtreleyebilirsiniz. Yeşil yenileme simgesi dışında, sağdaki simgelerin tümü onay kutularını işaretlediğiniz taramalara uygulanır.
Modüller
Genel bakış
SpiderFoot tüm veri toplama modüllerine sahiptir. Bir modül bir veri parçasını keşfettiğinde, bu veriler işlenmek üzere o veri türüyle ‘ilgilenen’ diğer tüm modüllere iletilir. Bu modüller daha sonra yeni verileri tanımlamak ve ilginizi çekebilecek diğer modüller için yeni olaylar oluşturmak için bu veri parçası üzerinde hareket edecektir.
Örneğin, sfp_dnsresolve hedefinizle ilişkili bir IP adresi tanımlayabilir ve ilgili tüm modülleri bilgilendirebilir. Bu ilgili modüllerden biri bu IP adresini alacak ve bir parçası olduğu netblock'u, BGP asn'yi vb. Yükleyecektir. Tanımlayacak olan sfp_ype modülü olacaktır.
Bu en iyi modül koduna bakarak gösterilebilir. Örneğin, sfp_names modülü insan adlarını tanımlamak için TARGET_WEB_CONTENT ve EMAİLADDR olaylarını arar:
# Bu modül giriş için hangi olaylarla ilgileniyor
# * = tüm olaylardan haberdar olun.
def watchedEvents(self):
return ["TARGET_WEB_CONTENT", "EMAİLADDR"]
# Bu modül hangi olayları üretir
# Bu, olaylara dayalı modül seçiminde son kullanıcıyı desteklemektir
# üretim.
def producedEvents (self):
return ["İNSAN_ADI"]
Bu arada, her olay bir modül oluşturulduğundan, kullanıcı arayüzünde raporlama ve görüntüleme için SpiderFoot veritabanına da kaydedilir.
Modüllerin Listesi
Tüm SpiderFoot modüllerinin listesini görmek için sf.py -M:
~/ Spiderfoot $python3./sf.py -M
Varolan modüller:
sfp_abusech kullanıcı / etki alanı, IP veya netblock'un kötü amaçlı olup olmadığını kontrol edin abuse.ch.
sfp_abuseipdb Bir netblock veya ıp'nin kötü amaçlı olup olmadığını kontrol edin abuse.ch
sfp_accounts Ebay, Slashdot, reddit, vb. Gibi yaklaşık 200 web sitesinde olası ilişkili hesapları arar.
sfp_adblock ile bağlantılı sayfaların AdBlock Plus tarafından engellenip engellenmeyeceğini kontrol edin.
sfp_ahmia tor 'Ahmıa' arama motoru hedef alandan bahseder.
sfp_alienvault AlienVault Açık Tehdit Değişiminden (OTX) bilgi alın
sfp_alienvaultiprep AlienVault IP İtibar veritabanına göre bir IP veya netblock'un kötü amaçlı olup olmadığını kontrol edin.
sfp_apility Arama Yeteneği API'si, IP adresi ve etki alanı itibarı için
sfp_archiveorg Wayback Makinesinden ilginç dosyaların / sayfaların geçmiş sürümlerini tanımlar.
sfp_arin İletişim bilgileri için ARİN kayıt defterini sorgular.
Veri Öğeleri
Yukarıda belirtildiği gibi, Spiderfoot, her modülün diğer modüllerin dinlediği ve tükettiği veri öğeleriyle ilgili olaylar oluşturduğu “olay odaklı” bir modül üzerinde çalışır.
Veri öğeleri aşağıdaki türlerden biridir:
IP adresleri, internet adları (bilgisayar adları, alt alanlar, etki alanları) gibi varlıklar,
bağlantı noktası numaraları, URL'ler ve yüklü yazılımlar gibi alt varlıklar,
bu varlıkların tanımlayıcıları (kötü amaçlı, fiziksel konum bilgileri, ...) veya
çoğunlukla yapılandırılmamış veriler olan veriler (web sayfası içeriği, bağlantı noktası afişleri, ham DNS kayıtları, ...)
Kullanılabilir tüm türlerin tam listesini görmek için şunu çalıştırın sf.py -T:
~/ Spiderfoot $python3 ./sf.py -T
Veritabanını doğrulamaya ve gerekirse güncellemeye çalışmak için:
Mevcut türleri:
Dış Sitedeki ACCOUNT_EXTERNAL_OWNED
Harici Bir Sitede Saldırıya Uğramış ACCOUNT_EXTERNAL_OWNED_COMPROMİSED
Harici Bir Sitede Saldırıya Uğramış Kullanıcı ACCOUNT_EXTERNAL_USER_SHARED_COMPROMİSED
Ortaklık - Şirket Adı AFFİLİATE_COMPANY_NAME
Ortaklık Açıklaması - Özet AFFİLİATE_DESCRİPTİON_ABSTRACT
Ortaklık Açıklaması - Kategori AFFİLİATE_DESCRİPTİON_CATEGORY
Affiliate (kuruluş) - Alan Adınız AFFİLİATE_DOMAİN
Affiliate - Alan Adınız AFFİLİATE_DOMAİN_NAME
Affiliate - Alan Adı - Çözülmemiş AFFİLİATE_DOMAİN_UNRESOLVED
Ortaklık - Etki Alanı Whois AFFİLİATE_DOMAİN_WHOİS
Affiliate - E-posta Adresi AFFİLİATE_EMAİLADDR
Modül Yazma
Bir Spiderfoot modülü yazmak için şunlara bakarak başlayın: sfp_template.py hiçbir şey yapmayan iskelet modüllü bir dosya. Aşağıdaki adımları kılavuz olarak kullanın:
Kopya oluşturun, sfp_template.py modülünüzün adı ne olursa olsun. Açıklayıcı bir şey yapmaya çalışın, yani sfp_mymodule.pybut gibi bir şey değil. bunun yerine sfp_imageanalyser.py görüntü içeriğini analiz etmek için bir modül oluşturmaya çalışın.
Yeni modüldeki xxx'i modülünüzün adıyla değiştirin ve modülün içindeki başlık ve açıklamadaki açıklayıcı bilgileri güncelleyin.
Sınıf için açıklama (oturum aç sfp_template.py ) modülleri doğru bir şekilde kategorize etmek için kullanıcı arayüzünde Spiderfoot tarafından kullanılır, bu nedenle anlamlı bir şey yapın. Örnekler için diğer modüllere bakın.
Önceki bölümdeki veri öğesi tablosuna göre watchedEvents() ve producedEvents() öğelerindeki olayları buna göre ayarlayın. Daha önce Spiderfoot'ta bulunmayan yeni bir veri öğesi oluşturuyorsanız, bunu veritabanında oluşturmanız gerekir:
~/spiderfoot$ sqlite3 spiderfoot.db sqlite> INSERT INTO tbl_event_types (event, event_descr, event_raw) VALUES ('NEW_DATA_ELEMENT_TYPE_NAME_HERE', 'Description of your New Data Element Here', 0, 'DESCRIPTOR or DATA or ENTITY or SUBENTITY');`
Modülün mantığını handleEvent() öğesine koyun. handleEvent() öğesine yapılan her çağrıya bir Spiderfoot Event nesnesi verilir. Bu nesne içindeki en önemli değerler şunlardır:
olay türü: Veri öğesi kimliği (IP_ADDRESS, WEB SERVER_BANNER, vb.)
veriler: IP adresi veya web sunucusu başlığı vb. Gibi gerçek veriler.
modül: Olayı üreten modülün adı (sfp_dnsresolve, vb.)
Etkinliğinizi oluşturma zamanı geldiğinde, bir SpiderfootEvent örneği oluşturun:
e = SpiderFootEvent("IP_ADDRESS", ipaddr, self__name__, event)
Not: son değişken olarak geçirilen olay, modülünüzün aldığı olaydır. Bu, Spiderfoot veritabanındaki veri öğeleri arasında bir ilişki oluşturan şeydir.
Etkinlikle ilgilenebilecek tüm modülleri bilgilendirin:
self.notifyListeners(e)
Veritabanı
Tüm Spiderfoot verileri bir SQLite veritabanında saklanır (spiderfoot.verilerini analiz etmek için Spiderfoot dışında kullanılabilen Spiderfoot yükseklik klasörünüzdeki db).
Şema oldukça basittir ve GitHub repo'da görüntülenebilir.
Aşağıdaki sorular ve ipuçları sağlanabilir:
# Spiderfoot veritabanındaki toplam tarama numarası
sqlite > tbl_scan_instance öğesinden count(*) öğesini seçin;
# Belirli bir tarama için kimliği alın
sqlite > tbl_scan_instance öğesinden klavuzu (guide) seçin, burada seed_target ='binarypool.com ';
b459e339523b8d06235bd06087ae6c6017aaf4ed68dccea0b65a1999a17e460a
# Veri türü ilk sonuç numarası
sqlite> count (*) öğesini seçin, tbl_scan_results yazın; burada scan_instance_id = 'b459e339523b8d06235bd06087ae6c6017aaf4ed68dccea0b65a1999a17e460a' türüne göre gruplandırılır;
5/UYELİK (INTERNET NAME)
2/UYELİK_İPADDR
1/CO_HOSTED_SITE
1/ALAN_ADİ
1/ETKİ ALANI_REGİSTRAR
1/ALAN_ADİ- WHOİS
1/GEOINFO
28/HTTP_CODE
48/İNSAN_ADİ
49/İNTERNET_ADI
2/ IP_ADRESİ
49/LİNKED_URL_EXTERNAL
144/LİNKED_URL_INTERNAL
2/SAĞLAYICI_DNS
1/SAĞLAYICI_MAİL
4/RAW_DNS_RECORDS
1/RAW_FILE_META_DATA
1 / KÖK
14/SEARCH_ENGINE_WEB_CONTENT
1 /YAZILIM_KULLANILAN
16/HEDEF(target)_WEB_CONTENT
2/TCP_PORT_OPEN
1/TCP_PORT_OPEN_BANNER
1/URL_FORM
10/URL_JAVASCRİPT
6/URL_STATIC
21/URL_WEB_FRAMEWORK
28/WEBSERVER_BANNER
28/WEBSERVER_HTTPHEADERS
Spiderfoot hx'i deneyin..
Son düzenleme:
