DESEMAP

0x1A7 · 11 Kas 2025

DESMAP — Site Link Collector (0x1A7)

Basit, sağlam ve kullanımı kolay link toplayıcı / recon aracı
Geliştirici: 0x1A7 | Sürüm: 1.0 | Platform: Windows / Cross-platform (CLI)

Kısa Tanım:
DESMAP, bir web sitesine girip o sitedeki tüm linkleri, script dosyalarındaki URL’leri, robots.txt ve sitemap.xml içerisindeki bağlantıları otomatik olarak toplar.
Sonuçları JSON / CSV / TXT olarak dışa aktarır.
Pentest, Recon, OSINT veya web haritalama süreçleri için uygundur.

Özellikler:

->HTML tag’lerinden (a, img, link, iframe, form, source, script) link toplama
->Inline JavaScript veya script dosyalarındaki URL’leri bulur
->robots.txt okur (Allow / Disallow / Sitemap)
->sitemap.xml dosyasındaki URL’leri çıkarır
->Domain içi / dışı tarama desteği
->Derinlik kontrolü (--depth)
-> Maksimum sayfa limiti (--max-pages)
-> Çoklu thread desteği (paralel istekler)
->JSON / CSV / TXT çıktı desteği
->Tamamen komut satırı tabanlı (GUI’siz, hızlı, stabil)

Hızlı Kurulum (Windows):

->Python 3.10 veya üzeri sürümü indir → [URL='https://www.python.org/downloads[/url']https://www.python.org/downloads[/url]
-> Kurulumda Add Python to PATH seçeneğini işaretle.
->DESMAP klasörünü aç, install.bat dosyasını çalıştır.
->Komut satırına gir:

Kod:

call .venv\Scripts\activate
python site_link_collector.py https://testphp.vulnweb.com --depth 1 --format all

requirements.txt

Kod:

requests>=2.28
beautifulsoup4>=4.12
lxml>=4.9

(Bu modüller install.bat ile otomatik kurulacaktır.)

Kullanım Örnekleri:

Kod:

python site_link_collector.py https://example.com
python site_link_collector.py https://example.com --depth 2
python site_link_collector.py https://example.com --format all --output example_links
python site_link_collector.py https://example.com --follow-sitemap yes
python site_link_collector.py https://example.com --follow-external yes

Argümanlar:

->--depth N → Kaç kat derinliğe kadar tarasın.
->--concurrency N → Aynı anda kaç istek atılsın.
->--obey-robots yes|no → robots.txt kurallarına uysun mu?
->--follow-external yes|no → Dış domainlere geçsin mi?
->--follow-sitemap yes|no → robots.txt içindeki sitemap linklerini dahil etsin mi?
->--js-scan yes|no → Script dosyalarını regex ile tarasın mı?
->--timeout S → HTTP zaman aşımı.
->--max-pages N → Maksimum taranacak sayfa.
->--output NAME → Çıktı dosya adı.
->--format json|csv|txt|all → Çıktı formatı.

Çıktı Örneği (JSON):

Kod:

{
"base": "https://example.com",
"results": {
"https://example.com/": {
"status_code": 200,
"content_type": "text/html",
"depth": 0,
"title": "Example Domain"
},
"https://example.com/about": {
"status_code": 200,
"content_type": "text/html",
"parent": "https://example.com/",
"depth": 1
}
}
}

Notlar:
-> --depth büyüdükçe tarama süresi uzar, dikkatli kullanılmalı.
-> --follow-sitemap yes binlerce link çıkarabilir.
-> Varsayılan olarak robots.txt’e uyar.
-> Yalnızca izinli testlerde kullanın.

Geliştirici:
0x1A7 — TurkHackTeam
İstek, öneri ve katkılarınızı başlık altına yazabilirsiniz.
İleride: proxy desteği, Graph export, çoklu domain tarama planlanıyor.

“GİTHUB”

DESMAP — “Discover Every Site Map.”

an0un · 11 Kas 2025

Ellerinize sağlık hocam

mehmetozkal12 · 11 Kas 2025

Selamlar kodunuza ustun koru bir goz gezdirmek istedim ve genel gorusum su sekilde birincisi main de sadece tek url'ye bakiyorsunuz aracin kullanisli olmasi hedefleniyorsa coklu args parse edebilir veyahut liste isteyip coklu threat yapabilirsiniz.

Python:

def main():
    args = parse_args()
    url = args.url
    if not url.startswith(('http://','https://')):
        print("Lütfen URL'ye http:// veya https:// ekleyin.")
        sys.exit(1)

    print(f"[i] Tarama başlıyor: {url} (depth={args.depth})")
    res = collect(
        url,
        depth=args.depth,
        concurrency=args.concurrency,
        obey_robots=(args.obey_robots=='yes'),
        follow_external=(args.follow_external=='yes'),
        follow_sitemap=(args.follow_sitemap=='yes'),
        js_scan=(args.js_scan=='yes'),
        timeout=args.timeout,
        max_pages=args.max_pages
    )
    base = args.output
    if args.format in ('json','all'):
        json_path = base if base.endswith('.json') else base + '.json'
        save_json(json_path, res)
        print(f"[+] JSON kaydedildi: {json_path}")
    if args.format in ('csv','all'):
        csv_path = base if base.endswith('.csv') else base + '.csv'
        save_csv(csv_path, res['results'])
        print(f"[+] CSV kaydedildi: {csv_path}")
    if args.format in ('txt','all'):
        txt_path = base if base.endswith('.txt') else base + '.txt'
        save_txt(txt_path, res['results'])
        print(f"[+] TXT kaydedildi: {txt_path}")
    print(f"[i] Toplam bulunan URL sayısı (sources tablosuna göre): {len(res['sources'])}")

if __name__ == '__main__':
    main()

fetch_text fonksiyonunda ise headerin sabit oldugunugordum
bu yapida hic hos degil bot dogrulama sistemleri veya guvenlik cozumlerine mimlenebilirsiniz.

Python:

def fetch_text(url, timeout=12):
    try:
        r = requests.get(url, headers=HEADERS, timeout=timeout, allow_redirects=True)
        return r.text, r
    except Exception as e:
        return None, e

Son olarak ise request yerine httlib header uretimi icin ise hazir pypi kutuphanelerini oneririm. nesne tabanli programlamaya gecmenizde ayri bir oneridir.

Watnea · 11 Kas 2025

Yararlı bir proje faydalanmanızı canı gönülden isterim. @0x1A7 eline sağlık kuzen

0x1A7 · 11 Kas 2025

mehmetozkal12' Alıntı:

Selamlar kodunuza ustun koru bir goz gezdirmek istedim ve genel gorusum su sekilde birincisi main de sadece tek url'ye bakiyorsunuz aracin kullanisli olmasi hedefleniyorsa coklu args parse edebilir veyahut liste isteyip coklu threat yapabilirsiniz.

Python:

def main():
    args = parse_args()
    url = args.url
    if not url.startswith(('http://','https://')):
        print("Lütfen URL'ye http:// veya https:// ekleyin.")
        sys.exit(1)

    print(f"[i] Tarama başlıyor: {url} (depth={args.depth})")
    res = collect(
        url,
        depth=args.depth,
        concurrency=args.concurrency,
        obey_robots=(args.obey_robots=='yes'),
        follow_external=(args.follow_external=='yes'),
        follow_sitemap=(args.follow_sitemap=='yes'),
        js_scan=(args.js_scan=='yes'),
        timeout=args.timeout,
        max_pages=args.max_pages
    )
    base = args.output
    if args.format in ('json','all'):
        json_path = base if base.endswith('.json') else base + '.json'
        save_json(json_path, res)
        print(f"[+] JSON kaydedildi: {json_path}")
    if args.format in ('csv','all'):
        csv_path = base if base.endswith('.csv') else base + '.csv'
        save_csv(csv_path, res['results'])
        print(f"[+] CSV kaydedildi: {csv_path}")
    if args.format in ('txt','all'):
        txt_path = base if base.endswith('.txt') else base + '.txt'
        save_txt(txt_path, res['results'])
        print(f"[+] TXT kaydedildi: {txt_path}")
    print(f"[i] Toplam bulunan URL sayısı (sources tablosuna göre): {len(res['sources'])}")

if __name__ == '__main__':
    main()

fetch_text fonksiyonunda ise headerin sabit oldugunugordum
bu yapida hic hos degil bot dogrulama sistemleri veya guvenlik cozumlerine mimlenebilirsiniz.

Python:

def fetch_text(url, timeout=12):
    try:
        r = requests.get(url, headers=HEADERS, timeout=timeout, allow_redirects=True)
        return r.text, r
    except Exception as e:
        return None, e

Son olarak ise request yerine httlib header uretimi icin ise hazir pypi kutuphanelerini oneririm. nesne tabanli programlamaya gecmenizde ayri bir oneridir.

çok teşekkür ederim bu inceleme için tabiki haklısınız dediklerinize bire bir katılıyorum gelişime açık bir proje doğuruyu söylüyosunuz teşekkür ederim tekrardan dikkate alağım

0x1A7 · 11 Kas 2025

Watnea' Alıntı:
Yararlı bir proje faydalanmanızı canı gönülden isterim. @0x1A7 eline sağlık kuzen

eyvallah kuzenn

DESEMAP

0x1A7

Ar-Ge Ekibi

an0un

Kıdemli Üye

mehmetozkal12

Yeni üye

Watnea

Uzman üye

0x1A7

Ar-Ge Ekibi

0x1A7

Ar-Ge Ekibi

Sosyal medya sayfalarımız