Web sayfalarının geleneksel arama motorları tarafından dizine alınmasını engelleyen çeşitli yöntemler vardır. Aşağıda sizin referansınız için onları sınıflandırdım.
İçeriksel Web: Farklı erişim bağlamları için değişen içeriğe sahip sayfalar.
Dinamik içerik: Gönderilen bir sorguya yanıt olarak döndürülen veya yalnızca açık alan giriş öğeleri kullanıldığında, yalnızca bir form aracılığıyla erişilen dinamik sayfalar; Bu alanların alan bilgisi olmadan gezinmek zor.
Sınırlı erişim içeriği: Sayfalarına teknik olarak erişimi kısıtlayan siteler (örn. Robotların Dışlama Standardı veya CAPTCHA'larını kullanma veya arama motorlarının taramalarına izin vermeyen ve önbelleğe alınmış kopyalar oluşturmayan bir mağaza yönergesi).
HTML olmayan / metin içeriği: Multimedya (resim veya video) dosyalarında kodlanmış metin içeriği veya arama motorları tarafından ele alınmayan belirli dosya formatları.
Özel Web: Kayıt ve giriş gerektiren siteler (şifre korumalı kaynaklar).
Komut dosyası içeriği: Sadece JavaScript veya Adobe veya Ajax çözümleri aracılığıyla Web sunucularından dinamik olarak indirilen içerikle oluşturulan bağlantılardan erişilebilen sayfalar.
Yazılım: Belirli içerikler, yalnızca Internet, Tor, I2P veya diğer karanlık ağ yazılımı gibi özel yazılımlarla erişilebilen, kasıtlı olarak gizlidir. Örneğin, Tor, kullanıcıların IP adreslerini gizleyerek, anonim olarak .onion sunucu adresini kullanarak web sitelerine erişmelerini sağlar.
Bağlantısız içerik: Web sayfalarını tarayan programların içeriğe erişmesini engelleyebilecek diğer sayfalar tarafından bağlanmayan sayfalar. Bu içeriğe backlink içermeyen sayfalar denir (aynı zamanda inlinks olarak da bilinir). Ayrıca, arama motorları her zaman aranan web sayfalarındaki tüm geri bağlantıları algılamaz.
Web arşivleri: Wayback Machine gibi web arşiv hizmetleri, kullanıcıların erişilemeyen web siteleri de dahil olmak üzere web sayfalarının arşivlenmiş sürümlerini, Google gibi arama motorları tarafından dizine eklenmemiş olarak görmelerini sağlar.
NOT:KONU ALINDIDIR
İçeriksel Web: Farklı erişim bağlamları için değişen içeriğe sahip sayfalar.
Dinamik içerik: Gönderilen bir sorguya yanıt olarak döndürülen veya yalnızca açık alan giriş öğeleri kullanıldığında, yalnızca bir form aracılığıyla erişilen dinamik sayfalar; Bu alanların alan bilgisi olmadan gezinmek zor.
Sınırlı erişim içeriği: Sayfalarına teknik olarak erişimi kısıtlayan siteler (örn. Robotların Dışlama Standardı veya CAPTCHA'larını kullanma veya arama motorlarının taramalarına izin vermeyen ve önbelleğe alınmış kopyalar oluşturmayan bir mağaza yönergesi).
HTML olmayan / metin içeriği: Multimedya (resim veya video) dosyalarında kodlanmış metin içeriği veya arama motorları tarafından ele alınmayan belirli dosya formatları.
Özel Web: Kayıt ve giriş gerektiren siteler (şifre korumalı kaynaklar).
Komut dosyası içeriği: Sadece JavaScript veya Adobe veya Ajax çözümleri aracılığıyla Web sunucularından dinamik olarak indirilen içerikle oluşturulan bağlantılardan erişilebilen sayfalar.
Yazılım: Belirli içerikler, yalnızca Internet, Tor, I2P veya diğer karanlık ağ yazılımı gibi özel yazılımlarla erişilebilen, kasıtlı olarak gizlidir. Örneğin, Tor, kullanıcıların IP adreslerini gizleyerek, anonim olarak .onion sunucu adresini kullanarak web sitelerine erişmelerini sağlar.
Bağlantısız içerik: Web sayfalarını tarayan programların içeriğe erişmesini engelleyebilecek diğer sayfalar tarafından bağlanmayan sayfalar. Bu içeriğe backlink içermeyen sayfalar denir (aynı zamanda inlinks olarak da bilinir). Ayrıca, arama motorları her zaman aranan web sayfalarındaki tüm geri bağlantıları algılamaz.
Web arşivleri: Wayback Machine gibi web arşiv hizmetleri, kullanıcıların erişilemeyen web siteleri de dahil olmak üzere web sayfalarının arşivlenmiş sürümlerini, Google gibi arama motorları tarafından dizine eklenmemiş olarak görmelerini sağlar.
NOT:KONU ALINDIDIR
