Bir istek bırakın
Özel arama robotları ayrı hizmetler tarafından kullanılırken, tarama koşulları altında site ve hizmet arasında özel anlaşmalar oluşturulur. Örneğin, ayrı bir robot, site sahibinin rızası varsa, tüm ajanlar için robots.txt (*) için genel kuralı göz ardı edebilir.
Bu tür robotlar standart arama motorlarından daha diğer IP bantlarına göre çalışır. Bu IP adreslerinin listesi özel bir JSON dosyasına yerleştirilir. Bu IP'lerin ters DNS kaydı, hız sınırlı-proksi-*** ile karşılık gelebilir. ***. ***. ***. Google.com.
Aşağıda, farklı hizmetler tarafından kullanılan özel robotların bir listesi, HTTP kontrollerindeki kullanıcı ajanı satırları, robots.txt atamaları ve ayarlarının dizinleme davranışı üzerindeki etkisinin bir açıklaması bulunmaktadır. Liste tam değil, ancak web sitesi günlüklerinde en yaygın aracıları içeriyor.
HTTP kontrollerinde kullanıcı ajanı: APIS-Hooogle
Robots.txt adresindeki Kullanıcı Ajanı jetonu: APIS-Hooogle
Genel kurallar aracılığıyla belirtilen *, bu robot tarafından dikkate alınmaz.
Robots.txt'deki ayarlara bir örnek:
user-agent: APIs-Google allow: /archive/1Q84 disallow: /archive/
Bu kullanıcı ajanı için ayarlar, API üzerinden push bildirimlerinin verilmesini etkiler.
HTTP kontrollerinde kullanıcı ajanı: Adsbot-google-mobile
Robots.txt adresindeki Kullanıcı Ajanı jetonu: Adsbot-google-mobile
Genel direktifler göz ardı edilir.
user-agent: AdsBot-Google-Mobile allow: /archive/1Q84 disallow: /archive/
Bu aracı, reklam ürünlerinde kullanılan sitenizin sayfalarındaki reklam kalitesini kontrol eder.
HTTP kontrollerinde kullanıcı ajanı: Adsbot-google
Robots.txt adresindeki Kullanıcı Ajanı jetonu: Adsbot-google
Genel kullanıcı ajanı göz ardı edilir.
user-agent: AdsBot-Google allow: /archive/1Q84 disallow: /archive/
Sitenin sayfalarındaki reklam içeriğinin kalitesini değerlendirmek için kullanılır.
HTTP kontrollerinde kullanıcı ajanı: MediaPartners-Google
Robots.txt adresindeki Kullanıcı Ajanı jetonu: MediaPartners-Google
Robots.txt'deki genel direktifleri yok sayar.
user-agent: Mediapartners-Google allow: /archive/1Q84 disallow: /archive/
İlgili reklamları göstermek için siteyi taramak için kullanılır.
HTTP kontrollerinde kullanıcı ajanı: Google-Güvenlik
Robots.txt adresindeki Kullanıcı Ajanı jetonu: Uygulanmadı - Kuralları yok sayar.
Sitenin sayfalarındaki kötü niyetli bağlantıları ve diğer şüpheli etkinlikleri tespit etmek için kullanılır. Bu aracı, kullanıcıları korumaya hizmet ettiği için robots.txt ayarlarına uymaz.
Aşağıdakiler daha önce kullanılan ancak şu anda aktif olmayan listelenen aracılardır. Bilgi referans için verilmiştir.
Kullanıcı ajanı: Adsbot-google-mobile
Kullanıcı ajanı jetonu: Adsbot-google-mobile
Mobil cihazlarda, örneğin akıllı telefonlarda reklam kalitesini değerlendirmek için kullanıldı.
Kullanıcı ajanı: Duplexweb-google
Kullanıcı ajanı jetonu: Duplexweb-google
Bu ajan, etkileşimli hizmetlerde kullanılan genel kuralları görmezden gelebilir.
Kullanıcı ajanı: Google Favicon
Kullanıcı ajanı jetonu: Googlebot-Image, Googlebot
Faviko sitesinin çeşitli arayüzlerde toplanması ve gösterilmesinden sorumluydu.
Kullanıcı ajanı: Adsbot-Google-Mobile-Apps
Kullanıcı ajanı jetonu: Adsbot-Google-Mobile-Apps
Kalitelerini ve reklamlara uygunluklarını değerlendirmek için Android uygulamalarının tarama sayfalarını gerçekleştirdi.
Kullanıcı ajanı: Googleweblight
Kullanıcı ajanı jetonu: Googleweblight
Sadece gerçek bir kullanıcının özel bir arama modu üzerinden geçişinde kullanıldı. Otomatik tarayıcı olarak kabul edilmediği için robots.txt'i görmezden geldim.
Bu aracı, yavaş bağlantı sırasında ekranlarını optimize etmek için sitenin sayfalarındaki dönüşümlü olmayan başlığın kullanılabilirliğini kontrol etti.
Robots.txt, özel robotlar veya diğer tüm SEO soruları oluşturma kurallarını açıklığa kavuşturmanız gerekiyorsa, Seo.computer E -posta ile: info@seo.computer veya whatsapp: +7 920 204-44-61
ID: 86
