Bir istek bırakın
GoogleBot, Google aramasında kullanılan iki tür web robotu için ortak bir isimdir:
USR-Agent'ın HTTP başlığına bakarak GoogleBot alt tipini belirleyebilirsiniz. Bununla birlikte, her iki robot türü de robots.txt'deki aynı ürün jetonuna (kullanıcı ajanı jetonu) tabidir, böylece robots.txt kullanarak bunlardan birini (GoogleBot akıllı telefon veya GoogleBot masaüstü) seçemezsiniz.
Çoğu site için Google, önce içeriğin mobil sürümünü dizinler arayın. Bu nedenle, GoogleBot'tan gelen isteklerin çoğu bir mobil robot ve azınlık - bir masaüstü robotu kullanılarak yapılacaktır.
Çoğu GoogleBot sitesi için, siteniz sitenizi ortalama birkaç saniyeden daha fazla ziyaret etmemelidir. Bununla birlikte, gecikmeler nedeniyle, bu göstergenin kısa zaman aralıklarında biraz daha yüksek olması beklenebilir. Sitenizin Googlebot istekleriyle başa çıkmak için zamanı yoksa, BT atışının hızını azaltabilirsiniz.
GoogleBot, ilk 15 MB -Files veya Desteklenen Metin Dosyasını tarayabilir. CSS veya JavaScript gibi atıfta bulunan her kaynak ayrı olarak yüklenir ve her istek, dosyanın boyutundaki aynı sınırla sınırlıdır. İlk 15 MB'den sonra dosya taramayı durdurur ve dosyanın sadece bu 15 MB'si dizinleme için iletilir. Boyutun sınırı, sıkıştırılmış verilere uygulanır. Googlebot Video ve Googlebot Image gibi diğer Google robotlarının başka kısıtlamaları olabilir.
ABD'deki IP adreslerinden seyahat ederken, Googlebot saat dilimi bir Pasifik saatidir.
Googlebot'un diğer teknik özellikleri Google Robot incelemesinde açıklanmaktadır.
GoogleBot, öncelikle ziyaret edilen sayfalara yerleştirilmiş bağlantılar aracılığıyla bir sapma için yeni URL'ler bulur. Siteyi ona bağlantılar yayınlamadan gizlemek neredeyse imkansızdır. Örneğin, birisi “gizli” sitenizden başka bir siteye bağlantıyı geçer geçmez, “gizli” sitenizin URL'si yönlendirici etiketinde görünebilir ve günlüklerinde başka bir site tarafından korunacak ve yayınlanacaktır.
Sitenizde GoogleBot Bypass'ı önlemek istiyorsanız, birkaç seçeneğiniz vardır. Bypass ve indexation arasında bir fark olduğunu unutmayın: Googlebot, sayfanın etrafına gitmekten engelleme, bu sayfanın URL'sinin arama sonuçlarında görünmesini önlemeyecektir:
GoogleBot Engelleme, Google aramasını (Discover ve tüm Google arama işlevleri dahil) ve Google Resimleri, Google Video ve Google News gibi diğer ürünleri de etkiler.
Googlebot'u engellemeye karar vermeden önce, Googlebot tarafından kullanılan USR-Agent HTTP başının genellikle diğer robotlar tarafından sahte olduğunu anlamak önemlidir. Bu nedenle, talebin gerçekten Google'dan geldiğini kontrol etmek önemlidir. İsteğinin GoogleBot'tan geldiğini onaylamanın en iyi yolu, isteğin ilk IP adresinde bir ters DNS yayınını yürütmek veya IP adresini Googlebot IP adresleriyle izlemektir.
SEO hakkında sorularınız varsa veya bir danışmanlığa ihtiyacınız varsa, e -posta yoluyla SEO arkadaşımızla iletişime geçebilirsiniz. info@seo.computer veya whatsapp: +79202044461.
ID 59
