Bir istek bırakın
Google, ürünleri için hem otomatik olarak hem de kullanıcının isteği üzerine çeşitli işlemler yapmak için Kraler ve Vests kullanır. Crowler (bazen “robot” veya “örümcek” olarak da adlandırılır), web sitelerini otomatik olarak algılamak ve taramak için kullanılan bir program için ortak bir isimdir. Thets, WGY'ye benzer bir program görevi görür ve genellikle kullanıcı adına tek bir istekte bulunur. Google ürünleri üç kategoriye ayrılabilir:
Google ürünleri (örneğin GoogleBot) için kullanılan geleneksel Kraler, otomatik tarama için her zaman robots.txt kurallarını takip eder.
Özel Kraler sıradan olanlara benzer, ancak taranan site ile Google ürünü arasında tarama işlemi ile ilgili bir anlaşmanın bulunduğu belirli ürünlerde kullanılırlar. Örneğin, ADSBOT, site sahibinin çözünürlüğü ile global robots.txt kullanıcı ajanını yok sayar.
Son kullanıcı isteği başlattığında kullanıcı stiderleri ürün ve ürün işlevlerinin bir parçasıdır. Örneğin, Google Site Vericier kullanıcının isteği üzerine çalışır.
Google Craolers ve Veters, internet büyüdükçe performansı ve ölçeklenebilirliği artırmak için binlerce makinede aynı anda çalışacak şekilde tasarlanmıştır. Bant genişliğinin kullanımını optimize etmek için, bu müşteriler dünyanın dört bir yanındaki birçok veri merkezine göre dağıtılır, böylece temasa geçilebilecek sitelere daha yakındırlar. Bu nedenle, günlüklerinizde çeşitli IP adreslerinden gelen ziyaretler belirtilebilir. Google Egress esas olarak Amerika Birleşik Devletleri'nde IP adresleriyle gerçekleşir. Google, sitenin Amerika Birleşik Devletleri'nden istekleri engellediğini tespit ederse, diğer ülkelerde bulunan IP adreslerinden taramaya çalışabilir.
Google Craolers ve Veters, HTTP/1.1 ve HTTP/2'yi destekler. Craolers, en iyi tarama performansını sağlayan protokolün sürümünü kullanacak ve önceki tarama oturumlarının istatistiklerine bağlı olarak protokoller arasında geçiş yapabilir. Varsayılan olarak, Google Kraler HTTP/1.1 protokolünü kullanır. HTTP/2 aracılığıyla tarama, hem siteniz hem de GoogleBot için bilgi işlem kaynaklarını (örneğin, CP, RAM) kaydedebilir, ancak aksi takdirde site için herhangi bir özel avantaj vermez (örneğin, bu Google aramasındaki derecelendirmeyi etkilemez). HTTP/2 aracılığıyla taramayı reddetmek için, Google Sitenize HTTP/2 aracılığıyla erişmeye çalıştığında sunucuyu durum 421 ile yanıt verecek şekilde ayarlayın. Bu mümkün değilse, tarama ekibine bir mesaj gönderebilirsiniz (bu geçici bir karar olmasına rağmen).
Google Crorobers altyapısı ayrıca FTP (RFC959 ve güncellemelerinde tanımlandığı gibi) ve FTP'ler (RFC4217 ve güncellemelerinde tanımlandığı gibi) taramasını da destekler, ancak bu protokolleri taramak nadirdir.
Google craolers ve testçiler aşağıdaki içerik sıkıştırma yöntemlerini destekler (kodlama): GZIP, Deflate ve Brotli (BR). Her Google kullanıcı aracısı için desteklenen içerik kodlaması, yaptıkları her istek için kabul kodlayan başlıkta belirtilir. Örneğin: Kabul kodlama: GZIP, Deflate, Br.
Amacımız, sunucuyu aşırı yüklemeden her ziyarette sitenizin mümkün olduğunca çok sayfasını taramaktır. Siteniz Google'dan talepte bulunmakta güçlük çekiyorsa, tarama hızını azaltabilirsiniz. Google Kraolers'a yanlış HTTP durumunu göndermenin, sitenizin Google ürünlerinde nasıl görüntüleneceğini etkileyebileceğini lütfen unutmayın.
Google Kraler'in altyapısı, özellikle ETAG ve IF-Match başlıkları aracılığıyla ve ayrıca son modifiye edilmiş ve IF-Modifiye-Sınırlı Keten Başlıkları aracılığıyla HTTP-Caching Standardı tarafından belirlenen sezgisel HTTP şovlarını destekler.
Not: Google Cruls'un tercihlerine bakılmaksızın ETAG ve son modifiye değerlerinin ayarlanması önerilir. Bu başlıklar ayrıca CMS gibi diğer uygulamalar tarafından da kullanılır.
Dönüş başlıklarında hem ETAG hem de son modifiye edilmiş alanlar varsa, Google Kraler, HTTP standardının gerektirdiği gibi ETAG değerini kullanır. Google Croiders için, ETAG'ın tarih biçimlendirmesiyle ilgili hiçbir sorunu olmadığından, önbellek tercihlerini belirtmek için son modifiye yerine ETAG kullanmanızı öneririz.
HTTP önbelleğinin diğer yönergeleri desteklenmez.
Ayrı Crowlers ve Google veterinerler, ilişkilendirildikleri ürünün ihtiyaçlarına bağlı olarak önbelleklemeyi kullanabilir veya kullanamazlar. Örneğin, GoogleBot, Google arama için tekrarlanan tarama URL'leri olduğunda önbelleklemeyi destekler ve StoreBot-Google, önbelleklemeyi yalnızca belirli koşullar altında destekler.
Siteniz için HTTP kodlaması uygulamak için barındırma sağlayıcınıza veya içerik yönetim sisteminin tedarikçisine başvurun.
Google Craul Altyapısı, HTTP-Caching Standardı tarafından belirlendiği gibi ETAG ve IF-Match'i destekler. ETAG başlığı ve IF-Match isteği hakkında daha fazla bilgi edinin.
Google Kraler'in altyapısı, HTTP-Caching Standardı tarafından belirlendiği gibi, aşağıdaki rezervasyonlarla son modifiye edilmiş ve IF ile modifiye edilmiş INCE'yi destekler:
Son modifiye edilmiş başlık ve IF modifiye edilmiş-SABE isteği hakkında daha fazla bilgi edinin.
Google Craules kendilerini üç şekilde tanımlayın:
Google Cholera ve Frinders'ı kontrol etmek için bu verilerin nasıl kullanılacağını öğrenin.
SEO hakkında sorularınız varsa yoksa yardıma ihtiyacınız olacaksa, SEO arkadaşımızla e -posta ile iletişime geçin info@seo.computer veya whatsapp aracılığıyla: +79202044461.
ID 61
