Laat een verzoek achter
Google gebruikt Kraler en Vesten om verschillende acties uit te voeren voor zijn producten, zowel automatisch als op verzoek van de gebruiker. Crowler (soms ook wel een "robot" of "spider" genoemd) is een veel voorkomende naam voor een programma dat wordt gebruikt om websites automatisch te detecteren en te scannen. Thets fungeren als een programma vergelijkbaar met WGet en voeren meestal een enkel verzoek uit namens de gebruiker. Google -producten kunnen worden onderverdeeld in drie categorieën:
Conventionele Kraler gebruikt voor Google -producten (bijvoorbeeld GoogleBot) volgt altijd Robots.txt -regels voor automatisch scannen.
Special Kraler is vergelijkbaar met gewone, maar ze worden gebruikt in specifieke producten waar er een overeenkomst is tussen de gescande site en het Google -product met betrekking tot het scanproces. ADSBOT negeert bijvoorbeeld Global Robots.txt User-Agent met de resolutie van de site-eigenaar.
De gebruiker's maken deel uit van het product- en productfuncties wanneer de uiteindelijke gebruiker het verzoek initieert. Google Site Verifier werkt bijvoorbeeld op verzoek van de gebruiker.
Google Craolers en Veters zijn ontworpen om tegelijkertijd aan duizenden machines te werken om de prestaties en schaalbaarheid te vergroten naarmate het internet groeit. Om het gebruik van de bandbreedte te optimaliseren, worden deze klanten gedistribueerd volgens veel datacenters over de hele wereld, zodat ze zich dichter bij de sites bevinden waarmee ze kunnen worden gecontacteerd. Daarom kunnen bezoeken van verschillende IP -adressen in uw logboeken worden aangegeven. Google Egress vindt voornamelijk plaats met IP -adressen in de Verenigde Staten. Als Google constateert dat de site verzoeken van de Verenigde Staten blokkeert, kan hij proberen te scannen van IP -adressen in andere landen.
Google Craolers and Veters ondersteunen HTTP/1.1 en HTTP/2. Craolers zullen de versie van het protocol gebruiken, dat de beste scanprestaties biedt en kan schakelen tussen protocollen, afhankelijk van de statistieken van eerdere scansessies. Google Kraler gebruikt standaard het HTTP/1.1 -protocol. Scan via HTTP/2 kan computerbronnen (bijvoorbeeld CP, RAM) opslaan voor zowel uw site als GoogleBot, maar anders biedt het geen specifieke voordelen voor de site (dit heeft bijvoorbeeld geen invloed op de rating in Google Search). Stel de server in om scannen via HTTP/2 te weigeren zodat deze reageert met Status 421 wanneer Google probeert uw site te openen via HTTP/2. Als dit niet mogelijk is, kunt u een bericht naar het scanteam sturen (hoewel dit een tijdelijke beslissing is).
De Google Croilers -infrastructuur ondersteunt ook scannen via FTP (zoals gedefinieerd in RFC959 en zijn updates) en FTPS (zoals gedefinieerd in RFC4217 en de updates ervan), maar scannen via deze protocollen is zeldzaam.
Google Craolers en testers ondersteunen de volgende methoden voor compressie van inhoud (codering): GZIP, Deflate en Brotli (BR). Ondersteunde inhoudscodering voor elke Google-gebruikersagent wordt aangegeven in de koptekst van acceptatie-coderen voor elk verzoek dat ze doen. Bijvoorbeeld: Accept-codering: gzip, deflate, br.
Ons doel is om bij elk bezoek zoveel mogelijk pagina's van uw site te scannen zonder de server te overbelasten. Als uw site moeite heeft om verzoeken van Google te bedienen, kunt u de scansnelheid verminderen. Houd er rekening mee dat het verzenden van de verkeerde HTTP -status naar Google Kraolers kan beïnvloeden hoe uw site wordt weergegeven in Google -producten.
De infrastructuur van Google Kraler ondersteunt de heuristische HTTP-shows, zoals bepaald door de HTTP-caching-norm, met name via de ETAG en IF-NOME-MATCH-koppen, evenals door de laatst gemodificeerde en als gemodificeerde en gemodificeerde en gemodificeerde linnenkoppen.
Opmerking: het wordt aanbevolen om de waarden van ETAG en laatst gemodificeerd in te stellen, ongeacht de voorkeuren van Google Cluls. Deze headers worden ook gebruikt door andere toepassingen zoals CMS.
Als zowel de ETAG- als de laatst gemodificeerde velden aanwezig zijn in de retourkoppen, gebruikt Google Kraler de ETAG-waarde, zoals de HTTP-standaard vereist. Voor Google Croilers raden we aan ETAG te gebruiken in plaats van het laatst gemodificeerd om de voorkeuren van caching aan te geven, omdat ETAG geen problemen heeft met datums opmaak.
Andere richtlijnen van HTTP -caching worden niet ondersteund.
Afzonderlijke Crowlers en Google Veters kunnen of kunnen geen caching gebruiken, afhankelijk van de behoeften van het product waarmee ze zijn geassocieerd. GoogleBot ondersteunt bijvoorbeeld caching wanneer herhaalde scan-URL's voor Google Search, en StoreBot-Google ondersteunt alleen onder bepaalde voorwaarden caching.
Om HTTP -codering voor uw site te implementeren, neemt u contact op met uw hostingprovider of leverancier van het Content Management System.
Google Craul-infrastructuur ondersteunt ETAG en IF-NOME-MATCH, zoals bepaald door de HTTP-cachingstandaard. Meer informatie over de ETAG-header en zijn IF-NOME-MATCH-verzoek.
De infrastructuur van Google Kraler ondersteunt het laatst gemodificeerd en als gemodificeerd, zoals bepaald door de HTTP-caching-norm, met de volgende reserveringen:
Meer informatie over de laatst gemodificeerde kop en het verzoek van IF-gemodificeerde-in-since.
Google Craules identificeren zichzelf op drie manieren:
Ontdek hoe u deze gegevens kunt gebruiken om Google Cholera en Frinders te controleren.
Als u vragen heeft over SEO of u hebt hulp nodig, neem dan per e -mail contact op met onze SEO -metgezel info@seo.computer of via WhatsApp: +79202044461.
ID 61
