Laat een verzoek achter
Algemene chorelers van de site worden gebruikt om informatie te zoeken en Google -zoekmachines te maken. Ze worden ook gebruikt voor specifieke taken van producten en analisten. Deze crawlers volgen altijd robots. TXT -regels met automatische bypass. Technische kenmerken van de belangrijkste kralers van de site zijn van toepassing op generaal Kraler.
In de regel werken de algemene chulets van de site met de IP-adressen die worden vermeld in de speciale GoogleBot.json-faciliteit en de omgekeerde DNS-controles op hun Hostemams komen overeen met crawl-***-***-***-***. GoogleBot.com of ***-***-***. Geo-crawl-***-***-***-***. Geo.googlebot.com.
De lijst toont de algemene hutten van de site, hun gebruikersagentregels in HTTP-controles, overeenkomend met user-agent tokens voor robots.txt-richtlijnen, evenals producten die worden beïnvloed door wreefinstellingen voor elke Kraler. Sommige Kralers hebben verschillende user-agent tokens-het is voldoende om een van hen te vergelijken om de regels toe te passen. De lijst is niet uitputtend, het bevat alleen de meest voorkomende verzoeken en die waarover vragen kwamen.
Aandacht: de gebruikersagentlijn in het HTTP-verzoek kan worden vervalst. Het wordt aanbevolen om te controleren of de bezoeker echt een chuler is van de Google -zoekmachine -site.
Lijnen van gebruikersagent in HTTP-controles voor GoogleBot hebben twee hoofdtypen voor smartphones en voor desktop-apparaten. Voorbeeld voor smartphones: Mozilla/5.0 (Linux; Android) AppleWebkit/... Chrome/... Mobile Safari/... (compatibel; GoogleBot/2.1; ...). Voor desktop -apparaten - Mozilla/5.0 AppleWebkit/... (compatibel; GoogleBot/2.1; ...).
Minder vaak zijn er opties zoals Mozilla/5.0 (compatibel; GoogleBot/2.1; ...) of gewoon GoogleBot/2.1 (...).
Robots.txt gebruikt GoogleBot -token om deze crawler van de site te beheren.
GoogleBot -instellingen hebben invloed op Google -zoekproducten, inclusief zoek-, ontdekkings-, afbeeldings- en nieuwsonderzoek, video en nieuws.
Line User-Agent: GoogleBot-Image/1.0.
Token in robots.txt: googleBot-Image.
Crauling -management door deze kraler van de site wordt weerspiegeld in de zoektocht naar afbeeldingen, ontdekken, video -inhoud en weergave van logo's en phavicons in de resultaten van de Google -zoekopdracht.
De tekenreeks User-Agent: GoogleBot-Video/1.0.
Token in robots.txt: googleBot-Video.
Deze crauls van de site beïnvloedt de functies van het zoeken naar video en producten met betrekking tot video -inhoud.
Deze crawler van de site gebruikt geen afzonderlijke HTTP-gebruikersagent. Crauling van nieuwsinhoud wordt uitgevoerd met behulp van verschillende GoogleBot-gebruikersagentregels.
Token in robots.txt: googleBot-News.
Crowling -instellingen hebben invloed op Google News Services, inclusief nieuws en mobiele applicaties.
Lijnen van gebruikersagent zijn voor desktop- en mobiele apparaten die StoreBot-Google aangeven.
Token in robots.txt: storeBot- Google.
Deze site wordt gebruikt om gegevens te verzamelen voor handelsproducten, zoals de sectie Aankopen in het zoeken naar Google.
De USR-Agent-lijnen voor desktop- en mobiele apparaten bevatten Google-InfectionTool.
Token op robots.txt: Google-InspectionTool.
Deze site wordt gebruikt om zoekresultaten te testen en heeft geen invloed op de algemene resultaten van Google Search.
Lijnen User-Agent: Mozilla/... (compatibel; Googleometer) voor mobiele en desktop-apparaten.
Token op robots.txt: googleother.
Deze site wordt gebruikt voor verschillende enkele of interne taken, zonder de resultaten van Google Search te beïnvloeden.
Gebruiker-agentlijn: Googleometer-beeld/1.0.
Token in robots.txt: Googleometer-beeld.
Crowler van de site is geoptimaliseerd voor het verzamelen van afbeeldingen zonder specifieke Google -producten te beïnvloeden.
Gebruiker-agentlijn: Googleometer-Video/1.0.
Token in robots.txt: Googleometer-Video.
Gebruikt om videobestanden te verzamelen zonder de zoekresultaten te beïnvloeden.
De gebruikersagentlijn bevat Google-CloudvertexBot.
Token in robots.txt: google- cloudvertexbot.
Het wordt gebruikt voor Kraling gerelateerd aan de constructie van AI-agenten en heeft geen invloed op de zoekresultaten van Google.
Het heeft geen afzonderlijke HTTP-stringgebruiker-agent. Token in robots.txt: google- uitgebreid.
Hiermee kunnen de eigenaren van de site het gebruik van inhoud voor het trainen van AI -modellen regelen zonder de rangorde te beïnvloeden in de zoektocht naar Google.
De aanduiding chroom/w.x.y.z in de gebruikersagentregels is een sjabloon die de versie van de chromenbrowser aangeeft die door de crauls van de site wordt gebruikt. Het versienummer wordt in de loop van de tijd bijgewerkt.
Bij het zoeken of filteren per gebruikersagent in logboeken, wordt aanbevolen om substitutiesignalen voor de versie te gebruiken in plaats van een nauwkeurig nummer.
Voor vragen kunt u per e -mail contact opnemen met SEO SEO.computer info@seo.computer Of via WhatsApp +79202044461.
ID 141
