Lascia una richiesta
Google utilizza Kraler e giubbotti per eseguire varie azioni per i suoi prodotti, sia automaticamente che su richiesta dell'utente. Crowler (a volte chiamato anche "robot" o "ragno") è un nome comune per un programma che viene utilizzato per rilevare e scansionare automaticamente i siti Web. I Thets agiscono come un programma simile a WGET e di solito eseguono una singola richiesta per conto dell'utente. I prodotti Google possono essere divisi in tre categorie:
Kraler convenzionale utilizzato per i prodotti Google (ad esempio Googlebot) seguono sempre le regole robot.txt per la scansione automatica.
Kerar speciale è simile a quelli normali, ma sono utilizzati in prodotti specifici in cui esiste un accordo tra il sito scansionato e il prodotto Google per quanto riguarda il processo di scansione. Ad esempio, ADSBOT ignora i robot globali. Utente-agente con la risoluzione del proprietario del sito.
Gli strumenti dell'utente fanno parte delle funzioni del prodotto e del prodotto quando l'utente finale inizia la richiesta. Ad esempio, il Verifier del sito di Google funziona su richiesta dell'utente.
Google Craolers e veter sono progettati per funzionare contemporaneamente su migliaia di macchine al fine di aumentare le prestazioni e la scalabilità man mano che Internet cresce. Per ottimizzare l'uso della larghezza di banda, questi clienti sono distribuiti secondo molti data center in tutto il mondo, quindi si trovano più vicini ai siti a cui possono essere contattati. Pertanto, nelle visite di vari indirizzi IP possono essere indicate nei registri. Google Egress si svolge principalmente con indirizzi IP negli Stati Uniti. Se Google rileva che il sito blocca le richieste dagli Stati Uniti, potrebbe provare a scansionare da indirizzi IP situati in altri paesi.
Google Craolers e Veters supportano HTTP/1.1 e HTTP/2. Craolers utilizzerà la versione del protocollo, che fornisce le migliori prestazioni di scansione e possono passare da un protocolli a seconda delle statistiche delle precedenti sessioni di scansione. Per impostazione predefinita, Google Kraler utilizza il protocollo HTTP/1.1. La scansione tramite HTTP/2 può salvare le risorse di elaborazione (ad esempio, CP, RAM) sia per il tuo sito che per GoogleBot, ma altrimenti non fornisce vantaggi specifici per il sito (ad esempio, ciò non influisce sulla valutazione nella ricerca di Google). Per rifiutare la scansione tramite HTTP/2, impostare il server in modo che risponda con lo stato 421 quando Google prova ad accedere al tuo sito tramite HTTP/2. Se ciò non è possibile, è possibile inviare un messaggio al team di scansione (anche se questa è una decisione temporanea).
L'infrastruttura di Google Croilers supporta anche la scansione tramite FTP (come definito in RFC959 e i suoi aggiornamenti) e FTP (come definito in RFC4217 e i suoi aggiornamenti), tuttavia, la scansione attraverso questi protocolli è rara.
Google Craolers e tester supportano i seguenti metodi di compressione del contenuto (codifica): GZIP, Deflate e Brotli (BR). La codifica dei contenuti supportata per ciascun agente utente di Google è indicata nell'intestazione di codifica accettazione per ciascuna richiesta di presentazione. Ad esempio: accettazione: gzip, deflate, br.
Il nostro obiettivo è scansionare quante più pagine del tuo sito possibile ad ogni visita senza sovraccaricare il server. Se il tuo sito ha difficoltà a servire le richieste da Google, puoi ridurre la velocità di scansione. Si prega di notare che l'invio dello stato HTTP sbagliato a Google Kraolers può influenzare il modo in cui il tuo sito verrà visualizzato nei prodotti Google.
L'infrastruttura di Google Kraler supporta gli show euristici HTTP, come determinato dallo standard di cache HTTP, in particolare attraverso i titoli ETAG e IF-None-Match, nonché attraverso le intestazioni di lino-modificate e modificate IF.
Nota: si consiglia di impostare i valori di eTag e ultimo modificato, indipendentemente dalle preferenze di Google Cruls. Queste intestazioni sono utilizzate anche da altre applicazioni come il CMS.
Se entrambi i campi ETAG e ultimo modificati sono presenti nelle intestazioni di restituzione, Google Krale utilizza il valore ETAG, come richiesto dallo standard HTTP. Per Google Corulers, consigliamo di utilizzare ETAG anziché ultimo modificato per indicare le preferenze della memorizzazione nella cache, poiché ETAG non ha problemi con la formattazione delle date.
Altre direttive della memorizzazione nella cache HTTP non sono supportate.
Crowlers separati e veterini di Google non possono o non possono utilizzare la memorizzazione nella cache a seconda delle esigenze del prodotto con cui sono associati. Ad esempio, GoogleBot supporta la memorizzazione nella cache quando ripetono gli URL di scansione per la ricerca di Google e StoreBot-Google supporta la memorizzazione nella cache solo in determinate condizioni.
Per implementare la codifica HTTP per il tuo sito, contattare il provider di hosting o il fornitore del sistema di gestione dei contenuti.
L'infrastruttura di Google Craul supporta ETAG e IF-None-Match, come determinato dallo standard di cache HTTP. Ulteriori informazioni sull'intestazione ETAG e sulla sua richiesta IF-None-Match.
L'infrastruttura di Google Kraler supporta l'ultima modifica e la modificata, come determinato dallo standard di cache HTTP, con le seguenti riserve:
Ulteriori informazioni sull'ultima intestazione modificata e sulla sua richiesta IF-modificata.
I craree di Google si identificano in tre modi:
Scopri come utilizzare questi dati per controllare Google Cholera e Frinders.
Se hai domande su SEO o avrai bisogno di aiuto, contatta il nostro compagno SEO tramite e -mail info@seo.computer o tramite WhatsApp: +79202044461.
ID 61
