Come creare e inviare un file robots.txt a Google per il tuo sito

Se si utilizza il servizio di hosting per il tuo sito, ad esempio Wix o blogger, potresti non dover modificare direttamente il file robot.txt. Invece, il tuo provider può fornire una pagina delle impostazioni di ricerca o altri meccanismi per indicare i motori di ricerca, quali pagine del sito possono essere indicizzate e quali non lo sono.

Se si desidera nascondere o aprire una delle pagine dai motori di ricerca, leggi le istruzioni per modificare la visibilità della pagina all'hosting, ad esempio, con una query di ricerca "Come nascondere una pagina dai motori di ricerca in Wix". Questo ti aiuterà a controllare quali file possono essere disponibili per bypassare i robot di ricerca utilizzando il file robot.txt.

Fondamenti di creazione e utilizzo del file robots.txt per il tuo sito Google

Il file robots.txt si trova nella radice del tuo sito. Ad esempio, per www.example.com, il file robots.txt si troverà su www.example.com/robots.txt. Questo è un normale file di testo che segue lo standard di eccezione di esclusione dei robot.

Il file robots.txt è costituito da una o più direttive, ognuna delle quali blocca o consente l'accesso per un particolare robot sul percorso specificato sul sito. Per impostazione predefinita, tutti i file sul sito sono consentiti per bypass, se non diversamente specificato.

Un esempio del file di base robots.txt per il tuo sito Google

Ecco un esempio di un semplice file robots.txt con due regole:

User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

Cosa significa questo file:

Il robot Googlebot non può bypassare l'URL a partire da https://example.com/nogooglebot/.
Tutti gli altri robot possono bypassare l'intero sito. Questa regola potrebbe essere omessa, poiché per impostazione predefinita tutti i robot possono bypassare il sito.
Il sito utilizza una scheda del sito che si trova su https://www.example.com/sitemap.xml.

Come creare e testare un file robots.txt per il tuo sito Web di Google

La creazione di un file robots.txt e i suoi test consiste in diverse fasi:

Crea un file denominato robots.txt.
Aggiungi le regole di ricerca pertinenti al file.
Scarica il file robots.txt nella radice del tuo sito.
Controllare la disponibilità del file per i motori di ricerca e la sua correttezza.

Come scrivere regole per rabots.txt sul tuo sito web di Google

Le regole nel file robot.txt sono progettate per specificare i robot quali parti del tuo sito possono essere bypassate. Ecco alcuni consigli per scrivere le regole:

Ogni regola inizia con un'indicazione per l'agente utente, che determina per quale robot di ricerca viene applicata le regole.
Ogni regola può anche contenere non consentire (per un divieto di bypass) e consentire (di risolvere il bypass). Per esempio:

User-agent: Googlebot
Disallow: /private/
User-agent: *
Allow: /

Test robot.txt per il tuo sito Google

Dopo aver scaricato il file robots.txt sul sito, assicurarsi di testare che è disponibile per i robot di ricerca. Per fare ciò, apri la finestra Incognito nel tuo browser e vai su Robots.txt, ad esempio https://example.com/robots.txt. Se vedi il contenuto del tuo file, significa che è disponibile per l'elaborazione.

Per testare ed eliminare i problemi con i segni, puoi usare:

Rapporto robots.txt sulla console di ricerca di Google (se il file è disponibile sul tuo sito).
Utilizzo della libreria Google per testare i file locali Robots.txt.

Come inviare un file robots.txt a Google

Dopo che il file robots.txt viene caricato e testato, Google Robots lo troverà automaticamente e inizierà a usarlo. Non è necessario inviare manualmente il file. Tuttavia, se hai aggiornato il file e desideri che Google lo aggiorni rapidamente nella cache, è possibile utilizzare la funzione di aggiornamento robot.txt nella console di ricerca di Google.

Regole utili robots.txt per il tuo sito Google

Ecco alcuni esempi utili del file robots.txt:

Per vietare il bypass dell'intero sito:

 User-agent: *
 Disallow: /

Vietare una deviazione di una particolare directory:

 User-agent: *
 Disallow: /private/

Per risolvere il bypass solo a un particolare robot:

 User-agent: Googlebot
 Allow: /
 User-agent: *
 Disallow: /

Contatti per chiarimenti su robot.txt e SEO per il tuo sito su Google

Se hai domande sull'impostazione del file robots.txt o di altri problemi SEO, puoi contattare il nostro compagno SEO info@seo.computer o tramite WhatsApp per numero +79202044461.

ID: 4