dejar una solicitud
Si utiliza el servicio de alojamiento para su sitio, por ejemplo, WIX o Blogger, es posible que no tenga que editar el archivo robots.txt directamente. En cambio, su proveedor puede proporcionar una página de configuración de búsqueda u otros mecanismos para indicar motores de búsqueda, qué páginas del sitio pueden indexarse y cuáles no.
Si desea ocultar o abrir una de las páginas de los motores de búsqueda, lea las instrucciones para cambiar la visibilidad de la página en su alojamiento, por ejemplo, con una consulta de búsqueda "Cómo ocultar una página de los motores de búsqueda en WIX". Esto lo ayudará a controlar qué archivos pueden estar disponibles para evitar los robots de búsqueda utilizando el archivo robots.txt.
El archivo Robots.txt se encuentra en la raíz de su sitio. Por ejemplo, para www.example.com, el archivo robots.txt se ubicará en www.example.com/robots.txt. Este es un archivo de texto regular que sigue el estándar de excepción estándar de exclusión de robots.
El archivo robots.txt consta de una o más directivas, cada una de las cuales bloquea o permite el acceso para un robot particular a la ruta especificada en el sitio. De manera predeterminada, todos los archivos en el sitio están permitidos para bypass, a menos que se especifique lo contrario.
Aquí hay un ejemplo de un archivo simple de robots.txt con dos reglas:
User-agent: Googlebot Disallow: /nogooglebot/ User-agent: * Allow: / Sitemap: https://www.example.com/sitemap.xml
¿Qué significa este archivo?
Crear un archivo robots.txt y sus pruebas consta de varias etapas:
Las reglas en el archivo robots.txt están diseñadas para especificar robots qué partes de su sitio se pueden pasar por alto. Aquí hay algunas recomendaciones para escribir las reglas:
User-agent: Googlebot Disallow: /private/ User-agent: * Allow: /
Después de descargar el archivo robots.txt al sitio, asegúrese de probar que está disponible para los robots de búsqueda. Para hacer esto, abra la ventana de incógnito en su navegador y vaya a su robots.txt, por ejemplo, https://example.com/robots.txt. Si ve el contenido de su archivo, significa que está disponible para su procesamiento.
Para probar y eliminar problemas con las marcas, puede usar:
Después de cargar y probar el archivo robots.txt, Google Robots lo encontrará automáticamente y comenzará a usarlo. No hay necesidad de enviar el archivo manualmente. Sin embargo, si ha actualizado el archivo y desea que Google lo actualice rápidamente en el caché, puede usar la función de actualización de robots.txt en la consola de búsqueda de Google.
Aquí hay algunos ejemplos útiles del archivo robots.txt:
User-agent: * Disallow: /
User-agent: * Disallow: /private/
User-agent: Googlebot Allow: / User-agent: * Disallow: /
Si tiene preguntas sobre cómo configurar el archivo robots.txt u otros problemas de SEO, puede comunicarse con nuestro SEO Companion info@seo.computer o a través de whatsapp por número +79202044461.
ID: 4
