dejar una solicitud
El archivo Robots.txt le dice a los motores de búsqueda qué URL en su sitio puede estar disponible para su indexación. Este archivo se utiliza principalmente para evitar sobrecargar su sitio con solicitudes; No es un medio excluir una página web de los resultados de la búsqueda de Google. Si desea excluir una página de los resultados de búsqueda en Google, use el Methag noindex o proteja la página con una contraseña.
Si usa CMS, como WIX o Blogger, es posible que no necesite (o imposible) editar el archivo robots.txt directamente. En cambio, su CMS puede proporcionar una página de configuración de búsqueda u otro mecanismo para especificar motores de búsqueda, ya sea que su página debe ser escaneada.
Si desea ocultar o abrir una de sus páginas para los motores de búsqueda, busque instrucciones para cambiar la visibilidad de la página en los motores de búsqueda en su CMS (por ejemplo, busque "Wix ocultar una página de los motores de búsqueda").
El archivo Robots.txt se usa principalmente para controlar el tráfico de los motores de búsqueda en su sitio, y generalmente para excluir el archivo de la indexación de Google, dependiendo del tipo de archivo:
Puede usar el archivo Robots.txt para páginas web (, PDF u otros formatos que Google puede leer) para controlar el tráfico de indexación si cree que su servidor estará sobrecargado con solicitudes del robot de búsqueda de Google, o para evitar las páginas previas o duplicadas en su sitio.
Advertencia: No use el archivo robots.txt como una forma de ocultar una página web (que incluye PDF y otros formatos de texto compatibles con Google) de los resultados de la búsqueda de Google.
Si otras páginas se refieren a su página con texto descriptivo, Google puede indexar la URL sin visitar la página. Si desea excluir completamente la página de los resultados de búsqueda, use otros métodos, como la protección de contraseñas o el noindex Metatheg.
Si su página web está bloqueada en el archivo Robots.txt, su URL aún puede aparecer en los resultados de la búsqueda, pero la descripción no se mostrará en los resultados. Los archivos multimedia, los videos, el PDF y otros archivos integrados en la página bloqueada tampoco se escanearán si no se mencionan en otras páginas que están permitidas para la indexación. Si ve este resultado de la búsqueda para su página y desea solucionarla, elimine Robots.txt. Si desea ocultar la página por completo de la búsqueda en Google, use otro método.
Puede usar el archivo robots.txt para controlar la indexación de tráfico y evitar la apariencia de imágenes, video y archivos de audio en los resultados de la búsqueda de Google. Esto no evitará enlaces a sus archivos multimedia de otras páginas o de usuarios.
Puede usar el archivo Robots.txt para bloquear archivos de recursos, como imágenes, scripts o estilos insignificantes, si cree que las páginas sin estos recursos no cambiarán significativamente. Sin embargo, si la ausencia de estos recursos complica la indexación del robot de Google, no los bloquee, de lo contrario, Google no podrá analizar correctamente las páginas que dependen de estos recursos.
Antes de crear o editar el archivo Robots.txt, debe comprender las restricciones en este método de bloqueo de URL. Dependiendo de sus objetivos y la situación, es posible que deba considerar otros mecanismos para asegurarse de que sus URL no se encuentren en Internet.
Atención: La combinación de varias reglas para el kraling e indexación puede causar un conflicto entre las reglas. Descubra cómo combinar las reglas de Kraling con indexación y pantalla.
Si decide que necesita un archivo robots.txt, descubra cómo crearlo. Si el archivo ya existe, descubra cómo actualizarlo.
El archivo Robots.txt debe estar en la raíz de su sitio. Descubra cómo crear un archivo robots.txt, consulte ejemplos y estudie las reglas del archivo robots.txt.
Usando el informe Robots.txt, puede verificar fácilmente si Google puede procesar sus archivos robots.txt. Siga estos pasos para enviar archivos actualizados de robots.txt a Google.
Explore los detalles de las diversas reglas para el archivo robots.txt y cómo Google interpreta la especificación del archivo robots.txt.
Si tiene preguntas sobre el archivo robots.txt para su sitio de Google u otros aspectos de SEO, puede comunicarse con la compañía de SEO "SEO.CuPUTER" por correo electrónico: info@seo.computer o a través de whatsapp: +79202044461.
ID 25
