Factores técnicos de clasificación SEO: segunda parte

Primera parte del artículo.

Si no desea entrar en detalles, comuníquese con los especialistas y obtenga una prueba gratuita de nuestro sistema.

Administrar el archivo robots.txt

El archivo robots.txt se utiliza para controlar cómo los motores de búsqueda indexan su sitio. Le permite especificar qué páginas o directorios del sitio deben indexarse ​​y cuáles no.

Estas son las reglas básicas para trabajar con este archivo:

• Este es un archivo de texto que debe guardarse en formato de texto sin formato (ASCII o UTF-8) y denominarse robots.txt.
• El archivo se crea en editores de texto como el Bloc de notas en lugar de editores de formato propietarios como Microsoft Word.
• El archivo robots.txt debe estar ubicado en el directorio raíz de su sitio. Por ejemplo, para un sitio en http://ejemplo.com, el archivo debería estar disponible en http://example.com/robots.txt.
• Para sitios creados con ciertos CMS, se puede generar automáticamente un archivo robots.txt.

Dentro del archivo robots.txt, el rastreador busca directivas que comiencen con el campo User-agent. Este campo indica el robot del motor de búsqueda específico al que se aplica la regla de indexación correspondiente.

Al describir direcciones en un sitio web, puede utilizar el símbolo universal "*", que denota cualquier secuencia de caracteres. Esto le permite especificar un prefijo o sufijo de la ruta a un directorio o página.

A continuación se muestran algunas directivas básicas que se pueden utilizar en un archivo robots.txt:

• Disálov: Especifica qué páginas o directorios no deben ser indexados por el robot de búsqueda. Si se especifica un nombre de directorio, la ruta debe terminar con una barra.
• Allov: Esta directiva permite la indexación de páginas o directorios específicos que pueden haber sido restringidos por la directiva Disallow. Se admite el carácter "*" para indicar diferentes rutas.
• Mapa del sitio: Especifica la ruta al archivo del mapa del sitio. Puede ser opcional y aparecer en varias copias. Un mapa del sitio ayuda a los motores de búsqueda a indexar las páginas del sitio más rápidamente.
• Las directivas desconocidas se ignoran, lo que permite agregar comentarios dentro del archivo.

También vale la pena señalar que los requisitos del archivo robots.txt pueden variar ligeramente según el motor de búsqueda. Para conocer las últimas recomendaciones para sistemas populares como Yandex o Google, consulte sus fuentes oficiales.

Si tienes alguna duda, siempre puedes contactar con los especialistas de nuestro estudio SEO escribiendo a info@seo.computer.

IDENTIFICACIÓN 9119