robots.txt y sitemaps: todo lo que tienes que saber

Si estás mejorando el SEO de tu página, seguramente de hayas preguntado ya qué son los robots.txt. y los sitemaps. En este post, te resuelvo todas tus dudas 😉

¿Qué es un robots.txt?

Es un archivo de texto plano que se aloja en el dominio raíz de tu página web. La gran mayoría de webs la incorporan. Los robots, también conocidos como arañas, buscan este archivo para leerlo. Según las instrucciones que tu robots.txt incluya, las arañas actuarán de una forma o de otra. Básicamente, puedes darle dos opciones: prohibir a estos agentes que lean tu contenido, o permitírselo.

Este archivo lo puedes crear y modificar con cualquier editor de texto. Word, Notepad o, si quieres un editor de texto más avanzado, descarga Sublimetext. Aunque no es un software libre, puedes utilizar la versión de evaluación sin fecha de caducidad.

¿Qué pasa si mi página no tiene el archivo robots.txt?

No hay problema, tienes dos opciones:

  • Instalarlo con un plugin: Yoast SEO
  • Subir el archivo a través de FTP

Entonces, ¿para qué sirve mi archivo robots.txt?

  • Si quieres que alguna página de tu sitio no sea accesible, puedes indicarlo en este archivo.
  • Puedes utilizarlo también para crear tu el Sitemap de tu página, para que a los robots les sea más fácil leer el contenido.
  • Por último, utilízalo si tienes contenido duplicado.

Es importante saber que, tener este archivo no afecta a tu SEO. Creándolo no conseguirás una mejor posición. Pero si es cierto que el no tenerlo, puede crearte problemas de posicionamiento.

Una vez que tenemos claro qué es y para qué sirve, ¿qué escribimos en él?

Los comandos más utilizados son:

· User-agent:

Este comando se utiliza para indicar a quién nos dirigimos. A qué robots afecta nuestra orden. Normalmente especificamos “*”. Este asterisco significa que va dirigido a todos los tipos de araña.

· Disallow

Lo utilizamos cuando queramos bloquear el acceso.

· Allow

Por el contrario, cuando queramos permitir el acceso a las páginas o directorios.

· Sitemap 

Con este comando indicamos a los robots dónde pueden encontrar el mapa del sitio en XML.

· Crawl-delay 

Con este estamos indicando a los robots cuánto tiempo en segundos tienen que esperar para entrar en la página. Esto es importante por nuestros usuarios, pues le estamos diciendo que ellos tienen prioridad frente a ellos, pues una sobrecarga de nuestro servidor puede ser nefasta.

 

Ahora que tenemos claro qué es un robots.txt, para qué sirve, y cómo podemos utilizarlo en nuestro beneficio…

¿Qué es un Sitemap?

Un Sitemap es básicamente el mapa del sitio web. Aquí podremos introducir todas las direcciones o URL’s de nuestro sitio para que sean indexadas por los robots. En definitiva, un archivo para facilitarles el trabajo.

 

 

No te pierdas el próximo post sobre Trucos para mejorar tu SEO en una hora, próximamente en mi blog 

Todo en una misma persona

Así de simple.

Deja de perder el tiempo llamando a tres personas diferentes.
Tienes todo lo que necesitas en una sola, que será capaz de cumplir tus objetivos fácilmente, apoyándose en un plan de marketing digital y en todas las herramientas de diseño gráfico y web.
Más de cinco años de experiencia en el sector de marketing digital me hacen tener una visión amplia y concisa, que serán claves en la ejecución de tu campaña.

 

Made with love by
© lauradmarketing