¿Qué se hace para Editar Robots.txt? ¿Cuán importante es?

También puede interesarte:

Posicionarse en Google requiere mucho más que un keyword research y un contenido atractivo. Desde los mismos inicios del SEO, la programación ha disfrutado de un lugar privilegiado dentro del mismo. Así, existe una vasta variedad de acciones indispensables como medir y optimizar la velocidad de carga web, añadir imágenes ligeras, diseñar una estructura interna de calidad, crear un árbol de enlaces avanzado o incluir un archivo robot.txt. En este artículo veremos precisamente cómo optimizar robot.txt.

¿Qué es y para qué sirve el archivo robots txt?

Una de las claves para comprender el posicionamiento orgánico es que los bots indexadores de Google, esos que se encargan de almacenar tu web para poder devolverla luego en las SERps, tienen un tiempo limitado y no pueden abarcar todo cuanto existe. En este sentido, están tan sujetos a Cronos, el dios griego del tiempo, como cualquier mortal. Y por esto necesitamos lograr que utilicen el tiempo que tienen en indexar aquellas páginas que nos interesan. Para ello debemos saber cómo editar robot.txt.

Porque robot.txt es un archivo mediante el cual podemos comunicarle a los robots de los buscadores cuáles son las páginas de nuestro sitio web que queremos que indexen. Esto no quiere decir que vayan a cumplir tu deseo necesariamente, pero suele funcionar, especialmente cuando está diseñado e implementado de modo efectivo. A continuación vamos a explicarte tres maneras de incorporar robot.txt a tu sitio web desarrollado con WordPress. Descubrirás que editar robots.txt con WordPress es muy sencillo.

 width=

Cómo crear y editar el archivo robots.txt perfecto para SEO

Pero, antes de ver cómo introducirlo en WordPress, veamos rápidamente cómo configurar robots.txt de la manera más clara posible: en líneas generales solo existen dos tipos de instrucciones para los Googlebots, la instrucción allow y la instrucción disallow. La primera indica que el webmaster permite a las arañas indexar el contenido y la segunda que no lo permite. Como decíamos antes, los bots suelen respetar esas decisiones, pero no está cien por cien garantizado. Veamos qué tres maneras de agregarlo existen.

Configuración del archivo robots.txt

En primer lugar, tenemos el plugin Yoast SEO, el plugin SEO más popular de todo WordPress con muchísima diferencia. Además de permitirte ordenar las páginas y de añadir metaetiquetas, te facilita la incorporación del archivo robots.txt desde la sección Herramientas. En segundo lugar, a través de otros plugins parecidos a Yoast SEO como All in One SEO Pack. En tercer lugar, a través de la creación del propio robots.txt a través del FTP. Ahora ya sabes cómo crear un archivo robots.txt y añadirlo a tu sitio web WordPress.

 width=

¿Dónde encontrar el archivo robots txt?

Poder comprobar las instrucciones actuales que nuestro archivo robots.txt aportan a los rastreadores de los buscadores es muy importante. Por esto es importante conocer cómo ver el robot.txt de una página. Y esto pasa por escribir en el navegador la URL de tu sitio web seguida de «/robots.txt». Así, y en el caso de nuestro sitio web, titulado impactoseo.com, la ruta para encontrar el archivo robot sería impactoseo.com/robots.txt. Eso puede servirte también para inspeccionar los archivos robots de tus competidores.

Qué tener en cuenta a la hora de editar el robot.txt de una web

Hay una última cosa muy importante que tener en cuenta del archivo robots.txt: que puedes proporcionar a un robot concreto unas instrucciones concretas. Y esto nos aporta un enorme grado de personalización y de versatilidad en la configuración de dicho archivo. Para quienes hayáis entrado en contacto con robots-txt en este post por primera vez, tened presente que se trata de un documento muy pero que muy relevante. Y por eso hay que dedicarle mucho amor al proceso de editar robots.txt en WordPress.