Para entender mejor el funcionamiento del Robots.txt de WordPress, lo mejor es echar un vistazo a las “tripas de la bestia”. Aunque es posible que no te haga ninguna gracia descender al cuarto de máquinas y mirar el sinnúmero de "jeroglíficos".
En realidad no es necesario ser un experto ni mucho menos para realizar ciertas tareas sencillas, pero sumamente útiles para optimizar tu sitio web y además protegerlo de posibles amenazas, porque Internet hoy en día puede llegar a ser muy peligroso si se deja alguna puerta abierta.
Qué es el Robots.txt de WordPress
Este es un archivo que obligatoriamente consultan todos los motores de búsqueda de Internet, los buenos y los malos. Allí se especifica la información que se desea publicitar a través de motores de búsqueda como Google o Bing.
Esta pequeña maravilla producto del ingenio informático, anuncia además qué páginas o carpetas no deben ser exploradas (por contener información de seguridad o cualquier otra razón). Sirve también para enfocar la exploración de los buscadores en los temas que te interesa mostrar, eliminando de la indexación lo irrelevante.
Muestra la ruta donde se puede encontrar otro archivo muy importante, el sitemap.xml.
Todo esto sirve para un óptimo posicionamiento en los motores de búsqueda.
Cómo funciona
Utiliza pocos parámetros, fáciles de memorizar y entender:
User-Agent: Se trata del motor (conocido como robot) al que se aplicará la configuración. Es posible crear una regla para cada motor de búsqueda.
Disallow: Junto a este comando se colocan las páginas o directorios que desees bloquear.
Allow: Como era de esperarse, junto a este comando se insertan las páginas o directorios que se quieran indexar.
Un ejemplo: Para que los robots indexen todos los contenidos, se utiliza el comando:
User-agent: *
Está demás el mencionar que escribir un archivo robots.txt de WordPress con tan solo este comando representa una amenaza para cualquier sitio web, dicho queda 😉
Y este es un caso práctico:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-content/cache/
Allow: /wp-content/uploads/
Disallow: */page/*
Disallow: /feed/
Disallow: */feed/
Disallow: /category/*
Disallow: /tag/*
Disallow: /*?*
Disallow: /*?
Disallow: /?*
Como puedes ver, no hace falta ser un experto para configurar el fichero robots.txt de WordPress.
Cada archivo puede personalizarse para permitir el paso a determinados buscadores, y negárselo a los robots maliciosos, que únicamente buscan entrar a los sitios web con el ánimo de tomar control de él por diversión, y en otros casos por cometer ciber crímenes, así que procura tener mucho cuidado al configurar este archivo.
Por cierto, para poder modificar este archivo tienes 2 opciones:
- Puedes utilizar el plugin WP Robots Txt.
- Así como también puedes subir el archivo "robots.txt" con tu configuración vía FTP, al directorio principal de tu sitio web.
¿Has conseguido personalizar el archivo Robots.txt de WordPress?
