Cómo implementar x-robots-tag desde el servidor y sus diferencias con la metaetiqueta meta robots
El X-Robots tag es una cabecera HTTP alternativa a la metaetiqueta de HTML que se hace desde el servidor.
En "combate" contra una metaetiqueta robots, ganaría la opción más restrictiva. Es decir que si, por ejemplo, tenemos una etiqueta noindex y otra index, prevalecerá la etiqueta más restrictiva, es este caso, la noindex, independientemente de cuál esté en la metaetiqueta y cual esté en el encabezado HTTP.
Entre las ventajas que podemos encontrar al implementar directrices desde el x-robots-tag nos encontramos:
Además comparte otras ventajas y desventajas con el meta robots habitual. Por ejemplo, las directivas seleccionadas no serán legibles si se bloquean desde el robots.txt o se bloquean desde el servidor.
En primer lugar, se necesita acceso al servidor. Si usas Apache, podrás hacerlo simplemente con que puedas escribir en tu .htaccess en la carpeta ROOT de tu proyecto. Si usas NGINX tendrás que ir al .conf, implementar los cambios y reiniciar el servidor.
Todas las directivas que son válidas en la metaetiqueta meta robots, son igualmente válidas en el x-robots-tag.
En Apache se debe tener habilitado el ifmodule mod_headers.c y aplicar el comando dentro de dicho ifmodule. No es obligatorio, pero recomiendo meterlo dentro del ifmodule en todos los casos.
Así por ejemplo se pondría un x-robots tag en todas las páginas de un proyecto. Al igual que se pueden poner Spiders específicos como GoogleBot.
En el caso de que se quiera apuntar al contenido de un subdirectorio específico (Por ejemplo el subdirectorio test), sería de esta forma:
Con Regex, además se puede apuntar directamente a solo un tipo de archivos:
<Files ~ "\.(avif|webp|svg)$"> Header set X-Robots-Tag "unavailable_after: 27 Jun 2045 15:00:00 PST" </Files>
De esta forma se haría que estos archivos no estén index a partir de esa fecha.
Aunque NGINX como servidor es muchísimo más eficiente que Apache, podríamos destacar alguna pequeña carencia, y es su configuración para SEO, ya que tienes que reiniciarlo cada vez que haces un cambio en su configuración. Esto es un problema gordo a la hora de hacer este tipo de implementaciones de forma continua. Es el precio a pagar por la eficiencia, sin embargo, si que se pueden hacer dichos cambios. Se deben hacer dentro de "server{}" en el .conf.
Para aplicar el cambio en todo el servidor, sería simplemente así:
Para hacerlo sobre un formato en particular o varios, sería de esta forma con Regex:
Y así para un archivo específico:
Te falta mi máster. Accede a una formación avanzada que te permitirá aplicar e implementar SEO en cualquier tipo de WEB
¡Accede al Máster de SEO Técnico!Si te ha gustado esta publicación, siempre me lo puedes agradecer dándome like en esta publicación de LinkedIn sobre este mismo artículo.
