¿Cómo inserto el sitemap dentro del robots.txt?

Q: ¿Cómo inserto el sitemap dentro del robots.txt?

R: Se realiza poniendo la palabra "Sitemap:" (los dos puntos incluidos) seguidos de la URL absoluta.

Ejemplo:

Sitemap: https://tu-url.com/sitemap_index.xml

Recuerda que la palabra Sitemap debe estár singular y con dos puntos, y la URL debe ser absoluta, es decir, con el protocolo http y el www o no www y el dominio.

La directiva Sitemap dentro del robots.txt no se ve afectada por los selectores de user-agent, por lo que se puede colocar en cualquier lugar del robots.txt de forma indistinta. Por cuestión de orden es recomendable ponerlo al principio o al final del archivo.

Recuerda que realmente lo que estás haciendo con esta práctica simplemente es indicar por medio del robots.txt donde está tu Sitemap, para que sea más fácil de descubrir para cualquier rastreador.