El fichero robots.txt es un herramienta esencial para toda sitio que pretende estar bien posicionada por los buscadores como Google . Opera como el mapa para los rastreadores , indicándoles qué áreas de tu sitio pueden deben indexadas y cuáles evitar. La adecuada configuración de este documento ayuda a solucionar problemas de rastreo , optimiz