El archivo robots.txt es el herramienta clave para cualquier sitio que desea aparecer bien posicionada por los rastreadores como Google . Sirve como una directorio para los crawlers , indicándoles qué áreas de tu web pueden deben crawleadas y cuáles se deben excluir . La adecuada configuración de