El documento robots.txt es un recurso fundamental para gestionar cómo los motores de búsqueda indexan tu página web . Ofrece a los rastreadores Echar un vistazo directrices sobre cuáles secciones de tu web pueden indexadas y cuáles es preferible que no omitidas. Una configuración del robots.txt puede aumentar tu visibilidad en los resultados