Informática

Qué es robots.txt y cuál es su utilidad

17 agosto, 2022
cabecera-post-robots-blog-seas

Los distintos buscadores rastrean constantemente la web en busca de nuevo contenido o contenido actualizado para actualizar sus bases de datos. Por ello utilizan sofisticados algoritmos que acceden a las distintas URL que forman una web para analizarlas y comprender su contenido.

El archivo robots.txt es una de las mejores alternativas para poder controlar o limitar el acceso de estos bots a las distintas páginas de una web. Se trata de un archivo muy interesante que permite a los administradores de una web tener un mayor control sobre la misma.

Veamos qué es robots.txt, para qué se utiliza, los elementos que lo componen y cómo es su funcionamiento.

Qué es robots.txt

El robots.txt es un archivo conocido como protocolo de exclusión de robots que permite evitar que algunos bots puedan rastrear una web. Este archivo en formato .txt se encuentra en el directorio raíz de un sitio web e indica a los distintos rastreadores sobre qué partes de la web no pueden visitar.

Para qué sirve el robots.txt

El uso principal del archivo robots.txt es el de indicar el acceso a la web a los distintos buscadores, proporcionándoles información sobre a qué URL pueden acceder y a cuáles no.

Elementos del archivo qué es robots.txt

El fichero robots.txt está compuesto por una serie de elementos esenciales para su funcionamiento:

  • Comandos. Son una serie de comandos que indican funciones importantes, como User-agent (donde se indican los robots o rastreadores), Disallow (para indicar URL, directorios o subdirectorios que no se pueden acceder), o Allow (para indicar URL, directorios o subdirectorios a los que sí se pueden acceder).
  • Reglas. Son un conjunto de normas que se implementan en los comandos Allow y Disallow y que afectan directamente a los user-agent indicados.
  • Otros elementos. Como “/” que precede a un elemento que se quiere bloquear, o reglas de concordancia (patrones para simplificar código utilizando signos como *, ? o $).

Cómo funciona este archivo

El archivo robots.txt tiene un funcionamiento más sencillo de lo que puede parecer visualizando sus distintos elementos. El contenido de este fichero es interpretado como una indicación por los distintos buscadores, por lo que pueden tenerlos en cuenta o no (hay otros métodos para evitar que una web sea rastreada que son más eficientes).

  • Cuando un rastreador llega a un sitio web, accede en primer lugar al contenido de su robots.txt para utilizarlo como referencia sobre las URL que puede o no analizar e indexar. 
  • Si el rastreador decide seguir las indicaciones de este archivo y se encuentra entre los user-agents del mismo, procederá a seguir cada uno de los Allow o Disallow implementados.
  • Lo habitual es que el archivo robots.txt de permiso de rastreo a la mayoría de URL del sitio, y limite el acceso a una serie de páginas concretas mediante el comando Disallow.

Hemos visto qué es robots.txt, los principales elementos que los conforman y cuál es su funcionamiento. Se trata de un fichero muy importante que debes optimizar para sacar el máximo partido de tu página web, blog o tienda online.


SEAS Estudios Superiores Abiertos. Solicita información.Si te ha gustado este interesante artículo sobre logística, te animamos a seguirnos también en nuestras redes sociales o leer más artículos en nuestro blog. Igualmente, también puedes visitar nuestra web, para conocernos un poco más y ver nuestra oferta formativa de informática, automatización, logística, mantenimiento y otras áreas.

Puedes compartir este artículo en:
    Deja un comentario

    Información básica acerca de cómo protegemos tus datos conforme al Reglamento General de Protección de Datos (Reglamento UE 2016/679) y en la Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y garantía de los derechos digitales

    De conformidad con lo establecido en el Reglamento General de Protección de Datos, te informamos de:

    - Quien es el responsable del tratamiento: SEAS, Estudios Superiores Abiertos S.A.U con NIF A-50973098, dirección en C/ Violeta Parra nº 9 – 50015 Zaragoza y teléfono 976.700.660.

    - Cuál es el fin del tratamiento: Gestión y control de los comentarios del blog de SEAS. 

    - En que basamos la legitimación: En tu consentimiento.

    - La comunicación de los datos: No se comunicarán tus datos a terceros.

    - Los criterios de conservación de los datos: Se conservarán mientras exista interés mutuo para mantener el fin del tratamiento o por obligación legal. Cuando dejen de ser necesarios, procederemos a su destrucción.

    - Los derechos que te asisten: (i) Derecho de acceso, rectificación, portabilidad y supresión de sus datos y a la limitación u oposición al tratamiento, (ii) derecho a retirar el consentimiento en cualquier momento y (iii) derecho a presentar una reclamación ante la autoridad de control (AEPD).

    - Los datos de contacto para ejercer tus derechos: SEAS, Estudios Superiores Abiertos S.A.U. C/ Violeta Parra nº 9 –
    50015 Zaragoza (España) o través de correo electrónico a lopd@estudiosabiertos.com

    - También puedes ponerte en contacto con nuestro Delegado de Protección de Datos en dpd@estudiosabiertos.com

    Información adicional: Puedes consultar la información adicional y detallada sobre nuestra política de privacidad