100 Palabras Básicas de SEO | Robot.txt

Tweet about this on Twitter0Share on Facebook0Share on Google+3Share on LinkedIn2Pin on Pinterest0

Robots.txt

El archivo robots.txt es simplemente un archivo de texto como sugiere su extensión. También conocido como el protocolo de la exclusión de robots o protocolo de robots.txt, es un método para evitar que ciertos bots que analizan los sitios Web u otros robots que investigan todo o una parte del acceso de un sitio Web, público o privado, agreguen información innecesaria a los resultados de búsqueda.

Los robots son de uso frecuente por los motores de búsqueda para categorizar archivos de los sitios Webs, o por los webmasters para corregir o filtrar el código fuente.
Un par de ejemplos:
1.    User-agent: *
Disallow:

Este permite que todos los robots visiten todos los archivos que se encuentran almacenados en el código raíz de la página web.

2.    User-agent: *
Disallow: /

Este les niega el acceso a todos los robots.

Tweet about this on Twitter0Share on Facebook0Share on Google+3Share on LinkedIn2Pin on Pinterest0
<< Post Anterior
Post Siguiente >>

Leave A Response

* Denotes Required Field