Googlebot y los REP principales para Google, Yahoo! y MSN

Tweet about this on Twitter0Share on Facebook0Share on Google+0Share on LinkedIn0Pin on Pinterest0

Los principales buscadores de Internet (Google, Yahoo! y MSN) se han puesto de acuerdo en estandarizar los principales protocolos de exclusión de los robots (REP).

Creo que somos muchos los que a veces dudamos y necesitamos confirmar cuál es el REP más conveniente a incluir. Con ellos indicamos que páginas queremos que los buscadores rastreen o dejen de rastrear de nuestra web, así como si queremos que rastreen (o no) los diferentes enlaces que se encuentran en las diferentes páginas de nuestro sitio web.

En el siguiente enlace Google ha plasmado en los REP estándars de los 3 principales buscadores, ya sea por vía robot.txt o por metatags.

Además, nos explica algunos protocolos específicos que utiliza Googlebot:

  • UNAVAILABLE_AFTER Meta Tag – Indica al robot de Google a partir de qué fecha la web no debe de aparecer en los resultados de Google. Este REP es muy útil cuando el dominio de la web “caduca”.
  • NOIMAGEINDEX Meta Tag – Indica no indexar las imágenes insertadas en la página web.
  • NOTRANSLATE Meta Tag – Indica a Googlebot no traducir el contenido de la página en otros idiomas en los resultados de búsqueda.

Además, quería destacar los diferentes “tipos” de Googlebot que dispone Google, cada uno especializado en rastrear diferentes propósitos:

  • Googlebot: rastrea las páginas web y noticias que se encuentran en su índice
  • Googlebot-Mobile: rastrea las páginas para su índice móvil
  • Google-Image: rastrea las imágenes que se encuentran en los diferentes páginas webs para su índice de Imágenes.
  • Mediapartners-Google: Sólo registra aquellas webs que tienen en su contenido incluido Adsense y así determinar la calidad de la página.
  • Adsbot-Google: rastrea y evalúa la calidad de las páginas de destino de los anunciantes de Google Adwords.
Tweet about this on Twitter0Share on Facebook0Share on Google+0Share on LinkedIn0Pin on Pinterest0
<< Post Anterior
Post Siguiente >>

Leave A Response

* Denotes Required Field