Googlebot y los REP principales para Google, Yahoo! y MSN

Los principales buscadores de Internet (Google, Yahoo! y MSN) se han puesto de acuerdo en estandarizar los principales protocolos de exclusión de los robots (REP).

Creo que somos muchos los que a veces dudamos y necesitamos confirmar cuál es el REP más conveniente a incluir. Con ellos indicamos que páginas queremos que los buscadores rastreen o dejen de rastrear de nuestra web, así como si queremos que rastreen (o no) los diferentes enlaces que se encuentran en las diferentes páginas de nuestro sitio web.

En el siguiente enlace Google ha plasmado en los REP estándars de los 3 principales buscadores, ya sea por vía robot.txt o por metatags.

Además, nos explica algunos protocolos específicos que utiliza Googlebot:

  • UNAVAILABLE_AFTER Meta Tag – Indica al robot de Google a partir de qué fecha la web no debe de aparecer en los resultados de Google. Este REP es muy útil cuando el dominio de la web “caduca”.
  • NOIMAGEINDEX Meta Tag – Indica no indexar las imágenes insertadas en la página web.
  • NOTRANSLATE Meta Tag – Indica a Googlebot no traducir el contenido de la página en otros idiomas en los resultados de búsqueda.

Además, quería destacar los diferentes “tipos” de Googlebot que dispone Google, cada uno especializado en rastrear diferentes propósitos:

  • Googlebot: rastrea las páginas web y noticias que se encuentran en su índice
  • Googlebot-Mobile: rastrea las páginas para su índice móvil
  • Google-Image: rastrea las imágenes que se encuentran en los diferentes páginas webs para su índice de Imágenes.
  • Mediapartners-Google: Sólo registra aquellas webs que tienen en su contenido incluido Adsense y así determinar la calidad de la página.
  • Adsbot-Google: rastrea y evalúa la calidad de las páginas de destino de los anunciantes de Google Adwords.
<< Post Anterior
Post Siguiente >>

Leave A Response

* Denotes Required Field