Интернет, компьютеры, софт и прочий Hi-Tech

Подписаться через RSS2Email.ru

Новый юзер-агент Гуглбота для сканирования контента под смартфоны

Информация для продвинутых веб-мастеров. Пост с официального блога Google.

На протяжении многих лет Google использовал различных ботов для сбора и индексации контента под мобильные телефоны и смартфоны. Все эти специальные «мобильные» боты обозначали себя как Googlebot-Mobile.

Однако, мобильные телефоны и смартфоны значительно отличаются по своим возможностям, и мы сталкиваемся со случаями, когда веб-мастера неосторожно блокируют сбор или индексацию контента для смартфонов, думая, что блокируют только сбор и индексацию контента для мобильных телефонов. Такая неоднозначность делает невозможным для Google индексацию контента для смартфонов на некоторых сайтах, хотя эти сайты оптимизированы под смартфоны.

Новый Гуглбот для смартфонов

Чтобы прояснить ситуацию и дать веб-мастерам возможность лучшего контроля, мы отказались от юзер-агента «Googlebot-Mobile» для смартфонов. Это произошло 3-4 недели назад. Теперь пользовательский агент для смартфонов будет идентифицировать себя просто как «Googlebot». Но при этом он все таки будет упоминать «mobile» в строке юзер-агента. Приведем новый и старый юзер-агенты:

Новый юзер-агент Гуглбота для смартфонов:

Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Юзер-агент Googlebot-Mobile для смартфонов, который мы отправили на пенсию:

Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

Это изменение затрагивает только Googlebot-Mobile для смартфонов. Юзер-агент обычного Гуглбота не меняется и два существующих краулера Googlebot-Mobile, работающие с мобильными телефонами, будут обозначаться прежними юзер-агентами. Это, для справки, следующие строки:

Юзер-агент обычного Гуглбота:

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Два юзер-агента Googlebot-Mobile для мобильных телефонов:

  • SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
  • DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

Вы можете проверить свой сайт с помощью функции «Просмотреть как Googlebot» в Инструментах веб-мастера. Кроме того, вы можете просмотреть полный список наших существующих ботов в Справочном центре.

Сканирование и индексация

Пожалуйста, обратите внимание на важное следствие изменения юзер-агента: новый Гуглбот для смартфонов будет следовать инструкциям в robots.txt, мета-тегах robots и в заголовках HTTP, если они предназначены для Googlebot, а не для Googlebot-Mobile. Например, в применении к новому боту, следующая директива в robots.txt блокирует индексацию контента, как новому Гуглботу для контента, так и обычному Гуглботу:

User-agent: Googlebot
Disallow: /

Следующая директива в robots.txt будет блокировать индексацию контента ботом Google для мобильных телефонов:

User-agent: Googlebot-Mobile
Disallow: /

По данным нашего собственного анализа, это изменение коснется менее чем 0.001% всех URL, при том что даст веб-мастерам лучший контроль над сканированием и индексацией их контента. И, конечно, если у вас есть вопросы, вы можете

Автор: Жийан Хи (Zhijian He), инженер поиска для смартфонов, 26.01.2014
Перевод с английского: Дмитрий Скоробогатов, специально для xBB.uz, 25.02.2014
Оригинальный текст может быть найден по адресу http://googlewebmastercentral.blogspot.ru/2014/01/a-new-googlebot-user-agent-for-crawling.html


Предыдущие публикации:

Биржа долевых инвестиций SIMEX.

Последнее редактирование: 2014-02-25 08:25:49

Метки материала: юзер, мобильные телефоны, гуглбот, mobile, контент, google, боты, смартфоны, телефоны, сканирование, googlebot, веб, краулеры

Оставьте, пожалуйста, свой комментарий к публикации

Представиться как     Антибот:
   

Просьба не постить мусор. Если вы хотите потестить xBB, воспользуйтесь кнопкой предварительного просмотра на панели инструментов xBBEditor-а.


© 2007-2017, Дмитрий Скоробогатов.
Разрешается воспроизводить, распространять и/или изменять материалы сайта
в соответствии с условиями GNU Free Documentation License,
версии 1.2 или любой более поздней версии, опубликованной FSF,
если только иное не указано в самих материалах.