мая
7
2010
Яндекс переименует User-Agent роботы
Подраздел: более, логах, нововведение, позволит, роботы
Проявляя чудеса заботы о веб-мастерах, Яндекс собрался переименовать в течение июня 2010 годаUser-Agent роботы. Новые названия будут приведены к общему виду и станут более информативными, что позволит веб-мастерам легко определять сервис, с которого пришел робот.
Сейчас роботы, представляемые в логах серверов, являют собой систематизированный, но трудно запоминаемый код. Поэтому, если веб-мастер не обладал фотографической памятью, то для индексации программы, которая делает запрос к сайту, ему приходилось штудировать соответствующую страницу Яндекс.Помощь.
Руководитель отдела технологий поискового продвижения агентства Ingate Дмитрий Злыгостев прокомментировал это нововведение так: «Кроме того, что в логах теперь можно проще узнать бота, также стало возможным писать разные директивы в robots.txt для разных роботов. Т.е. если у вас на сайте есть галерея, то туда необходимо отправлять бота YandexImages, для видео – YandexVideo и т.д. При этом основной бот, который индексирует контент, содержащий текст, не будет тратить время на обход галереи. Данное нововведение позволит более быстро и полно индексировать сайты» .