Ноя
1
2009
Google будет использовать RSS/Atom фиды для обнаружения новых веб-страниц. Т.е. как поясняется в блоге Google Webmaster Central , поисковик будет таким образом обходить и индексировать новые страницы. На сегодняшний день Google индексирует не только сам контент сайтов и блогов, но и сгенерированные RSS-каналы данных ресурсов, поэтому будет использовать последние для обнаружения нового материала.
Если традиционно поисковик полагается на ссылки, указанные в самом контенте сайта или блога, то теперь новые страницы Google сможет найти, используя дополнительный вариант – активные ссылки в онлайн RSS-ридерах, например, Google Reader. По словам специалистов Google, такой метод позволит оперативней индексировать страницы, чем при использовании традиционного метода.
Особое внимание Google обращает на то, чтобы файлы RSS/Atom фидов не были закрыты в robots.txt, в том случае, если вы хотите, чтобы ваш сайт мог быть проиндексирован таким путем.