Роботы поисковых систем
Роботы поисковой системы, иногда их называют «пауки» или «кроулеры» (crawler) - это программные модули, занимающиеся поиском web-страниц. Как они работают? Что же они делают в действительности? Почему они важны? Учитывая весь шум вокруг поисковой оптимизации и индексных баз данных поисковиков, вы, наверное думаете, что роботы должно быть великие и могущественные существа. Неправда. Роботы поисковика обладают лишь базовыми функциями, похожими на те, которыми обладали одни из первых броузеров, в отношении того, какую информацию они могут распознать на сайте. Как и ранние броузеры, роботы попросту не могут делать определенные вещи. Роботы не понимают фреймов, Flash анимаций, изображений или JavaScript. Они не могут зайти в разделы, защищенные паролем и не могут нажимать на все те кнопочки, которые есть на сайте. Они могут "заткнуться" в процессе индексирования динамических адресов URL и работать очень медленно, вплоть до остановки и безсилием над JavaScript-навигацией. Для быстрой и оптимальной индексации вашего ресурса необходимо изучать работу поисковых роботов, помогать им. От них зависит ваше положени ы результатах поиска. Для оптимальной работы поисковых роботов необходимо выстраивать правильную структуру сайта, перелинковку страниц, чтобы по навигации робот смог от главной страницы совершить путешествие по всему вашему сайту. Большое значение для поисковых роботов имеет файл robots.txt. Читайте подробнее о правилах работы с файлом robots.txt в отдельной статье
Все статьи на эту тему:
|
