Поисковый робот

Роботы поисковых систем – это специальные программы браузерного типа, считывающие информацию с веб-страниц. В Буржунете и в Рунете могут встречаться разные названия этих программ: поисковый бот, паук, веб-краулер, web robots, automatic indexer, web scutter и т.д. Поисковые боты являются важнейшим элементом любой поисковой системы. В их задачу входит постоянное сканирование Сети, сбор обновлений на ресурсах, уже имеющихся в базе, индексация новых сайтов, найденных в интернете, проверка корректности ссылок, поиск «мертвых» сайтов, чтение комментариев и многое другое.

Ведущие поисковые системы обладают большим числом самых разных ботов, у каждого из которых имеется свое предназначение, определяемое автоматическим скриптом. Так что, рано или поздно любой сайт попадает в паучьи сети, если, конечно, ресурс или отдельные его страницы не закрыты от индексации при помощи команд, прописанных в корневом файле robots.txt.

Не все боты работают одинаково быстро. Так, если поисковые роботы Google отличаются отменной шустростью, то про пауков Яндекса так не скажешь. Может пройти довольно много времени, прежде чем поисковый робот Яндекс обнаружит и проиндексирует новый ресурс. Чтобы этого не произошло, нужно добавить сайт в специальные списки-каталоги, либо аддурилку. Это действие сообщит боту о появлении новичка и поспособствует ускорению процессов индексации и продвижения веб-сайта в поисковой системе.

Комментарии

• < Назад
• Вперёд >