Робот поисковой системы: основные понятия и термины

Робот поисковой системы - компонента поисковой системы; программа, которая посещает веб-страницы, считывает (индексирует) полностью или частично их содержимое и далее следует по ссылкам, найденным на данной странице. Робот возвращается через определенные периоды времени и индексирует страницу снова. Вся информация заносится роботом в индексы поисковой системы.