Поисковый робот (Spider, Crawler, Bot, Robot (англ.)) – неотъемлемая составляющая поисковой системы – программа, которая посещает веб-страницы, считывает (индексирует) полностью или частично их содержимое и далее следует по ссылкам, найденным на данной странице. Робот возвращается через определенные периоды времени (например, каждый месяц) и индексирует страницу снова. Вся информация заносится роботом в индексы поисковой системы.
Потенциальные клиенты не могут найти ваш сайт в поисковых системах? Мы поможем вам решить эту проблему. Мы предоставляем весь спектр услуг в сфере интернет-рекламы:
