Немного мыслей о поисковых ботах
«Dooooossssss атака! Я получаю уведомления от бота! Help me!!» — примерно такое содержимое пришло мне в бота. Залез в админку — и действительно, ситуация странная.
Статистика за неделю обычного православного форума по футболу, который полюбили боты Facebook и Amazon. Любили по-разному, что вызывало ошибку 500 на регулярной основе:
- Meta WebIndexer — 447 366 запросов за неделю
- Amazon Bot — 711 326 запросов за неделю
Что понадобилось Meta WebIndexer на обычном форуме о футболе? Ответ банальный: это бот для обучения Meta AI. На форумах много исторической информации — они парсят и обучаются.
Я часто замечаю по аналитике, что огромную нагрузку на серверы дают именно ИИ-боты. Вот пример одного такого «бедолаги» за 1 день: всего 337к запросов, из них 8.2к уникальных, 411 ботов, 241к заблокировано. Даже сайты с казино получают меньше запросов, чем этот форум.
После того как боты были отключены через наш сервис — жизнь у владельца сайта заметно улучшилась.
ТОП-11 ИИ-ботов по статистике нашего сервиса за апрель 2026:
- Meta Bot — 9 884 672 запроса
- GPT Bot — 4 400 293 запроса
- TikTok Bot — 3 970 039 запросов
- Petal Bot — 2 891 893 запроса
- Apple Bot — 2 380 100 запросов
- Amazon Bot — 2 131 879 запросов
- Claude Bot — 1 975 794 запроса
- Perplexity Bot — 1 868 635 запросов
- Timpi Bot — 1 792 256 запросов
- Grok — 1 143 456 запросов
- YouBot — 1 034 795 запросов
700k+ запросов в неделю от одного бота — это не аномалия, а новая реальность для владельцев сайтов.
Блокировать ботов через robots.txt особого смысла нет: многие из них его просто игнорируют. Лучше работать на уровне сервера, а проще всего — через наш сервис.
Мы работаем в режиме тестирования и приглашаем всех желающих принять участие — вместе сделаем этот мир чуточку лучше 🙂
Также завёл ТГ-канал для сервиса — буду рад новым участникам!