User-agent: * Allow: / Disallow: /api/ Disallow: /random # ⛔ /random — ловушка для краулеров, закрыта 2026-08-22. Ссылка стоит в навигации на КАЖДОЙ странице, # отдаёт 200 и 55 КБ, каждый раз новый мод — бесконечный цикл. Замер за 14.6 часа: ClaudeBot # сделал по ней 377 384 запроса = 36% всего трафика сайта, при том что Googlebot дал 294 (0.03%). # Здесь Disallow НЕ противоречит комментарию ниже про фасеты: там цель — деиндексация, и блок # мешает роботу увидеть noindex. У /random индексации нет и без того (страница noindex), # цель другая — прекратить ОБХОД. Откат: robots.txt.bak-20260822. # ⛔ Фасетные фильтры (?themes=…, ?category=…) здесь БОЛЬШЕ НЕ БЛОКИРУЮТСЯ, и возвращать блок нельзя. # Они уже отдаются с и каноникалом на базовый листинг — # а запрещённую в robots страницу робот не читает, значит не видит ни noindex, ни каноникал, и адрес # оседает в индексе как «проиндексировано, хотя заблокировано». Это ровно тот анти-паттерн, о котором # предупреждает src/lib/seo-quality.ts в бэкенде. Одного noindex достаточно: он и из индекса убирает, # и вес по ссылкам передаёт дальше. # ⛔ Сборщики обучающих данных. Замер 12.08.2026 за сутки на mcmodshub.com (289 637 запросов): # meta-externalagent — 160 677 запросов и 2 262 МБ, GPTBot — 47 478 и 794 МБ. Вместе 72% всего # трафика сайта. Отдача по настоящему заголовку Referer за те же сутки: от ВСЕХ ИИ-сервисов # вместе пришло два человека. Bing при 7 186 запросах краулера прислал 522. # # 🔑 Закрыты именно сборщики для обучения. Агенты, которые умеют привести человека или # сослаться на источник, оставлены жить намеренно: OAI-SearchBot (индекс поиска ChatGPT), # ChatGPT-User и Claude-User (живой человек попросил открыть страницу), PerplexityBot, # facebookexternalhit (превью ссылок в Facebook — это ДРУГОЙ агент, не meta-externalagent). User-agent: GPTBot Disallow: / User-agent: meta-externalagent Disallow: / # ⛔ Добавлен 02.09.2026. `meta-webindexer` — ВТОРОЙ краулер Meta, и блок выше его не касается: # в robots.txt имена агентов сопоставляются точно, а не по подстроке «meta-». Замер по логу API за # 3 часа: meta-webindexer 799 запросов против bingbot 310, Amazonbot 64, Googlebot 18, ClaudeBot 6. # То есть самый прожорливый гость сайта — в 2.6 раза больше Bing, который даёт нам основной поиск, # и в 44 раза больше Google. meta-externalagent за то же окно — 0: блок работает, просто трафик # переехал на агента, которого в списке не было. # Отдачу проверяли для всего семейства в замере 12.08: от ВСЕХ ИИ-сервисов вместе пришло два # человека за сутки. Правило то же, что и выше: сборщики обучающих данных закрыты, агенты, # способные привести живого человека, оставлены. User-agent: meta-webindexer Disallow: / # SEO-разведчики: 10 142 запроса и 152 МБ в сутки, переходов ноль — это не поисковики, а базы # для анализа ссылочного профиля. # ⚠️ Закрыты только индексирующие боты. Аудиторы собственного сайта (`AhrefsSiteAudit`, # `SiteAuditBot`) НЕ перечислены намеренно: ими владелец проверяет свой же домен. User-agent: AhrefsBot Disallow: / User-agent: SemrushBot Disallow: / # Training crawlers that are NOT closed, only slowed (owner's decision 26.10.2026, board mcmodshub-backend#98). # ClaudeBot (Anthropic training crawler): 62 131 requests in ~12.5 h of the Caddy log (25.10 21:34 - 26.10 10:08 UTC, # ~1.4/s), mostly /mod pages at ~59 ms each - cheap, but pure training load with no visitors back. It honours Crawl-delay # (vendor docs); Claude-User / Claude-SearchBot (a person asked, search answers) are separate agents and stay unaffected. # CCBot (Common Crawl) same rule: 0 requests in the same window, listed so it stays slow if it returns. # Bytespider ignores robots.txt in practice (84 requests in the window); stated here, enforce in Caddy only if it grows. # ⚠️ An agent with its own group ignores `User-agent: *`, so the two Disallow lines from the top are repeated here. User-agent: ClaudeBot Crawl-delay: 10 Disallow: /api/ Disallow: /random User-agent: CCBot Crawl-delay: 10 Disallow: /api/ Disallow: /random User-agent: Bytespider Disallow: / Sitemap: https://mcmodshub.com/sitemap-mods.xml Sitemap: https://mcmodshub.com/sitemap.xml # Карта для ИИ-ассистентов (соглашение llms.txt). Зачем здесь: часть агентов читает # robots.txt первым и другого указателя не ищет. Канал ChatGPT дал 1 736 установок # за три месяца (замер 05.09.2026), и это самый быстрорастущий источник установок. # Llms: https://mcmodshub.com/llms.txt