{
  "@context": "https://schema.org",
  "@type": "DefinedTerm",
  "schema_version": "1.1",
  "content_item_id": "dictionary-robots-txt.ru",
  "translation_group_id": "dictionary-robots-txt",
  "locale": "ru",
  "type": "glossary",
  "section": "dictionary",
  "slug": "robots-txt",
  "title": "robots.txt — robots.txt",
  "description": "Какие запросы регулирует robots.txt и почему файл не защищает закрытые данные.",
  "direct_answer": "robots.txt — публичный файл правил обхода по адресу /robots.txt, где владелец сайта задаёт директивы для именованных User-Agent и путей. Он управляет добровольно соблюдаемым crawling, но не служит авторизацией, не гарантирует удаление URL из индекса и не скрывает сам адрес.",
  "sections": [
    {
      "heading": "Рабочее значение",
      "paragraphs": [
        "Робот сначала может запросить /robots.txt, выбрать группу правил по своему User-Agent и применить Allow или Disallow к URL-пути. Поведение при недоступном файле, поддерживаемые директивы и обработка конфликтов определяются документацией конкретного робота."
      ],
      "source_ids": [
        "google-robots",
        "openai-bots"
      ]
    },
    {
      "heading": "Как отличать",
      "paragraphs": [
        "robots.txt относится к обходу, meta robots и X-Robots-Tag — к обработке конкретного ответа, а login или сетевой контроль — к доступу. Sitemap может быть указан в robots.txt, но остаётся отдельным механизмом обнаружения URL."
      ],
      "source_ids": [
        "google-robots",
        "openai-bots"
      ]
    },
    {
      "heading": "Пример",
      "paragraphs": [
        "Правило Disallow: /private/ просит выбранного робота не запрашивать этот путь. Человек и несовместимый бот всё ещё могут открыть URL, если сервер не требует авторизации. Поэтому размещать секретный документ по такому адресу опасно."
      ]
    },
    {
      "heading": "Проверка",
      "paragraphs": [
        "Откройте файл как обычный текст, проверьте HTTP-статус, синтаксис, группы User-Agent и совпадение путей для каждого важного робота. Затем сделайте тестовый запрос снаружи и убедитесь, что приватные маршруты действительно требуют авторизацию независимо от файла."
      ]
    },
    {
      "heading": "Предел интерпретации",
      "paragraphs": [
        "Разрешение в robots.txt не заставляет робота прийти, а запрет не удаляет ранее известный URL из всех систем. Разные боты поддерживают разные директивы; правила для одного User-Agent нельзя автоматически переносить на другой."
      ]
    }
  ],
  "published_at": "2026-09-11",
  "modified_at": "2026-09-11",
  "data_through": "2026-09-11",
  "next_review_at": "2026-10-11",
  "author": "GeoAeoAle Editorial",
  "origin": "editorial",
  "publisher": "GeoAeoAle Editorial",
  "license": "https://creativecommons.org/licenses/by/4.0/",
  "canonical_url": "https://geoaeoale.com/ru/dictionary/robots-txt/",
  "claims": [
    {
      "claim_id": "robots-txt-scope",
      "text": "Закрытый маршрут нужно защищать аутентификацией; запрет в robots.txt лишь сообщает совместимому роботу, что путь не следует обходить.",
      "status": "inference",
      "confidence": "medium",
      "source_ids": [
        "google-robots",
        "openai-bots"
      ],
      "publication_status": "public",
      "confidentiality": "public"
    }
  ],
  "sources": [
    {
      "source_id": "google-robots",
      "canonical_url": "https://developers.google.com/search/docs/crawling-indexing/robots/intro",
      "title": "Introduction to robots.txt",
      "publisher": "Google Search Central",
      "source_type": "official",
      "locale": "en",
      "published_at": null,
      "checked_at": "2026-09-11",
      "sha256": "549549689880625483238eea25463220d4ca54d96bfde30360343966cb4ac6ea",
      "license": "Source terms apply",
      "visibility": "public"
    },
    {
      "source_id": "openai-bots",
      "canonical_url": "https://developers.openai.com/api/docs/bots",
      "title": "Overview of OpenAI crawlers",
      "publisher": "OpenAI Developers",
      "source_type": "official",
      "locale": "en",
      "published_at": null,
      "checked_at": "2026-09-11",
      "sha256": "ccbdef3018bd08dceaacb7fe0ea07a2020d25e201ab84aa44625827aac925440",
      "license": "Source terms apply",
      "visibility": "public"
    }
  ],
  "related_slugs": [
    "ai-visibility",
    "retrieval",
    "source-attribution"
  ],
  "limitations": [
    "Перед изменением проверьте официальную документацию каждого named crawler и влияние на существующие поисковые функции. Ошибка в широкой группе User-Agent может непреднамеренно закрыть полезный обход."
  ],
  "corrections": []
}