Публичная индексация
Что индексируется на сайте Рефлекториума
В индексируемую поверхность входят только явно разрешённые публичные страницы на редакционных данных. sitemap.xml, robots.txt и llms.txt должны отражать этот список разрешённых маршрутов, но не заменяют авторизацию закрытых маршрутов.
Для новых пользователей. Аккаунт создаётся в том же потоке после подтверждения электронной почты. Автоматического продления нет.
Короткий ответ
Коротко: Что индексируется на сайте Рефлекториума
Публично индексируются гостевые продуктовые и справочные страницы, включённые в список разрешённых маршрутов. Задачи, файлы, API аккаунта и другие маршруты личного контура туда не входят.
Проверяемые факты: Что индексируется на сайте Рефлекториума
- Разрешённая поверхность
- Источник истины — явный список публичных маршрутов и редакционный манифест. Новая страница не должна появляться в sitemap.xml или llms.txt раньше проверки её содержимого и статуса доступа.
- Исключённая поверхность
- Закрытые API, задачи, файлы и страницы аккаунта не являются источниками SEO/GEO. Их защита обеспечивается серверным контролем, а X-Robots-Tag и robots.txt служат дополнительными сигналами.
- Согласованность файлов
- Sitemap.xml перечисляет индексируемые URL, robots.txt задаёт правила обхода, а llms.txt описывает публичные материалы для нейросетевых клиентов. Несовпадение со списком разрешённых маршрутов считается ошибкой публикации.
Как проверить границу: Что индексируется на сайте Рефлекториума
Соберите точный список разрешённых маршрутов
Перечислите только гостевые маршруты, для которых подтверждены редакционный источник и безопасный ответ без сессии.
Сверьте три файла
Сопоставьте список разрешённых маршрутов с sitemap.xml, robots.txt и llms.txt; ищите лишние URL, пропуски и ссылки на закрытые API-маршруты.
Проверьте прямой доступ
Запросите подозрительные маршруты без авторизации. Даже если роботам запрещён обход, сервер не должен возвращать личное содержимое.
Что означает разрешение индексации
Разрешение относится к конкретному публичному URL и его редакционному содержимому. Оно не распространяется на похожий API-маршрут, пользовательский идентификатор или вложение.
Индексные файлы генерируются из той же публичной модели, чтобы список URL не расходился с фактически подготовленными страницами.
Почему нужны независимые проверки
Поисковый робот может игнорировать подсказку, а человек — открыть URL напрямую. Поэтому безопасность закрытого маршрута не должна зависеть от поведения клиента.
Перед релизом проверяют источник данных, гостевой рендер, сетевые ответы, список разрешённых маршрутов и каждый файл индексации. Только совокупность этих свидетельств подтверждает границу публикации.
Ограничения материала: Что индексируется на сайте Рефлекториума
- Sitemap.xml, robots.txt и llms.txt выполняют разные роли, но должны ссылаться только на разрешённые публичные маршруты.
- Публичный allowlist не заменяет авторизацию и не должен открывать задачи, файлы или API личного аккаунта.
Источники и ориентиры: Что индексируется на сайте Рефлекториума
Факты и условия проверены 13 октября 2026 г. Сервисы могут изменить их позже.
Вопросы о доверии и границах: Что индексируется на сайте Рефлекториума
Что может попасть в sitemap.xml?
Только проверенный публичный маршрут из списка разрешённых маршрутов, который рендерится на редакционных данных без обращения к аккаунту.
Защищает ли robots.txt закрытый API?
Не защищает. Он лишь подсказывает правила обхода; закрытый API обязан самостоятельно требовать авторизацию и проверять доступ.
Должны ли robots.txt, sitemap.xml и llms.txt совпадать дословно?
Нет. Форматы различаются, но каждый перечисленный URL должен входить в единый публичный allowlist.