Как найти страницы сайта, на которые не ведут ссылки из его разделов

Чтобы найти страницы, на которые не ведут ссылки из разделов сайта, сравните два списка: опубликованные адреса и страницы, доступные при переходах от главной. Адреса, которые есть только в первом списке, нужно проверить вручную. Среди них могут оказаться полезные материалы, забытые карточки товаров, служебные страницы или старые версии контента.

Главное — отличить отсутствие пути к странице от ошибки проверки. Программа может пропустить ссылку в раскрывающемся меню, остановиться раньше времени или не обработать часть сайта. Поэтому результат сравнения — список кандидатов, а не готовый перечень страниц для удаления.

Что значит «на страницу не ведут ссылки»

Внутренняя ссылка — переход с одной страницы сайта на другую. Такие ссылки находятся в меню, каталоге, списке статей, тексте материала, блоке похожих товаров и других элементах сайта.

Страницу без входящих внутренних ссылок часто называют страницей-сиротой. Она может открываться по прямому адресу, но посетитель не найдёт её, последовательно переходя по разделам сайта.

Есть и более сложный случай: несколько страниц ссылаются друг на друга, но ни одна из них не связана с основной навигацией. Например, старая подборка ведёт на карточки товаров, а карточки возвращают посетителя в подборку. Внутренние ссылки существуют, однако от главной страницы до этой группы добраться нельзя.

Поэтому проверять нужно два признака:

• Есть ли на страницу ссылки с других страниц сайта.
• Можно ли пройти к ней по цепочке ссылок от главной или другого основного входа в раздел.

Для владельца бизнеса второй признак особенно полезен: он показывает, доступен ли материал человеку, который пришёл на сайт и начал выбирать товар, услугу или ответ на вопрос.

Что понадобится для проверки

Подготовьте доступ к системе управления сайтом, обычную электронную таблицу и программу для обхода сайта. Система управления — это административная часть, где вы публикуете статьи, создаёте товары и редактируете разделы.

Программа обхода, или краулер, открывает стартовую страницу, собирает ссылки, переходит по ним и повторяет процесс. В результате получается список найденных адресов. Для этой задачи пригодится инструмент, который позволяет выгрузить страницы и посмотреть, откуда на них стоят ссылки.

Перед проверкой определите границы: основной сайт, отдельный каталог, блог или несколько поддоменов. Поддомен — самостоятельная часть адреса перед основным доменом. Если каталог находится на отдельном поддомене, а программа проверяет только основной сайт, результаты будут неполными.

Запишите выбранные границы в таблице. Так вы не примете исключённый из проверки раздел за потерянную часть сайта.

Шаг 1. Соберите опубликованные адреса независимо от навигации

Обычный обход сайта не может показать всё, что существует: он находит страницы через ссылки. Для сравнения нужен отдельный список адресов, полученный другим способом.

Выгрузите страницы из системы управления

Начните с выгрузки опубликованных товаров, услуг, статей и посадочных страниц. Посадочная страница — отдельный материал под конкретное предложение или задачу, например услугу для определённого типа клиентов.

Если готовой выгрузки нет, передайте задачу администратору сайта: нужны публичные адреса опубликованных материалов, их названия, типы и статусы. Черновики, удалённые записи и страницы предпросмотра следует отделить от действующего контента.

Проверьте, охватывает ли выгрузка все типы страниц. Список статей ничего не скажет о забытых товарах, а выгрузка каталога может не содержать страницы услуг, созданные отдельно.

Дополните список картой сайта

XML-карта сайта, которую часто называют sitemap, — файл со списком адресов. Используйте её как дополнительный источник, но не считайте полным и безошибочным перечнем публикаций. В карте могут отсутствовать отдельные материалы или сохраняться старые адреса.

Наличие страницы в XML-карте не означает, что посетитель найдёт её через меню или каталог. Карта помогает собрать адреса для сравнения, а путь по разделам проверяется отдельно.

Добавьте адреса из других доступных данных

В отчётах посещаемости могут встречаться страницы, на которые люди приходили по прямым адресам, из рассылок или внешних источников. Отчёты для владельца сайта в поисковых системах также могут содержать адреса, отсутствующие в текущей навигации.

Эти данные дополняют выгрузку, но не заменяют её: страница без посещений может быть опубликована и полезна. Для каждого адреса сохраните источник обнаружения. Он поможет понять, почему страница попала в проверку.

Шаг 2. Обойдите сайт от главной страницы

Запустите программу обхода с главной страницы. Для первого прохода используйте переходы по внутренним ссылкам, без автоматического добавления адресов из XML-карты и подготовленной выгрузки.

Это разделение необходимо для сравнения. Если программа сразу получит все опубликованные адреса, она откроет даже изолированные страницы. Сам факт их присутствия в отчёте уже не покажет, можно ли добраться до них через разделы.

Перед запуском проверьте настройки:

• Укажите нужный домен и включите поддомены, если они входят в задачу.
• Уберите случайные ограничения на разделы и глубину обхода — длину цепочки переходов.
• Проверьте, достаточен ли лимит проверяемых адресов для вашего сайта.
• Включите обработку JavaScript, если меню и списки материалов появляются с его помощью.
• Сохраните сведения о входящих ссылках и страницах, на которых они размещены.

JavaScript — код, который, среди прочего, может показывать меню, подгружать товары и добавлять элементы после открытия страницы. Если программа не обрабатывает этот код, она иногда видит меньше ссылок, чем посетитель в браузере.

Дождитесь завершения обхода и проверьте сообщения об ошибках. Незавершённая проверка или массовые отказы доступа не позволяют уверенно судить о доступности страниц.

Шаг 3. Подготовьте адреса к сравнению

Один материал может встречаться в данных под разными адресами: с меткой рекламной кампании, с завершающим слешем или через старый адрес, перенаправляющий на новый. Простое сравнение строк в таком случае даст лишние несовпадения.

Сохраните исходные адреса в отдельном столбце, а рядом подготовьте значения для сравнения. Уберите случайные пробелы и повторы. Для ссылок с перенаправлением запишите конечный адрес: перенаправление автоматически переводит посетителя с одного адреса на другой.

Не удаляйте все параметры после вопросительного знака без проверки. Одни параметры служат метками переходов, другие выбирают товар, язык, страницу списка или набор фильтров. Если убрать значимую часть адреса, разные страницы ошибочно объединятся.

Не меняйте регистр букв и завершающий слеш автоматически. Сначала проверьте, открывают ли варианты один материал и как сайт обрабатывает переходы между ними. Задача подготовки — сопоставить одинаковые страницы, сохранив различия там, где они действительно есть.

Шаг 4. Найдите адреса, которых нет в обходе

Разместите в таблице два списка: опубликованные адреса и адреса, найденные через ссылки от главной. Для каждой опубликованной страницы проверьте наличие совпадения во втором списке.

В электронной таблице это можно сделать функцией поиска или подсчёта совпадений. Логика проста: если подготовленный адрес не встречается в результатах обхода, поставьте отметку «не найден через навигацию».

Рабочая таблица может выглядеть так. Названия ниже — условный пример, а не результаты проверки конкретного сайта.

Страница	Источник адреса	Найдена при обходе	Что проверить
Услуга ремонта	Выгрузка услуг	Нет	Есть ли переход из раздела услуг
Инструкция по уходу	Выгрузка статей	Нет	Присутствует ли в списке материалов
Карточка товара	Выгрузка каталога	Да	Из какой категории доступна
Подтверждение заявки	Система управления	Нет	Нужна ли в публичной навигации

Если опубликованная страница найдена при обходе, путь к ней существует в пределах выбранных настроек. Однако это ещё не означает, что путь понятен посетителю: материал может скрываться за неочевидной ссылкой или длинной цепочкой переходов.

Шаг 5. Проверьте каждый подозрительный адрес

Откройте страницу в браузере без входа в административную часть. Убедитесь, что она доступна обычному посетителю, содержит нужный материал и не отправляет его на другой адрес.

Затем определите раздел, в котором человек ожидал бы её найти. Для товара это категория, для услуги — перечень услуг, для инструкции — список материалов или связанная статья. Начните с главной страницы и попробуйте пройти этот путь.

Если переход нашёлся, выясните, почему его пропустила программа. Возможные причины — ссылка появляется после раскрытия меню, список загружается по кнопке, раздел исключён настройками или обход остановился раньше завершения.

Ссылка может существовать на странице, которая сама недоступна из основных разделов. Поэтому наличие входящей ссылки проверяйте вместе с доступностью страницы-источника. Иначе изолированная группа материалов останется незамеченной.

При необходимости выполните отдельную проверку списка подозрительных адресов, чтобы уточнить их состояние и содержание. Отметьте, что этот проход открывает страницы напрямую: он не доказывает наличие пути от главной.

Какие страницы стоит вернуть в разделы

Отсутствие ссылок само по себе не делает страницу ошибкой. Сначала определите, нужна ли она посетителям и какую задачу решает.

Ситуация	Подходящее действие
Действующая услуга отсутствует в перечне	Добавить переход из соответствующего раздела
Полезная инструкция выпала из блога	Вернуть в список материалов и связать с подходящей темой
Товар продаётся, но не входит в категории	Проверить привязку товара и отображение каталога
Старый материал повторяет новый	Определить основную страницу и способ объединения
Страница нужна после отправки формы	Зафиксировать её служебное назначение
Предложение устарело	Решить, нужен ли архив, замена или удаление

Сначала разбирайте действующие товары и услуги, затем материалы, которые помогают выбирать, пользоваться продуктом или получать поддержку. Страницы подтверждения заявки и другие служебные экраны часто намеренно не включают в общую навигацию.

Не удаляйте материал только потому, что программа его не нашла. Проверьте содержание, назначение и существующие переходы. Если есть актуальная замена, вопрос перенаправления старого адреса стоит решать отдельно, с учётом сходства страниц.

Куда добавить ссылки на полезные страницы

Выбирайте место по задаче посетителя. Ссылка на услугу уместна в перечне услуг, карточка товара — в категории, инструкция — рядом с товаром или материалом, где возникает соответствующий вопрос.

Условный пример: магазин продаёт оборудование и публикует инструкцию по его обслуживанию. Инструкция доступна по прямому адресу, но отсутствует в разделе помощи. Её можно добавить в этот раздел и связать с карточками подходящего оборудования. Тогда у посетителя появляется понятный путь к ответу.

Текст ссылки должен объяснять, что откроется после перехода: «Как очистить фильтр» понятнее, чем «Подробнее». При этом ссылка должна соответствовать содержанию страницы, а не обещать ответ, которого там нет.

Не обязательно выносить каждый материал в главное меню. Для большого каталога или блога подходят категории, тематические подборки и связи между материалами. Важно, чтобы у полезной страницы был устойчивый путь из доступного раздела.

Если из навигации выпало много похожих страниц, проверьте общий механизм. Причиной может быть пустая категория, отключённый список, неправильный статус публикации или ошибка шаблона. Исправление общего правила поможет восстановить доступ сразу к группе материалов.

Как проверить результат и предупредить повторение

После изменений снова запустите обход от главной с теми же границами проверки. Убедитесь, что исправленные страницы появились среди найденных адресов, а ссылки ведут на нужные материалы.

Проверьте путь вручную в браузере, в том числе на телефоне. Ссылка может присутствовать в отчёте, но быть неудобной для человека: находиться в закрытом блоке, теряться среди элементов или иметь непонятное название.

В рабочей таблице сохраните решение, место добавленной ссылки и результат повторной проверки. Для намеренно изолированных страниц укажите причину. Это позволит при следующем сравнении сосредоточиться на новых проблемах.

Повторяйте проверку после изменения меню, переноса материалов, обновления каталога и массовой публикации. В процесс добавления страницы включите вопрос: «Из какого раздела посетитель сможет сюда перейти?» Проверяйте этот путь после публикации, а не только наличие адреса в административной части.

Ответы на частые вопросы

Можно ли провести проверку без программы обхода?

Да, для небольшого сайта можно собрать опубликованные адреса и вручную проверить путь к каждому из них от главной. В таблице отмечайте раздел и страницу со ссылкой. При большом количестве материалов программа уменьшает объём ручной работы.

Считается ли внутренний поиск частью навигации?

Поиск помогает найти материал, но требует, чтобы посетитель сформулировал запрос. Если страница доступна только через поиск, отметьте это отдельно. Для важных товаров, услуг и инструкций полезно предусмотреть переход из соответствующего раздела.

Что делать со ссылками в PDF-файлах?

Учитывайте их отдельно: посетитель может открыть документ и перейти на страницу, а программа обхода — пропустить этот путь. Если материал нужен при обычном просмотре сайта, добавьте понятную ссылку на доступной странице раздела.

Нужно ли добавлять все найденные страницы в меню?

Нет. Место ссылки зависит от назначения материала. Главное меню ведёт к основным разделам, а отдельные товары, статьи и инструкции могут быть доступны через категории, списки и связанные материалы.

Проверить сайт бесплатно