Как закрыть дубли страниц от пагинации в WordPress через robots.txt и noindex

Проблема с пагинацией в WordPress обычно всплывает не в момент запуска сайта, а позже: в индексе появляются страницы вида /page/2/, /page/3/, архивы тегов и категорий начинают конкурировать между собой, а в Search Console растёт число «Просканировано, но не проиндексировано». Если сайт небольшой, это может быть просто шум. Если архивов много, дубли начинают размывать релевантность и тратить краулинговый бюджет.

Важно не путать две задачи: закрыть от индексации и запретить обход. Для пагинации чаще нужен именно noindex,follow, а не жёсткий запрет в robots.txt. Иначе поисковик может перестать видеть ссылки на глубинные страницы архива.

Когда пагинация становится проблемой

Типичный сценарий: у категории 30–50 записей, WordPress разбивает их на несколько страниц, и каждая страница архива получает собственный URL. Формально это нормально, но в индексе такие страницы часто не несут самостоятельной ценности. Особенно если:

• на странице 2 и дальше повторяются заголовки и сниппеты без уникального текста;
• в шаблоне архива нет нормального канонического URL;
• в sitemap попадают страницы, которые не должны ранжироваться;
• плагин SEO одновременно ставит noindex и закрывает URL в robots.txt, из-за чего диагностика становится сложнее.

Что проверить сначала

До правок откройте несколько URL вручную и посмотрите исходный код страницы. Нужны три вещи: мета-тег robots, canonical и наличие пагинационных ссылок. Если у вас есть доступ к Search Console, проверьте, как именно Google видит эти страницы: индексируются ли они, попадают ли в отчёт по исключённым страницам, не отмечены ли как дубликаты без выбранного canonical.

• Есть ли на странице <meta name="robots" content="noindex,follow">;
• Указывает ли canonical на саму страницу пагинации или на первую страницу архива;
• Не закрыт ли путь в robots.txt раньше, чем поисковик успевает увидеть noindex;
• Не дублируются ли архивы через категории, теги и таксономии с одинаковым контентом.

Что делать: рабочая схема для WordPress

Для большинства сайтов безопаснее не трогать robots.txt на уровне запрета обхода, а управлять индексацией через SEO-плагин или код. Если у вас уже стоит плагин вроде Yoast SEO, Rank Math или Clearfy Pro, сначала проверьте его настройки архивов и пагинации. На некоторых проектах достаточно отключить индексацию тегов, авторов и служебных архивов, а пагинацию оставить доступной для обхода.

Если нужен точечный контроль, можно добавить noindex,follow только для страниц пагинации архивов. Это не ломает переходы по страницам, но сигнализирует поисковику не считать их самостоятельными посадочными.

Вариант через wp_head

Ниже пример, который добавляет noindex,follow на страницы пагинации архивов, кроме главной страницы архива. Код лучше разместить в дочерней теме или в небольшом mu-plugin.

<?php
add_action( 'wp_head', function () {
    if ( is_paged() && ( is_category() || is_tag() || is_tax() || is_post_type_archive() || is_archive() ) ) {
        echo '<meta name="robots" content="noindex,follow" />' . "\n";
    }
}, 1 );

Этот вариант простой, но у него есть ограничение: если SEO-плагин уже выводит свой robots meta, нужно убедиться, что теги не дублируются. Два разных meta name="robots" в одном документе — плохая идея. Поисковик может интерпретировать их не так, как вы ожидаете.

Вариант через фильтр SEO-плагина

Если вы используете Yoast SEO, лучше работать через его фильтр, чтобы не плодить конфликтующие мета-теги. Пример ниже добавляет noindex,follow для пагинации архивов.

<?php
add_filter( 'wpseo_robots', function( $robots ) {
    if ( is_paged() && ( is_category() || is_tag() || is_tax() || is_post_type_archive() || is_archive() ) ) {
        return 'noindex,follow';
    }

    return $robots;
} );

Если у вас другой SEO-плагин, логика та же, но фильтр будет свой. Смысл не в названии хука, а в том, чтобы не смешивать два механизма управления robots одновременно.

Нужно ли закрывать пагинацию в robots.txt

В большинстве случаев — нет. Запрет в robots.txt полезен для технических мусорных URL, но пагинация архива к ним не относится. Если закрыть путь /page/, поисковик может не увидеть ссылки на старые материалы внутри архива и хуже обходить сайт.

Исключение — если у вас есть явный технический мусор, который генерируется не WordPress-архивами, а сторонним кодом или фильтрами. Тогда запрет может быть оправдан, но это уже отдельная задача.

Проверка результата после внедрения

После правок не ограничивайтесь визуальной проверкой. Откройте несколько страниц пагинации и убедитесь, что исходный код изменился. Затем проверьте HTTP-заголовки и индексируемость.

curl -I https://example.com/category/news/page/2/

В ответе вы не увидите noindex, потому что это директива для HTML, а не для заголовка, но команда полезна для проверки редиректов, canonical-цепочек и кода ответа. Если страница отдаёт 200 OK и в HTML есть noindex,follow, это уже хороший знак.

Дальше проверьте:

• исходный код страницы через браузер или view-source:;
• отчёт «Страницы» в Google Search Console;
• наличие URL в sitemap, если он генерируется SEO-плагином;
• не изменилось ли количество внутренних переходов по архивам.

Частые ошибки и как их исправить

Закрыли пагинацию в robots.txt и забыли про ссылки

Так делают часто, когда хотят «быстро убрать дубли». В результате поисковик перестаёт нормально обходить архив, а часть материалов становится хуже доступна. Исправление простое: уберите запрет на обход и оставьте noindex,follow на самих страницах.

Поставили canonical на первую страницу архива везде подряд

Это не всегда ошибка, но часто приводит к тому, что страницы 2, 3 и дальше теряют самостоятельный сигнал, а поисковик начинает игнорировать их полностью. Если цель — убрать дубли из индекса, canonical должен быть согласован с общей SEO-логикой сайта, а не выставлен «на автомате» для всех архивов.

Два SEO-механизма одновременно

Например, плагин уже выводит noindex, а в теме добавлен ещё один такой же тег. В исходнике получается каша, а диагностика усложняется. Решение: оставьте один источник управления robots. Если используете плагин, отключите ручной код. Если пишете код, проверьте, что плагин не дублирует мета-теги.

Закрыли не только пагинацию, но и сами архивы

Иногда в настройках SEO-плагина случайно отключают индексацию всей категории или тега, хотя проблема была только в страницах /page/2/ и дальше. Перед изменениями фиксируйте, какие именно URL должны остаться индексируемыми.

Чек-лист перед публикацией изменений

• Проверить, какие архивы реально нужны в индексе;
• Убедиться, что noindex добавлен только на страницы пагинации;
• Не закрывать пагинацию в robots.txt без отдельной причины;
• Проверить canonical и отсутствие дублей robots meta;
• Сравнить sitemap до и после правок;
• Протестировать несколько URL вручную и через Search Console;
• Сохранить резервную копию шаблона или сниппета перед изменениями.

Практические замечания по безопасности и производительности

Если правите кодом, не вставляйте его в основной файл темы без необходимости. Лучше использовать дочернюю тему или mu-plugin, чтобы обновление темы не затёрло изменения. Для сайтов с несколькими редакторами это особенно важно: одна случайная правка в шаблоне архива может вернуть дубли обратно.

Если у вас много служебных архивов, имеет смысл посмотреть на общую чистку SEO-настроек: убрать лишние таксономии, отключить архивы авторов, если они не несут ценности, и привести canonical к единому правилу. На этом этапе иногда удобнее использовать специализированный плагин для технической чистки, чем держать десяток разрозненных сниппетов в теме.

Главный критерий успеха здесь простой: страницы пагинации остаются доступны для обхода, но перестают конкурировать в индексе с основными архивами и записями. Если после внедрения в Search Console уменьшается число мусорных URL, а важные страницы не теряют видимость, значит настройка сделана правильно.