Недавно я рассказывал о новом веянии специальных настройках для роботов генеративных сетей LLM (ChatGPT, Perplexity, Claude, Gemini и т.п.), но как-то упустил из вида обычный robots.txt. А ведь он по-прежнему основной источник индекса для поисковых движков. Вы наверняка пользуетесь каким-то виртуальным из плагинов Yost SEO или Rank Math, но я предлагаю пойти дальше и настроить его максимально четко для работы с Elementor и Yandex. В общем этом мой стандартный robots.txt.
Прокомментировал каждый блок
User-agent: *
# 1. Запрет индексации системных директорий WordPress
# Эти разделы содержат служебные файлы и скрипты WordPress. Их индексация не нужна и может привести к утечке информации или нагрузке на сервер
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-json/
Disallow: /?rest_route=
# Запрещаем поиск по сайту через параметр ?s= (создаёт тысячи дублей страниц)
Disallow: /?s=
Disallow: /cgi-bin/
# 2. Запрет индексации всех плагинов целиком, кроме необходимых ассетов Elementor
# По умолчанию закрываем всю папку плагинов — большинство из них содержат только PHP-файлы и не должны индексироваться
Disallow: /wp-content/plugins/
# Но разрешаем индексировать статические файлы Elementor и Elementor Pro (CSS, JS, шрифты, иконки и т.д.), чтобы они корректно кэшировались и отдавались поисковиками
Allow: /wp-content/plugins/elementor/assets/
Allow: /wp-content/plugins/elementor-pro/assets/
Allow: /wp-content/plugins/elementor/assets/lib/
Allow: /wp-content/plugins/elementor-pro/assets/lib/
# 3. Разрешаем индексацию медиафайлов, шрифтов и стилей/скриптов из uploads и тем
# Без этого поисковики не смогут проиндексировать картинки, шрифты и кастомные CSS/JS
Allow: /wp-content/uploads/
Allow: /wp-content/themes/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/uploads/*.css
Allow: /wp-content/uploads/*.js
Allow: /wp-content/uploads/*.woff
Allow: /wp-content/uploads/*.woff2
Allow: /wp-content/uploads/*.ttf
# 4. Разрешён admin-ajax.php
# Этот файл нужен для работы форм (CF7, WPForms и др.), ленивой загрузки, попапов и многих других функций на фронтенде
Allow: /wp-admin/admin-ajax.php
# 5. Указываем карты сайта
# Замените ссылки на свои реальные карты сайта
Sitemap: https://ваш-сайт.ru/sitemap_index.xml
# 6. Блокируем страницы пагинации и фильтров — почти всегда это дубли контента
Disallow: /*/page/
Disallow: /?orderby=
Disallow: /?filter_*
Disallow: /&filter_*
# 7. Блокируем служебные шаблоны и попапы Elementor
# Эти страницы создаются автоматически и не предназначены для индексации
Disallow: /elementor-hf-template/
Disallow: /elementor-template-kit/
Disallow: /elementor-popup/
# 8. Специально для Яндекса (ускоряем и очищаем обход)
# Указываем основной зеркало сайта
Host: ваш-сайт.ru
# Убираем дубли страниц поиска (параметр s)
Clean-param: s /
# Если используете другие параметры, которые создают дубли (например, utm_, sessionid и т.д.), добавьте их сюда
# Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content
# Clean-param: sessionid
# Для Google и остальных поисковиков Clean-param не работает, поэтому дубли по параметрам лучше закрывать через канонические теги или ЧПУ — «Человекопонятный URL».Если хотите чистый фал без комментариев, то скачайте его здесь. Исправьте его в своем приложении или положите в корень сайта.