Обо мне Услуги
Все услуги и решения
Услуги
WordPress и Elementor
Другие платформы
Для вашей ниши
Интеграции
Работа с готовым сайтом
Настройка и техработы
SEO по платформам
Стоимость и процесс
Портфолио
По типам
По нишам
По платформам
Вопросы Блог — все статьи
Рубрики
robots.txt · sitemap

Настройка robots.txt и sitemap, чтобы поиск видел нужное и не видел лишнее

Два маленьких файла решают, что поисковик обойдёт. Ошибка в одном из них может закрыть весь сайт или, наоборот, открыть служебные страницы.

robots.txtsitemap.xmlПроверка ошибок

Что делают эти файлы

robots.txt

Правила обхода: какие разделы закрыть (админка, корзина, поиск, дубли) и где лежит карта сайта.

sitemap.xml

Список важных адресов с датами обновления. Помогает поисковикам находить страницы быстрее.

Директивы для Яндекса

Например, Clean-param для отсечения меток и параметров в адресах, чтобы не плодить дубли.

Согласованность

Страница, закрытая в robots, но указанная в карте сайта, создаёт противоречие, которое нужно убрать.

Самые частые ошибки

Хуже всего забытая директива Disallow: / после запуска сайта: она закрывает весь сайт от обхода. Другие ошибки: закрытые файлы стилей и скриптов (поиску сложнее понять страницу), пропущенные параметры адресов, из-за чего появляются дубли, устаревшая карта сайта с удалёнными адресами.

Я проверяю оба файла, исправляю и загружаю обновлённую карту в Вебмастер. Что делать с индексацией: если сайт не индексируется, а настройка кабинета: Яндекс.Вебмастер.

Все технические работы по сайту: домен, SSL, DNS, почта, индексация, ошибки. Другие услуги по готовому сайту: поддержка, редизайн, ускорение.

Что входит в настройку

Аудит текущих файлов

Ошибки, противоречия, устаревшее.

Правила robots.txt

Под вашу платформу и структуру.

Генерация sitemap.xml

Автоматически обновляемая карта.

Директивы для Яндекса

Clean-param и другие по необходимости.

Загрузка в Вебмастер и Search Console

И проверка обработки.

Проверка после изменений

Что нужные страницы открыты, лишние закрыты.

Как проходит работа

01
Задача

Вы описываете, что нужно и зачем. Я задаю вопросы и говорю честно, что реально, а что нет.

02
Оценка

Называю стоимость и срок до начала работы — с разбивкой, из чего они складываются.

03
Работа

Делаю этапами и показываю промежуточный результат, а не исчезаю до финала.

04
Проверка

Проверяем всё вместе на реальных устройствах, вношу правки по итогам.

05
Запуск и передача

Запускаю, передаю доступы и инструкцию. Дальше можно работать самому или продолжить со мной.

Частые вопросы

Достаточно ли закрыть страницу в robots.txt, чтобы убрать её из поиска?+

Не всегда. Закрытие в robots запрещает обход, но страница может остаться в выдаче. Для исключения надёжнее метатег noindex.

Нужна ли карта сайта маленькому сайту?+

Не обязательна, но не вредит и помогает быстрее находить новые страницы.

Кто обновляет карту сайта?+

На современных платформах она генерируется автоматически, я настрою так, чтобы обновление шло без вашего участия.

Проверим robots.txt и sitemap вашего сайта?

Опишите задачу и дайте ссылку на сайт, отвечу в течение 2 часов и скажу, как это решить и сколько это займёт.

Заявка
Читайте также

Мы используем файлы куки для работы сайта и аналитики. Продолжая использование, вы соглашаетесь с Политикой куки и Политикой конфиденциальности.

Подробнее