301 редирект вместо директивы HOST в Яндекс.Вебмастер


Содержание материала:

Директива host в файле robots.txt

Немного о том, на что способна данная директива и какая от неё польза.

Как добавить директиву host в файле robots.txt ?

Есть официальная документация у поисковиков на тему данной директивы, но к примеру у Google данная директива не задокументирована, но и не считается ошибкой в валидаторе.

Ну что ж приступим.

Как правильно прописать host в robots txt?

Яндекс

Про главное зеркало:

«Директива Host не гарантирует выбор указанного главного зеркала, тем не менее, алгоритм при принятии решения учитывает ее с высоким приоритетом.»

Примечание. Для каждого файла robots.txt обрабатывается только одна директива Host. Если в файле указано несколько директив, робот использует первую.

Директива Host должна содержать:

  • Протокол HTTPS, если зеркало доступно только по защищенному каналу. Если вы используете протокол HTTP, то его указывать необязательно.
  • Одно корректное доменное имя, соответствующего RFC 952 и не являющегося IP-адресом.
  • Номер порта, если необходимо (Host: myhost.ru:8080).

Некорректно составленные директивы Host игнорируются.

Вот как выглядит это в вебмастере (ошибок и предупреждений нет):

Про главное зеркало:

«Директивой можно указать роботу главный сайт, в том случае если вы используете сайты-зеркала. Значением в данной строке выступает доменное имя. Для поддержания формата файла robots.txt директива должна идти внутри записи, начинающейся с User-agent.»

Аналогичная проверка (ошибок и предупреждений нет):

Google

А теперь самое интересное.

Есть официальная документация, но в ней ничего не сказано про данную директиву.

Можно выделить 3 основных задокументированных факта:

  • Инструкции robots.txt носят рекомендательный характер
  • Каждый поисковый робот использует собственный алгоритм обработки файла robots.txt
  • Страница, заблокированная для поисковых роботов, все же может быть обработана, если на других сайтах есть ссылки на нее

А вот что выдает валидатор в вебмастере Google (смотрим и делаем выводы):

Выводы, предположения и возможная польза.

Так что можно смело предположить при использовании валидатора robots от Google не возникает ни предупреждений, ни ошибок. В 2020 — начало 2020 такая картина еще наблюдалась (помечалось как ошибка). Следовательно, можно предположить, что они решили использовать данную директиву host как рекомендацию. Также проводя тесты на клиентских сайтах при переходе на https (без применения междоменного 301-редиректа), было замечено, как Гугл начинал потихоньку индексировать https версию. И к тому времени, когда Яндекс завершал склейку, в Google-вебмастере было видно, как часть индекса перетекала уже на новый хост.

Конечно это только догадки, основанные на практических тестах. Поэтому я составляю одну общую конфигурацию для всех роботов:

Поэтому, если у Вас также есть опыт в определении такого стандарта для Google, то можете написать мне или в комментариях ниже.

Обновлено: 22.12.2020 2501 (в день: 3.89)

Директивы Host больше нет, да здравствует HTTP-301 редирект

Для успешной работы в IT-сфере необходимо всегда быть начеку. Особенно важно следить за новинками поисковиков, ведь от них будет зависеть SEO-оптимизация вашего сайта. Вот накануне Яндекс объявил о том, что скоро код состояния HTTP-301 редирект придёт на смену директиве Host при выборе главного зеркала (отображения сайта в выдаче поиска) для продвижения сайта в Яндексе.

Российский поисковик отказывается от директивы Host. Теперь вам будет необходимо удалить ее из файла robots.txt, и установить 301-й постраничный редирект на необходимые адреса сайта. Вы можете даже не удалять данную команду, тогда робот просто проигнорирует её.

Из-за предстоящих перемен изменяются и правила для переезда на новый протокол или домен. Поэтому у вас есть два варианта действий:

  1. Поставить постраничный 301-й редирект с определенных страниц вашего старого проекта на подобные страницы нового.
  2. Вы можете использовать инструмент «Переезд сайта» сервиса Яндекс.Вебмастера (в разделе «Индексирование»), укажите там новое главное зеркало и подождите несколько дней для переезда.

Сейчас функционируют оба способа для смены домена: как через директиву HOST, так и через постраничный 301-й редирект. Если вы уже начали смену домена при помощи команды HOST, то продолжайте, только потом установите аналогичные 301-е редиректы. Если же переезд пока только в планах, то можете сразу использовать новую схему, так будет намного проще.

Топ-пост этого месяца:  Эффекты Parallax. Scroll Indicator - прогресс бар при скролле

Помните, что вам не нужно вносить изменения на все зеркала проекта. Необходимо только в ближайшее время установить на неглавные зеркала вашего сайта постраничные редиректы на главные зеркала, которое является одновременно и доменным именем вашего сайта. Это позволит роботу быстро определить нужный вам адрес в поиске.

Отказ от команды HOST — это финальный этап переработки логики зеркал для российского поисковика. Ведь 301-й редирект полностью автоматизирован и на данный момент считается наилучшим методом сохранения позиций и результатов продвижения проекта в поисковых система при смене домена. Обратитесь к профессиональным специалистам, чтобы быстро и безопасно поменять директиву Host на 301-й редирект.

Яндекс заменил HOST на 301 редирект при определении главного зеркала

Здравствуйте, уважаемые читатели сайта Uspei.com. По информации Яндекса от 07.03.2020 (соответственно речь пойдет об этом поисковике) 301 серверный редирект полностью заменил директиву host при определении основного домена (главного зеркала). Яндекс полностью отказался от директивы host и теперь ее можно удалить из robots.txt.

Поэтому теперь алгоритм переезда на новый адрес или протокол будет в таком виде:

  • Сначала поставить 301 редирект со всех страниц старого сайта (протокола) на соответствующие новые страницы;
  • В инструменте Яндекс.Вебмастера «Переезд сайта», указать новый домен или протокол, чтобы робот как можно раньше об этом узнал.

Особое внимание Яндекс просит обратить на то, что бы на неглавных зеркалах вы потом не забыли проставить 301 редирект, но только после приклейки их к основному зеркалу (по старой схеме).

Яндекс, с их слов, отказался от host, так как это последний этап в переработке логики определения главного зеркала, что они и так уже сделали много:


  • ускорили обновление индекса;
  • изменили алгоритм обработки редиректов (теперь страницы, с которых идет редирект, не убираются из поисковой выдачи до полной индексации новой страницы ( цели редиректа);
  • в общем увеличили скорость переезда по редиректам (с 30 дней до 5-7);
  • добавили обработку редиректов в файле robots.txt.

Хотя Google уже сто лет не учитывает host, теперь это актуально и для Яндекса.

Как я уже сказал, теперь эту директиву можно удалить из robots.txt, но главное, чтобы на всех не зеркалах сайта (кроме главного) стоял 301-й постраничный редирект. Тем, кто еще этого не сделал, Яндекс отправил соответствующее уведомление в кабинете вебмастеров.

Яндекс также разъяснил некоторые моменты:

1. Если только собираетесь переехать на новый домен или протокол:

  • поставить постраничный 301-й редирект
  • зайти в кабинет вебмастеров, инструмент «Переезд сайта», указать новое главное зеркало
  • через несколько дней переезд будет завершен

2. Если уже начали переезд на новый домен или протокол

3. Если по каким либо причинам нельзя использовать 301-й редирект:

  • добавить новый сайт в Вебмастер
  • использовать «Переезд сайта»
  • через несколько дней переезд будет завершен

4. Если никуда переезжать не планируете:

  • проверить, что на всех зеркалах сайта (кроме главного) стоят 301-редиректы на главные, это укажет роботу на правильный адрес в поиске

5. Если никуда переезжать не планируете, но редирект поставить не можете:

6. Нужно ли ставить редирект для мобильных версий сайтов:

  • нет, не обязательно: мобильная версия может быть или доступна для основного робота, или осуществлять редирект на основную версию сайта

7. Если зеркала изменились из-за того, что вовремя не утановили 301-й редирект

  • совершите переезд аналогично I пункту

8. что делать с директивой Host

  • удалить, робот её теперь игнорирует

До встречи! Успевайте всё и всегда на страницах блога Uspei.com

Помоги проекту — подпишись на наш Яндекс.Дзен канал!

Директива Host в Яндексе заменена редиректом 301

Яндекс завершил работу по изменению логики зеркал сайтов. Теперь используется редирект HTTP-301 вместо директивы Host.

Команда Яндекс провела переработку логики зеркал сайтов. Завершающим этапом стал переход с директивы Host на редирект 301.

В начале марта Яндекс анонсировал новшество в алгоритмах работы с зеркалами сайтов. Теперь при выборе главного зеркала сайта Яндекс не будет руководствоваться директивой Host. Можно смело удалять эту директиву из файла robots.txt. Однако, на все неглавные зеркала необходимо прописать редирект HTTP-301, причем этот редирект постраничный.

Команда Яндекса официально заявила, что переработка логики зеркал завершена. Вебмастера оповещены об обновлении и получили подробные инструкции. На данный момент переехать на новый адрес, а также новый протокол можно в два шага:

  1. Поставить редирект 301 со страниц старого ресурса на соответствующие страницы нового
  2. Воспользоваться специальным инструментом «Переезд сайта» в Вебмастере.

Второй шаг важен и не стоит им пренебрегать, так как использование инструмента Яндекса быстрее обратит внимание робота, и новый сайт быстрее будет проиндексирован.

Вопрос – для чего Яндекс меняет логику работы с зеркалами сайтов и дергает и без того неспокойные нервы вебмастеров? Это делается на благо тех же вебмастеров и пользователей их сайтов, так как подобные нововведения улучшают поисковую выдачу Яндекса.

Поменять протокол переадресации сайта при указании основного зеркала можно самостоятельно, а можно обратиться за помощью к профессионалам.

Что даст вебмастерам это нововведение Яндекса и не отразится ли оно на качестве трафика? Спросим мнение нашего эксперта – руководителя отдела разработки Зекслер Дмитрия Трацевского.

Дмитрий Трацевский

По моему мнению это нововведение Яндекса пойдет только на пользу. Главное, чтобы все работало так же хорошо, как описано!

При переезде сайта обычно всегда настраивают редирект. Это делается для того, чтобы не терять пользователей, которые умудрились перейти по старому адресу, и не терять вес страницы в поисковиках. А «танцы» с HOST в robots мне всегда казались лишними.

Как по мне, трафик останется на прежнем уровне (возможны небольшие просадки), а сам перенос должен проходить быстрее.

301 редирект заменит директиву host в Яндексе

Сейчас увидел новость, решил тему создать, думаю, многим будет интересно.

В ближайшее время HTTP-301 редирект заменит директиву HOST при выборе главного зеркала в Поиске Яндекса.

Качественный хостинг Тут может быть ваша ссылка.


Наконец-то избавились от этого недоразумения. Вывод: нефиг что-то выдумывать, когда за тебя уже все придумали.

Давно пора Новость хорошая. Не придется теперь под каждую поисковую систему подстраиваться.

Топ-пост этого месяца:  Кликабельные имена функций и стека вызова — Query Monitor

P.S. Сколько там наспамили в комментариях — ужас

P.S. Сколько там наспамили в комментариях — ужас

Качественный хостинг Тут может быть ваша ссылка.

Я переехал 4 дня назад, хостинг давал бесплатный сертификат, пришлось взять. Было сложно, но все сделал правильно, на всех страницах висит зеленый замок. Кстати хоть яша и говорит про 301 редирект, мол его надо только, но в робот.тхт я прописал все же новый сайт с https, в хост и в карте сайта, пускай будет, есть еще гугл, который ничего про робот.тхт не говорил.

Название темы Автор Статистика Последнее сообщение

    LITE.HOST — хостинг для тех, кто любит не переплачивать

    Автор Yoh , 14 май 2020 В: Создание сайтов: веб-технологии и программирование → Хостинг и домены

    • Hot 40 Ответов
    • 5 624 Просмотров
    • Yoh
    • 17 окт 2020
  • Сниппет в Яндексе — как повлиять?

    Автор Vmir , 01 авг 2020 В: Продвижение и оптимизация сайтов (SEO) → Яндекс

    • 7 Ответов
    • 460 Просмотров
    • Sosnovskij
    • 03 авг 2020
  • Трафик на молодой сайт в яндексе

    Автор FernanMagellan , 03 апр 2020 В: Продвижение и оптимизация сайтов (SEO) → Вопросы по SEO от новичков

    • 8 Ответов
    • 458 Просмотров
    • Rodiola
    • 02 июн 2020
  • HOST-I7U — Надежный хостинг. VPS/VDS серверы.

    Автор HOST-I7U , 25 ноя 2015 В: Создание сайтов: веб-технологии и программирование → Хостинг и домены

    • Hot 15 Ответов
    • 2 401 Просмотров
    • HOST-I7U
    • 20 май 2020
  • В Яндексе в сниппете дополнительные блоки. Как сделать?

    Автор Megoydagi , 28 апр 2020 В: Продвижение и оптимизация сайтов (SEO) → Яндекс

    • 2 Ответов
    • 665 Просмотров
    • Sosnovskij
    • 30 апр 2020
NataliaAntalia 1-й за Октябрь
Очков активности: 480 2 темы, 58 сообщений, 5 баллов репутации
Сайт: zdorovemedicina.ru

ShowPrint (ShowPrint.ru)
Очков активности: 136.5 0 тем, 13 сообщений, 7 баллов репутации

Totti
Очков активности: 54 0 тем, 9 сообщений, 4 балла репутации

NataliaAntalia (zdorovemedicina.ru)
Очков активности: 48 Вне конкурса за определение пользователя месяца

miketomlin
Очков активности: 45 0 тем, 10 сообщений, 3 балла репутации

MattCutts (dmitrylee.ru)
Очков активности: 33 Вне конкурса за определение пользователя месяца

Megoydagi (24ho.ru)
Очков активности: 28.5 3 темы, 10 сообщений, 1 балл репутации

BLIK
Очков активности: 27 0 тем, 9 сообщений, 2 балла репутации

Vmir
Очков активности: 22.5 1 тема, 12 сообщений, 1 балл репутации

kolver
Очков активности: 19.5 3 темы, 4 сообщения, 1 балл репутации

xxkillaxx
Очков активности: 15 1 тема, 7 сообщений, 1 балл репутации

Яндекс заменяет 301 редиректом директиву HOST

13.03.2020 Время прочтения: 1 минута

Команда Яндекса в своём блоге сообщила, что в скором времени 301-й редирект будет заменять HOST при выборе главного зеркала в поисковой выдаче Яндекса: если раньше при переезде было необходимо прописывать в служебном файле robots.txt директиву HOST, в которой указывалось новое зеркало, то теперь это делать не нужно, достаточно прописать 301-й редирект.


В связи с этим разработчики создали новую инструкцию переезда на другой адрес или протокол. Теперь алгоритм действий таков:

  1. Установить 301-е редиректы с определённых страниц старого сайта на страницы нового.
  2. С помощью инструмента Вебмастера «Переезд сайта» передайте роботу информацию о проведённых изменениях.

Специалисты замечают, что сейчас работают обе схемы переезда: и с помощью директивы HOST, и через 301-й редирект. Если сайт уже переезжает через HOST, то ничего менять и перенастраивать не нужно, достаточно установить потом соответствующие 301-е редиректы. Если переезд только планируется, можно использовать новую схему.

При этом в группах зеркал, которые уже разработаны, ничего менять не надо. Главное, нужно сделать так, чтобы на других (не главных) зеркалах были редиректы на соответствующие страницы главного зеркала.

В блоге дополнительно отмечается, что отказ от директивы HOST – это последняя ступень переработки логики зеркал в Яндексе, в числе предыдущих нововведений – увеличение частоты обновления поисковой базы, изменение механизма обработки редиректов (страницы, с которых проводится редирект, больше не удаляются из поисковой выдачи до индексирования цели редиректа) и другие. Таким образом Яндекс упрощает переезды сайтов на новые домены или на защищённые протоколы.

Яндекс отменил поддержку директивы Host

20.03.2020 Не прошло и пары десятков лет, как поисковая система Яндекс отказалась от директивы Host.
Всем вебмастерам и владельцам сайтов настоятельно рекомендуем проверить, настроены ли 301 постраничные редиректы для их сайтов, и если нет — то срочно их реализовать.
Минусы нововведения — собственно, потребуется обязательная проверка сайтов и коррекция редиректов в случае необходимости. Из плюсов — теперь в плане работы с зеркалами Яндекс стал таким же, как Google.

Рекомендации от самой команды поиска по наиболее распространенным ситуациям:

I Мне нужно переехать на новый домен или протокол, переезд я еще только планирую

  • поставьте постраничный 301-й редирект
  • зайдите в Вебмастер в инструмент «Переезд сайта», укажите новое главное зеркало
  • подождите, обычно переезд занимает несколько дней

II Мне нужно переехать на новый домен или протокол, переезд я уже начал
Аналогично I пункту:

  • поставьте постраничный 301-й редирект
  • зайдите в Вебмастер в инструмент «Переезд сайта», укажите новое главное зеркало: если вы сделали это ранее — данный пункт можно пропустить
  • подождите, обычно переезд занимает несколько дней

III Мне нужно переехать на новый домен или протокол, но я не могу использовать 301-й редирект

  • добавьте новый сайт в Вебмастер
  • используйте «Переезд сайта»
  • подождите, в таком случае переезд может занимать несколько недель

IV Мне не нужно никуда переезжать, нужно ли мне что-то менять, редирект я поставить могу

  • проверьте, чтобы на всех неглавных зеркалах вашего сайта стояли постраничные редиректы на главные, это позволит прямо указать роботу на нужный вам адрес в поиске

V Мне не нужно никуда переезжать, нужно ли мне что-то менять, редирект я поставить не могу

  • нужно понимать, что главное зеркало в таком случае может быть выбрано на усмотрение робота: в случае смены главного зеркала воспользуйтесь «Переездом сайта»

VI Нужно ли ставить редирект для мобильных версий сайтов

  • как и ранее, ставить редирект для мобильных версий сайтов не обязательно: мобильная версия может быть или доступна для основного робота, или осуществлять редирект на основную версию сайта

VII Что делать, если мои зеркала все-таки изменились из-за того, что не был установлен 301-й редирект

Совершите переезд аналогично I пункту:

  • поставьте постраничный 301-й редирект на нужный адрес
  • зайдите в Вебмастер в инструмент «Переезд сайта», укажите новое главное зеркало
  • подождите, обычно переезд занимает несколько дней

301 редирект (переадресация) через .htaccess – на все случаи жизни

Три важных совета и семнадцать конкретных примеров установки 301 переадресации страниц через htaccess!

Советы

Располагайте переадресации страниц в файле от частных к более глобальным (сверху вниз). Например: простая переадресация двух страниц стоит выше, чем глобальное правило редиректов с www на без www.

Избегайте последовательных редиректов (двух, трех и т.д.). Правила должны быть настроены так, что при возникновении редиректа он должен перенаправлять пользователя (робота) только один (!) раз. Каждое лишнее переадресация – это секунды драгоценного времени отдачи страницы, это нагрузка на сервер, это нечеткие команды для поисковых роботов.

Не забывайте, что многие браузеры кешируют (запоминают редиректы), поэтому проверять переадресации лучше на сайте – http://www.bertal.ru.

В файле обязательно должна присутствовать команда:

Второй способ сделать редирект – это переадресация через php

Правила переадресаций

1. 301 редирект с одной страницы на другую

Самый простой вариант

2. 301 редирект с www на без www (главное зеркало – домен без www)

3. 301 редирект с без www на www (главное зеркало – домен с www)

4. 301 редирект со страниц со слешем на без слеша (весь сайт)

5. 301 редирект со страниц без слеша на слеш (часто в CMS системах устанавливается автоматически)


6. Один (а не два последовательных!) 301 редирект на без www и с слешем на конце адреса страницы

7. Один (а не два последовательных!) 301 редирект на c www и со слешем на конце адреса страницы

8. Один (а не два последовательных!) 301 редирект на c www и без слеша на конце адреса страницы

9. Один (а не два последовательных!) 301 редирект на без www и без слеша на конце адреса страницы

10. 301 редирект только адреса site.ru/index.php (без GET параметров) на основное зеркало site.ru

11. 301 редирект всех адресов с index.php и GET параметрами на страницы только с GET параметрами (вырезать в url index.php)

Пример: типа site.ru/index.php?n=1 на site.ru/?n=1

12. 301 редирект для index.php, index.html или index.htm (например в Joomla), массовая склейка

13. 301 редирект url с GET параметрами (динамический URL) на статический

1 вариант (простой адрес с GET параметром)

2 вариант (со страницы и GET параметром)

14. Все страницы одного домена на главную страницу другого домена

15. Каждая страница одного домена на такой же адрес другого url

16. Редирект с протокола http на https.

Если возникает циклический редирект, то воспользуйтесь этим вариантом:

Для Битрикс-сайтов на хостинге reg.ru

Для сертификатов https c Cloudflare:

17. Редирект с протокола https на http.

Обратный редирект, если перестали использовать SSL сертификат.

НОВОСТИ 301-й редирект полностью заменил директиву Host

raz0r

Руководство!

YANDEX — 301-й редирект полностью заменил директиву Host

Как мы писали ранее, мы отказываемся от директивы Host. Теперь эту директиву можно удалять из robots.txt, но важно, чтобы на всех не главных зеркалах вашего сайта теперь стоял 301-й постраничный редирект. Вебмастерам, которые, по нашим данным, ещё не установили перенаправление, мы отправили соответствующее уведомление.

Кроме того, за прошедшее с анонса время мы собрали наиболее распространенные ситуации, и хотим рассказать о них подробнее.

I Мне нужно переехать на новый домен или протокол, переезд я еще только планирую

  • поставьте постраничный 301-й редирект
  • зайдите в Вебмастер в инструмент «Переезд сайта», укажите новое главное зеркало
  • подождите, обычно переезд занимает несколько дней

II Мне нужно переехать на новый домен или протокол, переезд я уже начал
Аналогично I пункту:

  • поставьте постраничный 301-й редирект
  • зайдите в Вебмастер в инструмент «Переезд сайта», укажите новое главное зеркало: если вы сделали это ранее — данный пункт можно пропустить
  • подождите, обычно переезд занимает несколько дней

III Мне нужно переехать на новый домен или протокол, но я не могу использовать 301-й редирект

  • добавьте новый сайт в Вебмастер
  • используйте «Переезд сайта»
  • подождите, в таком случае переезд может занимать несколько недель

IV Мне не нужно никуда переезжать, нужно ли мне что-то менять, редирект я поставить могу

  • проверьте, чтобы на всех неглавных зеркалах вашего сайта стояли постраничные редиректы на главные, это позволит прямо указать роботу на нужный вам адрес в поиске

V Мне не нужно никуда переезжать, нужно ли мне что-то менять, редирект я поставить не могу

  • нужно понимать, что главное зеркало в таком случае может быть выбрано на усмотрение робота: в случае смены главного зеркала воспользуйтесь «Переездом сайта»

VI Нужно ли ставить редирект для мобильных версий сайтов

  • как и ранее, ставить редирект для мобильных версий сайтов не обязательно: мобильная версия может быть или доступна для основного робота, или осуществлять редирект на основную версию сайта

VII Что делать, если мои зеркала все-таки изменились из-за того, что не был установлен 301-й редирект
Совершите переезд аналогично I пункту:

  • поставьте постраничный 301-й редирект на нужный адрес
  • зайдите в Вебмастер в инструмент «Переезд сайта», укажите новое главное зеркало
  • подождите, обычно переезд занимает несколько дней

VIII Что делать с директивой Host

301 редирект в Яндексе заменит директиву Host

7 марта 2020 года в блоге для вебмастеров Яндекс появилась запись о том, что поисковая система Яндекс официально уходит от применения директивы Host для определения основного зеркала сайта. Теперь оно будет определяться при помощи 301 редиректа. Это нововведение (отказ от директивы Host) стало результатом переработки логики зеркал в поисковой системе. Сейчас работают оба способа, но в скором времени корректно будет отрабатывать только редирект. Больше об этом можно узнать на курсах по SEO.

Таким образом, при смене домена или определении основного зеркала сайта, правильными будут следующие действия:

  • установите 301 редиректы со старых страниц (страниц второстепенного зеркала) на соответствующие новые страницы (страницы основного зеркала);
  • воспользуйтесь в вебмастере Яндекса разделом «Переезд сайта» для информирования поискового робота о выбранных настройках сайта.

Правильная раскрутка сайта в Днепре с настройкой основного зеркала доступна через форму заявки под новостью.

Добавить комментарий