Как удалить из индекса Google большое количество веб-страниц


Содержание материала:

Как удалить страницы из индекса поисковых систем: 7 способов

В этой статье я помогу вам разобраться в том, какие страницы не стоит индексировать, как удалить страницы из индекса поисковиков и зачем это нужно делать.

Зачем нужно удалять страницы из индекса и что это за страницы?

«Ненужные страницы» – это страницы, которые не предназначены для притягивания трафика из поиска и их дальнейшего продвижения.

Устранение подобных страниц из индекса позволяет удалить лишние копии страниц, скрыть персональную информацию и, самое главное, улучшить хостовые поведенческие факторы, которые включают в себя такие основные показатели, как:

Глубина просмотра (среднее количество просмотренных страниц в рамках одной сессии).

Время, проведенное пользователем на странице.

Среднее время, проведенное пользователем на сайте.

Поведение пользователей на выдаче.

Логика простая: чем больше мусорных страниц в поиске, по которым не кликают, тем хуже значения хостовых поведенческих факторов сайта, что влечет за собой ухудшение ранжирования.

К таким страницам относятся:

Страницы с GET-параметрами, которые выступают дублями посадочных страниц (страницы сортировок или с различными вариантами отображения карточек товаров и т. д.). Примеры таких страниц: https://site.ru/catalog/page1/?sort=sort&order=asc; https://site.ru/catalog/page2/?display=list.

Страницы с результатами поиска по сайту, страницы сравнения (https://site.ru/search/?q=&s=Найти; https://site.ru/catalog/page1/compare.php).

Страницы с неуникальным контентом.

Страницы, не несущие в себе смысловой нагрузки (административные и технические страницы с персональной информацией).

Системные каталоги и файлы.

Страницы, удаленные на сайте, но все еще отображающиеся в поиске.

Как удалить страницы из поисковой выдачи?

Рассмотрим ключевые методы удаления страниц из индекса.

1 способ. Директива Disallow в файле Robots.txt

Используя данную директиву, можно дать указания роботу не посещать список заданных страниц.

Имеется существенное дополнение.

Страница, запрещенная к индексированию с помощью директивы Disallow, все равно может быть просканирована и проиндексирована. Что может происходить из-за того, что на настоящую страницу ссылаются иные страницы на сайте.

Стоит отметить и то, что Yandex чаще всего воспринимает директивы robots.txt как четкие инструкции по внесению в индекс. Совсем другая ситуация с «Гуглом», для него robots.txt – это всего лишь рекомендации. Поэтому, если вы закрыли страницу от индексации в robots.txt, поисковые роботы Google все равно могут ее проиндексировать. Чтобы этого избежать, можно воспользоваться другими способами, описанными ниже.

2 способ. Настройка 404, 403 и 410 HTTP-кодов ответа от сервера

При получении одного из этих кодов ответа при посещении страницы, робот воспринимает ее более недоступной и исключает ее из индекса.

Работающая страница, которая подлежит индексации, должна отдавать код 200.

Проверить HTTP-коды ответа сервера можно с помощью сервиса bertal.ru

3 способ. Директива noindex в HTTP-ответе сервера

Мы уже выяснили, что робот при обходе страницы получает какой-либо ответ с сервера в котором содержатся специальные коды. Они показывают роботу, что сканируемая страница работает, либо недоступна. Но может возникнуть ситуация, когда страница должна работать на сайте, т. е. отдавать код 200, но ее нельзя индексировать. При таких условиях в HTTP-ответ сервера можно добавить HTTP-заголовок, который будет запрещать индексирование данной страницы.

HTTP-заголовок для запрета к индексации выглядит так:

Образец кода ответа сервера с применением noindex:

4 способ. Директива noindex, прописанная в метатеге

Задается в коде страницы при помощи тега

5 способ. Устранение страниц из поиска в сервисе «Яндекс Вебмастер»

«Яндекс Вебмастер» предлагает 2 способа исключения страниц: по URL и по префиксу.

Используя вариант удаление «по URL», в окне сервиса необходимо просто указать список страниц, которые вам необходимо удалить.

Удаление «по префиксу» позволяет устранить все страницы, вложенные в каком-либо разделе или страницы, содержащие определенный параметр.

Например на сайте https://site.ru необходимо удалить все страницы из раздела catalogue, для этого в «Яндекс Вебмастере» откроем вкладку по префиксу и укажем УРЛ https://site.ru/catalogue/. В итоге все страницы из раздела catalogue будут удалены из индекса.

Если нужно удалить все страницы, которые содержат параметр после символа «?» в адресе, воспользуемся такой записью:

Перед тем, как отправить страницы на удаление в «Яндекс Вебмастере», необходимо запретить соответствующие страницы к индексации в robots.txt, иначе ваша заявка на удаление страниц будет отклонена.

6 способ. Удаление страниц из поиска в сервисе Google Search Console

Инструмент Google URL Removal работает также, как и аналогичный инструмент в «Яндекс Вебмастер» и имеет возможность удалять страницы как по URL-адресу, так и по префиксу.

Основное отличие состоит в том, что с помощью данного инструмента Google исключает страницу из поиска временно (на срок до 90 дней). Иными словами через некоторое время отправленная на удаление страница, снова рискует попасть в индекс, если ее HTTP-код отличен от 404, 403, 410, и она не имеет установленной директивы noindex в коде страницы, либо в HTTP-заголовке.

7 способ. Защита страницы паролем

Разделы, защищенные паролем, запрещают поисковикам получить доступ к контенту, вследствие чего подобные страницы чаще всего не попадают в индекс.

Выводы

Необходимо удалять из индекса страницы, по которым не притягивается трафик из поиска.

Удаление ненужных страниц дает улучшение релевантности сайта и поведенческих факторов на выдаче.

Ключевые методы удаления страниц из индекса:

Директива Disallow в Robots.txt.

Настройка HTTP-кодов ответа от сервера 404, 403 и 410.

Директива noindex, используемая в HTTP-ответе страницы и метатеге.

Самые результативные способы удаления страниц из индекса – это настройка 404, 403 и 410 HTTP-кодов ответа сервера и директива noindex, используемая в HTTP-заголовке, либо коде страницы.

Директива Disallow не дает 100%-ой гарантии, что страница не будет снова занесена в индекс. А страница, защищенная паролем, в свою очередь создаст неудобства для пользователей.

Как удалить из индекса Google множество битых страниц?

В очередной раз сотрудник качества поиска Google Джон Мюллер дал ответ на давний вопрос SEO-специалистов — как ускорить удаление из индекса поисковика большого количества не нужных или не существующих страниц.
Данный вопрос был озвучен вебмастером на форуме Google Webmaster Central Help.

Проблема вебмастера заключалась в следующем:

Мы удалили все страницы, которые не смогли улучшить и переориентировали наш оставшийся сайт. Добавили ошибки 410 и 404 на всех ненужных страницах низкого качества. Проблема в том, что Google долго удаляет все мусорные страницы, которые у нас были. Мы терпеливо ожидали около 7 месяцев, пока Google удалит все, и все шло отлично, но сейчас удаление Google не нужных страниц замедлилось до нескольких страниц в неделю. В настоящее время у нас осталось ещё около 33000 не нужных проиндексированных старых страниц.

Ответ Джона Мюллера не заставил себя ждать, в котором он посоветовал использовать отдельный временный файл sitemap.xml:

Для нас это естественно — когда мы распознаём страницы, которые, по нашему мнению, являются менее важными для сайта, мы начинаем их сканировать реже, отсюда нормально и то, что пройдёт немного больше времени для их устранения из поиска. Тип страницы также влияет на время её выпадения из индекса (например, если это URL, который был получен по одноразовой ссылке, то у нас может не быть каких-то дополнительных сигналов, которые говорят нам нам, что нужно обновить URL).

Одним из способов ускорить это может быть отправка временного файла Sitemap, в котором перечислены эти URL-адреса с последней датой изменения (например, когда вы их изменили на 404 или добавили noindex), чтобы мы точно знали, как их повторно сканировать и повторно обрабатывать. Это то, что вам нужно сделать в течение ограниченного времени (возможно, нескольких месяцев), а затем удалить sitemap, чтобы в конечном итоге вы не получили файл карты сайта, который не нужен вашему сайту.

Следите за нами в Telegram

9 рабочих способов деиндексировать страницу в Google и избежать раздувания индекса

SEO-специалисты стремятся ускорить индексацию целевых страниц сайта, Google идёт на встречу, но также легко добавляет в поиск и нежелательные для нас страницы.

SearchEngineJournal опубликовали актуальные методы деиндексации, их влияние на SEO и почему меньшее количество страниц в поиске может привести к увеличению трафика. Давайте посмотрим!

Что такое «раздутый» индекс?

Index Bloat (раздутый индекс) возникает, когда в поиск попадает большее количество малополезных страниц сайта с небольшим количеством уникального контента или вовсе без него. Такие URL в индексе могут оказывать негативный каскадный эффект на SEO, примеры документов:

Страницы результатов фильтрации.

Неупорядоченные архивные страницы с неактуальным контентом.

Неограниченные страницы тегов.

Страницы с GET-параметрами.

Неоптимизированные страницы результатов поиска по сайту.

Автоматически сгенерированные страницы.

Трекинг-URL с метками для отслеживания.

http / https или www / non-www страницы без переадресации.

В чём вред? Googlebot обходит бесполезные для привлечения трафика страницы, тратит на них краулинговый бюджет и замедляет сканирование целевых URL. Повышается вероятность дублирование контента, каннибализации по запросам, релевантные страницы теряют позиции и вообще на сайте начинает царить плохо контролируемый беспорядок.

Кроме того, URL ранжируются в контексте репутации всего сайта и Google Webmaster Center недвусмысленно заявляет:

Низкокачественный контент на отдельных страницах веб-сайта может повлиять на рейтинг всего сайта, и, следовательно, удаление некачественных страниц… может помочь ранжированию высококачественного контента.

Как отслеживать количество проиндексированных страниц?

В Google Search Console на вкладке Индекс > Покрытие:

С помощью отдельных инструментов, например в «Модуле ведения проектов» на вкладке «Аудит»

Или, используя оператор site: в поиске Google (не самый надёжный и не очень точный способ):

Если количество страниц в индексе превышает число URL, которое вы хотели отдать на индексацию (скажем, из файла Sitemap.xml), вероятно имеет место проблема «раздутого» индекса и пора освежить правила запрета на сканирование.

410 Gone — быстрый способ сообщить Google о том, что страница была намеренно удалена, и вы не планируете её заменить.

404-код ответа («страница не найдена») указывает на то, что страница может быть восстановлена, поэтому Googlebot может вернуться и проверить страницу на доступность через некоторое время.

При проверках в Search Console Google 410-код ответа помечается как 404-й. Джон Мюллер подтвердил, что это сделано с целью «упрощения», но разница всё-таки есть.

Также специалисты Google успокаивают — количество 4xx-ошибок на сайте не вредит вашему сайту. Проверить код ответа и размер документа для списка URL можно с помощью бесплатного инструмента.

Предотвращение «раздувания» индекса: 1/5
Борьба с последствиями «раздувания»: 4/5

301-редирект

Если множество малополезных страниц можно переадресовать на целевой URL с похожим контентом и таким образом объединить их сигналы ранжирования, то 301-редирект самое верное решение. Например, в случае удалённых товаров или неактуальных новостей, можно перенаправить пользователя на схожие позиции или свежие посты по теме.

Деиндексирование перенаправляемых страниц требует времени: сначала Googlebot должен дойти до исходного URL, добавить целевой адрес в очередь для сканирования и затем обработать контент, чтобы убедиться в его тематической связи с первичным документом. В обратном случае (например, редирект на главную страницу сайта) 301-код ответа будет расцениваться Google как SOFT-404 и никаких сигналов для ранжирования (например, ссылочная масса) передано не будет.

Предотвращение «раздувания» индекса: 1/5
Борьба с последствиями «раздувания»: 3/5

Топ-пост этого месяца:  Dagon Design Sitemap Generator настройка

Атрибут rel=”canonical” тега link

В случае дубликатов, атрибут rel=”canonical” сообщает краулеру какую именно страницу нужно индексировать. Альтернативные версии будут сканироваться, но гораздо реже и постепенно исчезнут из индекса. Чтобы учитывались и передавались сигналы ранжирования, контент на дубликатах и оригинальных страницах должен быть почти идентичным.

Предотвращение «раздувания» индекса: 4/5
Борьба с последствиями «раздувания»: 2/5

GSC-инструмент «Параметры URL»

В старой версии Google Search Console можно настроить обработку и задать правила сканирования для URL с различными параметрами.

У этого способа есть несколько недостатков:

Работает только для URL с наличием параметров в адресе.

Актуально только для Googlebot и не повлияет на сканирование другими поисковыми роботами.

Позволяет контролировать только краулинг и не управляет индексацией напрямую.

Хотя Джон Мюллер уверяет, что в конечном счёте, попавшие под исключения, URL также будут удалены из индекса. Не самый быстрый, но также способ деиндексации.

Предотвращение «раздувания» индекса: 3/5
Борьба с последствиями «раздувания»: 1/5

Robots.txt

Директива Disallow в файле robots.txt позволяет блокировать отдельные страницы, разделы или полностью весь сайт. Пригодятся для закрытия служебных, временных или динамических страниц.

Тем не менее, директива не управляет индексацией напрямую, и некоторые адреса Google может отправить в индекс, если на них ссылаются сторонние ресурсы. Более того, правило не даёт четких инструкций краулерам, как поступать со страницами, которые уже попали в индексе, что замедляет процесс деиндексации.

Предотвращение «раздувания» индекса: 2/5
Борьба с последствиями «раздувания»: 1/5

Noindex в meta-теге robots

Для полной блокировки индексации отдельных страниц можно использовать мета-тег robots с атрибутом content=»noindex» или HTTP-заголовок X-Robots-Tag с директивой noindex. Напомним, что noindex, прописанный в robots.txt, игнорируется поисковыми краулерами.

X-Robots-Tag и мета-тег robots на страницах имеют каскадный эффект и возможны следующие последствия:

Предотвращают индексацию или исключают страницу из индекса в случае добавления постфактум.

Сканирование таких URL будет происходить реже.

Любые факторы ранжирования перестают учитываться для заблокированных страниц.

Если параметры используются продолжительное время, ссылки на страницах обретают статус «nofollow».

Предотвращение «раздувания» индекса: 4/5
Борьба с последствиями «раздувания»: 4/5

Защита с помощью пароля / авторизации

Все файлы на вашем сервере, защищенные паролем и требующие авторизации, будут недоступны для поисковых систем. Такие URL нельзя просканировать и проиндексировать. Очевидно, для пользователей контент на закрытых паролем страницах также будет недоступен до авторизации.

Предотвращение «раздувания» индекса: 2/5
Борьба с последствиями «раздувания»: 1/5

Инструмент Google для удаления URL

Если необходимо срочно удалить из индекса какую-либо страницу, можно использовать инструмент в старой версии Search Console. Как правило, запросы обрабатываются в день заявки. Главное, нужно понимать — это временная блокировка. По истечении 90 дней URL снова может оказаться в поисковой выдаче, если не будут применены способы для блокировки индексации, описанные выше.

Предотвращение «раздувания» индекса: 1/5
Борьба с последствиями «раздувания»: 3/5

Краткие выводы

Как всегда, профилактика гораздо эффективнее лечения. У Google слишком хорошая память и деиндексации может занять неприлично много времени. Всем терпения и целевых страниц в индексе!

Как удалить страницу из индекса Яндекса и Google

Ручное удаление

Чтобы оперативно удалить страницу из поиска, необходимо воспользоваться инструментом Яндекс Вебмастера и Search Console: «Удалить URL».

Перед тем как использовать данные сервисы, настройте 404 код ответа удаляемых страниц или запретите от индексации в файле robots.txt.

В течение нескольких дней после использования сервиса, страницы пропадут из выдачи поисковых систем.

Автоматическое удаление страниц

Если страница отвечает любому из трех условий:

  • Отдает 404 код ошибки.
  • Закрыта от индексации в файле robots.txt.
  • Закрыта от индексации мета-тегом robots.

То со временем она удалится из индекса автоматически.

Недостаток автоматического метода в том, что удаление страниц может затянуться — ожидание повторного переобхода поисковыми роботами. А, если это внутренняя страница с небольшим количеством входящих ссылок, то произойти это может не скоро.

Именно поэтому рекомендуется использоваться ручные сервисы по удалению страниц из индекса.

Ждите новые заметки в блоге или ищите на нашем сайте.

Материал опубликован пользователем.
Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Как удалить страницу из поисковой выдачи

Случаются ситуации когда владельцу бизнеса необходимо удалить страницу из поиска Google или Яндекса. Иногда ресурс попадает в выдачу по ошибке или информация на нем теряет свою актуальность. Но хуже всего, когда поисковики выдают служебные страницы с конфиденциальными данными клиентов.

Чтобы избежать подобных ситуаций, необходимо знать, как удалить страницу или раздел сайта из индекса.

Существует несколько способов для этого в зависимости от поисковой системы. Давайте рассмотрим все плюсы и минусы каждого из вариантов.

Перед выбором метода определитесь:

  • нужно удалить доступ к странице только из поисковиков;
  • нужно удалить доступ абсолютно для всех.

Ошибка 404

Важно! Это самый простой метод в исполнении, однако время удаления информации из поисковой выдачи может занять до 1 месяца. Удаляет страницу как из поисковой системы так и с сайта в целом.

Периодически при поиске определенной информации пользователь сталкивается с сообщением об ошибке 404 — «Страница не найдена». Именно к такому результату ведет фактическое удаление страницы сайта.

Делается это путем удаления страницы в административной панели сайта. На языке поисковых машин происходит настройка сервера, которая обеспечивает http-статус с кодом 404 not found для определенного URL. При очередном посещении поискового робота, сервер сообщает ему об отсутствии документа.

После этого поисковая система понимает что страница более не доступна и удаляет ее из поисковой выдачи, чтобы пользователи не попадали из поиска на страницу ошибки 404.

У такого метода есть свои особенности:

  • Простота: настройки проводятся всего в несколько кликов.
  • Страница полностью исчезает из сайта, поэтому если необходимо просто скрыть от выдачи конфиденциальную информацию, то лучше обратиться к другим методам.
  • Если на страницу, которую нужно скрыть, имеются входящие ссылки то эффективнее будет настроить 301 редирект.
  • Непосредственно к выпадению страницы из поиска приводит не ее удаление из сайта, а последующая за этим индексация. В среднем необходимо от 1–2 дня до месяца, чтобы робот посетил ресурс и отпинговал страницу.

Если для вебмастера этот вариант — один из самых простых и удобных, то посетителю сайта сообщение об ошибке 404 редко доставляет удовольствие. В некоторых случаях оно может привести к тому, что клиент больше не вернется на этот ресурс.

Чтобы избежать подобных последствий, сегодня все чаще вебмастера стараются креативно оформить страницу с ошибкой 404 или разместить там информацию, предложения, что могут заинтересовать пользователя. Такая политика делает сайт более дружелюбным для клиента, способствуя росту его популярности.

Robots.txt

Важно! Данный метод не удаляет страницу из поиска, а только скрывает ее из результатов. Страница остается доступной для просмотра из других каналов трафика.

Довольно распространенный способ избавиться от отдельных объектов и целых разделов. Через robot.txt предоставляется как разрешение, так и запрет на индексацию, поэтому неудивительно, что на тему алгоритмов удаления страниц таким образом создано много полезных инструкций в Интернете, например у Devaka. Но в их основе один принцип: использование директивы Disallow.

Чтобы запретить сканирование страницы поисковыми системами, нужно иметь доступ к корневой папке домена. В противном случае придется использовать мета-теги.

Содержание файла robots.txt может включать лишь две строки:

  • User-agent: сюда вносится название робота, к которому требуется применить запрет (наименование можно брать из Базы данных сканеров, но в случае, но если вы хотите в будущем закрывать страницу от всех, то просто используйте «User-agent: *»);
  • Disallow: в этой директиве указывается непосредственно адрес, о котором идет речь.

Именно эта пара формирует собой команду по отношению к определенному URL. При необходимости в одном файле можно запретить несколько объектов одного сайта, что будут абсолютно независимы друг от друга.

После закрытия страницы или раздела через robots.txt необходимо дождаться очередной индексации.

Здесь стоит отметить, что для поисковых систем действие в robots.txt лишь рекомендация, которых они не всегда придерживаются. Даже в случае выполнения этого указания ресурс по-прежнему будет появляться в выдаче, но уже с надписью о закрытии через robots.txt.

Лишь со временем, если статус объекта в файле не поменяется, то поисковики уберут его из своей базы.

В любом случае доступными для просмотра удаленные объекты останутся при переходе по внешним ссылкам, если таковые имеются.

Мета-тег robots

Важно! Данный метод удаляет страницу из поисковых систем, но страница остается доступной для просмотра из других каналов трафика.

В какой-то мере этот вариант называют альтернативой предыдущего, только здесь работа ведется в html-коде среди тегов head:

После введения команды необходимо дождаться очередной индексации ресурса, после которой изменения вступят в силу.

Чем хорош этот метод?

Через мета-теги можно удалить url из Google или Яндекс как для одной страницы, так и сразу для целого перечня. При этом файл robots.txt останется простым. Этот вариант рекомендуется для начинающих специалистов, что работают шаг за шагом, создавая новые страницы сайта.

Интересный факт! С помощью данного метода можно удалить страницу из одной поисковой системы и оставив в остальных.

Закрыть страницу через мега-теги — лучший способ удалить страницу из индекса Google, оставив ее активной в Яндекс при необходимости. Также рекомендуется использовать этот метод в ситуациях, когда нужно убрать страницу из индекса, сохранив при этом ее информацию на сайте для внутреннего пользования.

Пример

Закрывает страницу только для ПС Google

Закрывает страницу только для ПС Яндекс

Неоспоримым преимуществом мета-тегов перед robots.txt выступает возможность закрыть страницу от индексации даже при наличии внешних ссылок. Для этого достаточно применять мега-тег noindex.

Из недостатков применения мета-тегов — если у вас не WordPress, то могут возникнуть проблемы с внедрением. В WordPress вопрос решается установкой плагина Yoast SEO, где каждую страницу можно будет закрыть с помощью мета-тега.

301 редирект

Важно! Внедрение приведет к тому, что контент страницы перестанет быть доступен абсолютно для всех посетителей, в том числе и владельцев сайта.

Суть этого метода заключается в том, что когда пользователь ищет страницу, которой больше не существует, сайт автоматически перенаправляет его на другой URL.

Данный вариант не самый удобный и простой для вебмастера, поскольку в зависимости от CMS отличается и алгоритм работы. Однако с точки зрения пользователя это самый комфортный выход, намного удобнее и приятнее сообщения об ошибке 404.

При желании редирект можно подчинить маркетинговым ухищрениям и перевести пользователя не просто на главную страницу сайта, а на конкретный раздел, в продвижении или активных продажах которого заинтересована администрация.

Такой метод часто применяют при необходимости обработать большое количество устаревших страниц или при полной смене структуры ресурса. Ведь редирект позволяет сохранить позиции в рейтингах поисковиков, благодаря чему усилия по продвижению сайта не пропадают зря.

На переиндексацию в поисковых системах понадобится в среднем 1–3 дня в зависимости от сайта, но только после посещения робота изменения вступят в силу для посетителей ресурса.

Подробнее о настройке 301 редиректа на сайте Devaka.

Удаление вручную через панель вебмастера

Важно! Метод работает для ускорения удаления информации из поисковой системы.

Быстрый (занимает от 8 до 48 часов) способ удалить сайт или страницу из Яндекса или другого поисковика. У каждой системы свой алгоритм в данном случае, но объединяет их одно — необходимость использовать дополнительные методы для закрытия страницы. Это может быть 404-ая ошибка, robots.txt, мега-тег на выбор, но без подобной подготовки не обойтись.

Удалить сайт из поиска google можно через Google Search Console:

  1. Авторизуйтесь на панели инструментов.
  2. Выберите нужный ресурс.
  3. Затем найдите в «Индекс Google» подраздел «Удалить URL-адреса».
  4. Здесь создаем новый запрос на удаление, а после вводим в открывшееся окошко нужную ссылку и нажимаем «Отправить».

В отдельном списке можно следить за статусом запроса. Обычно на удаление из гугловского индекса уходит от 2–3 часов до суток. При желании на деактивацию можно отправить неограниченное количество страниц таким способом.

Своим пользователям система предлагает также и функцию временного (до 90 дней) замораживания страницы.

Аналогичным путём идем и в Яндексе Вебмастре. Инструкция данного поисковика сразу предупреждает о необходимости предварительного запрета на индексирование через robots.txt или мета-теги.

После этого система еще долго будет проверять объект на смену его статуса, и если страница по-прежнему останется недоступной, то робот вычеркнет ее из своей базы.
Чтобы ускорить этот процесс, сразу после внесения изменений в robots.txt или мега-тегах зайдите в свой кабинет на Яндекс. Вебмастере.

Здесь в разделе «Удалить URL» вводите адрес страницы и подтверждаете ее удаление. За день допускается деактивация не более 500 объектов.

Чтобы удалить url из Яндекса понадобится больше времени, чем в случае с Google: от нескольких часов до нескольких дней.

Топ-пост этого месяца:  Введение в язык JavaScript. Синтаксис. Переменные

Инструмент удаления URL отлично подходит для ситуаций, когда срочно необходимо убрать страницы с конфиденциальной информацией или удалить информацию добавленную при взломе сайта.

Удаление всего сайта

Иногда случаются ситуации, когда необходимо убрать не просто несколько страниц из поисковой выдачи, но и полностью весь ресурс.

Сделать это можно при помощи всех вышеуказанных методов + панель вебмастера Google или Яндекса, только необходимо внести изменения в деталях. При удалении всего ресурса на место URL-адреса вносится доменное имя.

Как закрыть весь сайт на этапе разработки?

Закрыть при помощи логина и пароля на сервере. Это лучший выход для сайтов на стадии разработки и для тестовых версий. Алгоритм действий в данном случае зависит от CMS, на базе которой создавался ресурс.

Для того чтобы данный метод заработал, передайте разработчикам чтобы настроили доступ к сайту только по логину и паролю.

Итого

Удалить страницу или даже целый сайт не составит труда для его владельца или администратора. Среди существующих методов каждый может выбрать наиболее удобный вариант для себя. Но если есть необходимость достичь результата в кратчайшие сроки, то лучше использовать несколько способов одновременно.

Остались вопросы? Наша команда поможет в решении вашего вопроса. Оставьте ваш вопрос в заявке.

Google рассказал, как удалить большое количество страниц из индекса

На недавней встрече Д. Мюллера с вебмастерами был затронут вопрос о массовом удалении страниц из индекса. Представитель Google предложил создать временный файл Sitemap, где будут перечислены даты последних изменений нужных страниц.

Вопрос был задан одной из компаний, которая пожаловалась на своего сеошника. Дело в том, что он хотел увеличить позиции в выдаче путем создания сотен тысяч страниц с «мусором», которые не содержат полезную информацию. Когда работа была проделана, компания заметила резкое снижение трафика, поэтому постаралась вернуться к исходному состоянию.

Но это оказалось не так-то просто: за 7 месяцев после принятия всех мер удалось избавиться только от части страниц, после чего процесс замедлился до 2-3 страниц в неделю.

Д. Мюллер пояснил, что следует создать временный файл Sitemap, где указать страницы для удаления и даты последних изменений, чтобы Google увидел необходимость повторной индексации. Такой файл должен храниться несколько месяцев, а позже стерт. О скорости удаления страниц представитель Google не сказал.

Урок 379 Как удалить ненужные страницы из индекса Яндекса и Google. Удаляем “сопли” в поиске

Вам нужен сайт? Тогда создание и продвижение сайтов в Санкт-Петербурге — это то, что вам нужно. Доверьтесь профессионалам.

Привет! Часто мы сталкиваемся с тем, что в результате выдачи нашего сайта бывают «мусорные» страницы. Наиболее правильно удалить страницу из индекса в Яндексе с помощью файла robots.txt, о котором я уже писал. Но, к сожалению, Google игнорирует данный файл и все равно «засовывает» некоторые ненужные страницы в индекс (чаще всего в дополнительный, об этом ниже). Поэтому данный урок посвящен прежде всего Гуглу, но Яндекса тоже мы немного коснемся.

Как узнать, есть ли ненужные страницы («сопли») в индексе?

Ручной режим

Открываем Google и вбиваем туда фразу site:wpnew.ru, где вместо wpnew.ru Вы, конечно, вбиваете свой адрес сайта:

Вообще, чтобы не держать в голове все эти разные операторы разных поисковых систем, я предпочитаю пользоваться RDS bar. Заходим на наш сайт, нажимаем на кнопку «Анализ сайта»:

И там вы увидите, сколько страниц в индексе Яндекса и в Google:

В идеале эти цифры должны быть очень похожими, практически одинаковыми. То есть тут должны примерно те цифры, которые равняются количеству постов на Вашем блоге. Если это интернет-магазин, то посложнее, так как часто бывает необходимость засовывать страницы с фильтрами или др. параметрами в индекс. И Яндекс, и Google «кушают» их по-разному.

В скобках на скриншоте выше вы видите значение «99%» — это показатель того, какой процент находится в ОСНОВНОМ индексе Google. Есть также страницы в дополнительном индексе, в моем случае это 1%. Такие страницы не участвуют в поиске.

В идеале процент основного индекса должен быть равным 100% или стремиться к этому числу. Если у вас этот процент маленький и очень много страниц в дополнительном индексе, не стоит паниковать, рвать и метать, как любят делать это некоторые. Спокойно сделайте действия описанные ниже.

В RDS Bar нажимаем непосредственно на саму цифру:

И открывается Google со страницами, которые в индексе:

Здесь переходим на последние страницы, тыкая на последние предлагаемые страницы:

Если страниц в индексе довольно много, так можно потерять кучу времени, листая страницы в индексе. Поэтому смотрим на URL, который меняется при переходе на другие страницы, там можно увидеть значение start:

И можно заметить следующую последовательность: если мы находимся на 14-ой странице, там отображается цифра 130, если на 15, то цифра 140 и т.д. То есть данное значение будет принимать цифру по этой формуле:

Значение start=№ страницы*10-10

Если нам нужно попасть на 100 страницу, нам нужно в адресную строку после start ввести 990.

Не боимся, вбиваем цифру ту же самую 990, к примеру:

И вы попадете на последние страницы в индексе Google (если это не конец, введите большее число), и там увидите фразу:

По умолчанию вы видите только страницы в индексе, которые располагаются в основном индексе (то есть те страницы, которые несут информативную ценность по мнению Google). Чтобы увидеть, все страницы вместе с дополнительным индексом, кликните по фразе «repeat the search with the omitted results included».

Теперь вас снова должно отбросить на первую страницу. Повторяем шаг выше, чтобы попасть на последние страницы в индексе:

Если посмотреть чуть выше, вы увидите, что страниц было 54, сейчас стало 59. То есть 5 страниц выдачи — это дополнительный индекс Google и данные страницы не несут никакой информационной пользы по мнению Google (чаще всего это дубли страниц, служебные или еще что-то).

Таких страниц может быть просто куча. В одно время у меня было в мусоре более 15 000 страниц. ��

Автоматический режим

Совсем недавно (после написания этой статьи) я написал новый урок про то, как можно автоматически найти ненужные страницы в индексе с помощью программы ComparseR.

Как удалить ненужные страницы с индекса Google

Подстраницы, архивы, метки и пр.

  1. Я настоятельно рекомендую поставить себе плагин WordPress SEO. Про это говорил уже не раз. Это лучший SEO плагин для Вордпресс. В нем переходим во вкладку «SEO» -> «Заголовки и метаданные».
  2. Переходим во вкладку «Таксономии», там в разделе «Метки» ставим галочку напротив «noindex, follow», чтобы исключить из индекса страницы с метками (это, конечно, если вы не продвигаете сайт с помощью меток, как я писал):
  3. Потом переходите во вкладку «Архивы», там ставите галочку напротив «Add noindex, follow to the author archives» и «Add noindex, follow to the date-based archives»:
  4. Дальше переходите во вкладку «Остальное» и ставите галочку «Noindex для подстраниц и архивов»:
  5. Нажимаем «Сохранить изменения».

к оглавлению ↑

Как удалить Replytocom из индекса

Если у вас на сайте древовидные комментарии, в индексе также могут быть страницы с replytocom. Вообще, у меня вместе с ними было 17 000 страниц в индексе, удалив их из индекса на данный момент в Google пока осталось около 2000 страниц. Удалялись долго, почти год. То есть ненужные страницы выпадали по-тихоньку из индекса.

Подобные страницы очень легко удалить с помощью того же самого плагина WordPress SEO by Yoast.

  1. Переходим во вкладку SEO -> Расширенный:
  2. Переходим во вкладку «Постоянные ссылки», там ставим галочку напротив «Удалить переменные ?replytocom»:
  3. Сохраняем изменения и наслаждаемся, как Google начнет сам исключать из индекса подобные страницы.

к оглавлению ↑

Страницы с feed

На некоторых сайтах вообще не нужен RSS. Там есть смысл в его отключении. С помощью RSS может попасть всякий шлак в индекс, подобие этого:

Открываем файл functions.php и туда вставляем вот этот код (вставляем перед закрывающим ?>):

Теперь, если мы увидим страницы вида site.ru/stranica.html/blabla/feed и перейдем на нее, нас перебросит на главную страницу сайта. И Google вскоре исключит подобные страницы из индекса.

Также можно сделать, чтобы перебрасывало не на главную страницу, а на какую-нибудь выбранную (страницу подписки, допустим). Для этого в коде вместо:

где http://site.ru/podpiska — любая страница, которую вы пропишите.

Как удалить сайт из индекса

Бывает необходимость в том, что сайт молодой и нужно поставить запрет на индексацию до того времени, пока не удалятся «стандартные посты», которые не уникальны, не поменяется шаблон на новый и не добавится десяток страниц по теме. Все это, обычно делается для того, чтобы поисковые системы «скушали» сайт и понимали какая тематика его, направление, структура и пр. с самого начала.

Чтобы исключить весь сайт из индекса, добавьте в header.php до закрывающегося head вот этот код:

Это подойдет, если нужно скрыть определенную html страницу тоже. Например, у вас сверстан какой-либо лэндинг на отдельной html странице, отдельно от Вашего шаблона и вам не нужно, чтобы он попал в индекс.

Как ускорить удаление страниц из индекса поисковых систем

Сделанные выше манипуляции исключат появление ненужных страниц в будущем. Старые тоже будут сами «отваливаться» с индекса, но не так быстро, как хотелось бы, если кто-то хочет ускорить процесс и ненужных страниц в дополнительном индексе не так много, то можно поработать немного ручками.

Google

  1. Заходим в панель инструментов Google. Там переходим на наш сайт, вкладка «Индекс Google» -> «Статус индексирования»:
  2. Здесь можно увидеть, как ненужные страницы выпадают из индекса. То есть общее количество страниц в индексе регулярно уменьшается. Чтобы ускорить процесс удаления страниц из индекса, просто переходим во вкладку «Удалить URL-адреса»:
  3. Там нажимаем на кнопку «Создать новый запрос на удаление»:
    Обратите внимание, в robots.txt обязательно должно быть прописано правило, которое запрещает индексировать данное содержимое. То есть то, если вы хотите что-то удалить, URL должен стоять под запретом в robots.txt, иначе страница не удалится из индекса.
  4. Например, у меня в индексе была страница wpnew.ru/category/lichnoe/page/5, ее вставляю в поле и нажимаю «Продолжить»:
  5. В следующем окне, можно выбрать между: удаление только 1 страницы или целого каталога:
  6. Если требуется удалить только страницу, выбираем «Удалить страницу из результатов поиска и из кеша» и нажимаем «Отправить запрос». Вы увидите подобное уведомление:
  7. Повторюсь, должно быть прописано правило в robots.txt, который запрещает индексировать данную страницу. В моем случае это вот это правило:
  8. Также вы можете удалить сразу каталог ненужных страниц из индекса. Для этого вставляем не конкретный URL, а к примеру что-то подобное со «звездочкой»:
  9. Тем самым, удалится целая рубрика и то, что в ней содержится. Обычно страницы пропадают из индекса в течении 1-х суток. Сроки могут достигать и до 1-ой недели.

к оглавлению ↑

Яндекс

В Яндексе принцип такой же. Заходим в «Удалить URL» и там вбиваем URL ненужной страницы, которая попала в индекс Яндекса:

Чтобы страница удалилась из индекса, необходимо, чтобы страница была удалена физически (то есть отдавала 404 ошибку, к примеру), либо также была запрещена к индексации с помощью robots.txt или другими способами. Яндекс также удалит страницу из индекса, правда у нее это происходит обычно дольше, чем с Google.

С помощью программы ComparseR

Все эти «ускорения» по удалению страниц с индекса можно сделать с помощью великолепной программы ComparseR и не нужно будет сидеть и забивать по одному URL в панели вебмастеров. Программа может позволить удалить ненужные страницы за 1-2 минуты. Очень удобно.

Вывод

В этом уроке я продемонстрировал то, как удалить «мусорные» страницы из индекса, их еще называют «сопли». Их удаляться рекомендуется, но не стоит делать целую драму из этого. А то я помню, как многие истерили по поводу replytocom, мол это какая-то ну ОЧЕНЬ серьезная проблема, грубейшая ошибка в SEO. Я бы это так не назвал, это слишком сильное преувеличение. Просто стремитесь к чистоте поиска, чтобы у Вас на сайте было все пушисто и гладко.

Спасибо за внимание, до скорой встречи! Будут вопросы — с радостью отвечу в комментариях. Пока!

Как удалить из индекса Google большое количество веб-страниц

7 июля 2015 Если вы владеете или контролируете контент, который хотите удалить, и хотите удалить его из индекса поиска Google, вы можете использовать официальный инструмент удаления URL адресов Google. Этот инструмент можно найти здесь. Однако, чтобы удалить контент из индекса, вам необходимо сначала удалить его с вашего сайта.

У вас есть контент, который вы хотите удалить из результатов поиска Google и Bing, но вы не знаете, как это сделать. Ниже приведено пошаговое руководство по удалению вашего контента и URL адресов из результатов поиска. На веб сайте была страница, что удалена, возможно у нее был контент, который больше не был полезен.

Это обычная ситуация, хотя, если ваша страница существует некоторое время, в Интернете есть другие страницы, которые ссылаются на вашу страницу. Если это так, вы должны рассмотреть возможность перенаправления 301 для этой страницы.

Сначала удалите контент из видимости поисковой системы

Первый шаг к удалению вашего контента из поисковой системы — сделать его невидимым для поисковых систем. Это может произойти несколькими способами:

1. Сам контент и URL адрес удаляются;
2. Вы устанавливаете страницу без индекса для поисковых систем;
3. Вы 301 перенаправляете страницу;

Давайте рассмотрим эти ситуации более подробно:

Вы устанавливаете страницу без индекса для поисковых систем.

Предположим, вы хотите иметь страницу, которая является благодарностью за заполнение формы. Вы не хотите, чтобы поисковые системы индексировали эту страницу, поскольку у нее нет полезного контента для широкой публики. Тем не менее страница должна быть общедоступной, чтобы можно было поблагодарить людей, заполнивших ваши формы. Спасибо, страницы также распространены для отслеживания конверсий целей в Google Analytics.

301 Перенаправление страницы

Если вы удалили контент и заменили его чем-то лучше, или если вы изменили свой URL адрес, или если ваш контент был на некоторое время, вы должны переадресовать адрес.

Вы не являетесь владельцем контента и хотите его удалить из индекса

Если вы не владеете или не контролируете контент, который хотите удалить, но хотите удалить его из интернета, Google вам не поможет. Google не владеет интернетом, и они просто индексируют его, независимо от того, насколько они сильны.

Если содержание просто нежелательно для вас, вам, вероятно, не повезло. Иногда вы можете связаться с владельцем сайта и удалить контент, но часто они просто будут смеяться. «Это оскорбляет меня, удалите его!» Не является действительной жалобой.

Если вы каким-то образом владеете контентом, например, сайт очистил ваш пост в блоге, украл ваши изображения, защищенные авторским правом, или создал фишинговый сайт, вы можете связаться с владельцем сайта и сообщить им о незаконности использования вами вашего контента. Это нарушение авторских прав, то есть вы можете использовать Google для подачи DMCA и удалить его из своего индекса, а также угрожать судебным иском против того, кто размещает контент.

Если вы не являетесь владельцем контента, который хотите удалить из индекса поиска, вы можете или не сможете его удалить. Средство удаления URL-адресов Google работает только в том случае, если вы являетесь владельцем сайта, поэтому вы не сможете его использовать, где ваши варианты ограничены.

Если контент не существует в Интернете , но все еще существует в индексе поиска или в кешированном индексе, вы можете использовать инструмент «Удалить устаревший контент», чтобы отправить его для удаления. Это, по сути, просто помогает Google в обходе, уведомляя их о том, что страница ушла и должна быть удалена из результатов поиска.

Вы владеете содержимым, которое хотите удалить

Если у вас есть контент — например, он находится на вашем сайте, то вы можете использовать свои инструменты для вебмастеров, чтобы удалить свой контент. Если у вас нет настройки сайта для инструментов для вебмастеров, ознакомьтесь с инструкцией по представлению веб-сайта Google и настройке инструментов для вебмастеров и представлением веб-сайта Bing и инструментами для вебмастеров.

Есть несколько способов сделать это. Первый заключается в заполнении запроса на удаление без постоянного удаления его с вашего сайта.

Для временного удаления вы можете использовать этот инструмент. Другой инструмент предназначен для постоянного удаления. Временная абсорбция длится около 90 дней, после чего содержимое будет переиндексировано, если оно все еще существует в Интернете в видимой форме. Вы можете отменить удаление, отправив запрос reinclude после удаления страницы.

В Google есть несколько рекомендаций по использованию этого инструмента.

— Никогда не используйте его для очистки сломанных страниц, устаревших URL адресов или системных страниц. Google достаточно умен, чтобы удалить их из своего индекса, когда он сканирует их снова, особенно если вы внедрили правильные коды HTTP.

— Никогда не используйте его для очистки страниц, которые наказывают ваш сайт. Эти страницы все еще существуют, так что штраф будет по-прежнему существовать.

— Никогда не используйте его, чтобы попытаться отказаться от вашего сайта и начать все заново. Если ваш сайт полностью меняется, Google автоматически переиндексирует его с нуля. Если вы покупаете и очищаете сайт, внесите изменения и затем подайте запрос на повторную проверку.

— Никогда не используйте его, чтобы скрыть свой сайт после взлома. Есть более подходящие способы борьбы с уязвимым сайтом.

— Никогда не используйте его для «создания» идеальной версии вашего сайта. Канонизация — это правильный инструмент для использования.

— Если вы хотите, чтобы контент был удален постоянно, вам необходимо удалить его с вашего сайта или ограничить доступ Google к нему. Поместите его за экран входа в систему, используя мета директивы для реализации NoIndex или удалив страницу, выполнив эту задачу.

Вы владеете контентом и хотите его удалить из Интернета

Если хотите, чтобы контент удалялся из интернета целиком, чтобы никто не мог получить к нему доступ, даже если у них есть адрес, независимо от того, поступает ли он от Google, можете это сделать. Поскольку у вас есть контроль над страницей, это находится в пределах вашей власти. У вас есть несколько вариантов.

— Поместите содержимое за защищенный паролем экран входа в систему. Если пользователи и Google не могут войти в систему, чтобы увидеть их, это действительно исчезло.

— Удалите контент с вашего сайта. Это в конечном итоге удалит его из индекса и сразу удалит его из Интернета, за исключением кешированных версий в индексе Google или на сайтах, подобных веб архиву. Вам нужно будет связаться с архивом или любым другим сайтом, на котором размещена кэшированная версия, чтобы попросить удалить.
Google через некоторое время удалит его из кэша, или вы можете использовать запрос удаления URL с проверкой «удалить из кеша».

Если вы контролируете страницу, но не владеете ею, например, если ваш контент отображается в Google+ или Google Покупках, вы все равно можете удалить страницу или удалить ее из этого свойства Google. Каждое свойство Google имеет свой собственный процесс, вам нужно будет найти то, что наиболее важно.

Инструмент Google Search Console Удалить URL адреса

Перейдите в свою консоль Google Search, где ранее называемую Инструменты Google для вебмастеров и выберите свое свойство, а затем индекс Google, а затем удалите адрес или просто нажмите здесь, а затем выберите свою собственность.

Отсюда вы сможете временно скрыть адреса, то просто нажмите «Временно скрыть» и введите свой URL. Содержимое будет удалено из результатов поиска Google.

Это будет работать, даже если контент в настоящее время доступен и доступен в интернете. Хорошим примером того, является то, что ей нужны дополнительные обновления, прежде чем захотите, чтобы люди достигли этого. Вы можете позволить людям вернуться на эту страницу позже, просто перейдя в консоль поиска.

www.novichkoff.ru

Создай свой сайт!

Как удалить ненужные страницы из поиска Google

Иногда может сложится такая ситуация, что Вам необходимо удалить ненужные страницы из поиска Google. Например, Вы удалили какие-то страницы со своего сайта, но они все равно остались в выдаче Google, поскольку они находятся у него в кэше (памяти). Или же поисковик сам «сформировал» такие страницы из тэгов, картинок, категорий и т.д. Вашего сайта.

Если таких «лишних» страниц 1-2, да и бог с ними. А если их сотни? И вашему сайту уверенно «светят» фильтры Google, а в дальнейшем возможны и серьезные санкции, вроде бана? Что делать?

Во- первых, вы должны устранить причину появления таких страниц, иначе они будут формироваться Google ежедневно. А в борьбе одинокого индивида с самым могучим поисковиком планеты – как думаете, кто выиграет?

Исходной точкой Ваших рассуждений должна быть простая мысль: если такой ситуации ни у кого нет, а у меня есть, значит, я что-то сделал неправильно. И отправляетесь на форумы за помощью. Надо только как можно понятнее сформулировать проблему.

В любом случае, Вам придется сделать файл robots.txt, где Вы сможете запретить роботам смотреть те или иные страницы, или отдельные элементы этих страниц. Что именно надо писать в этом файле, Вам подскажут на форумах.

А во-вторых, Вам надо убрать «лишние» страницы из поиска и кэша Google. И если с первой проблемой я Вам помочь не могу – слишком много может быть причин и способов их устранения, то со второй проблемой мы сейчас разберемся.

Сначала вот о чем: как узнать, что у Вас есть «лишние» страницы. Проще всего на сервисе http://www.cy-pr.com/ . Переходите на этот сервис и вводите название своего сайта. Смотрите на результаты анализа сайта. Примерно посредине страницы видите раздел «Проиндексированные страницы»:

Чтобы убрать замочки и увидеть количество проиндексированных страниц, необходимо зарегистрироваться. Поднимаетесь вверх и в правой части видите слова «Войти» и «Регистрация». Жмете на «Регистрация», заполняете простенькие графы и теперь с полным правом смотрите на результаты своей деятельности. И радуетесь, если все хорошо, или приходите в ужас, видя цифры, например, 567 / 5, что означает, что в индексе Google находится 567 страниц, из них только 5% не под фильтрами. А реальных страниц на сайте может быть при этом 10-30.

Теперь кликните по цифре 567 и увидите полный перечень страниц, которые есть у Google в кэше. Если кликните по цифре 5, увидите перечень страниц, которые по мнению Google вполне нормальные, т.е. соответствуют представлениям роботов Google о правильных страницах.

Мы сейчас попробуем удалить из поиска и кеша Google самые плохие страницы, на которые ссылки на вашем сайте есть, а самих этих страниц нет, т.е. при попытке попасть на них высвечивается ошибка 404 (Страница не найдена).

Чтобы удалить такие страницы (и вообще — любые), Вы должны зайти на главную страницу Инструментов для веб-мастеров в Google. Кликаете по названию своего сайта и попадаете на Панель инструментов.

В левой части страницы будет меню «Панель инструментов»:

Нажимаете на ссылку «Оптимизация». В появившемся списке выбираете «Удалить URL- адреса». Нажимаем на кнопку «Создать новый запрос на удаление». Появляется окно:

Теперь дам один совет. Для ускорения работы откройте в новой вкладке еще один раз Инструменты для вебмастеров. У вас получится вот так:

Теперь вы можете легко переключаться между страницами Инструментов. Во второй вкладке зайдите на главную страницу Инструментов для вебмастеров. Нажимаете на ссылку «Состояние» и далее на «Ошибки сканироания». В открывшейся странице кликните по квадратику «Не найдено:»

У вас откроется страница, в нижней части которой будет таблица с перечнем не найденных Гуглом страниц (ошибка 404):

Кликаем по названию страницы, открывается окно:

Кликаем по полному URL страницы правой кнопкой мыши и копируем ссылку. Переключаемся на вторую вкладку браузера и вставляем скопированный адрес в окно «Введите URL, который надо удалить» (см. рис. 3). Нажимаем кнопку «Продолжить». Появляется сообщение:

Если мы теперь нажмем на кнопку «Отправить запрос», то увидим

Видите, у нас начала заполняться таблица адресов, ожидающих удаление. Теперь Вы можете еще раз нажать на эту кнопку и внести URL следующей страницы, потом третьей и т.д. Примерно через 5,5-6 часов (по моему опыту) Google удалит эти страницы из поиска и кэша.

Как удалить страницу из индекса Яндекса и Google

Ручное удаление

Чтобы оперативно удалить страницу из поиска, необходимо воспользоваться инструментом Яндекс Вебмастера и Search Console: «Удалить URL».

Перед тем как использовать данные сервисы, настройте 404 код ответа удаляемых страниц или запретите от индексации в файле robots.txt.

В течение нескольких дней после использования сервиса, страницы пропадут из выдачи поисковых систем.

Автоматическое удаление страниц

Если страница отвечает любому из трех условий:

  • Отдает 404 код ошибки.
  • Закрыта от индексации в файле robots.txt.
  • Закрыта от индексации мета-тегом robots.

То со временем она удалится из индекса автоматически.

Недостаток автоматического метода в том, что удаление страниц может затянуться — ожидание повторного переобхода поисковыми роботами. А, если это внутренняя страница с небольшим количеством входящих ссылок, то произойти это может не скоро.

Именно поэтому рекомендуется использоваться ручные сервисы по удалению страниц из индекса.

Ждите новые заметки в блоге или ищите на нашем сайте.

Материал опубликован пользователем.
Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Топ-пост этого месяца:  Edu-Profit — неужели такая идеальная эссейная партнерка
Добавить комментарий