Google удаляет страницы с результатами внутреннего поиска по сайтам

Содержание материала:

Google удаляет страницы с результатами внутреннего поиска по сайтам

Если вы владеете или контролируете контент, который хотите удалить, и хотите удалить его из индекса поиска Google, вы можете использовать официальный инструмент удаления URL адресов Google. Этот инструмент можно найти здесь. Однако, чтобы удалить контент из индекса, вам необходимо сначала удалить его с вашего сайта.

У вас есть контент, который вы хотите удалить из результатов поиска Google и Bing, но вы не знаете, как это сделать. Ниже приведено пошаговое руководство по удалению вашего контента и URL адресов из результатов поиска. На веб сайте была страница, что удалена, возможно у нее был контент, который больше не был полезен.

Это обычная ситуация, хотя, если ваша страница существует некоторое время, в Интернете есть другие страницы, которые ссылаются на вашу страницу. Если это так, вы должны рассмотреть возможность перенаправления 301 для этой страницы.

Сначала удалите контент из видимости поисковой системы

Первый шаг к удалению вашего контента из поисковой системы — сделать его невидимым для поисковых систем. Это может произойти несколькими способами:

1. Сам контент и URL адрес удаляются;
2. Вы устанавливаете страницу без индекса для поисковых систем;
3. Вы 301 перенаправляете страницу;

Давайте рассмотрим эти ситуации более подробно:

Вы устанавливаете страницу без индекса для поисковых систем.

Предположим, вы хотите иметь страницу, которая является благодарностью за заполнение формы. Вы не хотите, чтобы поисковые системы индексировали эту страницу, поскольку у нее нет полезного контента для широкой публики. Тем не менее страница должна быть общедоступной, чтобы можно было поблагодарить людей, заполнивших ваши формы. Спасибо, страницы также распространены для отслеживания конверсий целей в Google Analytics.

301 Перенаправление страницы

Если вы удалили контент и заменили его чем-то лучше, или если вы изменили свой URL адрес, или если ваш контент был на некоторое время, вы должны переадресовать адрес.

Вы не являетесь владельцем контента и хотите его удалить из индекса

Если вы не владеете или не контролируете контент, который хотите удалить, но хотите удалить его из интернета, Google вам не поможет. Google не владеет интернетом, и они просто индексируют его, независимо от того, насколько они сильны.

Если содержание просто нежелательно для вас, вам, вероятно, не повезло. Иногда вы можете связаться с владельцем сайта и удалить контент, но часто они просто будут смеяться. «Это оскорбляет меня, удалите его!» Не является действительной жалобой.

Если вы каким-то образом владеете контентом, например, сайт очистил ваш пост в блоге, украл ваши изображения, защищенные авторским правом, или создал фишинговый сайт, вы можете связаться с владельцем сайта и сообщить им о незаконности использования вами вашего контента. Это нарушение авторских прав, то есть вы можете использовать Google для подачи DMCA и удалить его из своего индекса, а также угрожать судебным иском против того, кто размещает контент.

Если вы не являетесь владельцем контента, который хотите удалить из индекса поиска, вы можете или не сможете его удалить. Средство удаления URL-адресов Google работает только в том случае, если вы являетесь владельцем сайта, поэтому вы не сможете его использовать, где ваши варианты ограничены.

Если контент не существует в Интернете , но все еще существует в индексе поиска или в кешированном индексе, вы можете использовать инструмент «Удалить устаревший контент», чтобы отправить его для удаления. Это, по сути, просто помогает Google в обходе, уведомляя их о том, что страница ушла и должна быть удалена из результатов поиска.

Вы владеете содержимым, которое хотите удалить

Если у вас есть контент — например, он находится на вашем сайте, то вы можете использовать свои инструменты для вебмастеров, чтобы удалить свой контент. Если у вас нет настройки сайта для инструментов для вебмастеров, ознакомьтесь с инструкцией по представлению веб-сайта Google и настройке инструментов для вебмастеров и представлением веб-сайта Bing и инструментами для вебмастеров.

Есть несколько способов сделать это. Первый заключается в заполнении запроса на удаление без постоянного удаления его с вашего сайта.

Для временного удаления вы можете использовать этот инструмент. Другой инструмент предназначен для постоянного удаления. Временная абсорбция длится около 90 дней, после чего содержимое будет переиндексировано, если оно все еще существует в Интернете в видимой форме. Вы можете отменить удаление, отправив запрос reinclude после удаления страницы.

В Google есть несколько рекомендаций по использованию этого инструмента.

— Никогда не используйте его для очистки сломанных страниц, устаревших URL адресов или системных страниц. Google достаточно умен, чтобы удалить их из своего индекса, когда он сканирует их снова, особенно если вы внедрили правильные коды HTTP.

— Никогда не используйте его для очистки страниц, которые наказывают ваш сайт. Эти страницы все еще существуют, так что штраф будет по-прежнему существовать.

— Никогда не используйте его, чтобы попытаться отказаться от вашего сайта и начать все заново. Если ваш сайт полностью меняется, Google автоматически переиндексирует его с нуля. Если вы покупаете и очищаете сайт, внесите изменения и затем подайте запрос на повторную проверку.

— Никогда не используйте его, чтобы скрыть свой сайт после взлома. Есть более подходящие способы борьбы с уязвимым сайтом.

— Никогда не используйте его для «создания» идеальной версии вашего сайта. Канонизация — это правильный инструмент для использования.

— Если вы хотите, чтобы контент был удален постоянно, вам необходимо удалить его с вашего сайта или ограничить доступ Google к нему. Поместите его за экран входа в систему, используя мета директивы для реализации NoIndex или удалив страницу, выполнив эту задачу.

Вы владеете контентом и хотите его удалить из Интернета

Если хотите, чтобы контент удалялся из интернета целиком, чтобы никто не мог получить к нему доступ, даже если у них есть адрес, независимо от того, поступает ли он от Google, можете это сделать. Поскольку у вас есть контроль над страницей, это находится в пределах вашей власти. У вас есть несколько вариантов.

— Поместите содержимое за защищенный паролем экран входа в систему. Если пользователи и Google не могут войти в систему, чтобы увидеть их, это действительно исчезло.

— Удалите контент с вашего сайта. Это в конечном итоге удалит его из индекса и сразу удалит его из Интернета, за исключением кешированных версий в индексе Google или на сайтах, подобных веб архиву. Вам нужно будет связаться с архивом или любым другим сайтом, на котором размещена кэшированная версия, чтобы попросить удалить.
Google через некоторое время удалит его из кэша, или вы можете использовать запрос удаления URL с проверкой «удалить из кеша».

Если вы контролируете страницу, но не владеете ею, например, если ваш контент отображается в Google+ или Google Покупках, вы все равно можете удалить страницу или удалить ее из этого свойства Google. Каждое свойство Google имеет свой собственный процесс, вам нужно будет найти то, что наиболее важно.

Инструмент Google Search Console Удалить URL адреса

Перейдите в свою консоль Google Search, где ранее называемую Инструменты Google для вебмастеров и выберите свое свойство, а затем индекс Google, а затем удалите адрес или просто нажмите здесь, а затем выберите свою собственность.

Отсюда вы сможете временно скрыть адреса, то просто нажмите «Временно скрыть» и введите свой URL. Содержимое будет удалено из результатов поиска Google.

Это будет работать, даже если контент в настоящее время доступен и доступен в интернете. Хорошим примером того, является то, что ей нужны дополнительные обновления, прежде чем захотите, чтобы люди достигли этого. Вы можете позволить людям вернуться на эту страницу позже, просто перейдя в консоль поиска.

Как конкуренты избавляются от ваших сайтов в выдаче Google?

К такому выводу пришли интернет-порталы Torrentsfreak и Mashable. По их наблюдениям, в последнее время значительно активизировались мошенники, которые, прикрываясь законом об авторском праве в интернете (DMCA), пытаются избавиться от конкурентов в Сети. То есть, пытаются манипулировать поисковой выдачей Google себе во благо.

Алгоритм их действий примерно следующий. Они пишут в Google письмо-жалобу, в котором настоятельно просят удалить из результатов поиска десятки, а то и сотни страниц, на которых встречается тот или иной контент (чаще всего это текст, фото или видео). Естественно, что такие «борцы за справедливость» представляются единственными правообладателями, например, уполномоченными сотрудниками компаний Netflix, Disney, Paramount и т.д.

В результате таких нападок Google очень часто без особого разбора удаляет из своей выдачи сотни ссылок одного сайта. Описанное выше практикуется SEO-мошенниками во всем мире. Русскоязычный сегмент Сети в этом смысле не исключение. Более того, с апреля 2020 года активность таких злоумышленников заметно возросла:

Конечно, стать жертвой такого обмана не очень приятно, мягко скажем. Однако не стоит преждевременно посыпать голову пеплом. Всегда можно заполнить заявку для Google, в которой аргументировано обосновать отсутствие повода для удаления ссылок из SERP. Практика доказывает, что спустя некоторое время после такого контробращения несправедливо удаленные страницы возвращаются в поиск Google.

А вы сталкивались с описанной выше проблемой?

Еще не зарегистрированы?

Хотите доминировать в результатах поиска Google? Тогда ваша стратегия должна включать нечто больше, чем просто анализ ключевых слов и «подкованную» кампанию AdWords. Чтобы максимально использовать присутствие в Google, нужно поработать с результатами поисковой выдачи – Google SERP и заставить пользователей обращать внимание на ваш сайт, что принесет желаемый трафик. Это важный, но часто игнорируемый аспект SEO. Верите или нет, но если немного оптимизировать вывод сайта в поисковой выдаче, то вполне возможно, со временем Вы окажетесь в ТОПе. Собственно, перед вами подробное руководство как оптимизировать результаты в поисковой выдаче Google.

Title

Не секрет, что названия страниц могут сильно влиять на поведенческий фактор и, собственно говоря, на кликабельность веб-страниц в результатах поиска. Но знаете ли вы, что Google не всегда показывает оригинальный Title веб-страниц? Название, которое появляется в результатах поиска, может зависеть от нескольких факторов. Google ищет заголовки — короткие и релевантные поисковым запросам пользователей. Чаще всего заголовки результатов поисковой выдачи используют оригинальный тег заголовка страницы — Title, они также могут извлекать релевантный текст из содержимого страницы и выводить его на месте Title. Поэтому, постарайтесь создавать короткий и точный Title, чтобы он отвечал контексту страницы.

Если, например, Title будет не релевантный, не будет характеризировать текст на странице, то поисковая машина вырвет кусок из контекста и покажет его вместо оригинального Title.

А знали вы, что заголовок страницы обрезается в результатах поиска Google? Возможно, вам придется сократить его. Максимальная длина для Title — 600 пикселей, что составляет около 70 символов (78 для мобильных устройств); в противном случае Google усечет его, поставив троеточие в конце.

URL

Возможно, вы замечали, что Google иногда пропускает части длинных URL. Google усекает URL-адреса страниц, удаляя их средние разделы, даже если URL-адрес — только одна строка. Используйте короткие, но значимые URL, когда это возможно, чтобы максимально увеличить их влияние на поисковые запросы Google и страницы результатов поиска.

Помимо того, в сниппетах веб-страниц поисковик может выводить и «хлебные крошки» — внутреннюю иерархическую структуру ссылок сайта, на основе навигации на странице. Но есть одно «но» — хлебные крошки должны быть помечены с помощью семантической разметки (например, Schema.org).

Результаты поиска также могут включать отметки времени – дата публикации или дата последнего обновления, которые Google извлекает из страницы материала. Это распространенная практика для издателей новостей, блогов и других сайтов, которые хотят обратить внимание на свежесть их контента и указать дату публикации или дату последнего обновления.

Чтобы интегрировать эту фишку, вам нужно добавить отметку времени в код страницы. Вы можете использовать плагин W3 Total Cache для WordPress, в коде появится строчка: Served from user @ 2020-03-03 17:15:25.

Вы также можете добавить тег времени на странице вручную, без плагина, используя разметку структурированных данных. В противном случае Google будет использовать дату публикации, которую найдет на вашей странице.

Ниже приведен пример структурированных данных HTML разметки:

Читайте также: Как использовать Google Keyword Planner в 2020 году?

Кэш страницы

Ссылка на кэшированную копию страницы может служить резервной копией, если страница удалена, временно недоступна или не загружается. Это снимок, который Google берет на каждой странице и добавляет в кэш. В последние годы Google внес изменения в местоположение ссылки кэша. Кэшированные ссылки теперь расположены рядом с URL-адресом в зеленой стрелке вниз.

Кэшированная ссылка будет отсутствовать для сайтов, которые не были проиндексированы, а также для сайтов, владельцы которых попросили Google не кэшировать их содержимое. Владельцы могут также блокировать кэширование своей страницы с помощью тега meta-robots «noarchive». Какая польза от него? Во-первых, иногда стоит запретить поисковику создавать кэшированные копии своих страниц, т. к. люди могут воровать контент с закэшированной страницы, даже если вы заблокировали ее на своем сайте. Сайты с платным контентом часто блокируют кэш страниц, чтобы их контент не просматривался бесплатно. Но кэширование никак не влияет на общий рейтинг страницы в поисковой выдаче.

Читайте также: Советы по SEO на WordPress.

Сниппеты

Сниппет — это описание страницы в поисковой выдаче, которое отображается под заголовком Title. Google может получить сниппет из тега meta description или просто из текста на странице материала. Опять-таки, вывод сниппета основан на запросе и может быть изменен путем поиска по ключевым словам.

Например, по запросу «meta description» в результатах поиска Google получим сниппет для сайта yoast.com:

А по запросу «160 character snippet» получим в поисковой выдаче сниппет по той же странице, но уже в другом виде:

В настоящее время, Google увеличил длину сниппета — со 160 символов до 230. По наблюдениям специалистов, работающих с поисковой выдачей Google, в отдельных случаях длинна сниппета может достигать и 300 символов. Как рассказали в Google, нововведение было запущено с целью предоставления более описательных и полезных сниппетов, чтобы людям было понятнее, насколько страницы релевантны их запросам. Оно затронули десктопную и мобильную выдачу.

Эксперт Google Джон Мюллер прокомментировал это так: «Конечно, содержание сниппета в результатах поиска далеко не всегда зависит от тега Description. В большинстве случаев сниппет формируется поисковой системой динамически с учетом содержания конкретной страницы и поискового запроса. Но! Если вы хотите попытаться повлиять на то, как выглядит сниппет вашего ресурса в выдаче Google, вы не просто можете, но и должны пересмотреть длину соответствующего тега в сторону его увеличения».

Известный сервис мониторинга RankRanger также фиксирует изменения в поисковой выдаче и приводит инфографику на своем сайте.

Фактический предел, с точки зрения общей ширины пикселей, теперь увеличился с 928 до 1500> пикселей (на основе данных Screaming Frog SEO). Напомню, что поисковик использует шрифт 13px Arial. Если сниппеты превысят этот предел они будут усечены и заканчиваются троеточием.

Часто Google предпочитает не использовать мета-описание в пользу более релевантного текстового фрагмента, размещенного на странице. Этот фрагмент может появиться из любой точки вашей страницы (включая даже подвалы), поэтому важно уделять пристальное внимание оптимазиции страницы в целом, особенно в отношении релевантных ключевых слов.

Тем не менее, все равно стоит тщательно обрабатывать мета-описание. Во многих случаях Google по-прежнему будет показывать качественный meta description для популярных поисковых запросов. Что такое качественное мета-описание? Это грамотно составленное описание веб-страницы, которое включает высокочастотные поисковые запросы и позволяет избежать избыточной информации, такой как повторение названия страницы Title. Поскольку сниппет основан на запросах, вам необходимо включить популярные и релевантные поисковые запросы как в ваше мета-описание, так и в ваш контент на странице.

Также есть моменты, когда сниппет не появляется. Почему это происходит? Это связано с тем, что этот URL-адрес веб-страницы заблокирован с помощью запрета в системном файле сайта robots.txt — в таких случаях Google отображает сообщение в месте сниппета, в котором говорится: «Описание этого результата недоступно из-за файла robots.txt этого сайта». Также бывает на сайте есть технические проблемы, из-за которых поисковик не может прочитать мета-описание в html-коде страницы:

Вы можете предотвратить такую ситуацию с помощью тега noindex в коде страницы вместо disallow в robots.txt. Таким образом, Google может сканировать страницу, но не добавляет ее в свой индекс поисковой системы и не отображает в результатах поиска.

И наоборот, вы можете отказаться от сниппетов, используя тег на своей странице.

Читайте также: Что такое маркерный запрос

Быстрые ссылки

Быстрые ссылки Google — это дополнительные ссылки, которые отображаются в поисковой выдаче под сниппетом и ведут на внутренние страницы сайта. Например, по запросу «rush analytics», пользователь увидит результат:

Быстрые ссылки позволяют оценить семантическую структуру сайта прямо в результатах поиска и сразу перейти по ним. Такой вывод позволяет на 20-50% увеличить кликабельность и улучшить узнаваемость самого сайта. Google самостоятельно формирует быстрые ссылки для сайта — они появляются не сразу, а только со временем и создаются на основе правильной структуры сайта, хорошо оформленных внутренних ссылок на наиболее релевантный и популярный контент. Google позволяет вывести до 6 автоматических дополнительных ссылок, но если сайт плохо оптимизирован – они не появятся. Только веб-сайты с четкой иерархией и структурой и уникальным контентом, скорее всего, будут иметь дополнительные ссылки.

Топ-пост этого месяца:  Сколько тратит Дуров на содержание мессенджера

Поле поиска

Кроме дополнительных ссылок, Google дает возможность вывести дополнительное поле для внутреннего поиска по сайту, расположенное над быстрыми ссылками. Например, по запросу «New York Times» мы получим вот такой результат:

Если вы хотите, чтобы поле поиска выводилось рядом со сниппетом в результатах Google, вам нужно использовать структурированные данные на своем веб-сайте.

Выводы

Небольшие изменения в результатах поиска могут оказать большое влияние на трафик, кликабельность, конверсию сайта. Но нужно также учитывать, поиск Google — постоянно развивается, поэтому существующие сегодня правила могут не действовать завтра. В настоящее время вы можете следовать этому руководству, чтобы помочь улучшить свое присутствие в результатах поиска Google.

Вам также будет интересно:

Google автоматически удаляет страницы поиска по сайту из выдачи

В руководстве Google для вебмастеров указано, что страницы с результатами внутреннего поиска по контенту сайта не следует допускать в индекс. Они не несут полезной нагрузки и лишь путают пользователей. Тем не менее, некоторые вебмастера считают такие страницы ценным активом для продвижения и не блокируют доступ к ним. Это вынудило Google разработать специальный алгоритм отсева, который удаляет результаты поиска из индекса. Об этом рассказал Гэри Илш, специалист компании.

В случае, если спамная страница с локальной выдачей сайта всё же попадает в индекс, на неё могут пожаловаться или асессоры самостоятельно заметят её и удалят. Естественно, при этом оптимизируются и алгоритмы, чтобы в дальнейшем распознавать подобных хамелеонов без участия людей.

Этим рассказом Илш напомнил, что не следует уделять оптимизации внутренних поисковых страниц какое-либо внимание. Им не место в выдаче глобальных поисковых систем, а для пользователей они выступают скорее мусором, чем полезным контентом.

Как удалить страницу из поисковой выдачи

Случаются ситуации когда владельцу бизнеса необходимо удалить страницу из поиска Google или Яндекса. Иногда ресурс попадает в выдачу по ошибке или информация на нем теряет свою актуальность. Но хуже всего, когда поисковики выдают служебные страницы с конфиденциальными данными клиентов.

Чтобы избежать подобных ситуаций, необходимо знать, как удалить страницу или раздел сайта из индекса.

Существует несколько способов для этого в зависимости от поисковой системы. Давайте рассмотрим все плюсы и минусы каждого из вариантов.

Перед выбором метода определитесь:

  • нужно удалить доступ к странице только из поисковиков;
  • нужно удалить доступ абсолютно для всех.

Ошибка 404

Важно! Это самый простой метод в исполнении, однако время удаления информации из поисковой выдачи может занять до 1 месяца. Удаляет страницу как из поисковой системы так и с сайта в целом.

Периодически при поиске определенной информации пользователь сталкивается с сообщением об ошибке 404 — «Страница не найдена». Именно к такому результату ведет фактическое удаление страницы сайта.

Делается это путем удаления страницы в административной панели сайта. На языке поисковых машин происходит настройка сервера, которая обеспечивает http-статус с кодом 404 not found для определенного URL. При очередном посещении поискового робота, сервер сообщает ему об отсутствии документа.

После этого поисковая система понимает что страница более не доступна и удаляет ее из поисковой выдачи, чтобы пользователи не попадали из поиска на страницу ошибки 404.

У такого метода есть свои особенности:

  • Простота: настройки проводятся всего в несколько кликов.
  • Страница полностью исчезает из сайта, поэтому если необходимо просто скрыть от выдачи конфиденциальную информацию, то лучше обратиться к другим методам.
  • Если на страницу, которую нужно скрыть, имеются входящие ссылки то эффективнее будет настроить 301 редирект.
  • Непосредственно к выпадению страницы из поиска приводит не ее удаление из сайта, а последующая за этим индексация. В среднем необходимо от 1–2 дня до месяца, чтобы робот посетил ресурс и отпинговал страницу.

Если для вебмастера этот вариант — один из самых простых и удобных, то посетителю сайта сообщение об ошибке 404 редко доставляет удовольствие. В некоторых случаях оно может привести к тому, что клиент больше не вернется на этот ресурс.

Чтобы избежать подобных последствий, сегодня все чаще вебмастера стараются креативно оформить страницу с ошибкой 404 или разместить там информацию, предложения, что могут заинтересовать пользователя. Такая политика делает сайт более дружелюбным для клиента, способствуя росту его популярности.

Robots.txt

Важно! Данный метод не удаляет страницу из поиска, а только скрывает ее из результатов. Страница остается доступной для просмотра из других каналов трафика.

Довольно распространенный способ избавиться от отдельных объектов и целых разделов. Через robot.txt предоставляется как разрешение, так и запрет на индексацию, поэтому неудивительно, что на тему алгоритмов удаления страниц таким образом создано много полезных инструкций в Интернете, например у Devaka. Но в их основе один принцип: использование директивы Disallow.

Чтобы запретить сканирование страницы поисковыми системами, нужно иметь доступ к корневой папке домена. В противном случае придется использовать мета-теги.

Содержание файла robots.txt может включать лишь две строки:

  • User-agent: сюда вносится название робота, к которому требуется применить запрет (наименование можно брать из Базы данных сканеров, но в случае, но если вы хотите в будущем закрывать страницу от всех, то просто используйте «User-agent: *»);
  • Disallow: в этой директиве указывается непосредственно адрес, о котором идет речь.

Именно эта пара формирует собой команду по отношению к определенному URL. При необходимости в одном файле можно запретить несколько объектов одного сайта, что будут абсолютно независимы друг от друга.

После закрытия страницы или раздела через robots.txt необходимо дождаться очередной индексации.

Здесь стоит отметить, что для поисковых систем действие в robots.txt лишь рекомендация, которых они не всегда придерживаются. Даже в случае выполнения этого указания ресурс по-прежнему будет появляться в выдаче, но уже с надписью о закрытии через robots.txt.

Лишь со временем, если статус объекта в файле не поменяется, то поисковики уберут его из своей базы.

В любом случае доступными для просмотра удаленные объекты останутся при переходе по внешним ссылкам, если таковые имеются.

Мета-тег robots

Важно! Данный метод удаляет страницу из поисковых систем, но страница остается доступной для просмотра из других каналов трафика.

В какой-то мере этот вариант называют альтернативой предыдущего, только здесь работа ведется в html-коде среди тегов head:

После введения команды необходимо дождаться очередной индексации ресурса, после которой изменения вступят в силу.

Чем хорош этот метод?

Через мета-теги можно удалить url из Google или Яндекс как для одной страницы, так и сразу для целого перечня. При этом файл robots.txt останется простым. Этот вариант рекомендуется для начинающих специалистов, что работают шаг за шагом, создавая новые страницы сайта.

Интересный факт! С помощью данного метода можно удалить страницу из одной поисковой системы и оставив в остальных.

Закрыть страницу через мега-теги — лучший способ удалить страницу из индекса Google, оставив ее активной в Яндекс при необходимости. Также рекомендуется использовать этот метод в ситуациях, когда нужно убрать страницу из индекса, сохранив при этом ее информацию на сайте для внутреннего пользования.

Пример

Закрывает страницу только для ПС Google

Закрывает страницу только для ПС Яндекс

Неоспоримым преимуществом мета-тегов перед robots.txt выступает возможность закрыть страницу от индексации даже при наличии внешних ссылок. Для этого достаточно применять мега-тег noindex.

Из недостатков применения мета-тегов — если у вас не WordPress, то могут возникнуть проблемы с внедрением. В WordPress вопрос решается установкой плагина Yoast SEO, где каждую страницу можно будет закрыть с помощью мета-тега.

301 редирект

Важно! Внедрение приведет к тому, что контент страницы перестанет быть доступен абсолютно для всех посетителей, в том числе и владельцев сайта.

Суть этого метода заключается в том, что когда пользователь ищет страницу, которой больше не существует, сайт автоматически перенаправляет его на другой URL.

Данный вариант не самый удобный и простой для вебмастера, поскольку в зависимости от CMS отличается и алгоритм работы. Однако с точки зрения пользователя это самый комфортный выход, намного удобнее и приятнее сообщения об ошибке 404.

При желании редирект можно подчинить маркетинговым ухищрениям и перевести пользователя не просто на главную страницу сайта, а на конкретный раздел, в продвижении или активных продажах которого заинтересована администрация.

Такой метод часто применяют при необходимости обработать большое количество устаревших страниц или при полной смене структуры ресурса. Ведь редирект позволяет сохранить позиции в рейтингах поисковиков, благодаря чему усилия по продвижению сайта не пропадают зря.

На переиндексацию в поисковых системах понадобится в среднем 1–3 дня в зависимости от сайта, но только после посещения робота изменения вступят в силу для посетителей ресурса.

Подробнее о настройке 301 редиректа на сайте Devaka.

Удаление вручную через панель вебмастера

Важно! Метод работает для ускорения удаления информации из поисковой системы.

Быстрый (занимает от 8 до 48 часов) способ удалить сайт или страницу из Яндекса или другого поисковика. У каждой системы свой алгоритм в данном случае, но объединяет их одно — необходимость использовать дополнительные методы для закрытия страницы. Это может быть 404-ая ошибка, robots.txt, мега-тег на выбор, но без подобной подготовки не обойтись.

Удалить сайт из поиска google можно через Google Search Console:

  1. Авторизуйтесь на панели инструментов.
  2. Выберите нужный ресурс.
  3. Затем найдите в «Индекс Google» подраздел «Удалить URL-адреса».
  4. Здесь создаем новый запрос на удаление, а после вводим в открывшееся окошко нужную ссылку и нажимаем «Отправить».

В отдельном списке можно следить за статусом запроса. Обычно на удаление из гугловского индекса уходит от 2–3 часов до суток. При желании на деактивацию можно отправить неограниченное количество страниц таким способом.

Своим пользователям система предлагает также и функцию временного (до 90 дней) замораживания страницы.

Аналогичным путём идем и в Яндексе Вебмастре. Инструкция данного поисковика сразу предупреждает о необходимости предварительного запрета на индексирование через robots.txt или мета-теги.

После этого система еще долго будет проверять объект на смену его статуса, и если страница по-прежнему останется недоступной, то робот вычеркнет ее из своей базы.
Чтобы ускорить этот процесс, сразу после внесения изменений в robots.txt или мега-тегах зайдите в свой кабинет на Яндекс. Вебмастере.

Здесь в разделе «Удалить URL» вводите адрес страницы и подтверждаете ее удаление. За день допускается деактивация не более 500 объектов.

Чтобы удалить url из Яндекса понадобится больше времени, чем в случае с Google: от нескольких часов до нескольких дней.

Инструмент удаления URL отлично подходит для ситуаций, когда срочно необходимо убрать страницы с конфиденциальной информацией или удалить информацию добавленную при взломе сайта.

Удаление всего сайта

Иногда случаются ситуации, когда необходимо убрать не просто несколько страниц из поисковой выдачи, но и полностью весь ресурс.

Сделать это можно при помощи всех вышеуказанных методов + панель вебмастера Google или Яндекса, только необходимо внести изменения в деталях. При удалении всего ресурса на место URL-адреса вносится доменное имя.

Как закрыть весь сайт на этапе разработки?

Закрыть при помощи логина и пароля на сервере. Это лучший выход для сайтов на стадии разработки и для тестовых версий. Алгоритм действий в данном случае зависит от CMS, на базе которой создавался ресурс.

Для того чтобы данный метод заработал, передайте разработчикам чтобы настроили доступ к сайту только по логину и паролю.

Итого

Удалить страницу или даже целый сайт не составит труда для его владельца или администратора. Среди существующих методов каждый может выбрать наиболее удобный вариант для себя. Но если есть необходимость достичь результата в кратчайшие сроки, то лучше использовать несколько способов одновременно.

Остались вопросы? Наша команда поможет в решении вашего вопроса. Оставьте ваш вопрос в заявке.

Как удалить нежелательную информацию из результатов поиска Google

Если Вы, уважаемый читатель, всерьёз оберегаете доброе имя своего бренда в социальных сетях ― попробуйте ради интереса «погуглить» свою компанию. Обратите внимание не только на общую выдачу, но и на раздел «Картинки».

Если всё идёт хорошо ― первые 30 результатов будут о Вашем проекте, причём все как один ― положительные и укрепляющие Ваши позиции.

Но, к сожалению, довольно часто в выдачу пролезают результаты, которые хотелось бы удалить. Обычно это что-то отрицательное или не имеющее отношения к Вашему бренду или информация, о которой вы не хотели бы сообщать (например, сведения о крупных сделках или о взаимодействии с политическими движениями). Такие результаты поиска совершенно не работают на укрепление позиций Вашего бренда.

Как избавиться от нежелательной позиции в выдаче? Можно миллион раз кликнуть по ссылке, которая идёт следующей ― и, возможно, Google поймёт свою ошибку, снизив рейтинг того URL, который вы не хотите видеть. Но это малоэффективный и сильно трудозатратный способ. Вы также можете выложить побольше свежего и актуального контента в социальных сетях, но придётся очень потрудиться, чтобы снизить рейтинг «вредной» страницы. К тому же это займёт много времени. Можете нанять хорошего маркетолога, чтобы он создавал нужный контент, но будьте готовы раскошелиться. Так как же без лишних затрат удалить негативную для вашего имиджа страницу из кэша поисковой системы Google?

Есть несколько других ― более простых ― способов избавиться от нежелательных результатов выдачи Google.

1. Как удалить кэшированную копию страницы

Google позволяет любому пользователю сделать запрос на удаление копии страницы, сохранённой в кэше. Допустим, Вы обновили какую-либо информацию на сайте ― добавили отзыв клиента или заменили картинку, ― но старая страница так и «висит» в результатах поиска. Удалить ненужную копию очень легко, нужно только следовать инструкции. Обратите внимание, что эта процедура применима только к HTML-страницам. Другие файлы (в формате DOC или PDF) в случае изменений нужно полностью удалять с веб-сайта.

Шаг 1. Зайдите на страницу Google «Инструменты для веб-мастеров. Удаление содержания».
Шаг 2. Нажмите «Создать новый запрос на удаление».
Шаг 3. Введите URL страницы, которая была изменена (не ссылку на страницу выдачи и не ссылку на кэшированную страницу!) Кроме того, URL чувствителен к регистру, поэтому используйте в точности те же символы, что и на сайте.
Шаг 4. Нажмите «Продолжить».
Шаг 5. Выберите причину «Содержание страницы изменилось, поэтому версия, сохранённая в кэше Google, является устаревшей».
Шаг 6. Введите слово, которое присутствует на кэшированной странице и которого нет в текущей версии. Это нужно для того, чтобы Google понял, что страница была изменена. Лучше написать одно слово, а не фразу. Не нужно описывать удалённый контент или объяснять сделанные изменения: просто дайте одно слово, которое было в устаревшей версии страницы. Например, если на странице было указано ваше имя, а затем оно было удалено, не нужно писать «убрали моё имя». Просто введите его («Василий»), поскольку оно содержится в кэшированной копии.
Шаг 7. Нажмите «Удалить версию страницы, сохранённую в кэше».

2. Как удалить контент с чужого сайта из результатов поиска Google

Google позволяет удалять контент в трёх случаях: если этого требует закон, либо если дело касается личной информации или устаревших данных.

● Если вы хотите сообщить, что какой-либо контент должен быть удалён из Google из-за нарушения закона, зайдите на страницу «Удаление содержания из Google». Выберите продукт (например, «Веб-поиск») и тему вашего запроса (нарушение авторских прав, незаконное использование товарного знака и др.)

● Если вы обеспокоены появлением ваших личных данных в результатах поиска Google, откройте страницу «Проблемы с веб-поиском» и выберите подходящие варианты. Вам будут даны рекомендации по решению Ваших вопросов.

● Если какие-либо картинки, страницы или сайты были удалены, но всё ещё появляются в поисковой выдаче, это может означать, что Google ещё не проиндексировал сайт и не узнал об изменениях. В ожидании обновления баз Google можно воспользоваться «инструментом для веб-мастеров «Удаление содержания»». Механизм запроса тот же, что и при удалении кэшированной копии (как в пункте 1), только в качестве причины выбирайте «Страница была удалена из поисковых систем или доступ поисковых роботов к ней был заблокирован».

3. Как удалить картинку из результатов поиска Google

Чтобы запросить удаление изображения из результатов поиска, вам понадобится точный URL картинки, которую вы хотите удалить.

Шаг 1. Кликните по картинке на странице результатов поиска.
Шаг 2. Кликните «Открыть в полном размере» и скопируйте адрес ссылки.
Шаг 3. Вставьте ссылку в текстовый файл, чтобы она была у вас под рукой, когда будете использовать какой-либо инструмент для удаления.

«Google.Картинки» ― это не источник изображений как таковой, а система их поиска. Поэтому лучший способ исключить картинку из выдачи ― это удалить её с сайта, на котором она размещена. Если вы владелец сайта, то можете самостоятельно удалить изображения или использовать файл robots.txt, чтобы заблокировать индексацию поисковыми роботами Google. Если изображение размещено на чужом сайте, вы можете связаться с его веб-мастерами и попросить об удалении контента. Когда изменения будут произведены, при следующей индексации картинка исчезнет из результатов поиска.

В отдельных случаях, к примеру, если использование изображения нарушает ваши авторские права, вы можете отправить запрос на удаление контента в «проблемах с веб-поиском» и «инструментом для веб-мастеров», описанных выше.

P.S. Чтобы обезопасить себя от воровства текстов, воспользуйтесь нашими советами по защите контента ― страховкой от лишних разбирательств с недобросовестными сайтами.

Текст подготовлен по мотивам публикации: «Your Brand: How To Get Rid Of Unwanted Search Engine Results» (англ.)

Как отслеживать внутренний поиск по сайту

Из отчета «Поиск по сайту» можно многое узнать. Например, как часто и что именно пользователи ищут на вашем сайте. Эти данные помогут узнать, удобен ли ваш сайт для пользователей или нет.

Если в отчете на первом месте — запрос популярного товара, то, скорее всего, этот товар клиенты не могут найти в категории. Поэтому нужно проанализировать структуру сайта: возможно, стоит создать раздел «Популярное» и добавить туда товар из поискового запроса. Или же нужно просто поднять выше в списке категорий товар либо выделить его среди других позиций.

Как настроить поиск по сайту в Google Analytics

Отслеживание поиска по сайту настраивается на уровне представления.

Для этого в Google Analytics в разделе «Администратор» необходимо выбрать нужное представление и нажать «Настройки представления».

В разделе «Настройки поиска по сайту» установите переключатель в положение «Включить».

Далее в поле «Параметр запроса» укажите параметр, который используется для поиска по сайту.

У меня это буква «q». Параметром может быть не только буква «q» или «s», но и слова. Например: search, query, keywords, term. Всего можно ввести до пяти параметров через запятую.

В настройках параметра запроса можно указать, следует ли Google Analytics удалять параметры запроса из URL.

Если вы не поставите галочку, то результаты поиска будут отображаться с параметрами, например как тут.

Также можно настроить «Категории поиска по сайту». Если на сайте доступны уточнения поиска, эту информацию можно добавить в отчеты. Например, пользователи могут искать по запросу «Шуруповерт» в категории «Инструменты».

Если это вам не нужно, поставьте переключатель в положение «Отключить». Нажмите «Сохранить».

Как настроить отслеживание поиска по методу POST через Google Tag Manager

Выше мы рассмотрели пример настройки для сайтов у которых поиск реализован через метод GET, но есть сайты, у которых поиск настроен по методу POST.

Топ-пост этого месяца:  Программисты Яндекса создали новый графический алгоритм

Разница в том, что при методе GET отправляется вся собранная информация как часть URL https://site.com/result/?q=keyword

При методе POST данные передаются так, что пользователь их не видит и URL будет выглядеть так: https://site.com/search_results.php

Настроить поиск по сайту на основе POST можно одним из способов:

  • чтобы в конец URL добавлялись ключевые слова запроса (например, https://site.com/search_results.php?search=keyword) и далее уже настраивать отслеживание, которые мы уже рассмотрели выше;
  • настроить код отслеживания на странице результатов поиска так, чтобы он динамически создавал виртуальный путь к странице и включал запрос
    analytics.js: ga(‘send’, ‘pageview’, ‘/search_results.php?search=keyword’);

Эти варианты подразумевают обращение к программистам, но чтобы сэкономить время, воспользуемся любимым инструментом всех интернет-маркетологов — Google Tag Manager.

1. Создать переменную

Создайте переменную Search URL. Для примера возьмем h1 «Результаты поиска для ‘влагомер’». Напишите функцию, которая экспортирует значения поискового запроса из заголовка.

С помощью метода document.getElementsByTagName(‘h1’)[0].textContent получите h1, а потом с помощью метода slice укажите, с какого символа начинается поисковый запрос

Индекс первого символа строки — 0, а значение «-1» указывает, что нужно выделить все, кроме последнего символа.

В итоге у нас получилось так:

Создайте функцию, которая будет возвращать ‘?search=’, склеенное с полученным значением. Потом запишите эту строку в переменную «Search URL», которую можно использовать в любом месте внутри текущего контейнера GTM.

В GTM выберите типом переменной собственный код JavaScript и вставьте код:

2. Создать тег

Для тега с типом «Universal Analytics» нужно указать поле «page» со значением переменной «Search URL», которую вы создали раньше.

3. Создать триггер

Для триггера «Search URL» выберите тип «Просмотр страницы» и поставьте условие активации «Page Path» (начинается с «/search/»), чтобы триггер работал только на странице поиска.

Готово! Дальше настройте поиск уже известным способом в интерфейсе GA.

Как узнать данные результатов внутреннего поиска на сайте

Данные поиска по сайту доступны в отчетах «Поведение» — «Поиск по сайту».

Также в разделе «Поиск по сайту» доступен отчет «Использование»: можно увидеть, сколько пользователей из общего числа посетителей пользуется поиском.

Как отслеживать результаты пустого поиска

Ну а теперь бонус: рассмотрим пример настройки отслеживания результатов пустого поиска. Пустой поиск — это когда пользователь вводит запрос, но не получает по нему результатов.

Результаты отслеживания помогут проанализировать, какие товары пользователи хотят видеть на вашем сайте. Это поможет расширить товарный ассортимент на основе анализа целевой аудитории.

1. Создать переменную

Создайте переменную JavaScript и назовите ее к примеру «searchQuery». В поле «Имя глобальной переменной» добавляем значение searchQuery.

2. Создать тег

Далее создайте пользовательский HTML тег «Empty Search Checking» и вставьте в него код, который сначала ищет индекс первого символа подстроки (indexOf(‘Товары не найдены’)).

Подстрока выводится на странице без поисковых результатов, (функция ‘document.getElementsByTagName(‘body’)[0].textContent’ возвращает весь текст на странице). Если на странице нет надписи «Товары не найдены», функция вернет индекс -1.

Итоговый код для вставки в тег:

В правилах активации тега укажите уже триггер «Search URL» с типом «Просмотр страницы» и условием активации «Page Path» (содержит «search_results.php»).

3. Создать тег для передачи данных в Google Analytics

Настройте тег для передачи данных в аналитику. Для этого создайте тег «UA — Empty Search» и выберите тип отслеживания «Событие». Назовите категорию «Empty search», а в качестве действия выберите переменную «searchQuery».

В качестве активатора тега «UA — Empty Search» создайте и добавьте триггер «emptySearch» с пользовательским событием emptySearch.

Результаты отслеживания будут доступны в отчете «Поведение» — «События» — «Лучшие события».

Запомнить

Отслеживание поисковых запросов нужно и может дать нам ответы на вопросы:

  • сколько пользователей пользуется поиском;
  • что ищут пользователи;
  • чего у нас нет на сайте, но пользователи бы этого хотели.

Выполнить настройку отслеживания поиска можно легко и просто, достаточно в настройках GA включить переключатель и указать GET параметр, который выводит результаты поиска.

Если же поиск на сайте работает по методу POST, воспользуйтесь GTM. С его помощью вы также сможем отслеживать результаты пустого поиска, то есть запросы пользователей, по которым не было результатов в выдаче.

42 оператора расширенного поиска Google (полный список)

Те, кто давно занимается поисковой оптимизацией, хорошо знают об операторах расширенного поиска Google. Например, почти все знают об операторе site: , который ограничивает поисковую выдачу одним сайтом.

Большинство операторов легко запомнить, это короткие команды. Но уметь эффективно их использовать — совсем другая история. Многие специалисты знают основы, но немногие по-настоящему овладели этими командами.

Операторы поиска Google: полный список

Вы знали, что Google постоянно удаляет полезные операторы? Именно поэтому большинство существующих списков устарели и неточны. Для этой статьи я лично проверил каждый оператор, что смог найти.

Вот полный список всех рабочих, частично рабочих и сломанных операторов расширенного поиска Google по состоянию на 2020 год.

Рабочие операторы

“поисковый запрос”

Принудительный поиск точного совпадения. Используйте его для уточнения неоднозначных результатов поиска или исключения синонимов при поиске отдельных слов.

Поиск по X или Y. Вернёт результаты, связанные с X или Y, или и то, и другое. Вместо него можно использовать оператор (|).

Поиск по X и Y. Вернёт только результаты, связанные как с X, так и с Y. Примечание: в реальности не имеет значения для обычного поиска, потому что Google по умолчанию вставляет AND. Но очень полезен в сочетании с другими операторами.

Исключение термина или фразы. В нашем примере все страницы будут упоминать Джобса, но не с Apple (компанией).

Действует как подстановочный знак для произвольного слова или фразы.

Группировка нескольких терминов или операторов, чтобы контролировать выдачу.

Поиск цен. Также работает для евро (€), но не для британского фунта (£).

define:

По сути, это встроенный в Google словарь. Показывает значение слова.

cache:

Возвращает последнюю кэшированную версию веб-страницы (при условии, что страница проиндексирована, конечно).

filetype:

Ограничивает результаты файлами определённого формата, например, pdf, docx, txt, ppt и т. д. Примечание: аналогично оператору “ext:”.

Результаты для определённого домена.

related:

Поиск сайтов, связанных с данным доменом.

intitle:

Найти страницы с определённым словом (или словами) в заголовке страницы. В нашем примере возвратятся все результаты со словом [apple] в теге title.

allintitle:

Аналогично “intitle», но будут возвращает результаты, содержащие все указанные слова в теге title.

inurl:

Найти страницы с определённым словом (или словами) в URL. В этом примере будут возвращены все результаты, содержащие слово [apple] в URL.

allinurl:

Аналогично “inurl», но возвращает результаты со всеми указанными словами в URL.

intext:

Найти страницы, содержащие определённое слово (или слова) где-то в содержании. В примере будут возвращены все результаты, содержащие слово [apple] на странице.

allintext:

Аналогично “intext», но возвращает результаты со всеми указанными словами на странице.

AROUND(X)

Поиск поблизости. Страницы, содержащие два слова или фразы на расстоянии X слов друг от друга. В этом примере слова [apple] и [iphone] должны присутствовать в тексте на расстоянии не более четырёх слов друг от друга.

weather:

Найти погоду для конкретного места. Отображается в погодном сниппете, но также возвращает результаты с других метеорологических сайтов.

stocks:

Биржевая информация (т. е., цена и т. д.) для любой акции по биржевому тикеру.

Результаты поиска по картам.

movie:

Найти информацию о конкретном фильме. Также находит расписание сеансов, если фильм сейчас показывают недалеко от вас.

Преобразует одну единицы измерения в другую. Работает с валютами, весами, температурой, расстояниями и т. д.

source:

Найти новостные результаты из определённого источника в Google News.

Не совсем оператор поиска, но действует как подстановочный знак для автодополнения.

Пример: apple CEO _ jobs

Частично рабочие операторы

Вот операторы, которые не всегда дают желательный результат:

Поиск диапазона чисел. В приведённом примере возвращаются результаты [видео WWDC] за 2010-2014 годы, но не за 2015 год и последующие годы.

inanchor:

Поиск страниц, связанных с определённым текстом в ссылке. В этом примере будут возвращены все страницы, на которые есть ссылки со словами [apple] или [iphone].

allinanchor:

Аналогично inanchor, но возвращает результаты, содержащие все указанные слова во входящих ссылках.

blogurl:

Поиск URL блога в определённом домене. Использовался в поиске Google по блогам, но кое-как работает и в обычном поиске.

Примечание. Поиск Google по блогам закрыт в 2011 году.

loc:placename

Найти результаты из заданного места.

Примечание. Официально не закрыт, но результаты противоречивы.

location:

Найти результаты из заданного места в Google News.

Примечание. Официально не закрыт, но результаты противоречивы.

Сломанные операторы

Операторы поиска Google, которые удалены и больше не работают.

Принудительный поиск по одному слову или фразе.

Примечание. То же самое делается с помощью кавычек.

Включить синонимы. Не работает, потому что Google теперь включает синонимы по умолчанию. (Подсказка: для исключения синонимов используйте двойные кавычки).

inpostauthor:

Найти сообщения в блоге, написанные конкретным автором. Работало только в поиске по блогам.

Пример: inpostauthor:”steve jobs”

Примечание. Поиск Google по блогам закрыт в 2011 году.

allinpostauthor:

Аналогично предыдущему, но устраняет необходимость в кавычках (если вы хотите найти конкретного автора, включая фамилию).

Пример: allinpostauthor:steve jobs

inposttitle:

Найти сообщения в блоге с конкретными словами в названии. Больше не работает, так как этот оператор был уникальным для поиска по блогам.

Пример: inposttitle:apple iphone

Поиск страниц, которые ссылаются на определённый домен или URL. Google убила этот оператор в 2020 году, но он по-прежнему возвращает некоторые результаты — вероятно, не особо точные (поддержка прекращена в 2020 году)

Найти информацию о конкретной странице, включая время последнего кэширования, похожие страницы и т. д. (поддержка завершена в 2020 году). Примечание: идентичен оператору id: .

Примечание. Хотя изначальная функциональность этого оператора устарела, он по-прежнему полезен для поиска канонической индексированной версии. Благодарю @glenngabe за информацию!

daterange:

Найти результаты по определённому диапазону дат. Почему-то использует юлианский формат даты.

Примечание. Официально не закрыт, но, похоже, не работает.

phonebook:

Поиск по хэштегу. Появился вместе с Google+, теперь устарел.

15 вариантов использования операторов поиска Google

Теперь рассмотрим несколько способов эффективного применения этих операторов, в том числе в сочетании друг с другом. Не стесняйтесь отклоняться от приведённых примеров, можете найти что-то новое.

1. Поиск ошибок индексации

На большинстве сайтов есть страницы, которые Google проиндексирвоал некорректно. Возможно, какой-то страницы нет в индексе или наоборот, там присутствует что-то лишнее. Воспользуемся оператором site: , чтобы узнать количество проиндексированных страниц на моём сайте.

Примечание. Google здесь даёт примерное количество. Точную информацию см. в Google Search Console.

Но сколько из них являются статьями в блоге?

Примерно четверть: около 249.

Я отлично знаю свой блог, поэтому уверен, что у меня статей реально меньше.

Кажется, проиндексировано несколько странных страниц.

(Это даже не реальная страница — она выдаёт 404)

Такие страницы следует удалить из индекса. Сузим поиск до поддоменов и посмотрим, что получится.

Примечание. Здесь мы используем подстановочный знак (*), чтобы найти все поддомены, принадлежащие домену, в сочетании с оператором исключения (-), чтобы исключить обычные результаты www.

Примерно 731 результат.

Вот страница на поддомене, которая определённо не должна индексироваться. Она сразу выдаёт 404.

Есть несколько других способов выявить ошибки индексации:

  • site:yourblog.com/category — найти страницы рубрик в блоге WordPress;
  • site:yourblog.com inurl:tag — найти странице тегов в блоге WordPress.

2. Поиск незащищённых страниц (не https)

HTTPS в наше время стал обязательным требованием, особенно для сайтов электронной коммерции. Но вы знали, что с помощью оператора site: можно найти незащищённые страницы? Проверим на примере asos.com .

О боже, около 2,47 млн незащищённых страниц.

Похоже, что Asos вообще не используют SSL — невероятно для такого большого сайта.

Примечание. Клиентам Asos волноваться не стоит — страницы оформления заказа безопасны.

Но вот ещё одна вещь: Asos доступен в версиях https и http.

И мы узнали это с помощью простого оператора site: !

Примечание. Иногда страницы индексируются без https, но после перехода по ссылке происходит редирект на версию https.

3. Поиск дубликатов контента

Дубликаты — это плохо. Вот пара джинсов Abercrombie & Fitch на сайте Asos со стандартным описанием:

Стандартные описания сторонних брендов часто дублируются на других сайтах. Но интересно, сколько раз текст встречается на asos.com .

Примерно 4200 раз.

Теперь интересно, является ли текст уникальным для Asos. Проверим.

Нет, он не уникален. Есть 15 других сайтов с точно таким же текстом, то есть дублированным контентом. Иногда дубли присутствуют на страницах с похожими товарами. Например, аналогичные продукты или тот же товар в упаковках с разным количеством. Вот пример на сайте Asos:

Как видим, за исключением количества, страницы одинаковые. Но дубликаты встречаются не только на сайтах электронной коммерции. Если у вас есть блог, то люди могут красть и публиковать ваш контент без надлежащей ссылки. Посмотрим, может кто-то украл и опубликовал наш список советов по SEO.

Около 17 результатов.

Примечание. Как видите, я исключил ahrefs.com из результатов с помощью оператора исключения (-), а также исключил слово [pinterest], потому что по запросу выдаётся много результатов с сайта Pinterest, которые не имеют отношения к нашей задаче. Можно было исключить только pinterest.com ( -pinterest.com ), но у него много доменов, так что это не особо поможет. Исключение слова [pinterest] оказалось лучшим способом очистки результатов.

Большинство страниц, наверное, созданы в результате синдикации. Всё-таки стоит проверить, что они ссылаются на вас.

4. Поиск нежелательных файлов и страниц на своём сайте (о которых вы могли забыть)

Трудно уследить за всем на большом сайте, поэтому легко забыть о каких-то старых загруженных файлах: PDF, документы Word, презентации PowerPoint, текстовые файлы и т. д. Оператор filetype: поможет их найти.

Примечание. Помните, что аналогичная функциональность у оператора ext: .

Вот одна находка:

Никогда раньше не видел этой статьи, а вы? Комбинируя несколько операторов, можно одновременно выводить результаты для разных типов файлов.

Примечание. Этот оператор также поддерживает .asp, .php, .html и др.

Важно удалить или деиндексировать их, чтобы они не попадались людям на глаза.

5. Поиск возможностей для гостевой публикации

Возможность публикации на других сайтах… есть много способов найти такие ресурсы:

Но вы уже знали об этом методе, верно!? 😉

Примечание. Этот метод находит страницы с предложением написать статью. Такие страницы создают многие сайты, которые ищут авторов.

Так что применим более творческий подход. Во-первых: не ограничивайтесь одной фразой. Также можете использовать такие поисковые запросы:

  • [become a contributor]
  • [contribute to]
  • [write for me] (да, есть отдельные блогеры, которые тоже приглашают авторов!)
  • [guest post guidelines]
  • inurl:guest-post
  • inurl:guest-contributor-guidelines
  • и др.

Многие забывают один классный совет: можно искать всё сразу.

Примечание. На этот раз я использую оператор (“|”) вместо AND, он делает то же самое.

Можно даже искать эти фразу с учётом тематики.

Нужна конкретная страна? Просто добавьте оператор site:.tld .

Вот ещё один метод: если знаете конкретного блоггера в своей нише, попробуйте такой способ:

Так найдутся все сайты, где публиковался этот автор.

Примечание. Не забудьте исключить его сайт из выдачи, чтобы сохранить чистоту результатов!

Наконец, если вам интересно, принимает ли конкретный сайт статьи от сторонних авторов, попробуйте это:

Примечание. В список можно добавить много других фраз.

6. Поиск страниц со списками ресурсов

Такие страницы собирают списки ресурсов по определённой теме.

Всё это — ссылки на сторонние ресурсы. По иронии, учитывая тему этой конкретной страницы — многие ссылки там не работают.

Так что если у вас есть крутой ресурс, можно найти соответствующие «ресурсные» страницы и подать заявку на добавление туда своей ссылки.

Вот один из способов найти их:

Но это может вернуть много мусора. Сужаем поиск:

Ещё больше сужаем:

Примечание. Здесь allintitle: гарантирует, что тег title содержит слова [fitness] и [resources], а также число от 5 до 15.

Примечание об операторе #..#

Я знаю, о чем вы думаете: почему бы вместо этой длинной последовательности чисел не использовать оператор #..# . Хорошая мысль, попробуем:

Странно, да? Дело в том, что этот оператор плохо сочетается с большинством других операторов. Да и вообще не всегда работает. Поэтому я рекомендую использовать последовательность чисел с оператором OR или вертикальной чертой (“|”). Это немного трудоёмкая процедура, зато работает.

7. Поиск сайтов с примерами инфографики… так что можно предложить свою

У инфографики плохая репутация. Скорее всего, потому что многие создают некачественную, дешёвую инфографику, которая не служит никакой реальной цели… кроме как «привлекать ссылки». Но не вся инфографика такая.

Кому вы можете предложить свою инфографику? Любым известным сайтам в своей нише?

Надо обратиться к сайтам, которые действительно захотят её опубликовать. Лучший способ — найти сайты, где уже публиковались такие материалы:

Примечание. Есть смысл поискать в пределах диапазона недавних дат, например, за последние три месяца. Если сайт публиковал инфографику два года назад, это не означает, что они таким занимаются до сих пор. Но если сайт публиковал её в последние несколько месяцев, то есть вероятность, что примет и вашу. Поскольку оператор daterange: больше не работает, придётся указать диапазон дат во встроенном фильтре поиска Google.

Но опять же, придётся отфильтровать мусор.

Вот быстрый трюк:

  1. использовать вышеуказанный запрос для поиска качественной инфографики по заданной теме;
  2. найти, где она размещалась.

Пример:

Нашлось два результата за последние три месяца. И более 450 результатов за всё время. Проведите такой поиск для нескольких конкретных иллюстраций — и получите хороший список.

8. Поиск сайтов для размещения своих ссылок… и проверки, насколько они подходят

Предположим, вы нашли сайт, где хотите разместить ссылку. Вручную проверили актуальность… всё выглядит хорошо. Вот как найти список похожих сайтов или страниц:

Получаем около 49 результатов, все похожие.

Примечание. В приведённом примере мы ищем сайты, похожие именно на блог Ahrefs, а не на весь сайт Ahrefs.

Вот один из результатов: yoast.com/seo-blog .

Я хорошо знаю Yoast, поэтому уверен, что это подходящий сайт для наших целей. Но предположим, что я ничего не знаю об этом сайте, Как проверить, что он подходит? Вот как:

  1. запустить site:domain.com найдите и записать количество результатов;
  2. запустить site:domain.com [niche] , опять записать количество результатов;
  3. делим второе число на первое: если оно выше 0,5, это подходящий вариант; если выше 0.75, то это просто супер.

Попробуем на примере yoast.com . Вот количество результатов для простого поиска:

Итак, 3950 / 3330 =

0,84. Отличный результат.

Теперь проверим на сайтах, которые точно нам не подходят.

Количество результатов для поиска site:greatist.com:

Количество результатов для поиска site:greatist.com SEO:

0,0004 = совершенно нерелевантный сайт)

Важно! Это отличный способ быстро устранить крайне нерелевантные результаты, но он не всегда надёжно работает. Конечно же, это не замена ручной проверке потенциального кандидата: их всегда следует просматривать вручную, прежде чем обращаться с предложением. Иначе вы начнёте генерировать спам.

9. Поиск профилей в социальных сетях

Хотите с кем-то связаться? Попробуйте найти контактную информацию таким способом:

Примечание. Имя человека обычно легко найти, а вот контактную информацию сложно.

Четыре лучших результата:

Затем можете связаться с человеком напрямую через социальные медиа. Или воспользуйтесь советами 4 и 6 из этой статьи для поиска адреса электронной почты.

10. Поиск возможностей для внутренних ссылок

Внутренние ссылки очень важны. Они помогают в навигации посетителей по вашему сайту, а также полезны для SEO (при разумном использовании). Но нужно убедиться, что вы добавляете внутренние ссылки только там, где это уместно. Допустим, вы только опубликовали большой список советов по SEO. Разве не здорово добавить внутреннюю ссылку на эту статью со всех страниц, где упоминаются советы по SEO?

Топ-пост этого месяца:  Плагин для Google Chrome Web Developer checklist

Но не так легко найти соответствующие места для добавления этих ссылок, особенно на больших сайтах. Вот быстрый трюк:

Для тех, кто ещё не освоил операторы поиска, здесь мы делаем следующее:

  1. Ограничиваем поиск определённым сайтом.
  2. Исключаем страницу/публикацию, на которую требуется создать внутренние ссылки.
  3. Ищем определённое слово или фразу в тексте.

Вот одна из подходящих страниц, которую я нашёл таким запросом:

Поиск занял три секунды.

11. Поиск упоминаний конкурентов для своего пиара

Вот страница, на которой упоминается наш конкурент — Moz.

Найдено с помощью такого расширенного поиска:

Но почему нет упоминания блогов Ahrefs? 🙁

С помощью site: и intext: я вижу, что этот сайт раньше упоминал нас пару раз.

Но они не разместили никакой статьи с обзором наших инструментов, как в случае с Moz. Это даёт возможность. Свяжитесь с ними, пообщайтесь. Возможно, они напишут также про Ahrefs.

Вот ещё один классный запрос, который можно использовать для поиска отзывов о конкурентах:

Примечание. Поскольку мы используем [allintitle], а не [intitle], то получим результаты со словом [review] и названием одного из конкурентов в теге заголовка.

Можете пообщаться с этими людьми, чтобы они повторно рассмотрели ваш товар/услугу.

Вот ещё один совет. Оператор daterange: устарел, но на странице поиска можно добавить фильтр для дат, чтобы найти последние упоминания конкурентов. Просто используйте этот встроенный фильтр.

Похоже, за последний месяц опубликовано 34 отзыва о наших конкурентах.

12. Поиск возможностей для спонсорских постов

Спонсорские посты — это платные статьи, продвигающие ваш бренд, продукт или услугу. Такой вариант не предназначен для размещения ссылок.

Покупка или продажа ссылок, которые передают PageRank. Это включает в себя передачу денег на ссылки или сообщения, содержащие ссылки; передачу товаров или услуг в обмен на ссылки; отправку кому-то «бесплатного» продукта в обмен на то, что они напишут о нём и поставят ссылку.

Вот почему вы всегда должны следить за ссылками в спонсорских статьях.

Но истинная ценность этих статей всё равно не сводится к ссылкам. Это пиар, то есть демонстрация свого бренда перед нужными людьми. Вот один из способов найти возможности для спонсорских публикаций с помощью операторов поиска Google:

Примерно 151 результат. Неплохо.

Несколько других комбинаций операторов:

  • [niche] intext:”this is a sponsored post by”
  • [niche] intext:”this post was sponsored by”
  • [niche] intitle:”sponsored post”
  • [niche] intitle:”sponsored post archives” inurl:”category/sponsored-post”
  • “sponsored” AROUND(3) “post”

Примечание. Приведённые примеры — именно примеры. Почти наверняка эти сообщения можно найти по другим фразам. Не бойтесь проверять различные идеи.

13. Поиск тем Q+A, связанных с вашим контентом

Форумы, а также сайты с вопросами и ответами отлично подходят для продвижения контента.

Примечание. Продвижение != спам. Не заходите на эти сайты только для того, чтобы добавить свои ссылки. Публикуйте ценную информацию, а по ходу дела иногда — уместные ссылки.

На ум приходит Quora, которая разрешает публиковать в своих ответах релевантные ссылки.

Ответ в Quora со ссылкой на SEO-блог

Правда, этим ссылкам проставляется тег nofollow . Но мы не пытаемся здесь строить базу ссылок, это пиар! Вот один из способов найти подходящие темы:

Это можно сделать на любом форуме или сайте с вопросами и ответами. Такой же поиск для Warrior Forum:

Я знаю, что там есть раздел о поисковой оптимизации. У каждой темы в этом разделе в URL указано .com/search‐engine‐optimization/ . Так что я могу ещё больше уточнить запрос с помощью оператора inurl: .

Такие операторы даже лучше находят темы на форуме, чем встроенный поиск на сайте.

14. Проверка, как часто конкуренты публикуют новый контент

Большинство блогов находятся в подпапке или поддомене, например:

  • ahrefs.com/blog
  • blog.hubspot.com
  • blog.kissmetrics.com

Это позволяет легко проверить, насколько регулярно конкуренты публикуют новый контент. Проверим на одном из наших конкурентов: SEMrush.

Похоже, у них уже около 4500 статей. Но это не совсем так. Сюда входят версии блога на разных языках, которые находятся на поддоменах.

Это больше похоже на правду: около 2200 постов. Посмотрим, сколько опубликовано за последний месяц. Поскольку оператор daterange: больше не работает, используем встроенный фильтр Google.

Примечание. Можно указать любой диапазон дат. Просто выберите “Custom”.

Около 29 постов. Интересно. Это примерно вчетверо больше, чем у нас. И у них в целом примерно в 15 раз больше постов, чем у нас. Но мы всё равно получаем больше трафика… с двукратным превосходством по ценности.

Оператор site: в сочетании с поисковым запросом покажет, сколько статей конкурент опубликовал по определённой теме.

15. Поиск сайтов со ссылками на конкурентов

На конкурентов ставят ссылки? Может быть, мы тоже можем их получить? Google прекратил поддержку оператора link в 2020 году, но он по-прежнему возвращает некоторые результаты.

Примечание. Обязательно исключайте сайт конкурента, чтобы отфильтровать внутренние ссылки.

Около 900 тыс. ссылок. Здесь тоже пригодится фильтр по дате. Например, за последний месяц на Moz поставили 18 тыс. новых ссылок.

Очень полезная информация. Но эти данные тоже могут быть неточными.

Заключение

Операторы расширенного поиска Google безумно мощные. Просто надо знать, как их использовать. Но я должен признать, что некоторые полезнее других, особенно в поисковой оптимизации. Я практически ежедневно использую site: , intitle: , intext: и inurl: , но очень редко прибегаю к помощи AROUND(X) , allintitle: и многих других более мутных операторов.

Я бы ещё добавил, что многие операторы бесполезны, если не применяются в сочетании с другим оператором… или двумя-тремя. Так что поиграйте с ними и напишите, как ещё их можно использовать. Я с радостью добавлю в статью любые полезные комбинации, какие вы найдёте.

9 способов найти удаленный сайт или страницу

Сервисы и трюки, с которыми найдётся ВСЁ.

Зачем это нужно: с утра мельком прочитали статью, решили вечером ознакомиться внимательнее, а ее на сайте нет? Несколько лет назад ходили на полезный сайт, сегодня вспомнили, а на этом же домене ничего не осталось? Это бывало с каждым из нас. Но есть выход.

Всё, что попадает в интернет, сохраняется там навсегда. Если какая-то информация размещена в интернете хотя бы пару дней, велика вероятность, что она перешла в собственность коллективного разума. И вы сможете до неё достучаться.

Поговорим о простых и общедоступных способах найти сайты и страницы, которые по каким-то причинам были удалены.

1. Кэш Google, который всё помнит

Google специально сохраняет тексты всех веб-страниц, чтобы люди могли их просмотреть в случае недоступности сайта. Для просмотра версии страницы из кэша Google надо в адресной строке набрать:

http://webcache.googleusercontent.com/search?q=cache:http://www.iphones.ru/

Где http://www.iphones.ru/ надо заменить на адрес искомого сайта.

2. Web-archive, в котором вся история интернета

Во Всемирном архиве интернета хранятся старые версии очень многих сайтов за разные даты (с начала 90-ых по настоящее время). На данный момент в России этот сайт заблокирован.

3. Кэш Яндекса, почему бы и нет

К сожалению, нет способа добрать до кэша Яндекса по прямой ссылке. Поэтому приходиться набирать адрес страницы в поисковой строке и из контекстного меню ссылки на результат выбирать пункт Сохраненная копия. Если результат поиска в кэше Google вас не устроил, то этот вариант обязательно стоит попробовать, так как версии страниц в кэше Яндекса могут отличаться.

4. Кэш Baidu, пробуем азиатское

Когда ищешь в кэше Google статьи удаленные с habrahabr.ru, то часто бывает, что в сохраненную копию попадает версия с надписью «Доступ к публикации закрыт». Ведь Google ходит на этот сайт очень часто! А китайский поисковик Baidu значительно реже (раз в несколько дней), и в его кэше может быть сохранена другая версия.

Иногда срабатывает, иногда нет. P.S.: ссылка на кэш находится сразу справа от основной ссылки.

5. CachedView.com, специализированный поисковик

На этом сервисе можно сразу искать страницы в кэше Google, Coral Cache и Всемирном архиве интернета. У него также еcть аналог cachedpages.com.

6. Archive.is, для собственного кэша

Если вам нужно сохранить какую-то веб-страницу, то это можно сделать на archive.is без регистрации и смс. Еще там есть глобальный поиск по всем версиям страниц, когда-либо сохраненных пользователями сервиса. Там есть даже несколько сохраненных копий iPhones.ru.

7. Кэши других поисковиков, мало ли

Если Google, Baidu и Yandeх не успели сохранить ничего толкового, но копия страницы очень нужна, то идем на seacrhenginelist.com, перебираем поисковики и надеемся на лучшее (чтобы какой-нибудь бот посетил сайт в нужное время).

8. Кэш браузера, когда ничего не помогает

Страницу целиком таким образом не посмотришь, но картинки и скрипты с некоторых сайтов определенное время хранятся на вашем компьютере. Их можно использовать для поиска информации. К примеру, по картинке из инструкции можно найти аналогичную на другом сайте. Кратко о подходе к просмотру файлов кэша в разных браузерах:

Safari

Ищем файлы в папке

Google Chrome

В адресной строке набираем chrome://cache

Opera

В адресной строке набираем opera://cache

Mozilla Firefox

Набираем в адресной строке about:cache и находим на ней путь к каталогу с файлами кеша.

9. Пробуем скачать файл страницы напрямую с сервера

Идем на whoishostingthis.com и узнаем адрес сервера, на котором располагается или располагался сайт:

После этого открываем терминал и с помощью команды curl пытаемся скачать нужную страницу:

Что делать, если вообще ничего не помогло

Если ни один из способов не дал результатов, а найти удаленную страницу вам позарез как надо, то остается только выйти на владельца сайта и вытрясти из него заветную инфу. Для начала можно пробить контакты, связанные с сайтом на emailhunter.com:

(4.87 из 5, оценили: 15)

Как удалить страницы из индекса поисковых систем? Какие страницы нужно удалить из выдачи? Зачем?

Исходя из задач поисковой оптимизации, в поисковых системах Google и Yandex должны находиться не все страницы сайта.

Как удалить страницы из поисковой выдачи?

Зачем удалять страницы?

Какие страницы следует удалить из поисковых систем?

Разберемся с вопросами далее.

Как удалить страницы из поисковой выдачи Google и Yandex?

Есть различные способы, применяя которые можно удалить страницы из индекса поисковых систем. Но есть важные нюансы.

Главные способы такие:

  1. Директива noindex. Применение данной директивы допустимо в метатегах и HTTP-заголовках. Директива noindex является наиболее эффективным способом удаления страниц из индекса, если сканирование страниц разрешено в принципе;
  2. 404 и 410 HTTP коды ответа сервера.
  3. Директива Disallow в файле robots.txt. Есть важный нюансы. Ошибка с использованием директивы disallow зачастую приводит к проблемам с ранжированием;
  4. Защиты паролем;
  5. Google Search Console Remove URL. Инструмент является простым и быстрым способом удалить страницу из результатов поисковой выдачи. Но есть нюансы;

Способ 1 — Noindex

Директива noindex поддерживается поисковыми системами только в тех случаях, если запись прописана в метатеге и/или HTTP-ответе страницы.

Ранее применение директивы допускалось в файле robots.txt. Но стандарт Robots Exclusion Protocol был изменен и теперь использование директивы в файле является недопустимым.

Рекомендованный материал в блоге MegaIndex по теме robots.txt по ссылке далее — Google обновляет правила для robots.txt. Что изменится и что делать?

На практике для запрета индексации следует использовать метатег robots. Например, если для сайта indexoid требуется запретить индексацию страницы, то на страницах подлежащих запрету следует использовать такой код:

Если требуется запретить индексацию страницы применяя для этого HTTP-заголовок, то в коде ответа сервера следует указать следующее:

Пример кода ответа сервера:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT

Как результат, поисковая система удалит страницы из индекса после следующей итерации краулинга.

Способ 2 — 404 и 410 HTTP коды ответа сервера

Как инструмент для запрета индексации можно использовать 404 и 410 HTTP коды ответа сервера.

Оба кода означают, что страница не существует:

  • 404 Not Found/Страница не найдена;
  • 410 Gone/Страница удалена.

Рекомендованный материал в блоге MegaIndex по теме процесса краулинга по ссылке далее — Google обновил поисковый краулер. Что изменилось? Как это повлияет на ранжирование?

Поисковые системы такие как Google и Yandex удаляют такие страницы после повторного краулинга и обработки.

Способ 3 — Disallow в файле robots.txt

Директива Disallow поддерживается стандартом Robots Exclusion Protocol.

Применяя данную директиву можно задать список страниц, которые поисковому краулеру следует игнорировать, то есть не посещать.

Но есть важный нюанс.

Несмотря на запрет директивы Disallow, страницы сайта все равно могут быть добавлены в индекс, если на такие страницы есть ссылки с других страниц. Данная информация является проверенной на практике.

В результате такой подход является неэффективным.

Итак, директива Disallow используется для указания ссылок на страницы, которые не должны быть проиндексированы, но контент все же может попасть в индекс. К примеру, в случае наличия любых открытых ссылок на закрытые страницы с других страниц.

Способ 4 — Защита страниц паролем

Защита страницы паролем не позволяет поисковой системе получить доступ к содержанию страницы сайта.

Такая защита обычно используется для ограничения доступа к разделам сайта, которые доступны по модели платной подписки.

Поисковые системы индексируют страницы защищенные паролем, на зачастую удаляют такие страницы из индекса.

Способ 5 — Google Search Console Remove URL

Инструменты от поисковых систем позволяют исключить страницы из индекса, но есть нюансы.

Применяя инструменты поисковых систем страницы сайта можно исключить из индекса, но на временной основе.

Значит в перспективе такие страницы будут проиндексированы снова.

Еще данный способ требует подтверждения прав на сайт, поэтому не всегда удобно использовать такой инструмент. В частности такой способ усложняет работу, если речь про частную сеть сайтов.

Ссылка на инструмент Google — Google URL Removal.

Применяя данный инструмент на практике удалить страницу сайта можно как из индекса, так и из кеша поисковой системы.

Какие страницы следует удалить из поисковой выдачи? Для достижения каких целей такие страницы следует удалить из индекса поисковой системы?

Какие страницы следует удалить из индекса? Зачем?

Из поисковых систем Google и Yandex следует удалить все ненужные страницы.

Под ненужными страницами подразумеваются страницы, по которым не планируется привлечения трафика из поисковой выдачи.

Зачем удалить страницы? Есть ряд причин для таких действий.

Например, цели могут быть следующие:

  • Улучшение хостовых поведенческих факторов на поисковой выдаче.
  • Скрытие анкет пользователей и защита от парсинга клиентской базы или e-mail;
  • Безопасность;
  • Удаление из индекса страниц копий;
  • Замена сайта. Например, при регистрации освобожденного доменного имени для последующего создания на нем нового сайта;
  • Повышение релевантности контента сайта в отношении тематики;

Что такое хостовые факторы на поисковой выдаче? В алгоритмах поискового ранжирования используются различные данные, включая данные о действиях пользователей на выдаче. Информация об этом следует из практики и патентов поисковых систем.

Итак, под хостовыми факторами на поисковой выдаче подразумеваются такие факторы как:

  • Среднее значение СTR страниц;
  • Среднее значение Dwell Time;
  • Прочее.

Рекомендованный материал в блоге MegaIndex на тему патентов Google по ссылке далее — Google запатентовал поведенческие факторы: что нужно знать и что делать?

Что такое Dwell Time? Рекомендованный материал в блоге MegaIndex по теме Dwell Time по ссылке далее — Dwell Time (Длина клика) — что это за фактор ранжирования и как его оптимизировать?

Итак, если в поисковой выдаче находится множество страниц по которым не бывает кликов, то значение хостовых факторов на поисковой выдаче занижается.

Если в поисковой выдаче находятся только те страницы, которые должны привлекать трафик, то значение хостовых факторов на поисковой выдаче будет выше.

На открытых к индексации страницах сайта следует провести комплекс мер по улучшению сниппетов. Инвестиции в оптимизацию сниппетов проводят к повышению метрики кликабальности и улучшению поведенческих факторов на выдаче.

Идеи по созданию кликабельных сниппетов можно подсмотреть у конкурентов, или у компаний с большими бюджетами на маркетинг. Например, если вы продвигаете автосалон в регионе, вы можете посмотреть как сделаны сниппеты на сайте московского автосалона.

MegaIndex индексирует сниппеты всех сайтов в интернете и предоставляет пользователям собранные данные о сниппетах всех сайтов в сервисе анализа сниппетов.

Пример использования сервиса:

Вопросы и ответы

Через какое время страницы будут удалены из поисковой выдачи?

Страницы будут удалены после переиндексации. Иными словами, после визита краулера и дальнейшей обработки страниц поисковой системой.

На практике переиндексацию можно ускорить.

Рекомендованный материал в блоге MegaIndex по теме индексации по ссылке далее — Как добавить страницы сайта в поисковую выдачу? Нестандартные способы.

Следует ли удалять из поисковой выдачи дубли страниц?

Следует удалить копии страниц.

Дубли страниц из поисковой выдачи удалять не следует.

В чем разница между дублем и копией страницы?

Google различает дубликаты (duplicate) и копии (copy) контента.

Сайты с копиями подвергаются санкциям от поисковой системы.

К скопированному контенту относятся все виды контента с уникализацией. Например:

  • Spinning content;
  • Контент с заменой слов (если заменить в тексте слово «найти» на «поиск», то контент останется копией);
  • Контент содержащий набор копий из разных источников;
  • Страницы копирующие контент с динамических страниц.

Дубликаты не подвергаются санкциям и даже могут ранжироваться выше за оригинал.

Дубликатом считается скопированный контент, но с добавочной ценностью.

Выводы

Какие страницы не должны находиться в индексе поисковых систем? В индексе не должны находиться ненужные страницы. Зачастую в индексе находятся различные страницы, по которым не планируется привлечение трафика. Такие страницы являются ненужными.

Почему в индексе поисковых систем должны быть не все страницы? Есть различные причины. Как пример, исключение ненужных страниц позволяет улучшить релевантность сайта, удалить копии, улучшить поведенческие хостовые факторы на выдаче.

Как удалить ненужные страницы из индекса? Есть 5 основных способов для удаления страниц из поисковой выдачи:

  • Директива noindex;
  • Коды ответа сервера 404 и 410;
  • Директива Disallow;
  • Защита страниц паролем.
  • Инструменты поисковых систем.

В чем разница? Какие способы являются наиболее эффективными? Итак, есть ряд способов для удаления страниц из индекса. Но есть нюансы, ввиду которых некоторые способы по удалению страниц из выдачи различаются по эффективности.

Директива Disallow указывает поисковому краулеру на то, что в индексации контента нет необходимости. Такие страницы все равно могут быть проиндексированы. Например, в случае наличия ссылок на такие страницы с других страниц.

Итак, использование директивы Disallow в файле robots.txt для скрытия страниц сайта, которые находятся в разработке является ошибкой. Скрытые страницы все равно могут попадать в индекс поисковых систем.

Защита страниц паролем является эффективным способом, но создает сложности для пользователей.

Инструменты поисковых систем Google и Yandex позволяют быстро удалить из индекса страницы сайта, но страницы вновь появятся в индексе после следующей волны индексации.

Наиболее эффективными способами для удаления URL из поисковой выдачи являются такие — директива noindex и 404, 410 коды ответа сервера.

Размещение директивы noindex допускается в метатеге и HTTP-заголовке X-Robots-Tag. Директиву следует размещать на каждой странице, которая подлежит исключению из индекса.

Применение директивы noindex и/или кодов ответа сервера 404 и 410 позволяет исключить страницы из поисковой выдачи сразу после следующей волны индексации. Статус коды 404 и 410 не указывают на запрет индексации как таковой, но позволяют исключить страницы из индекса Google и Yandex.

Мусорные страницы следует удалить из поисковой выдачи, так как наличие таких страниц в индексе приводит к ряду проблем при продвижении сайта. Например, к занижению поведенческих факторов на выдаче, что приводит к занижению хостовых факторов и сказывается на ранжировании.

Остались ли у вас вопросы, замечания или комментарии по теме удаления страниц из индекса поисковых систем?

Добавить комментарий