Google о проблемах, связанных с частым сканирования сайта


Содержание материала:

Как решить проблему сканирования сайта роботами гугла

При сканировании статей в google search console столкнулся с проблемой, что робот гугла не может загрузить необходимые ресурсы
https://pastenow.ru/0c714af5c0b010fae4626a33d2e127.
Я беру любой url изображения относящийся к данной статье моего сайта и также отправляю на проверку в той же панели google search console и получаю такой отчет
https://pastenow.ru/241de7956eb62082c76ecbc4d05ec8.
При этом мой https://obzoroff.info/robots.txt там нет запрета для индексирования изображений.
В папку uploads https://obzoroff.info/wp-content/uploads/ через браузер тоже нельзя войти

Вы пытаетесь слишком много запретить. В настоящее время многие плагины и сам ГУГЛ требуют большего доступа. Удалите всё кроме двух последних строк и вставьте вот это:
User-agent: *
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /search*
Disallow: /archive
Disallow: */trackback/
Disallow: */comments/
Disallow: */comment
Disallow: */attachment/*
Disallow: */print/
Disallow: *?print=*
Disallow: /?s=*
Disallow: */embed*
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: *?replytocom
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/

Этого более чем достаточно для всех роботов. И ничего необходимого не блокируется.

Как найти и исправить возможные проблемы с сайтом

Настройки корректного индексирования всего сайта можно разделить на три большие основные группы.

  • Во-первых, робот должен индексировать нужные страницы сайта с нужным контентом.
  • Во-вторых, эти страницы должны индексироваться быстро.
  • В-третьих, робот не должен посещать ненужные страницы сайта.

Кажется, что все довольно просто. Но на самом деле большинство веб-мастеров сталкиваются с одними и теми же проблемами при настройке индексирования. Нужно посмотреть на них внимательно.

Индексирование нужного контента

Это индексирование нужных страниц, с нужным содержанием и включение их в результаты поиска. Все роботы, которые посещают ваш сайт, как правило, исполнительные и соблюдают те инструкции, которые вы предоставляете для них. Поэтому часто ошибки возникают вследствие того, что роботу предоставлены некорректные инструкции для индексирования.

Файл robots.txt

Самая главная инструкция для индексирующего робота – это файл robots.txt. Это такой служебный файлик, который находится в корне вашего сайта, содержащего инструкции, где указано, что можно индексировать, а что нет, а также как часто можно индексировать страницы вашего сайта.

О файле robots.txt мы уже говорили много-много раз. Но не зря больше 20 обращений в день служба Яндекс.Вебмастера получает именно по вопросам, связанным с файлом robots.txt, о том, как составить, что запрещать, почему страницы пропали из поиска и подобном.

Далее разберем наиболее частые кейсы.

Ошибки в файле robots.txt

Запрет нужных страниц для посещения

Это наиболее распространенная ошибка в robots.txt. Представьте себе ситуацию с А/В-тестированием, когда и посетители, и робот с главной страницы сайта перенаправляются на какую-то внутреннюю страницу с параметром, где в зависимости от значения параметра страницы выводятся в том или ином формате. Но часто такую страницу с параметром запрещает в файле robots.txt, в результате чего и главная страница, и страница, куда осуществляется перенаправление, исключаются из поисковой выдачи. Кажется, что это не самый лучший вариант. В таком случае обязательно необходимо проверить, что нужная страница разрешена ко входу.

Закрытие промежуточных страниц для индексирующего робота

Это вторая по популярности проблема. В данном примере страница page.html находится внутри категории, при этом сама категория запрещена к обходу в robots.txt:

В такой ситуации, если на страницу page не ведут какие-либо доступные роботу ссылки, он просто не узнает о ее наличии, о ее существовании, не сможет проиндексировать, и страница никогда не попадет в поисковую выдачу.

Отсутствие или некорректное указание на главное зеркало

Это третья по популярности проблема. Вы, как владелец сайта либо как маркетолог, принимаете решение, по какому именно адресу ваш сайт должен находиться в поисковой выдаче и показываться по запросам пользователей. Для того чтобы указать на адрес главного зеркала, существует специальная директива в файле robots.txt, которая называется Host. Вы можете указать и задать роботу адрес вашего сайта, который будет находиться в поиске.

При размещении директивы Host следует обратить внимание на такие моменты:

  • директива должна быть расположена в robots.txt всего один раз;
  • сама по себе директива должна быть корректна, то есть включать префикс www или без www, если он не используется, обязательно указание протокола http или https;
  • если вы используете доменное имя на кириллице, оно обязательно должно быть закодировано в Punycode.

Анализатор robots.txt

Не допустить ошибок в файле robots.txt поможет отличный простой инструмент – анализатор robots.txt:

Можно загрузить как уже имеющийся файл, так и просто какой-то текстовый документ для проверки его корректности. Если вы уже загрузили, то можно указать адреса страниц, которые вы хотите проверить. Нажали кнопочку «проверить», посмотрели на результат – страницы доступны для обхода роботом или недоступны, и какие ошибки возникают в файле:

После того как робот скачал файл robots.txt, он обновляет политики обхода, то есть понимает, что можно индексировать, а что нет. Если страницу индексировать можно, он обращается к ней и скачивает ее html-документ. Сам по себе html-документ для робота выглядит следующим образом:

Это определенный набор тегов, скриптов, CSS, текстового содержимого, из которого робот достает самые важные части. Во-первых, робот вытаскивает из html-кода ваших страниц метатеги, достает текстовое содержимое для того, чтобы понять, о чем именно идет речь на странице, и получает ссылочки на внутренние страницы вашего сайта для того, чтобы в дальнейшем их проиндексировать.

При проверке корректности составления html-кода также следует проверить эти три больших пункта. Сама по себе проверка довольно-таки простая: открыть в любом браузере исходный код нужной вам страницы, сделать поиск… Вбить в данном случае тег title и посмотреть, где он начинается, где заканчивается и какое у него содержимое:

Небольшой чек-лист, что и как проверять в исходном коде страниц веб-сайта:

  1. Во-первых, нужно проверить содержимое тегов title и description, потому что, как правило, из них может формироваться описание вашей страницы в результатах поиска.
  2. Во-вторых, обязательно проверить количество открывающих и закрывающих тегов noindex. Они должны совпадать. Наиболее частоая причина ненахождения страницы по каким-либо запросам заключается в том, что на странице, в исходном коде, расположен тег noindex, который не закрыт. В результате робот просто не видит большую часть содержимого страницы и не может понять, о чем идет речь на странице.
  3. В-третьих, необходимо проверить корректность установленных ссылок на внутренней странице вашего сайта. Если вы используете https-протокол, то этот протокол должен быть указан.
  4. Это же относится и к атрибуту real= “canonical”, если он используется на данном веб-сайте.
  5. Важный контент на странице не должен загружаться с помощью скриптов либо с помощью AJAX. В этом случае робот просто-напросто не получит текстовое содержимое, не поймет, что вообще за страница и зачем ее включать в поисковую выдачу.

После того как проведена такая проверка, если со страницей все в порядке, она попадает в поисковую выдачу.

Дубли страниц

Дубли – это страницы одного сайта, которые доступны по разным адресам, но при этом содержат абсолютно идентичный контент. Основная опасность дублей заключается в том, что при их наличии может замениться релевантная страница в поисковой выдаче, страница может попасть по ненужному для поставленных целей адресу, конкурировать с основной страницей, которая продвигается по каким-либо запросам. Плюс ко всему, большое количество дублирующих страниц затрудняет обход сайта индексирующим роботом.

Скорее всего, почти все веб-мастера уверены, что на их странице нет никаких дублирующих страниц. Немного может расстроить, что, на самом деле, дубли есть практически на всех сайтах в Рунете. Каким образом их можно найти?

Ищем дубли – «Страницы в поиске»

В Яндекс.Вебмастере есть отличный инструмент, который называется «Страницы в поиске». Если нажмать на кнопочку «Исключенная страница», то получается трафик тех страниц, которые не попадают в поисковую выдачу:

И внизу, выбрав сортировку «Удаленные страницы со статусом дублей», как раз можно понять, какие именно страницы на сайте робот считает дублирующими. Вот найденные на сайте дубли:

Что теперь с ними делать? В зависимости от того, какой именно это тип дублей, существует несколько методов борьбы с ними.

Работа с дублями

Во-первых, если это служебная страница сайта, например, страницы действий, страницы с метками, сортировки и другие подобные страницы, которые не должны участвовать в поисковой выдаче, то их стоит запретить в файле robots.txt.

Во-вторых, если есть дубли, обоснованные тем, что на вашем сайте такая структура, то есть, например, один и тот же товар может находиться в нескольких категориях, либо есть страницы с пагинацией, то для подобных страниц рекомендуется использовать атрибут rel=”canonical” тега link с указанием канонической страницы, то есть именно той страницы, которая должна участвовать в поиске.

И в-третьих, это явные дубли, такие, как страницы со слешем на конце или без слеша, то для них можно использовать 301-й серверный редирект для того, чтобы указать роботу, какая именно страница должна находиться в поисковой выдаче.

Обеспечение индексирования нужного контента

Для того чтобы нужный контент и нужные страницы появились в поиске, необходимо:

  • обязательно проверять файл robots.txt на наличие ошибок и на наличие нужных правил;
  • проверять исходный код страницы на корректность составления;
  • следить за появлением дублей и работать над их устранением.

Ускорение индексирования сайта

Здесь самый важный ваш помощник – это файл Sitemap, определенный служебный файл, в котором содержатся адреса страниц, которые роботу необходимо индексировать.

В большинстве случаев, в современном мире файлы Sitemap генерируются автоматически либо специальными плагинами, либо уже встроенным функционалом в вашу CMS. Также, при желании, файл Sitemap можно создать вручную – обычный текстовый файлик с адресами страниц. Его легко редактировать, размещать и сообщать о нем роботу.

Небольшой чек-лист о том, как можно составить файл Sitemap, чтобы он работал с пользой и помогал роботу индексировать сайт.

  1. Во-первых, в файл Sitemap обязательно нужно добавлять только то, что роботу действительно необходимо индексировать. Например, если добавляется на сайт новый раздел, то обязательно сразу же надо сообщить о появлении этой страницы роботу с помощью файла Sitemap, просто скопировав адреса.
  2. Не допускать наличия ошибочных адресов в файле Sitemap. Дело в том, что эти данные сразу же попадают в базу индексирующего робота и потом просто могут привести к определенным проблемам.
  3. В-третьих, проверять время возврата данного файла Sitemap для индексирующего робота. В большинстве случаев плагины CMS настроены по умолчанию таким образом, что файл Sitemap генерируется каждый раз при обращении к нему. Если на сайте находится несколько сотен тысяч страниц, на генерацию нового файла Sitemap может потребоваться несколько минут. И робот в таком случае, отправив запрос до рассматриваемого файла Sitemap, просто не дождется, пока сервис соберет информацию обо всех страницах и вернет новенький файл в Sitemap. Нужно изменить этот параметр. Обновить файл Sitemap только тогда, когда на сайте появились действительно новые страницы. Это нужно делать регулярно, потому что тогда робот увидит, что файл Sitemap обновляется постоянно, что в нем находятся корректные страницы и будет скачивать его чаще.
  4. И последнее. До того, как сообщать о наличии нового файла Sitemap роботу, нужно проверять его на корректность указаний. Сделать это можно также с помощью простого инструмента в Яндекс. Вебмастере:

Можно загрузить уже готовый файлик с Sitemap либо, если по URL уже разместили на сайте файл, можно по текстовому содержимому, например:

Самый простой файл Sitemap, проверить его размер, содержание – ошибок нет, одну ссылочку найти из файла Sitemap. Отлично.

После того как роботу отдали список тех страниц, которые нужно посещать, очень важно, чтобы робот мог без ограничения, по частоте обращения к сайту скачивать эти страницы. За частоту запросов со стороны робота отвечает директива craw-delay. Это служебная директива, с помощью которой можно как раз задать интервал между запросами роботом страниц сайта.

Для директивы crawdelay помните правило трех НЕ:

  • директива НЕ требуется большинству сайтов;
  • НЕ используйте директиву без необходимости;
  • НЕ устанавливайте большие значения директив, если все-таки хотите ей воспользоваться.

Например, значение директивы craw-delay 0,5 говорит о том, что роботу можно направлять два запроса в секунду к страницам сайта. Большинство современных сайтов такую нагрузку со стороны роботов обязательно выдержат.

Хочется рассказать небольшой пример из жизни. На одной из конференций вместе с владельцем сайта рассматривался вопрос, почему же его ресурс редко посещается индексирующим роботом. В файле robot.txt была установлена директива craw-delay 20. Когда же был задан вопром, почему такая большая директива, ответ был следующим: «Мы подсмотрели ее у конкурентов и подумали, что так нам тоже будет лучше». Нет, не надо устанавливать вертилу Арт delay, если она не нужна.

Инструмент «Переобход страниц»

Это отличный инструмент, который позволяет сообщить роботу о появлении новых страниц на сайте либо о необходимости проиндексировать повторно уже включенную выдачу страницы:

Можно воспользоваться им и добавлять в него наиболее важные страницы. Например, если проходит в интернет-магазине какая-то акция и под нее создана страничка, то добавить ее в инструмент и сообщить о ее появлении роботу. Это позволяет быстрее попасть в поисковую выдачу.

Обеспечение быстрого индексирования

Чтобы сайт посещался быстро, необходимо помнить о трех правилах.

  1. Должен быть корректный и регулярно обновляемый файл Sitemap.
  2. Не использовать директиву Crawl-delay без необходимости.

Зайти в robots.txt и проверить, есть ли такая директива. Если она установлена, задуматься о том, нужна ли она действительно?

  1. Использовать «Переобход страниц» для посещения роботом наиболее новых важных страниц вашего сайта.

Когда робот начинает посещать ресурс часто, это не всегда, скажем так, положительно влияет на индексирование хороших страниц сайта. Допустим, робот совершает 5 запросов в секунду к этому ресурсу. Кажется, что это отличный результат. Но какой смысл в этих посещениях в секунду, если все они относятся к служебным страницам сайта и робот совсем не уделяет внимания действительно важным страницам. Об этом следующий раздел.

Не индексировать ненужное

В этом разделе метод прост как раз-два-три.

  • используем раздел в Яндекс.Вебмастере «Статистика обхода»;
  • получаем адреса страниц, которые робот индексировать не должен;
  • составляем корректный файл robots.txt.

Инструмент «Статистика обхода» выглядит следующим образом:

Здесь также есть графики, нужно спуститься вниз страницы до кнопки «Все страницы», и можно увидеть все, что посещал робот за последние дни:

Если среди этих страниц есть какие-то служебные страницы, то их нужно запрещать в файле robots.txt.

Что именно нужно запрещать в robots.txt:

  • страницы фильтрации, подбора товаров, сортировки;
  • обязательно страницы различных действий (например, добавить в «Сравнение», добавить в «Избранное», добавить в «Корзину»), саму страницу с «Корзиной»;
  • запрещаем к обходу все служебные разделы, например, такие, как поиск по сайту, админку ресурса, разделы с данными пользователей, например, информацией о доставке, номера телефонов и т.д.;
  • страницы с идентификаторами сессий, например, с UTM-метками, также стоит запретить в файле robots.txt с помощью директивы clean param.

Столкнувшись с вопросом «Нужно ли запрещать и нужно ли открывать страницу к обходу?», следует ответить на простой, но другой вопрос: «Нужна ли эта страница пользователям поисковой системы?». Если эта страница не должна находиться в поиске по запросам, то кажется, что ее можно запретить.

Корректируем обход с помощью robots.txt

Небольшой практический кейс, способный замотивировать. На одном из ресурсов было замечено, что robots.txt совершает практически тысячу обращений в день к страницам с редиректом:

Страницы с перенаправлением – это были страницы с добавлением в «Корзину». Внося изменения в файл robots.txt, видно на графике, что обращения к таким страницам практически сошли на нет. И при этом сразу положительная динамика – это обход нужных страниц, то есть страниц с http-кодом 200:

Видно даже, что робот действительно стал чаще посещать важные и нужные страницы сайта.

Возврат корректных http-кодов

Помимо файла robots.txt, в этом разделе можно еще рассказать о корректных http-кодах ответа. Это тоже, кажется, вещь, о которой говорили уже неоднократно. Сам по себе http-код ответа – это определенный статус страницы для индексирующего робота. Например, если страница отвечает кодом ответа «200», то это означает, что страницу можно индексировать и включать в поиск. Если страница отвечает «404», значит, она удалена, 503 – временно недоступна.

Корректные http-коды

В чем преимущество использования корректных http-кодов?

Во-первых, никогда не будет различных битых ссылок на ресурс, то есть тех ссылок, которые ведут на страницы, выдающие код ответа «200». Если страницы не существует, значит код ответа «404», это робот поймет.

Во-вторых, это поможет роботу с планированием действительно нужных страниц с кодом ответа «200».

И в-третьих, это поможет избежать попадания различного мусора в поисковую выдачу. Об этом следующий слайд, также из практики.

HTTP-200 вместо HTTP-503

Во время недоступности ресурса, проведения технических работ, робот получает заглушку с http-кодом ответа «200». Вот как раз описание этой заглушки видно в результатах поиска. Поскольку страница реагирует код ответа «200», они попадают в выдачу, в результате чего с таким контентом не могут находиться и показываться по каким-либо запросам. В данном случае правильные настройки http-кода «503» при кратковременной недоступности страниц или ресурса, этот код ответа позволит избежать исключения страниц из результатов поиска.

«Важные страницы» – следим за изменениями

В ситуации, когда важные и нужные страницы ресурса становятся недоступны для робота, например, отвечают кодом «503» или «404» либо вместо них возвращается робот в заглушку, то такие ситуации можно отследить с помощью инструмента «Важные страницы»:

Надо добавить те страницы, которые приносят наибольший трафик на ресурс. Настроить уведомления на почту либо в сервис и начать получать информацию о том, что происходит с той или иной страницей: какой у нее код ответа, какой у нее заголовок, когда она посещалась и какой у нее статус в поисковой выдаче.

Возврат HTTP-404 на запрос недоступных страниц

Проверить корректность возврата того или иного кода ответа можно с помощью соответствующего инструмента в Яндекс.Вебмастере. В данном случае проверяем код ответа несуществующих страниц:

Следовало взять, придумать страницу, загнать ее в инструмент, нажать кнопку «Проверить» и получить http-код ответа «404». Здесь все в порядке. Так как страница была недоступна, она корректно ответила 404-м кодом ответа и в поиск уже не попадет.

Ограничить обход ненужного

Для того чтобы ограничить посещение роботом ненужных страниц сайта, активно используйте инструмент «Статистика обхода», вносите изменения в файл robots.txt и следите за тем, чтобы страницы возвращали корректный http-код ответа.

Задачи настройки индексирования

В качестве заключения. Роботу отдали корректные страницы сайта с корректным контентом. В результате была достигнута быстрая индексация и запрет роботу индексировать ненужное. Вот эти все задачи, три больших группы задач, все связаны между собой. Если не ограничивать роботу индексирование служебных страниц, то, скорее всего, у него останется меньше времени на индексирование нужных страниц сайта. Если робот будет получать контент нужных страниц не в полном объеме, он не будет включать страницы в поисковую выдачу быстро. Над индексированием ресурса нужно работать в комплексе, над всеми этими тремя задачами. И в этом случае можно добиться определенных успехов для того, чтобы нужные страницы быстро попадали в поисковую выдачу.

Google Search Console: регистрация и обзор полезных для SEO-специалиста разделов и функций

Каждый SEO-специалист желает знать, где сидят ошибки. Ошибки, которые спонтанно или регулярно возникают в его проекте. Перво-наперво для мониторинга ошибок SEO-специалист открывает вебмастерку Google — она же панель вебмастеров, она же Google Search Console. О том, как и где использовать этот инструмент — объясню доступным языком в новом выпуске «Азбуки SEO».

Как добавить ресурс в Google Search Console

Ресурс — это сайт или приложение. На момент написания статьи главная страница с набором ресурсов выглядела так:

Скриншот первой страницы ресурса:

Для добавление сайта переходим в панель вебмастера и заполняем необходимые поля:

В поле, где нужно вводить адрес сайта, необходимо указать полный адрес с протоколом передачи данных, а также с www, если это главное зеркало сайта.

Затем следует подтвердить права на сайт. Система предлагает два способа.

  1. Рекомендуемый алгоритм подтверждения прав:
  1. Альтернативные методы — с помощью тега HTML, провайдера доменных имен, Google Analytics, диспетчера тегов Google:

Какие разделы панели вебмастеров нужны SEO-специалисту? В первую очередь следует изучить «Панель инструментов». Это общий информационный раздел, который демонстрирует основные показатели сайта:

  1. Новые и важные сообщения.
  2. Ошибки сайта.
  3. Ошибки URL.
  4. График кликов.
  5. Сводные данные по картам сайта.

Что интересного в разделе «Сообщения»

  1. Рост количества ошибок.
  2. Наличие ручных санкций.
  3. Рекомендации по улучшению сайта, например о настройке AMP:
  1. Изменение владельца ресурса.
  2. Удаление страниц из выдачи:

Зачем нужен раздел «Вид в поиске»

Этот раздел включает в себя подразделы:

  1. Структурированные данные.
  2. Полезные подсказки.
  3. Маркеры.
  4. Оптимизация HTML.
  5. Ускоренные мобильные страницы (AMP).

Краткое описание элементов в поиске можно узнать, если нажать на восклицательный знак возле названия этого раздела:

Что интересного в отчете «Структурированные данные»

Здесь отображается вся информация о микроразметке на сайте. Данные в разделе можно разделить на две части:

  • визуальный график количества элементов, для которых есть микроразметки и количество элементов с ошибками;
  • подробная информация о типах микроразметки. Поля кликабельны, в них можно узнать более подробную информацию:

Зачем нужны «Полезные подсказки»

Отчет по полезным подсказкам помогает выявить ошибки в структурированных данных, обнаруженных на вашем сайте. Также он позволяет узнать, какую информацию нужно предоставить для более эффективного использования полезных подсказок Google.

Пока этот раздел доступен только для некоторых полезных подсказок.

Что такое «Маркеры»

Маркер позволяет передать роботам Google подробные структурированные данные, обнаруженные на cайте.

На данный момент доступны такие данные для маркеров:

Что смотреть на вкладке «Оптимизация HTML»

На этой вкладке показаны проблемы, обнаруженные роботом Googlebot при сканировании и индексировании сайта.

На этой странице можно найти такие проблемы:

  1. Проблемы с заголовком. Этот отчет покажет, где Google робот на сайте нашел:
  • повторяющиеся метаописания;
  • короткие метаописания;
  • длинные метаописания.
  1. Проблемы с метаописанием.
  • отсутствующие заголовки (теги title);
  • повторяющиеся заголовки (теги title);
  • длинные заголовки (теги title);
  • короткие заголовки (теги title);
  • неинформативные заголовки (теги title).
  1. Неиндексируемое содержание. Страницы с неиндексируемым содержанием, например, с некоторыми мультимедийными файлами, видеороликами или картинками.

Зачем смотреть в отчет «Ускоренные мобильные страницы (AMP)»

Здесь представлено количество проиндексированных страниц и ошибки, обнаруженные при их сканировании. Если на этих страницах есть ошибки, они не будут выводиться в поиске.

На что обратить внимание в разделе «Поисковый трафик»

Отчет «Анализ поисковых запросов»

Этот отчет позволяет узнать, как часто сайт появляется в поиске. При анализе поисковых запросов можно узнать:

  • количество кликов;
  • количество показов;
  • CTR;
  • среднюю позицию.

Фильтровать данные можно по параметрам:

  1. Поисковые запросы. Фильтрация происходит по точному соответствию, «содержит» и «не содержит». По умолчанию выводятся самые популярные запросы. Также можно сравнивать два запроса. С помощью интерфейса можно выгрузить максимум 999 запросов в каждом типе фильтрации.
  2. Страницы. Фильтрация и сравнение аналогично с «Поисковыми запросами». Здесь существует лимит в 999 страниц.
  3. Страны. Можно выбрать из списка нужную страну или весь мир, также можно сравнить между собой две страны. Лимиты остаются прежними.
  4. Устройства. По умолчанию показываются данные по всем устройствам. Их можно отфильтровать по категориям «ПК», «Мобильный», «Планшет». Сравнение двух устройств тоже присутствует. Лимиты остаются прежними.
  5. Тип поиска. По умолчанию показывает данные по обычному поиску. Также существуют фильтры: «Веб», «Изображение», «Видео». Можно сравнивать показатели нескольких устройств. Лимиты остаются прежними.
  6. Дата. По умолчанию берутся последние 28 дней. Также можно выбрать: «Последние 7 дней», «Последние 28 дней», «Последние 90 дней» и «Другие даты». Сейчас данные хранятся только 90 дней, но после скорого обновления Google Search Console этот отчет будет предоставлять данные за год. Можно сравнить результаты для нескольких устройств. Лимиты остаются прежними.

Данные в отчете предоставлены в виде графика и таблицы. Также можно выгрузить файл.

Отчет «Ссылки на ваш сайт»

В этом отчете мы видим:

  1. Все ссылки на сайт, которые заметил Googlebot во время сканирования и индексирования.
  2. Самые популярные источники ссылок.
  3. Самые распространенные анкоры ссылок на сайт, которые смог найти Googlebot.

В каждом разделе есть ссылка на подробный отчет. Например, в разделе «Чаще всего ссылаются» можно нажать на URL сайта и увидеть:

  1. 1000 популярных страниц, на которые ссылается этот сайт.
  2. Общее количество ссылок с анализируемого сайта на ваш сайт.
  3. Общее количество страниц анализируемого сайта, которые ссылаются на ваш сайт.

Отчет «Внутренние ссылки»

В этом отчете можно увидеть количество внутренних ссылок на сайте. Отчет показывает только топ-1000 страниц.

Также можно ввести необходимые URL в поиске и посмотреть топ-1000 ссылающихся страниц:

Отчет «Меры, принятые вручную»

В этот раздел приходят уведомления о нарушении рекомендаций по обеспечению качества для веб-мастеров. Это «ручные меры», то есть сотрудник Google анализирует сайт и уведомляет веб-мастера о нарушении, если такие есть.

Список возможных ошибок:

  1. Взломанный сайт.
  2. Созданный пользователями спам.
  3. Сервисы бесплатного хостинга, распространяющие спам.
  4. Спам в структурированной разметке.
  5. Искусственные ссылки на ваш сайт.
  6. Неинформативное бесполезное содержание.
  7. Маскировка и/или скрытая переадресация.
  8. Маскировка: нарушения правила «первый клик бесплатно».
  9. Искусственные ссылки с сайта.
  10. Агрессивный спам.
  11. Замаскированные изображения.
  12. Скрытый текст и/или избыточное количество ключевых слов.

Отчет «Таргетинг по странам и языкам»

Этот отчет будет полезен вебмастерам, сайты которых нацелены больше чем на одну страну. В отчете две вкладки:

  1. Языки. Здесь можно следить за тегамом hreflang, чтобы он использовал корректные региональные коды (в соответствии с языком и страной).
  2. Страна. В этом разделе можно настроить таргетинг для определенной страны и для целого сайта.

Отчет «Удобство просмотра на мобильных устройствах»

Динамика трафика с мобильных устройств стремительно растет, поэтому этот отчет нужно изучать максимально подробно.

На первом экране диаграмма, которая показывает количество неоптимизированных страниц. Ниже можно выбрать проблему, чтобы увидеть эти проблемные страницы. Можно нажать на страницу, чтобы узнать, как устранить ошибку.

В целом бывает шесть типов ошибок:

  1. Использование Flash. Много мобильных браузеров не поддерживают Flash.
  2. Область просмотра не настроена. Нужно настроить атрибут viewport, он передает браузеру информацию о правильных размерах элементов на странице.
  3. Фиксированная область просмотра. Такая ошибка возникает, когда страница имеет фиксированную ширину. В таком случае нужно настроить адаптивный дизайн для масштабирования страницы под разные размеры экрана.
  4. Ширина контента не соответствует области просмотра. Ошибки такого типа связаны с наличием горизонтальной прокрутки страница на мобильных устроствах.
  5. Маленький размер шрифта. И тут это важно 😉 Здесь описаны все требования к размеру шрифта.
  6. Интерактивные элементы расположены слишком близко. Это тот случай, когда пользователь одним нажатием на экран устройства задевает другую кнопку на сайте.

Отчет «Статус индексирования»

Этот отчет показывает все URL на сайте, которые Googlebot сумел проиндексировать. Также в этом отчете можно посмотреть:

  1. Как и писали выше — количество проиндексированных страниц.
  2. Количество заблокированных страниц в файле robots.txt.
  3. Количество страниц, которых Google удалил из результат поиска по запросу.

Отчет «Заблокированные ресурсы»

В этом отчете указаны ресурсы, к которым Googlebot не может получить доступы. На главной странице отчета указан список хостов, на которых размещены ресурсы, закрытые в файле robots.txt . Если нажать на один из хостов, можно увидеть список заблокированных ресурсов, здесь же будет информация о количестве страниц, которые зависят от этого ресурса. Нажав на страницу, получим информацию о том, как разблокировать ресурс.

Отчет «Удалить URL-адреса»

Этот функционал позволяет временно удалить страницу из результата поиска. Система блокирует страницы на срок до 90 дней.

Что интересного в разделе «Сканирование»

Отчет «Ошибки сканирования»

  • данные в этом отчете за последние 90 дней;
  • максимально доступно для анализа 1000 URL каждого вида ошибок в день.

Страница с ошибками делится на две части:

1. Ошибки сайта. Когда ошибок нет, отчет выглядит так:

Как видно на скриншоте, ошибки делятся еще на три пункта:

1.1. DNS. Такие ошибки означают, что робот Googlebot либо не смог получить данные от DNS-сервера, либо на сервере отсутствует запись, связанная с вашим сайтом.

1.2. Подключение к серверу. Такая ошибка означает, что Google не может получить доступ к сайту, сервер слишком долго не отвечает, либо сайт блокируется Google. В этом случае Google перестает отправлять запросы.

  • истекло время ожидания подключения;
  • сбой подключения;
  • в подключении отказано;
  • ответ не получен;
  • усеченное тело ответа;
  • сброс подключения;
  • усеченные заголовки;
  • тайм-аут.

1.3. Доступ к файлу robots.txt. Проблемы возникают, если ссылка на robots.txt возвращает код ответа сервера, отличающийся от 200 и 404. В этом случае Googlebot отложит сканирование сайта и вернется позже.

2. Ошибки URL делятся по типам устройств:

  • ПК. Ошибки, которые Googlebot обнаружил при сканировании сайта;
  • смартфоны. Ошибки, обнаруженные на мобильном сайте роботом Googlebot (их не находит Googlebot для компьютеров).

У ошибок URL на ПК и смартфонах похожие проблемы:

  • ошибка сервера — возникает, когда Googlebot не может получить доступ к сайту, либо сервер слишком долго не отвечает;
  • ошибка 404 — возникает, когда страницы нет и сервер не возвращает 404 код. По сути, робот требует установить там 404 код ответа сервера;
  • не найдено — возникает, когда нет страницы с данным адресом. Это один из самых важных отчетов. Дело в том, что URL в списке отсортированы в порядке приоритета, то есть верхние — лучше всего ранжировались, на них чаще всего заходили пользователи. Теперь эти страницы отдают 404 код ответа сервера, на них нужно обратить внимание в первую очередь.
  • заблокировано;
  • доступ запрещен — возникает, когда на сервере требуется аутентификация, или для робота Googlebot заблокирован доступ к странице;
  • переход не выполнен — ошибка при обработке активного содержания или переадресации;
  • другое — роботу Googlebot не удалось просканировать эту страницу по неизвестной причине.
Топ-пост этого месяца:  Начата рассылка уведомлений о переводе сайтов на mobile-first индексацию

Отчет «Статистика сканирования»

Здесь можно увидеть:

  • количество отсканированных страниц;
  • количество загруженных килобайтов;
  • время, затраченное на загрузку страницы (в миллисекундах).

Этот отчет показывает данные за последние 90 дней с разбивкой по дням. Его нужно использовать для анализа краулингового бюджета поисковика.

Если проблем нет, на диаграмме будет относительно стабильная картина. Если же мы видим резкий скачок, то, соответствии с «симптомами», нужно следовать следующей инструкции.

Скорость сканирования снизилась:

    1. В файл Robots.txt добавили новое или очень объемное правило. Нужно убедиться, не блокируются ли какие-то важные для поискового робота страницы.
    2. На страницах сайта есть некорректная HTML разметка. Для таких страниц нужно использовать «Сканер Google для сайтов», чтобы узнать, как Googlebot воспринимает ваши страницы.
    3. Сайт начал медленно отвечать на запросы робота. Нужно проверить отчет скорость отклика сайта.
    4. Ошибки на сервере. Стоит посмотреть отчет об ошибках сканирования.
    5. Уменьшили максимальную скорость сканирования.
    6. Страницы редко обновляются, содержат информацию не очень высокого качества.

Скорость сканирования увеличилась:

    1. Нужно убедиться, сканирует ли робот именно ваш сайт. Советуем проверить информацию о визитах поискового робота в ваших журналах.
    2. Противоположные действия описаны в первом подпункте.

Функция «Посмотреть как Googlebot»

  1. Узнать, есть ли у Google доступ к контенту (в том числе к изображениям или скриптам). Можно выбрать как ПК бота так и бота для мобильных устройств
  2. Узнать, как робот обрабатывает сайт.
  3. Узнать, как исправить ошибки, найденные в процессе сканирования.

Инструмент проверки файла robots.txt

Из названия понятно, что этот инструмент проверяет, нет ли ошибок в файле robots.txt.


Также он проверяет доступность страниц для роботов Google:

Отчет «Файлы Sitemap»

Что можно в этом разделе:

    1. Посмотреть список файлов Sitemap, которые добавлены в Search Console.
    2. Отправить на проверку Sitemap (в ручном режиме).
    3. Удалять файлы Sitemap.
    4. Сортировать ошибки в файле.
  • URL недоступен;
  • переход по URL не выполнен;
  • недействительные URL;
  • ошибка сжатия;
  • пустой Sitemap;
  • превышен максимально допустимый размер файла;
  • неверное значение атрибута;
  • недопустимая дата;
  • недопустимое значение тега;
  • недопустимый URL;
  • недействительный URL в файле индекса Sitemap: неполный URL;
  • недопустимый XML: слишком много тегов;
  • отсутствует атрибут XML;
  • отсутствует тег XML;
  • отсутствует URL значка видео;
  • отсутствует название видео;
  • неверный формат индекса Sitemap: вложенные файлы индекса Sitemap;
  • ошибка синтаксического анализа;
  • временная ошибка;
  • слишком много файлов Sitemap в файле индекса;
  • слишком много URL в файле Sitemap;
  • неподдерживаемый формат файла;
  • несоответствующий путь: отсутствует префикс www;
  • несоответствующий путь: имеется префикс www;
  • неправильно указано пространство имен;
  • файл Sitemap начинается с пробела;
  • ошибка HTTP;
  • значок видео слишком велик;
  • значок видео слишком мал;
  • местоположения видео и страницы воспроизведения совпадают;
  • URL местоположения видео указывает на страницу воспроизведения;
  • роботу Googlebot заблокирован доступ в файле robots.txt.

Описание каждой проблемы присутствует в отчете, например:

Раздел «Параметры URL»

С помощью этого инструмента можно подсказать боту Google, с какой целью используется тот или иной параметр URL на сайте. В инструменте могут уже быть неизвестные роботу параметры URL, которые желательно обработать, также можно загрузить необходимый параметр и настроить его.

Для обработки параметра изначально нужно выбрать его характеристику:

  1. Параметр не изменяет содержимое страницы, которое видит пользователь. При наличии нескольких URL, отличающихся только значением данного параметра, Googlebot просканирует только один из них.
  2. Параметр изменяет содержимое страницы, которое видит пользователь. Этот показатель установлен по умолчанию.

Можно выбрать, как именно параметр меняет содержимое:

  • сортирует (например, sort=type);
  • ограничивает (например, size=M);
  • указывает (например, store=women);
  • переводит (например, lang=uk);
  • разбивает на страницы (например, page=3).

Далее можно выбрать один из способов обработки URL с этим параметром:

  • на усмотрение Googlebot;
  • каждый URL;
  • только URL со значением: в этом случае Google будет сканировать только те URL, у которых выбранный параметр имеет указанное вами значение;
  • никакие URL.

Зачем нужен раздел «Проблемы безопасности»

Этот раздел сообщает о проблемах, связанных со взломом сайта. Пример уведомления:

В таком случае алгоритм прост:

  1. Анализируем примеры.
  2. Устраняем взлом.
  3. Делаем запрос на проверку, где тщательно описываем алгоритм устранения вредоносного кода.
  4. Проверка может занять некоторое время, нужно ежедневно следить, не появились ли новые взломанные страницы.

Что интересного в разделе «Другие ресурсы»

  1. Инструмент проверки структурированных данных — с его помощью можно убедиться, что системы Google правильно обрабатывают разметку данных и показывают информацию в результатах поиска.
  2. Мастер разметки структурированных данных. Этот инструмент поможет добавить разметку структурированных данных на веб-страницу.
  3. Инструмент проверки разметки в письмах — проверяет структурированные данные в HTML-письмах.
  4. Add URL. С помощью этого инструмента можно отправить сайт на индексирование в Google.

Выводы

В своей работе я регулярно использую Google Search Console:

  1. Раз в неделю визуально прохожусь по всем разделам в поиске аномалий, ошибок.
  2. Раз в месяц использую инструментарий «Параметры URL», чтобы подсказать роботу предназначения новых параметров, которые он нашел. После этого важно регулярно смотреть отчет «Статистика сканирования» для мониторинга изменений.
  3. Когда сайт переезжает с www или https или на новый домен, важно следить за ошибками в Google Search Console. Что нужно делать с GSC после изменения адреса сайта.
  4. Для мониторинга количества кликов, показов, CTR и средней позиций на популярных разделах сайта я использую API, с помощью которого регулярно сохраняю нужные мне данные.

Google Search Console полезна как вебмастерам, так и владельцам сайта, это простой и бесплатный инструмент для поиска и устранения ошибок. Главное — не испугаться большого количества разделов и усвоить, куда смотреть в первую очередь.

Основы SEO: что такое ошибки сканирования?

Автор: Эдуард Бунаков · Опубликовано 21 апреля 2020 · Обновлено 7 мая 2020

Ошибки сканирования возникают, когда поисковая система пытается добраться до страницы на вашем сайте, но терпит при этом неудачу. Сначала разберемся с понятием «сканирование». Это процесс, при котором поисковая машина старается посетить каждую страницу сайта с помощью робота. Поисковый робот получает ссылку на ваш сайт и начинает искать на нем все публичные страницы. Бот обходит страницы, индексирует весь контент для использования в Google, плюс добавляет все ссылки на этих страницы к набору страниц, которые нужно потом обойти.

Ваша главная цель, как владельца веб-сайта – убедиться, что поисковый робот сможет добраться до всех страниц на ресурсе. В противном случае процесс возвращает сообщение, которое мы называем ошибкой сканирования.

Ваша задача заключается в том, чтобы убедиться, что каждая ссылка на сайте ведет на актуальную страницу. Это можно сделать через код ответа 301 «Редирект», но страница по этой ссылке должна всегда возвращать ответ от сервера об успешном запросе 200 ОК.

Google делит ошибки сканирования на две группы:

1. Ошибки сайта. Их наличие означает, что робот не может обойти весь сайт.

2. Ошибки URL. Тоже не самое приятное открытие. Но так как каждая из этих ошибок связана с определенным адресом, их легче выявлять и исправлять.

Разберем подробнее каждую группу ошибок.

Ошибки сайта

Ошибки сайта – это все ошибки обхода, которые мешают поисковой машине получить доступ к сайту. Причин может быть много, к самым распространенным относятся следующие:

    1. Ошибки DNS. Означает, что поисковая машина не может связаться с вашим сайтом. Другими словами, это говорит, например, что на ваш сайт не могут зайти посетители. Обычно такая проблема является временной.

Google вернется на веб-сайт позже и, так или иначе, просканирует его. Если вы увидели сообщение об ошибке обхода контента в Google Search Console, вероятно, Google два-три раза попробовал попасть на сайт и до сих пор не смог это осуществить.
2. Ошибки сервера. Если вы обнаружили в консоли ошибки сервера, это значит, что робот не смог получить доступ к сайту. Возможно, был превышен интервал ожидания для запроса. Например, поисковая машина попробовала посетить сайт, но загрузка заняла так много времени, что сервер вернул сообщение об ошибке.

Ошибки сервера также возникают, когда в коде есть недочеты, мешающие загрузке страниц. Это также может означать, что на ваш ресурс зашло так много посетителей, что сервер не может обработать все запросы. Большинство ошибок этого вида возвращаются как код ответа 5хх, вроде 500 или 503

  • 3. Ошибка роботов. Перед сканированием робот Google пробует прочитать файл robots.txt, чтобы увидеть, есть ли какие-то области на сайте, которые не нужно индексировать. Если робот не может обнаружить robots.txt, Google отложит обход контента, пока не получит доступ к этому файлу. Поэтому всегда убеждайтесь в доступности последнего.
  • Это был перечень ошибок, связанных с доступом ко всему сайту. Теперь рассмотрим, какие ошибки сканирования могут возникать на конкретных страницах.

    Ошибки URL

    Как уже говорилось, ошибки URL-адреса связаны с ошибками обхода, которые происходят, когда робот пытается сканировать конкретные страницы на сайте. При обсуждении ошибок URL в первую очередь вспоминают про ошибки обхода контента 404 – «Страница не найдена».

    Как можно чаще проверяйте сайт с помощью инструментов Google Search Console или Bing webmaster, чтобы вовремя исправить такие проблемы.

    Если страница или объект на странице действительно удалены навсегда, измените код ответа 404 на 410 (страница удалена). Если у вас есть такой же контент на другой странице, используйте код ответа 301 (редирект). Убедитесь, что ваша карта сайта и внутренние ссылки содержат актуальную информацию.

    Как показывает практика, большинство этих ошибок вызываются внутренними ссылками. Так что в основном это ваши ошибки. Если в какой-то момент вы удаляете страницу с сайта, скорректируйте или удалите все ведущие на нее ссылки. Они уже бесполезны.

    Если оставить подобную ссылку неизменной, робот найдет её и, перейдя, обнаружит тупик (ошибку 404 «Страница не найдена»). Вы должны регулярно проверять актуальность внутренних ссылок на своем сайте.

    Помимо этих общих проблем, для конкретного адреса может возникнуть ошибка DNS или сервера. Проверьте адрес чуть позже, чтобы посмотреть, исчезла ошибка или нет. Обязательно используйте функцию «Сканировать как Google», и отметьте ошибки, которые нужно исправить, в Google Search Console (если вы пользуетесь этим инструментом).

    Особые ошибки URL

    Есть несколько ошибок URL-адресов, которые возникают только на сайтах определенного типа. Вот почему хочется перечислить их отдельно:

    1. Ошибки мобильных URL-адресов. Связаны с ошибками сканирования страниц на мобильных устройствах (например, смартфонах). Если у вас сайт с отзывчивым дизайном, этого не должно случиться. Если вы поддерживаете отдельный мобильный поддомен вида m.example.com, вероятность возникновения проблемы повышается.

    Например, её могут вызвать неактуальные переадресации с версии ресурса для настольных систем на мобильный сайт. Или вы могли заблокировать часть мобильного сайта строчкой в файле robots.txt.

    2. Ошибки вредоносного ПО. Если вы сталкиваетесь с ошибками вредоносного ПО в отчете, это означает, что Яндекс или Гугл нашли по указанной ссылке опасный код. Это может означать, например, что обнаруженная там программа «собирает защищенную информацию или выполняет разрушительные действия в общем» (Википедия). Вам нужно проанализировать указанную страницу и удалить вредоносный код.

    3. Ошибки в новостях Google. Очень специфические ошибки, полный список которых можно найти в документации Гугл. Вы можете столкнуться с этими ошибками сканирования, если ваш сайт есть в Google News. Они варьируются от отсутствия заголовка до сообщений, что ваша страница, скорее всего, не содержит новостного контента. Обязательно проверьте актуальность этих сообщений самостоятельно, если они относятся к вашему проекту.

    Исправление ошибок сканирования

    Итак, если вы сталкиваетесь с ошибками сканирования, обязательно их исправляйте. Эта процедура должна стать частью обязательных работ по обслуживанию вашего ресурса, как и регулярная проверка на наличие подобных проблем.

    Для облегчения задачи можно попробовать поискать специальные инструменты (плагины, программы, сервисы), которые позволяют предупредить ошибки обхода, например, при удалении страницы.

    Об использовании одной из таких программ можно посмотреть в видеоуроке на странице ошибка протокола https, где подробно показан весь процесс исправления ошибок url-адресов.

    Всё об инструменте для веб-мастеров Google Search Console

    Краткое содержание статьи:

    Search Console – это инструмент, позволяющий анализировать и контролировать то, как ваш сайт представлен в поисковой системе Google. Он пригодится не только SEO-специалистам и маркетологам, но и владельцу ресурса. В нём можно понять, есть ли у сайта серьезные проблемы, например, попадание под санкции, могут ли роботы поисковой системы корректно сканировать сайт или, например, есть ли проблемы с мобильной версией.

    4 сентября 2020 года, после предварительного бета-тестирования, появилась обновленная панель Google Search Console для вебмастеров. До сентября 2020 года были доступны обе версии – старая и новая. Старый интерфейс отличался большим набором инструментов, который позволял оценить и настроить сайт с разных сторон. Новая версия, как обещает Google, полностью заменит старый сервис новыми улучшенными функциями. Предлагаем вам ознакомиться с подробной справкой по использованию данного инструмента.

    Добавление сайта в Google Search Console

    Зайдя на главную страницу сервиса, первым делом необходимо зарегистрироваться. Без доступов к FTP, админ-панели или регистратору домена осуществить вход в панель не получится, так как необходимо подтвердить, что данный ресурс действительно является вашим.

    Предлагается два варианта добавления сайта в кабинет вебмастера:

    Первый – «Доменный ресурс» позволяет добавить все варианты написания вашего сайта, т.е. все поддомены, адресации сайта с http и https, с www и без www и т.д. практически одним кликом. Но подтверждение происходит только с помощью записи DNS. Для этого зайдите в панель вашего регистратора домена и добавьте TXT-запись (которую сообщил Google) в конфигурацию DNS для домена вашего сайта. Далее нажмите «Подтвердить» в окне Google Search Console.

    Второй – «Ресурс с префиксом в URL» позволяет добавить только тот вариант сайта, который вы указали, например, адрес сайта https://site.ru/ – это означает, что вы добавляете только https-версию сайта. Рекомендуем добавлять только главное зеркало вашего ресурса. Из плюсов использования «Ресурс с префиксом в URL» – то, что есть несколько разных вариантов подтверждения сайта:

    • HTML-файл – необходимо загрузить файл в корень сайта через FTP.
    • Тег HTML – мета-тег должен располагаться в пределах тега , добавляется в коде сайта.
    • Google Аналитика – если на сайте стоит счетчик Google Analytics (либо если счетчик подключен через Google Tag Manager) и у вас есть полные доступы в данную систему статистики, то данное подтверждение произойдёт всего в один клик.
    • Google Менеджер тегов – если на сайте установлен код Google Tag Manager и у вас есть полные доступы к данному контейнеру, то подтверждение аналогично пункту выше.
    • Провайдер доменных имен – подтверждение происходит так же, как в разделе «Доменный ресурс» с помощью записи DNS в панели регистратора домена.

    Отчеты и инструменты

    После подтверждения вашего сайта вы попадёте на страницу «Обзор», на которой располагаются сводные данные и информация об эффективности страниц вашего сайта.

    Доступно три отчета: эффективность, покрытие и улучшения. Они же доступны не только из «Обзора», но и из левого меню.

    Эффективность

    Эффективность – аналог старого раздела «Анализ поисковых запросов». Теперь можно настраивать отчет по:

    • количеству кликов, показов, среднему CTR и средней позиции.
    • запросам, страницам, странам, устройствам, виду в поиске, дате.
    • фильтрации, которая позволяет быстро отсортировать нужные данные. Также есть функция сравнения выбранных параметров и возможность выбирать диапазон дат.

    Рассмотрим небольшой пример, как можно применить фильтрацию и сравнение в этом отчете. Например, нам необходимо сравнить данные в мобильной и десктопной выдаче за последние 3 месяца по запросам, содержащим слова «мебельный щит» в регионе «Россия». При выставлении необходимой фильтрации мы получим следующие графики и данные:

    Чтобы в графиках не было хаоса, их можно переключать по отдельности. Пунктирные линии – клики с ПК, сплошные – с мобильных. В таблице также представлено сравнение по ПК и мобильным, и фильтрация по содержанию слов в запросе. Таким образом можно посмотреть эффективность конкретного направления сайта на устройствах.

    Покрытие

    Покрытие – в старой версии Search Console подобного отчета не было. Это отчет об индексировании сайта с информацией об ошибках при обходе страниц поисковым роботом.

    Отчет делится на несколько пунктов:

    • «Ошибка» , где отображается количество и адреса непроиндексированных страниц с конкретными ошибками, например: 404-страницы, страницы с 5xx ответом сервера, ошибки переадресации, страница заблокирована в robots.txt или содержит тег noindex и пр. Также Google предусмотрел вариант «Ошибки при сканировании отправленного URL», который сообщает, что неизвестно, почему страница не проиндексирована. Если вы заметили такую ошибку, скорее всего «глюки» на стороне Google. Внимательно анализируйте данный раздел, т.к. именно в этом разделе содержатся те ошибки, которые не позволяют роботу индексировать страницы вашего сайта.
    • «Без ошибок, есть предупреждения» . Предупреждения не так критичны, как ошибки, но все-таки тоже требуют внимания. Здесь, например, будет отображаться информация о тех проиндексированных страницах, которые вы закрыли в robots.txt, т.е. несмотря на запрет, Google всё равно решил включить их в поисковую выдачу. Почему это происходит? Если на сторонних сайтах есть ссылки на данную страницу, то она будет проиндексирована. Чтобы наверняка запретить к ней доступ, используйте тег noindex.
    • «Страница без ошибок» показывает, какие страницы были проиндексированы. Имеет два статуса: «Страница отправлена и проиндексирована» и «Страница проиндексирована, но ее нет в файле Sitemap». Если отображается второй статус, то страницы, которые он отображает, необходимо внести в карту сайта sitemap.xml.
    • «Исключено» отображает страницы, которые были исключены по следующим причинам: страница была добавлена через инструмент удаления URL, запрещена тегом noindex, ошибки 4xx или 5xx, запрещена в robots.txt, помечена тегом canonical, удалена из-за жалобы (от сторонних пользователей), страница является копией и пр.

    При устранении всех вышеперечисленных ошибок можно отправить сигнал Google о том, что они исправлены с помощью кнопки «Проверить исправление». Наиболее серьезные ошибки следует устранить в первую очередь.

    Из дополнительного функционала можно включить отображение графика показов вашего сайта за последние 3 месяца, для анализа его изменения вследствие обнаружения ошибок.

    Также есть функционал фильтрации ошибок по всем обработанным страницам, по отправленным (sitemap.xml или отправленные вами через Search Console) и по страницам, находящимся в определенном sitemap.xml. В каждую ошибку можно зайти и проанализировать, с какого момента и на каких страницах она началась.

    Там же для каждого адреса доступны инструменты проверки блокировки в robots.txt и проверка URL.

    Улучшения

    «Улучшения» – раздел, который содержит в себе три отчета: «Удобство для мобильных», «Строки навигации» и «Продукты».

    Удобство для мобильных

    Удобство для мобильных – аналог прежнего инструмента, но с более удобным интерфейсом. Показывает какие страницы сайта неудобно просматривать на мобильных устройствах.

    Отчет содержит в себе:

    • «Ошибка» , здесь отображается количество страниц, которые не оптимизированы под мобильные устройства. Также есть наглядный график, на котором можно отследить, когда появилась или исчезла проблема. Можно включить график отображения показов, для более детального анализа. По мере устранения неполадок на временном отрезке будут отображаться цифры с информацией о том, когда и какая ошибка была устранена. В сведениях отображаются какие именно ошибки мешают нормальному просмотру сайта на мобильных устройствах: слишком мелкий шрифт, используются неподдерживаемые плагины, значение мета-тега viewport не задано и пр. В каждую из таких ошибок можно зайти и проанализировать на каких страницах есть проблема. После устранения ошибок необходимо нажать «Проверить исправление».
    • «Страница без ошибок» показывает сколько и какие страницы оптимизированы под мобильные устройства.

    Как работать с данным отчетом? Большее внимание стоит уделить тем ошибкам, которые появились сразу на нескольких страницах, это говорит о том, что проблему можно устранить исправив, какой-то конкретный недочет в шаблоне сайта, там самым сразу большому количеству страниц присвоится статус «Страница без ошибок». Затем смотрите на ошибки, которые относятся к отдельным страницам. После их устранения необходимо нажать кнопку «Проверить исправления», тем самым вы ускорите сканирование страниц с исправленными неполадками.

    По каждой ссылке, на которой были найдены ошибки, можно совершить проверку через инструмент «Проверка оптимизации для мобильных», который доступен по кнопке «Проверить страницу на сайте».

    Строки навигации

    Строки навигации – это последовательность внутренних ссылок, которые позволяют пользователям быстро вернуться к предыдущему разделу или на главную страницу. Строки навигации (хлебные крошки), по рекомендациям Google, могут иметь структурированные данные, созданные с помощью форматов JSON-LD, Microdata, RDF. Для оформления хлебных крошек рекомендуется использовать последние два формата. Строки навигации могут отображаться в поисковой выдаче в сниппете. Суть отчета «Строки навигации» в поиске ошибок в структурированных данных хлебных крошек.

    Есть три вида статусов:

    • Ошибка – отображает на диаграмме количество критических ошибок связанных с микроразметкой в навигации, может отображать связанные с ошибкой предупреждения только в таблице под диаграммой. Ошибки могут быть следующими: отсутствует поле «position», отсутствует поле «item», отсутствует поле «itemListElement» и пр. Проблемы решаются путём добавления разметки в код сайта.
    • Без ошибок, есть предупреждения – сообщает о незаполненных необязательных свойствах в разметке. Из минусов, если не исправлять предупреждения, некоторые результаты структурированных данных могут не отображаться в выдаче.
    • Страница без ошибок – отображает количество страниц без ошибок и предупреждений в навигации. По диаграмме можно отслеживать, когда и сколько корректных с точки зрения семантической разметки появилось страниц.

    Продукты

    Продукты – сообщает о проблемах в микроразметке товаров на вашем сайте. Благодаря этой разметке в поисковой выдаче могут отображаться цены, наличие, рейтинг отзывы о ваших товаров. Также она влияет на отображение фотографий товара в Google Картинках. Разметка может быть создана с помощью форматов JSON-LD, Microdata, RDF.

    Также «Продукты» в Google Search Console имеют три вида статусов ошибок:

    • Ошибка – в диаграмме отображаются критические ошибки семантической разметки товаров, которые необходимо исправить. Также они могут отображаться в таблице. К примеру, могут отсутствовать поля price, availability, priceCurrency и пр. Чтобы исправить ошибки, разметьте код сайта обязательными свойствами.
    • Без ошибок, есть предупреждения – это значит, что в разметке нет необязательных свойств, и поэтому они могут влиять на отображение товара в поисковой выдаче. Примеры необязательных свойств: itemOffered, priceVal >Страница без ошибок – показывает сколько страниц без ошибок и предупреждений в микроразметке товаров было просканировано Google.

    Для детальной диагностики можно зайти в любой статус ошибки или предупреждения, выбрать любую ссылку из предложенных, и автоматически загрузится исходный код страницы с выявленными проблемами. Пример:

    Проверка URL

    Инструмент проверки URL поможет получить информацию о странице, а именно узнать ошибки в её индексировании, на AMP-страницах и в структурированных данных. Рассмотрим подробно функции «Проверка URL»:

    Отображение статуса индексирования страницы. Статус может иметь разные варианты:

    • URL есть в индексе Google – страница проиндексирована и, возможно, показывается в поиске.
    • URL есть в индексе Google, но на странице наблюдаются проблемы – страница проиндексирована и, возможно, показывается в поиске, но имеет проблемы. Для устранения ошибок необходимо изучить предупреждения данного отчета.
    • URL нет в индексе Google: ошибки индексирования – страница не проиндексирована из-за ошибок, это могут быть: 5xx или 4xx-ответ сервера, неправильная переадресация, тег noindex или блок в robots.txt.
    • URL нет в индексе Google – страница не проиндексирована по известным вам причинам, например, специальное закрытие адреса в robots.txt, использование тега noindex, включение доступности только при авторизации и пр.
    • URL неизвестен Google – страница не проиндексирована по причине того, что Google впервые её видит, или страница является альтернативой другой просканированной страницы.
    • Этот URL – альтернативная версия – индексация страницы не происходит из-за наличия в поиске другой похожей страницы: каноническая, мобильная или AMP-страница.

    С помощью кнопки «Изучить просканированную страницу» можно посмотреть исходный код, скриншот и код ответа сервера и др. данные – это поможет наглядно увидеть, в чем заключается неиндексация страницы. После устранения ошибок, необходимо нажать на кнопку «Запросить индексирование».

    «Покрытие» сообщает более подробную информацию об индексации:

    • Способ обнаружения адреса страницы: sitemap.xml или ссылка.
    • Подробности сканирования: дата и время, робот и статус успешного или неуспешного сканирования.
    • Информация об индексировании: есть ли на него разрешение, указана ли каноническая страница пользователем или Google.

    Щёлкнув по кнопке «Открыть отчет», можно зайти в отчет «Покрытие» и детально проанализировать страницы. Есть функция фильтрации и выгрузки данных.

    Удобство для мобильных позволяет проверить удобство просмотра страницы на мобильных устройствах и планшетах. Имеет следующие статусы:

    • Страница оптимизирована для мобильных устройств.
    • Страница не оптимизирована для мобильных устройств.
    • Нет данных – Google не смог получить данные относительно удобства просмотра страницы на мобильных, вероятно, данные появятся позже.

    В случае найденных ошибок с отображением страницы, понять проблему поможет кнопка «Изучить просканированную страницу», где отобразится исходный код страницы, скриншот, ответ сервера и пр.

    AMP-страницы. Информация о технологии AMP в Google Search Console отображается в том случае, если она подключена. Благодаря этому разделу вы сможете найти проблемы, связанные с индексированием AMP-страниц. Для удобства указывается как проверяемая страница и её AMP-версия. Ошибки, связанные с данной технологией, могут быть разными, например: «Домен AMP-страницы не соответствует канонической версии», «URL не найден (404)», «Заблокировано в файле robots.txt» и пр. Для удобства также есть функция анализа исходного кода.

    Разные типы расширенных результатов – показывает состояние структурированных данных, внедрённых на данной странице. В отчете содержится информация о видах, наличии ошибок и самих элементах разметки. Есть функция проверки исходного кода и других параметров.

    В Google Search Console может отображаться информация о следующих видах структурированных данных:

    • FAQ;
    • How-to;
    • Вакансии;
    • Видео;
    • Логотип;
    • Мероприятие;
    • Набор данных;
    • Окно поиска по сайту;
    • Проверка фактов;
    • Рецепт;
    • Страница вопроса с ответами;
    • Строка навигации;
    • Товар.

    Файлы Sitemap

    Благодаря этому инструменту вы сможете сообщить Google о карте сайта, смотреть историю её отправки, дату последней обработки и количество содержащихся в ней адресов. Sitemap может содержать в себе ссылки на страницы сайта, на изображения и видео. Перед отправкой в «Файлы Sitemap» проверьте, что карта доступна, соответствует требованиям и лежит в корне сайта. Данный инструмент позволяет добавлять разное количество карт.

    После отправки следует обратить внимание на статус, он может быть:

    • Успешно – карта сайта загружена и обработана.
    • Обнаружены проблемы – карта содержит ошибки, но, содержащиеся в ней страницы будут добавлены в очередь на сканирование. Для получения информации о неполадках, нажмите на карту в таблице. Ошибки могут быть связаны с 404-ответом сервера, закрытием карты сайта в robots.txt, превышением максимального размера файла (не более 50 мб), с синтаксическими и прочими ошибками.
    • Не получено – карту сайта не удалось получить, это может быть связано с тем, что вы указали неверный адрес карты. Необходимо указывать относительный адрес.

    В таблице есть функция фильтрации. При нажатии на добавленную карту можно проанализировать данные о её сканировании – делается это через отчет «Покрытие». Он помогает детальнее рассмотреть, какие ошибки содержит карта и их количество.

    Меры принятые вручную

    Данный отчет Google Search Console содержит в себе информацию о ручных санкциях, наложенных специалистами компании Google за нарушения, связанные с манипуляцией поисковой выдачей. В результате чего снижается трафик, позиции, а сам сайт может полностью выпасть из индекса. Это происходит из-за различных нарушений и применения обманных техник: сгенерированный или украденный контент, скрытая переадресация, использование дорвеев, предоставление разного контента поисковым системам и пользователям сайта и пр.

    Если относительно вашего сайта применены меры, вы увидите их в данном отчете. В обратном случае на их месте будет сообщение с зеленой галочкой об отсутствии проблем.

    Варианты мер, принятых вручную, которые вы можете увидеть в Search Console:

    • Агрессивный спам;
    • Бесполезный контент;
    • Замаскированные изображения;
    • Искусственные ссылки на ваш сайт;
    • Искусственные ссылки с вашего сайта;
    • Маскировка и/или скрытая переадресация;
    • Несоответствие AMP-версии канонической;
    • Проблемы со структурированными данными;
    • Скрытая переадресация для мобильных устройств;
    • Скрытый текст и/или избыточное количество ключевых слов;
    • Спам на вашем сервере бесплатного хостинга;
    • Спам, публикуемый пользователями.

    Чтобы понять, на какие страницы сайта были наложены санкции, разверните описание проблемы. Они могут быть наложены как на весь сайт, так и на определенные страницы.

    Для снятия санкций необходимо устранить перечисленные в отчете проблемы и запросить проверку с помощью специальной кнопки, где появится форма, которую нужно будет корректно заполнить. Рассмотрение снятия санкций может длиться от нескольких дней до двух недель. По результатам вы получите сообщение на электронную почту.

    Проблемы безопасности

    Данный отчет также связан с нарушениями, но уже с безопасностью сайта и его посетителей. Например, это может быть взлом, распространение вредоносного ПО, фишинг и пр. При наличии проблем с безопасностью, такие сайты помечены в поиске Google специальным значком, а также дополнительно предупреждаются в браузере, для предостережения пользователей.

    Варианты проблем, связанных с безопасностью, отображаемых в Search Console:

    • Межсайтовые предупреждения о вредоносном ПО;
    • Социальная инженерия (сайты для фишинга и обмана пользователей);
    • Тип взлома: внедрение кода;
    • Тип взлома: внедрение контента;
    • Тип взлома: внедрение через URL;
    • Тип вредоносного ПО: внедрение кода;
    • Тип вредоносного ПО: внедрение с помощью запроса SQL;
    • Тип вредоносного ПО: изменение конфигурации сервера;
    • Тип вредоносного ПО: шаблон ошибки.

    Для поиска проблем на сайте используйте бесплатные антивирусы с функцией онлайн-сканирования: Dr. Web, ClamWin, NANO Антивирус и пр. После устранения проблем необходимо в Search Console запросить проверку.

    Прежние инструменты и отчеты

    В этом разделе содержатся старые инструменты, которые всё еще доступны в старом интерфейсе Google Search Console. Все они рано или поздно обновятся и будут добавлены в новую версию. Опишем кратко про эти инструменты, которые есть в списке на данный момент:

    • «Таргетинг по странам и языкам» – с помощью данного отчета можно находить ошибки, связанные с использованием атрибутов hreflang. Можно указывать страну, с которой должны быть связаны результаты выдачи поисковой системы Google по вашему сайту.
    • «Удаления» – инструмент помогает временно удалить адреса страниц из результатов поиска, а также посмотреть историю такого скрытия страниц.
    • «Статистика сканирования» – отображает графики по сканированию вашего сайта за три месяца.
    • «Сообщения» – здесь можно посмотреть все сообщения с ошибками или предупреждениями относительно вашего сайта.
    • «Параметры URL» – помогает предотвратить сканирование одинаковых страниц, если их адреса различаются параметрами.
    • «Веб-инструменты» – здесь содержатся инструменты, которые помогут улучшить структуру вашего сайта, сделать его более удобным для пользователей, обеспечить для него более релевантные и подробные результаты в результатах поиска, проанализировать рекламу на нарушения и пр. К примеру, там вы найдете такие инструменты как: «Инструмент проверки структурированных данных», «Злоупотребления», «Google Мой бизнес», PageSpeed Insights и пр.

    Ссылки

    Отчет «Ссылки» – это новая версия старых отчетов «Ссылки на ваш сайт» и «Внутренние ссылки». Благодаря ему можно проанализировать как внутренние, так и внешние ссылки.

      «Страницы, на которые чаще всего ссылаются» . В этом разделе приводятся страницы вашего сайта, на которые ссылаются другие сайты. Указывается страница назначения, количество входящих ссылок и сайты со ссылками на ресурс. Это удобно, так как с одного домена может быть несколько ссылок. Каждую приведенную ссылку можно детально проанализировать, нажав на неё.

    Топ-пост этого месяца:  Как заработать контент-менеджером

    «Сайты, ссылающиеся чаще всего» – отображает часто ссылающиеся на вас сайты. По каждому внешнему домену можно проанализировать какое количество ссылок на ваш сайт есть на домене и узнать адреса этих страниц. Приведенные ссылки можно детально проанализировать.

  • «Самые распространенные тексты ссылок» – поможет при анализе ссылающихся анкоров. Чем выше в рейтинге текст, тем реже анкор был использован.
    • «Страницы, на которые чаще всего ссылаются» – помогает проанализировать, на какие страницы вашего сайта чаще/реже ссылаются другие страницы вашего сайта, т.е. это страницы, на которые есть много внутренних ссылок.

    Для удобства поиска необходимых данных Google внедрил фильтрацию. Также доступна выгрузка данных в формате CSV и открытие в Google Таблицах. Второе предпочтительнее, так как при выгрузке CSV часто ломается кодировка, а в Google Таблицах неполадок с отображением данных нет.

    Настройки

    Раздел «Настройки» отображает параметры, заданные для текущего сайта или приложения:

      «Подтверждение права собственности» , указывает, каким способом вы подтвердили права собственности на сайт в Google Search Console. Здесь же этот способ можно заменить на другой.

    «Пользователи и разрешения» отображает информацию о пользователях, которые подтвердили права собственности. Можно добавить нового пользователя или удалить старого.

  • «Изменения адреса» данная функция пригодится, если вы изменили домен. При изменении домена, необходимо настроить 301-редирект, далее следует добавить новый домен в Search Console и выбрать его из предложенного списка, а затем нажать кнопку «Проверить и обновить данные».
  • Так как панель вебмастера Google Search Console всё еще на этапе обновления, впереди нас ждут как улучшения привычных нам инструментов, так и появление новых, которые помогут детальнее анализировать получаемую информацию и улучшать, проверять и настраивать представление сайта в результатах поиска.

    Как избавиться от слежки Google: 5 простых шагов

    Илья Коваль

    02 октября 2020

    «Если вы пользуетесь проприетарным продуктом и не платите за него, то, скорее всего, продукт — это вы» — запишите эти простые, но в то же время великие слова. В той или иной форме эта фраза встречается уже очень давно. И к сожалению, чем дальше, тем более она верна. Google в этом смысле не одинока. Чтобы просто оценить объём собираемых Google данных, перейдите сразу к шагу #3. Впечатлило? И это только то, что компания решила показать пользователю. А какие ещё данные сохраняются на серверах, не знает, наверное, никто. И чем дальше, тем опять-таки хуже. Даже браузер Chrome в последней своей версии фактически превратился в ещё один сервис Google, а не просто программу. Что же, не пора ли хотя бы немного умерить аппетиты IT-гиганта и хоть немного позаботиться о своей приватности?

    ⇡#Шаг #1: отказаться от продуктов Google

    Да-да, самый простой и очевидный шаг. Полностью отказаться от взаимодействия с Google всё равно не удастся — те же реклама, счётчики, капча и прочие сервисы всё равно будут попадаться вам в Интернете и приложениях. Но это не мешает свести общение с компанией к минимуму как на десктопе, так и на мобильных устройствах. К чему стоит присмотреться? С поиском нам повезло, у нас есть «Яндекс», а для зарубежных сайтов подойдут DuckDuckGo, который особо подчёркивает заботу о приватности пользователей, и даже Bing, неплохо выросший за последние годы. Не забудьте только сменить поиск по умолчанию в своих браузерах. Вместо Gmail можно использовать просто бесконечное число альтернативных сервисов. У нас это опять же «Яндекс» и Mail.ru, а если вы и их не любите, то можно посмотреть в сторону Outlook и Yahoo. В случае, когда совершенно точно не хочется, чтобы кто-то сканировал вашу почту в рекламных целях, есть смысл посмотреть на платные сервисы вроде ProtonMail, Zoho или FastMail. Карты? И снова «Яндекс»! А также HERE, TomTom, MAPS.ME и OpenStreetMap. Для любителей извращений есть Apple Maps.

    Про магазин контента Google Play и говорить нечего — для музыки, фильмов, книг есть десятки площадок. Мессенджеров тоже десятки, и у Google они, в общем, не самые лучшие. Альтернативных облачных хранилищ и онлайновых офисных пакетов тоже хватает. Microsoft предлагает и то, и другое. Просто для файлов есть «Яндекс.Диск», Dropbox, «Облако Mail.ru» и Mega (для любителей приватности). Браузеров, помимо Chrome тоже немало. Один из лучших сейчас, конечно, Firefox, но на выбор есть Opera, Vivaldi, «Яндекс.Браузер», Brave, Edge. На мобильных устройствах выбор тоже немал. Параноики могут, например, отказаться в Android от клавиатуры Google (и отдавать весь набранный текст другой компании, естественно). Есть ли хоть что-то, для чего никакой замены нет? Вообще-то есть, но для обычного пользователя таких продуктов всего парочка. Во-первых, это, очевидно, YouTube, потому что нигде больше столько контента не найти. Во-вторых, Google Translate, хотя его постепенно догоняют другие сервисы.

    ⇡#Шаг #2: отключить сбора сведений Google

    Если совсем отказываться от продукции Google не хочется или нет возможности, то следует хотя бы настроить взаимодействие с ней. Вообще Google с некоторых пор предлагает краткий мастер настроек приватности, где собраны основные настройки собираемых сведений. Можно воспользоваться им, а можно и вручную пройтись по отдельным пунктам. Что стоит отключать, а что не надо — решать вам. Например, история приложений и веб-поиска существенно влияет работу поиска, что может быть удобно. Непосредственно для поисковика Google можно отключить персонализированные результаты.

    Единственное, что, пожалуй, трогать не стоит, так это пункт «Информация с устройств», который отвечает и за сохранение настроек мобильных устройств в облаке. Это попросту удобно. Для Android устройств есть также ещё одна спорная опция — определение местоположения по беспроводным сетям в дополнение к GPS. Она повышает точность навигации, однако периодически отправляет Google различные данные, пусть и анонимизированные, как заявляется. Если вам это не по духу, то её тоже можно отключить

    Кроме того, от части продуктов Google можно попросту отказаться, если они вам не нужны. Предварительно настоятельно рекомендуется скачать все доступные данные, чтобы не потерять их. Наберитесь терпения, так как экспорт может быть очень долгим. И дважды подумайте, действительно ли вам это надо (то есть не надо в данном случае). Есть и ещё один важный момент: сведения могут собирать и сторонние приложения, которые имеют доступ к вашему аккаунту. Проверьте, нет ли среди них какого-нибудь давно забытого вами сайта и не слишком ли много данных хотят некоторые программы. Ровно тот же совет — проверить разрешения — полезен и для любых других систем, будь то расширения в браузере, Windows или iOS с Android.

    ⇡#Шаг #3: очистить историю Google

    Чтобы оценить масштаб проблемы, достаточно залогиниться в аккаунте Google и перейти в раздел общего просмотра активности или подробному списку записанных действий, а также истории работы с устройствами и к списку практически всех покупок, связанных с аккаунтом (сюда в основном идут данные из Gmail). Вряд ли это всё, потому что некоторые данные, которые можно удалить, в этих списках просто не появляются. Но всё равно даже их есть смысл удалить в случае опасений. В настройках есть довольно удобный фильтр по типам продуктов и датам, так что всё подряд можно и не вычищать. Ещё раз повторимся, что Google использует эти данные в том числе для улучшения поиска и работы сервисов лично для вас.

    Для карт всё несколько хитрее. В общей ленте активности записываются только запросы, просмотры местности и так далее. А вот так называемые посещённые места в терминологии Google (историю местоположений) можно посмотреть в этом разделе. Там же внизу справа есть иконка в виде шестерёнки, где и находится заветный пункт для очистки истории. Обратите внимание, что на удаление данных уйдёт некоторое время, так что судорожно обновлять страницу не надо. В том же меню можно подчистить личные метки и отмеченные на карте места.

    ⇡#Шаг #4: настроить рекламу Google

    Все те данные, которые упомянуты в первых шагах, Google использует для подсовывания наиболее подходящей с ее точки зрения рекламы. В этом и есть основной бизнес компании. Полностью отказаться от рекламы всё равно нельзя, если не прибегать, конечно, к услугам блокировщиков, которые тоже, строго говоря, успешно продают услугу неблокирования тех или иных кампаний и компаний. Однако можно отключить так называемую рекламу на основе интересов. То есть какую-то рекламу Google всё равно вам будет показывать, но она имеет все шансы, как ни странно, очень быстро надоесть, так как разнообразием не блещет. Серьёзно, меня месяцами преследует на YouTube одна и та же серия рекламных роликов продукта, который мне в принципе не очень нужен.

    Персонализация рекламы в сервисах Google отключается в один шаг. Но это не всё! Есть особая опция «Рекомендации друзей», которая может показывать ваши отзывы в различных сервисах вашим друзьям, и наоборот, показывать их отзывы вам. Для отключения рекламы по интересам от Google на других сайтах потребуется установка расширения IBA Opt-out. Также компания предлагает расширение Google Analytics Opt-out Add-on для отключения веб-счётчика и аналитики Google. Заодно рекомендуется установить и расширение Protect My Choices, которое позволит запомнить настройки отказа от рекламы по интересам и для других компаний. Есть даже приложения под Android и iOS для той же цели. EFF предлагает своё решение Privacy Badger для блокировки шпионящей рекламы и других трекеров.

    Но попробовать всё равно стоит. Специальный сайт предлагает просканировать настройки различных рекламных сетей. После этого — небыстрого, надо сказать, — процесса внизу надо нажать кнопочку Opt out of all, подождать и… снова нажать, и снова нажать, пока число неответивших сетей не снизится до минимума или ноля. Для жителей Европы есть отдельный аналогичный сервис, который тоже предлагает расширения для браузеров. Если вы часто пользуетесь VPN или «живёте» в корпоративной сети, то они могут пригодиться. Правда, отзывы об этих системах противоречивы: мол, не всегда работают.

    ⇡#Шаг #5: настроить Google Chrome

    Если нет никакой возможности (или желания) отказаться от браузера Chrome, то опять-таки можно хотя бы покопаться в его настройках для улучшения приватности. Основные опции находятся в разделе Настройки > Дополнительные > Конфиденциальность и безопасность. Здесь, в принципе, можно отключить все галочки, кроме двух: отправка запрета (это функция Do not track) и безопасный просмотр. Первая позволяет частично избавиться от отслеживания перемещений с сайта на сайт, хотя не все ресурсы умеют с ней работать. Назначение второй понятно из названия — эта функция оберегает вас от фишинга и вирусов. Чуть ниже, в языковых параметрах, можно отключить предложения перевода страниц.

    Там же есть целая группа настроек для контента. Если никогда этого не делали, то пройдитесь по параметрам каждого пункта и убедитесь, что никаких лишних разрешений для отдельных сайтов нет. В целом рекомендуемые по умолчанию настройки не вредны. Отдельно можно заняться файлами cookie, благодаря которым во многом и происходит отслеживание действий пользователя. Во-первых, стоит включить блокировку cookie от сторонних сайтов. Во-вторых, можно пожертвовать удобством и включить опцию удаления cookie при закрытии браузера. В этом случае при каждом запуске Chrome придётся заново логиниться во все веб-сервисы. Аналогичные настройки, но в не в таком объёме, есть и в мобильной версии Chrome для Android. В нём же, кстати, можно отключить функцию Экономия трафика (Data saver), которая фактически часть трафика пропускает через серверы Google.

    Но… это не касается самой Google. В Chrome 69 вход в любой из сервисов компании автоматически включает и вход в сам браузер, и наоборот. Отключить эту функцию можно, набрав в адресной строке адрес chrome://flags//#account-consistency и выбрав у параметра Identity consistency between browser and cookie jar значение Disable. Для активации потребуется перезапустить браузер. Впрочем, если это вас не напрягает, то можно хотя бы настроить синхронизацию всяческих данных, отключив передачу ненужных или слишком чувствительных (пароли, например). В конце концов, никто не запрещает заодно и подчистить всю историю действий в Chrome (chrome://settings/clearBrowserData ).

    Отдельно стоит напомнить, что режим Инкогнито не является заменой вышеперечисленным шагам. Более того, по-хорошему при каждом входе стоит проверять хотя бы базовые настройки приватности Google. А всем вышеупомянутым расширениям также необходимо разрешить работу в инкогнито-режиме, да и по сайтам с настройками рекламы пройтись не мешает. Впрочем, всё это практически никак не защитит от ведения логов, например, IP-адресов и прочей информации, которую можно извлечь из браузера или приложения со стороны владельцев серверов.

    ⇡#Что ещё можно сделать?

    Строго говоря, ничего более существенного, что не сказалось бы при этом на комфортности использования Интернета и приложений, сделать-то, в общем, нельзя. Можно интереса ради посетить сервисы Panopticlick и webkay или пройтись по разделам BrowserLeaks, чтобы оценить, насколько точно можно вас идентифицировать в Интернете. И это только базовые техники, которые можно использовать для отслеживания пользователя. Даже VPN не всегда спасает. Что делать? Увы, тема приватности в Интернете слишком обширна, но если вас этой действительно волнует, то есть ещё парочка сайтов с советами и наборами программ и веб-сервисов: PRISM Break и Privacytools. Впрочем, на 100 % защитить свои данные они не помогут, так что придётся или полностью уйти в офлайн, ну или расслабиться и получать удовольствие.

    Подробное руководство по Google Search Console для новичков

    Время чтения: 21 минута Нет времени читать? Нет времени?

    Google Search Console — мощный инструмент для получения важной информации о сайте, проверять его на наличие ошибок и делать все возможное для повышения его видимости в поисковой выдаче.

    К сожалению, интерфейс консоли сложноват, а раздел помощи способен запутать еще больше, поэтому не все вебмастера знают о возможностях этого инструмента и умеют правильно им пользоваться.

    Мы пройдем по всем вкладкам и настройкам Google Search Console, чтобы прояснить ситуацию.

    Начало работы

    Для работы с консолью необходим аккаунт Google. Если он у вас есть, переходите по ссылке на главную страницу консоли.

    Для начала нужно добавить сайт.

    Потом необходимо подтвердить свои права на него. Это можно сделать несколькими способами. Рекомендованный способ ­– загрузка html-файла в папку с сайтом.

    Если вы по каким-то причинам сделать этого не можете, воспользуйтесь одним из альтернативных способов подтверждения.

    Чтобы подтвердить сайт первым способом, необходимо скопировать предложенный метатег и вставить его между тегами и в коде сайта. Если сайт использует WordPress, тег можно найти в файле header.php в редакторе шаблона.

    Также для упрощения процедуры можно воспользоваться аккаунтами Google Analytics или Google Tag Manager. Еще один способ – подтверждение прав с помощью регистратора домена. Если ваш провайдер позволяет пройти процедуру непосредственно в GSC, задача заметно упрощается.

    Если подтверждение прошло успешно, появится вот такое сообщение:

    На следующей странице перед нами открывается сводка. Пока в ней нет информации, так как «Гугл» отображает данные с некоторой задержкой. Поэтому, даже если сайт уже индексируется, придется подождать 2-3 дня, до появления статистики.

    Сверху вы увидите приветственное сообщение от Google с рекомендациями.

    Прежде чем рассматривать каждый раздел, перейдем в настройки.

    Настройки

    Настройки Search Console

    Чтобы не получать уведомления от Search Console на электронную почту, снимите галочку. Но лучше этого не делать – можно пропустить важное сообщение (о вирусах на сайте, санкциях, ошибках доступа и т. д.), если не пользоваться консолью регулярно.

    Настройки сайта

    Здесь указывают основной домен (главное зеркало) и частоту сканирования. Сперва разберемся с зеркалами.

    У каждого сайта изначально есть две версии: www.site.ru и site.ru. Информация на них полностью совпадает, но для поисковиков это разные сайты. Чтобы избежать дублирования, один домен выбирается главным, а второй просто приклеивается к нему. Теперь при обращении к неосновному домену будет выполнена переадресация на основной.

    Выбирайте тот вариант, который предпочитаете видеть в поиске. При этом нужно будет настроить переадресацию. Подробнее о зеркалах сайта и настройке редиректа читайте в статье «Как узнать главное зеркало сайта и настроить его с помощью редиректа».

    Учтите, вы не сможете определить основной домен, пока не добавите обе версии сайта (с www и без) и не подтвердите на них права.

    Еще один пункт в настройках – изменение частоты сканирования сайта роботом. Рекомендуется выбирать первый вариант: на усмотрение Google. Но если ваш хостер периодически шлет письма о превышении лимита нагрузок на сервер, можно на время ограничить скорость сканирования до решения проблемы. Без весомых причин не трогайте этот переключатель.

    Изменение адреса

    Этим разделом пользуются при смене домена. На странице рассчазано, что нужно сделать при переносе сайта, чтобы не возникло проблем с «Гуглом».

    Ресурс Google Analytics

    Если вы уже пользуетесь инструментом Google Analytics, свяжите его с Google Search Console и получайте больше информации о поисковом трафике.

    Пользователи и владельцы ресурсов

    Этот инструмент пригодится, если вы, например, отдаете ресурс на продвижение другому специалисту или компании. Чтобы добавить нового пользователя, введите адрес его gmail-почты.

    При этом вы можете установить права пользователя. Например, при ограниченном доступе пользователь не сможет осуществлять никаких действий над сайтом – только просматривать некоторые данные.

    При продаже сайта меняют владельца. Чтобы это сделать, перейдите в «Управление владельцами ресурса».

    Здесь есть информацияо попытках подтверждения прав на сайт: количество, результат (успешные/неудачные), способ подтверждения и дата. Также здесь можно увидеть данные текущих владельцев сайта и добавить нового.

    Информация о подтверждении

    Дубль страницы «Управление владельцами ресурса».

    Связанные пользователи

    Здесь показаны связанные с сайтом ресурсы Google (например, AdWords, YouTube, Google+). Можно добавить привязку к мобильному приложению. Если связать сайт и приложение, Google будет автоматически индексировать приложение, основываясь на данных сайта, и показывать его в поиске для мобильных устройств.

    С настройками разобрались. Переходим к основной части.

    Панель инструментов

    Здесьотображена краткая сводка: основные ошибки, количество кликов в поисковой выдаче и небольшой отчет о проиндексированных страницах.

    Так как на только что добавленном сайте информации нет, для наглядности будем рассматривать показатели одного из моих старых сайтов.

    Сообщения


    Здесь собраны уведомления от Google. Важно регулярно отслеживать сообщения: они позволяют быть в курсе последних событий и оперативно реагировать на изменения. Если письмо случайно затеряется в почтовом ящике, вы всегда сможете проследить за уведомлениями в аккаунте.

    Сообщения приходят по разным поводам. Вот некоторые из них:

    • Рост числа ошибок (большое количество ошибок 404 и пр.).
    • Проблемы с отображением сайта на мобильных устройствах.
    • Проблемы доступности сайта для поискового робота.
    • Сайт взломали, и было установлено вредоносное ПО.
    • Сайт нарушает правила Google.
    • У Google появилось обновление, которым вы можете воспользоваться.

    После добавления сайта в сообщениях появляется чек-лист по его продвижению в поиске. Это список базовых действий, которые рекомендуется предпринять для начала.

    Частично все эти опции уже были рассмотрены. Остальное покажу далее.

    Вид в поиске

    Это меню поможет сделать сайт более заметным в поисковой выдаче Google. Если нажать на значок «i», в появившемся окне увидите несколько примеров сниппетов в поисковой выдаче и подробный рассказ о каждом элементе.

    Структурированные данные

    Этот отчет вызывает много вопросов у новичков, поэтому остановимся на нем подробнее.

    Чтобы страница выглядела привлекательнее в выдаче, всю информацию, нужно структурировать. Каждому элементу присваивается определенное имя, которое поисковые системы способны понять и правильно интерпретировать. Такая процедура называется семантической разметкой, или микроразметкой. С ее помощью можно превратить скучный сниппет (описание сайта), состоящий из сплошного текста, в нечто более интересное:

    Для разметки существуют определенные стандарты. Они имеют свой синтаксис и набор слов для описания отдельных элементов содержимого страниц разного типа. Наиболее распространена микроразметка shema.org.

    Чтобы внедрить микроразметку, внесите изменения в html-код страниц. Для сайта на WordPress проще использовать. К примеру, All In One Shema Rich Snippets.

    График показывает количество элементов, к которым применена разметка, и количество элементов, содержащих ошибки в разметке.

    На моем сайте причина ошибок–класс hentry (разметка microformats.org), присвоенный записям в блоге. Эта микроразметка требует наличия атрибутов entry-title (заголовок статьи), author (автор) и updated (дата обновления). Тема Earth Pro не выводит имя автора и дату на странице с записями блога, поэтому в отчете возникают ошибки. Можно покопаться в коде и прописать необходимые атрибуты или удалить класс вовсе. Второй вариант проще, так как никакой пользы от этой разметки все равно нет.

    Узнать больше о расширенных сниппетах и научиться их создавать можно в статье «Как сделать расширенный сниппет: подробное руководство для чайников».

    Полезные подсказки

    В этой вкладке показываются ошибки в полезных подсказках (rich cards), если они у вас предусмотрены.

    Полезные подсказки позволяют дать пользователю еще больше информации по запросу непосредственно в самой поисковой выдаче.

    Нажав на кнопку «Создать полезные карточки», вы попадете на страницу с инструкциями по созданию карточек. Они отсортированы по типам контента (статья, книга, курс, событие, музыка и т. д.) и по отдельным элементам сниппета (хлебные крошки, карусель, логотип и т. д.).

    Rich Cards активно используют крупные сайты. Например, «Википедия», информацию из которой можно частично смотреть прямо в поиске.

    Маркер

    Этот инструмент позволяет быстро и просто создавать разметку данных на сайте. Помните, что она будет видна только в Google, так как не затрагивает код. Если вы хотите одинаково хорошо отображаться во всех поисковых системах, потратьте время на структурирование самого html-кода.

    Чтобы создать разметку, нажмите на кнопку «Начать выделение».

    В зависимости от того, какая информация представлена у вас на сайте, выбираем нужный тип. Так как у меня блог, я буду делать разметку для статей. Если однотипных страниц несколько (как в моем случае), выбираем «Отметить эту и похожие страницы». Таким же образом делают разметку для товара, мероприятия, фильма и т. д.

    Перед вами откроется визуальный редактор Отметьте все элементы на странице и присвойте им соответствующие атрибуты.

    Нужно отметить все перечисленные в правом столбике элементы и нажать кнопку «Готово».

    На следующей странице вам будет предложена группа похожих страниц, для которых применима выбранная разметка. Затем нужно будет пометить еще несколько образцов. Последний шаг – проверка страниц с новой разметкой и их публикация.

    Оптимизация HTML

    Здесь представлена важная информация, касающаяся тегов title и description. Она показывает следующие недочеты:

    • тег : отсутствует, слишком короткий, неинформативный, слишком длинный
    • тег : слишком короткий, слишком длинный

    Также на странице можно увидеть дубли метатегов (повторяющиеся title и description у разных страниц).

    Рекомендации лучше не игнорировать, так как они могут помочь повысить количество переходов на сайт с поиска. Периодически заглядывайте в этот раздел, чтобы вовремя исправлять ошибки.

    Ускоренные мобильные страницы (AMP)

    Accelerated Mobile Pages — технология Google, позволяющая быстрее загружать сайты на мобильных устройствах.

    Она накладывает определенные ограничения на отображение контента, но сайты с ее помощью ранжируются в мобильном поиске выше остальных. Если у вас новостной сайт или блог и высока доля мобильного трафика, попробуйте AMP и оцените их эффективность. Для сайта на WordPress сделать это еще проще: при помощи плагина AMP. Но учтите, что он работает только с записями (posts), а не страницами (pages).

    Подробное руководство по AMP поможет вам оценить преимущества и недостатки этой технологии и внедрить ее на своем сайте.

    Когда AMP-страницы станут доступны, на графике можно будет увидеть статистику проиндексированных страниц и количество критических ошибок.

    Поисковый трафик

    Анализ поисковых запросов

    Этот отчет позволяет посмотреть все запросы, по которым сайт отображается в поиске, и получить по ним подробную статистику: количество показов, кликов, их соотношение (ctr), а также среднюю позицию. С помощью фильтров можно получать более конкретные отчеты и проводить самую разную аналитику.

    Статистика по запросам помогает оценить соотношение кликов к просмотрам, позволяя выявить слабые места. К примеру, у одной из страниц низкий CTR, хотя в поисковой выдаче по запросу она занимает первую позицию. Это говорит о том, что можно поработать над описанием и заголовком страницы для увеличения количества переходов на сайт.

    Статистику можно отображать по странам, типам устройств (ПК, мобильные телефоны, планшеты) и типам поиска:по страницам, картинкам или видео.

    Для анализа можно выбрать любой диапазон дат.

    Инструмент позволяет проводить сравнение. Например, сравнение показателей по двум разным типам устройств будет выглядеть вот так:

    С помощью фильтра легко смотреть статистику по конкретному запросу или странице (стране, устройству).

    Чтобы посмотреть, по каким ключевым фразам отображается та или иная страница сайта, можно применить подобный фильтр к страницам.

    Ссылки на ваш сайт

    Подробнейший отчет по ссылкам. В сводке представлены наиболее часто ссылающиеся сайты и страницы, на которые чаще всего ссылаются. В нижнем столбце показаны анкоры (текст) ссылок.

    Нажав на конкретный домен, вы увидите список страниц, которые ссылаются на ваш сайт.

    Внутренние ссылки

    В этой вкладке представлен рейтинг страниц сайта по количеству внутренних ссылок, которые на них ведут.

    Большое количество ссылающихся страниц может быть обусловлено структурой сайта. В моем случае больше всего ссылок получают свежие записи, страницы категорий (так как они находятся в сайдбаре, который выводится на каждой странице) и страницы из меню в шапке сайта.

    Отчет позволяет обратить внимание на важные страницы сайта с маленьким количеством входящих ссылок. Если продвигаемая страница не получает достаточного ссылочного веса, это может повлиять на ее ранжирование.

    Чтобы узнать количество внутренних ссылок на определенную страницу, введите ее адрес в поиске.

    Меры, принятые вручную

    Если сайт получил наказание от Google (запрещенные методы продвижения: текстовый спам, искусственные входящие/исходящие ссылки и т. д.), здесь появится уведомление. Отсюда можно будет отправить сайт на пересмотр, когда все будет исправлено. Если сотрудник Google увидит, что вы больше ничего не нарушаете, санкции Снимут.

    Таргетинг по странам

    Здесь можно присвоить регион своему сайту. Если домен не имеет региональной привязки (ru, com.ua и т. д.), вы можете дополнительно указать регион. Информационным сайтам такая привязка не нужна.

    Если на сайте представлена информация на нескольких языках, важно сообщить об этом Google с помощью тега hreflang. При отсутствии этого атрибута на вкладке «Язык» появится предупреждение.

    Удобство просмотра на мобильных устройствах

    Если какие-то страницы плохо отображаются на мобильных устройствах, здесь вы сможете увидеть основные причины проблем и получить рекомендации по их решению.

    В примере представлены три типа ошибок: контент шире экрана, интерактивные элементы (навигация – кнопки, ссылки и т. п.) расположены слишком близко и используются несовместимые плагины.

    Вам также могут встретиться и другие ошибки.

    • Использование flash-контента, не поддерживаемого большинством мобильных браузеров.
    • Мелкий шрифт.
    • Фиксированная ширина области просмотра.
    • Отсутствие атрибута viewport, позволяющего настроить область просмотра для отображения на разных типах устройств.

    При нажатии на ошибку открывается список со всеми страницами, где она замечена. Если нажать на конкретную страницу, можно увидеть советы по исправлению ошибок.

    Индекс Google

    Статус индексирования

    На этой странице представлен график, отражающий динамику индексирования страниц сайта. Можно посмотреть, насколько увеличилось количество проиндексированных страниц за последний год. Для нормально развивающегося сайта показатель должен со временем расти. Не должно быть резких скачков: неожиданных всплесков и провалов в количестве проиндексированных страниц. Это может означать, к примеру, что роботу стали доступны страницы, которые были закрыты от индексации. Или, наоборот, большое число страниц выпало из индекса, потому что вы случайно добавили новое правило в robots.txt, заблокировав доступ к ним. Если вы сознательно вносили изменения в robots.txt, то всплески и провалы на графике не должны вас пугать.

    При нажатии на кнопку «Расширенные данные» на графике можно посмотреть соотношение проиндексированных и запрещенных файлом robots.txt страниц.

    Такая статистика особенно полезна крупным сайтам, где сложно постоянно контролировать индексацию, но важно понимать, все ли карточки товаров или статьи попадают в индекс и не выпали ли они оттуда со временем.

    Заблокированные ресурсы

    Здесь показаны страницы с заблокированными ресурсами (файлы js, css, картинки и т. д.). Если в robots.txt доступ к этим файлам закрыт, Google выдает ошибку. Например, заблокированными могут оказаться скрипты плагинов, используемых на страницах, как в примере на скрине.

    Удалить URL адреса

    Раньше здесь можно было удалить, а теперь лишь временно скрыть страницы или каталоги, которые не должны были попасть в индекс.

    Например, вы создали сайт, он проиндексировался, но запрещающие правила в robots.txt были добавлены позже. Чтобы не ждать, пока «Гугл» переиндексирует сайт и удалит данные из индекса, можно отправить запрос прямо в GSC.

    Обратите внимание, что страницы удаляются из выдачи на время. Если не запретить доступ боту в файле robots.txt или при помощи тега , страница через какое-то время снова появится в индексе. Хотя и запрет перечисленными способами не всегда срабатывает.

    Не стоит тратить время на чистку выдачи Google от дублей и мусора с помощью этого инструмента. Избавиться от страниц можно только посредством их физического удаления с сайта или защищенного паролем входа.

    Сканирование

    Ошибки сканирования

    Ошибки в этой секции подразделяются на две категории: ошибки сайта и ошибки URL (отдельных страниц).

    Ошибки сайта в свою очередь делятся на:

    • Ошибки DNS: Googlebot не может связаться с сервером DNS.
    • Ошибки подключения к серверу: истекло время ожидания, хостер блокирует доступ для поискового робота и т. д.
    • Ошибки получения файла robots.txt.

    Последний пункт рассмотрим чуть подробнее. Проблема в том, что если robots.txt у вас есть, но поисковый робот не получит доступа к файлу, он отложит сканирование и попытается запросить данные позднее. Это делается для того, чтобы в индекс не попали запрещенные страницы и файлы. Поэтому при отсутствии доступа к файлу сканирование может быть перенесено.

    Обратите внимание, что robots.txt создавать необязательно. Этот файл необходим только в случае, если на вашем сайте есть информация, доступ к которой нужно ограничить.

    Если ошибки такого типа проскакивают несколько раз в год, и при этом со стороны хостера не поступало никаких уведомлений, есть смысл написать в техподдержку или перенести сайт на более надежный хостинг.

    График «Ошибки URL» показывает, с какими проблемами столкнулся «Гугл» при сканировании сайта на разных платформах.

    Очень важно обращать внимание на ошибки 404 (не найдено). Если нажать на строку с ошибкой, можно посмотреть все входящие ссылки на отсутствующую страницу. Такие ошибки, обычно не влияют на рейтинг сайта, но большое количество «битых ссылок» может указывать Google на определенные недоработки вебмастера. К тому же, это создает неудобства для пользователей.

    Чтобы исправить эти ошибки, удалите «битые ссылки» и сами страницы или настройте переадресацию.

    Статистика сканирования

    Статистика учитывает весь контент сайта, включая изображения, файлы pdf, css, js и т. д.

    Показатели на графике должны постепенно расти по мере увеличения количества контента на сайте. Если наблюдаются резкие скачки в скорости сканирования – резкое увеличение или снижение – в разделе помощи представлена информация о том, что необходимо сделать.

    Посмотреть как Googlebot

    Если на сайте есть ошибки, и вы не можете определить их причины, этот инструмент поможет увидеть ваш сайт глазами поискового робота. Проверить отображение можно как на ПК, так и на мобильных устройствах.

    Инструмент помогает увидеть недоступные роботу элементы сайта. Для этого нужно ввести адрес страницы (или оставить поле пустым, если нужно проанализировать главную) и нажать «Получить и отобразить». После этого жмем на строку с результатом и смотрим проблемы (если статус «Частично выполнен»).

    Ниже представлен список заблокированных на странице элементов.

    Также на странице с просканированными адресами рядом со статусом есть кнопка «Запросить индексирование». С ее помощью можно отправить на страницу робота, чтобы он повторно ее проиндексировал. Подходит инструмент и для вновь созданных страниц – чтобы не ждать очереди индексации.

    Отправлять на индексацию следует только те страницы, которые действительно изменились/обновились. Индексировать все подряд по второму кругу не нужно.

    Инструмент проверки файла robots.txt

    На этой странице можно проверить доступность для индексации какого-то ресурса. Если вы сомневаетесь в каком-то правиле, например, не уверены, скрыта ли от поискового робота определенная папка или файл, здесь можно проверить это.

    Также инструмент показывает ошибки в файле robots.txt и предупреждает о возможных проблемах.

    Файлы Sitemap

    Сюда вы можете загрузить карту сайта и узнать, есть ли в ней ошибки. Также инструмент предупреждает о возможных проблемах. Например, если sitemap содержит ссылки на страницы, запрещенные в robots.txt.

    Параметры URL

    В этой вкладке вы можете сообщить Google, для чего используется на сайте тот или иной параметр. Если не имеете представления о параметрах, лучше здесь ничего не трогать.

    Инструмент полезен, к примеру, для интернет-магазинов, где встречаются идентичные страницы с под разными URL из-за применения всевозможных фильтров поиска. Обычно Google в таких ситуациях справляется сам: объединяет дубли страниц в группу и выбирает одну из них для отображения в поиске. Но бывают ситуации, когда поисковая система не в состоянии самостоятельно принять решение. В таких случаях и необходим этот инструмент.

    Проблемы безопасности

    Если Google при индексации обнаружил на сайте вредоносное ПО, здесь вы получите об этом отчет.

    Важно в этом случае быстро отреагировать, так как сайт может вылететь из поиска, если не устранить проблему. Как только сайт будет вылечен, отправляйте его на повторную проверку.

    Все инструменты рассмотрены. Но есть еще кое-что интересное.

    Обновленная версия Google Search Console

    В этом году у большинства подтвержденных пользователей появилась возможность протестировать обновленную версию Google Search Console. Ссылка на новый интерфейс находится в левом меню консоли в самом верху.

    Пока пользователям доступно лишь несколько отчетов, но в скором времени функционал будет доработан. Сейчас можно протестировать отчеты об эффективности и индексировании и проверить файл sitemap.

    Как только все возможности новой версии Google Search Console станут доступны пользователям, мы обновим эту статью.

    Вывод

    Google Search Console – очень крутой бесплатный инструмент для вебмастера. Он помогает выявлять ошибки на сайте, получать информацию о нарушениях и проблемах безопасности и дает много полезной статистики для анализа. Только здесь вы сможете оценить вид сайта в поиске Google и предпринять необходимые меры, для того чтобы сделать его более заметным для пользователя. Поэтому изучить интерфейс консоли однозначно стоит. Тем более что это несложно.

    Google вебмастер

    Инструменты для вебмастеров от Google предоставляют несколько весьма интересных функций, которые необходимы в работе оптимизатора. В этой статье — как посмотреть, сколько раз на вашем сайте встречается ключевое слово и на каких страницах, как просто делать структурированную разметку, что поможет составить ядро для уже имеющегося сайта, как посмотреть ошибки в метатегах и индексации. Если что-то пропущено — прошу в комменты, товарищи.

    Главная страница

    Правый верхний угол. Справка – здесь много информации от Гугл для вебмастеров. Настройки – можно настроить оповещения по электронной почте и их язык. Добавить сайт – без комментариев.
    Левое меню. Все сообщения – сообщения от Гугла касательно ваших сайтов, добавленных в Вебмастер. Другие ресурсы – тут много инструментов:

    • Инструмент проверки структурированных данных – проверяет микроразметку (schema.org). О микроразметке нужна отдельная статья, пока что скажу лишь, что она важна в определённых тематиках.
    • Мастер разметки структурированных данных – а это очень крутой инструмент, куда можно закинуть страницу и разметить её микроразметкой, просто выделяя на ней объекты (потом, конечно, придётся лезть в код, но вы уже будете двигаться в правильном направлении).
    • Инструмент проверки разметки в письмах – это если занимаетесь email-маркетингом и оформляете красиво письма клиентской базе. В таком случае здесь можно проверить валидность их разметки.
    • Google Адреса – это как Яндекс Справочник, можно сказать. Сюда надо будет добавлять данные об организации.
    • Google Merchant Center – этот раздел нужен, если продаёте что-то на своём сайте, здесь загружаются сведения о магазине и товарах.
    • PageSpeed Insights – один из лучших сервисов проверки скорости сайта, даёт довольно исчерпывающую информацию.
    • Пользовательский поиск – здесь можно добавить на свой сайт систему поиска от Google.

    Это об общем интерфейсе. Когда выбираем сайт, перед нами намного больше возможностей.

    Выбрали сайт

    С основной страницы мы можем сразу перейти к сообщениям о сайте, ошибкам сканирования, поисковым запросам и файлам Sitemap. Обо всём этом мы упомянем далее.

    Дополнительные возможности появляются у кнопки «Настройки».

    • Настройки инструментов для веб-мастеров — тут мы можем настроить получение писем от гугла при любой проблеме, советую.
    • Настройки сайта – здесь можно настроить основной домен (с www или без www), а также ограничить частоту сканирования сайта (если запросы Googlebot-робота замедляют работу сервера). Только чтобы выбрать основной домен, придется подтвердить права на оба.
    • Изменение адреса – это при переносе сайта на новый домен.
    • Ресурс Google Analytics – привязывает Аналитикс к Вебмастеру. Рекомендую сразу настроить, если у вас на сайте стоит Аналитикс, так как это поможет видеть в нём статистику по запросам, которые в ином случае значились бы как not provided.
    • Пользователи и владельцы сайта – здесь вы можете расшарить доступ к панели Вебмастера другим лицам, с полным или ограниченным доступом.
    • Информация о подтверждении – ничего интересного, это каким образом были подтверждены владельцы и кто они.
    • Связанные пользователи – здесь была привязка к Google+, но эта сеть оказалась несостоятельной и лавочку стали потихоньку сворачивать, но этот пункт в настройках остался.

    Дальше идём по левому меню. С пунктом «Сообщения о сайте» мы уже знакомы, только здесь – исключительно касающиеся выбранного сайта сообщения.

    Вид в поиске.

    Первый пункт здесь – «Структурированные данные», которыми мы уже в ходе обзора сыты по горло. Если вы не заморачивались с микроразметкой, увидите здесь кучу ошибок.
    Маркер – похож на мастер разметки структурированных данных. По сути, выделяет объекты по тому же принципу.
    Оптимизация HTML – полезный пункт, он укажет об ошибках с индексацией и метатегами. Здесь можно обнаружить дубли страниц (с одинаковыми заголовками или метаописаниями)
    Ссылки сайта – имеются в виду те, что наподобие «быстрых ссылок» в выдаче Яндекса. Если вам автоматически проставили такие «быстрые ссылки», которые вы там не хотели бы видеть, вы можете убрать их оттуда, понизив их рейтинг здесь.

    Поисковый трафик.

    Здесь первый пункт – «Поисковые запросы». Пожалуй, один из самых основных в Вебмастере Гугл. Здесь две вкладки – «Популярные запросы» и «Популярные страницы». В обоих случаях мы видим удобную диаграмму с соотношением показов и кликов по всем запросам/страницам за определённый диапазон дат.

    В первом случае под диаграммой мы видим список запросов, по которым были показы вашего сайта в Google, со статистикой. Можно выгрузить данные в csv или таблицу, показать количество строк для отображения; выбрать, показывать ли только статистику или ещё и данные о её изменении по каждому запросу. Кликнув на заголовки столбцов («Показы», «Клики» и т.д.), можно их сортировать. Кликнув на запрос, можно увидеть действительно подробную статистику по нему. Примерно всё то же самое справедливо и для вкладки «Популярные страницы», только по отношению к страницам, и при клике на урлы отображаются запросы, по которым они были показаны. Фактически по этим данным можно составлять скелет нового семантического ядра и файла распределения — они помогут разбить запросы по страницам. Для более глубокого анализа запросов можно выставить фильтры.
    Ссылки на ваш сайт – без комментариев; надо сказать, Гугл Вебмастер находит гораздо больше входящих ссылок, чем аналогичный сервис от Яндекса. Выбираете домен из тех, что «наиболее часто ссылаются», там будет список страниц, на которые с этого домена идут ссылки. Жмёте на название страницы – там будет ссылка на донора. Кликайте «Дополнительно», чтобы увидеть полный список ссылающихся доменов. Справа столбец по вашим страницам-акцепторам – если так удобнее смотреть. Ссылки на ваши данные – это анкоры. Вы можете выгрузить их в таблицы Google (в CSV выгружаются иероглифы), отсортировать и посмотреть, каких анкоров слишком много.
    Внутренние ссылки – ну тут инфа, на какую из ваших страниц больше всего ссылок на вашем сайте. Можно отсортировать, а, нажав на название страницы, увидеть, с каких страниц идут ссылки на неё.
    Меры, принятые вручную – это только если с вами будут вести борьбу, как со спамером.
    Таргетинг по странам и языкам – только если настроите языковой и географический таргетинг. Тогда вам придется впрописывать атрибуты hreflang для обозначения доступных языковых версий сайта.
    Удобство просмотра на мобильных устройствах – незаменимо при привлечении мобильного трафика. Показывает страницы с ошибками и подробно описывает эти ошибки.

    Индекс Google.

    Если мы зайдём в «Статус индексирования«, там мы увидим динамику количества проиндексированных Гуглом страниц и количества заблокированных через роботс.
    Ключевые слова в содержании — тут мы увидим, какие ключи чаще всего встречаются на нашем сайте. А кликнув на слово, узнаем ещё и в каких словоформах и на каких страницах (и даже точное количество упоминаний слова на сайте!).
    Удалить URL-адреса — удаляем страницу сайта из выдачи Гугла и жалеем, что туда нельзя добавить страницы конкурентов.

    Инструменты Для Вебмастеров от Google – Надежные Помощники При Поисковой Оптимизации (SEO) Вашего Вебресурса (3)

    В первой части обзора «Инструментов для вебмастеров» от Google мы закончили рассмотрение общих принципов и раздела «Вид в поиске». Во второй — изучили следующие разделы: «Поисковый трафик» и «Индекс Google». Переходим к заключительной части обзора, в которой рассмотрим следующие разделы «Инструментов»:

    1. Сканирование
    2. Вредоносные программы
    3. Другие ресурсы
    4. Лаборатория

    Раздел «Сканирование«

    Здесь собраны различные данные о проблемах, которые смогла увидеть поисковая система Google при процессе сканирования вашего сайта или блога и его дальнейшего индексирования. Благодаря этой информации можно всегда узнать ошибки различного характера, препятствующие вашему вебресурсу правильно индексироваться в основной базе данных Google. В разделе содержатся следующие подразделы:

    • Ошибки сканирования
    • Статистика сканирования
    • Просмотреть как Googlebot
    • Заблокированные URL
    • Файлы Sitemap
    • Параметры URL

    Ошибки сканирования

    В этом отчете можно получить перечень всех страниц вашего сайта или блога, на которые не смог зайти поисковый робот Google. Причины такой проблемы указываются здесь же. Наиболее часто проблемы возникают по следующим причинам: наличие проблем с хостингом, изменение адресов страниц, опечатка в директиве файла robots.txt наличие как внешних, так и внутренних ссылок, которые ссылаются на несуществующую страницу — ошибка 404 и т.д. В данном подразделе можно отследить ошибки и исправить их.

    А теперь – немного подробностей. На странице «Ошибки сканирования» содержится информация о URL-адресах с вашего сайта, которые роботу Googlebot не удалось просканировать. Кроме того, здесь перечислены URL, которые возвращают код ошибки HTTP. Если на сайте или блоге все в порядке, то вы увидите следующее сообщение: «За последние 90 дней ошибок не обнаружено. Отлично!».

    В целом же, можно сказать, что в случае обнаружения, на этой странице будут перечислены два типа ошибок:

    1. Ошибки сайта. В этом разделе представлены ошибки, из-за которых роботу Googlebot не удалось получить доступ к вашему сайту.
    2. ОшибкиURL. В этом разделе перечислены ошибки, которые возникают, когда робот Googlebot пытается открыть отдельные веб-страницы. Можно выполнить поиск конкретных URL или ошибок.

    В перечне URL, при сканировании которых возникли сложности, указывается тип проблемы и, по возможности, страницы, на которых были обнаружены ошибки. Сначала перечисляются наиболее важные адреса. Чтобы получить более подробные сведения о той или иной ошибке, нажмите на соответствующую ссылку в списке. После этого можно выполнить следующие действия:

    1. Чтобы увидеть список файлов Sitemap (возможно, неполный), в котором содержится этот URL, нажмите «В этих файлах Sitemap».
    2. Чтобы открыть список страниц-источников (возможно, неполный), в котором содержится этот URL, нажмите «Ссылки с этих страниц».
    3. Чтобы узнать, какие данные веб-страницы доступны роботу Google, нажмите «Просмотреть как Googlebot». Это полезный инструмент для устранения неполадок на страницах.

    Если вы устранили причину ошибки, связанной с конкретным URL, его можно скрыть в списке. Установите рядом с ним флажок и нажмите «Отметить как исправленный». URL перестанет отображаться. (если причина ошибки не устранена, адрес вновь появится в списке при следующем сканировании роботом Googlebot).

    Статистика сканирования

    Здесь вы найдете информацию в графиках по 3 показателям:

    • количество сканированных страниц в день (чем больше, тем лучше);
    • количество загруженных килобайт за день (чем больше, тем лучше);
    • время за загрузку 1 страницы в миллисекундах (чем меньше, тем лучше).

    В графиках отображены данные за последние 90 дней. Доступная информация, в основном, характеризует скорость работы вашего хостинга и показывает случались ли сбои. Приводятся минимальные, максимальные и средние показатели. Большой разброс показателей (на скриншоте в красных элипсах обозначены примеры) может говорить о том, что ваш хостинг нестабильный.

    Google использует сложные алгоритмы, определяющие глубину сканирования каждого сайта. Его цель заключается в том, чтобы просканировать как можно больше страниц на сайте за один раз, не снижая пропускной способности сервера.

    Если слишком частое сканирование вашего сайта роботом Googlebot замедляет работу сервера, вы можете изменить скорость сканирования (время сканирования сайта роботом Googlebot) для сайтов на корневом уровне. Пример: www.example.com и http://subdomain.example.com.

    Учтите, что при этом могут возникнуть определенные проблемы. Например, система будет сканировать сайт со скоростью, не превышающей заданную вами. Соответственно, изменять данный параметр следует только в тех случаях, когда настройка робота Google по умолчанию вызывает заметные неудобства.

    Посмотреть как Googlebot

    Благодаря этому уникальному инструменту можно посмотреть страницы своего вебресурса глазами робота Google. В процессе сканирования Googlebot собирает данные и потом показывает их. В каком случае это может быть полезно вебмастеру? Это очень пригодится при устранении, например, причин низкой эффективности в результатах поиска. Кроме того, если сайт был взломан, то с помощью этого инструмента можно найти проблемные страницы и выявить ошибки или вредоносный код.

    Этот инструмент предоставляет следующую информацию:

    1. HTTP-ответ сервера.
    2. Дата и время запроса сканирования.
    3. HTML-код.
    4. Первые 100 КБ видимого (индексируемого) текста на странице. Если он отсутствует, это может свидетельствовать о том, что страница полностью состоит из файлов мультимедиа или кода JavaScript и не имеет текстового содержания. Необходимо убедиться, что текст не содержит постороннего содержания. Это может указывать на то, что ваш сайт был взломан.
    5. Если ваш сайт был взломан, инструмент «Просмотреть как Googlebot» поможет выявить проблемные страницы. Представьте что администратор www.example.com, ищет свой сайт в Google. Узнав, что его сайт появляется в результатах поиска популярных спам-слов (например, «Виагра»), он будет крайне удивлен, ведь эти слова отсутствуют в исходном контенте страниц его сайта. К счастью, сайт подтвержден в «Инструментах для веб-мастеров» и администратор может с помощью функции «Просмотреть как Googlebot» увидеть свой сайт так, как его видит Google. Инструмент отображает содержание извлеченной страницы и сведения о ней, и администратор может найти слово «Виагра» и другие спам-термины.

    Такие слова могут быть добавлены злоумышленником, взломавшим сайт. Этот нежелательный контент скрыт от обычных пользователей, но доступен роботу Googlebot. Поскольку изменения в исходном коде сайта не видны обычным посетителям, их сложно обнаружить без инструмента «Просмотреть как Googlebot».

    Чтобы проверить качество сканирования вашего сайта, Google рекомендует использовать инструмент «Просмотреть как Googlebot», а также следующие ресурсы:

    1. Советы по оптимизации HTML: прочитайте рекомендации по улучшению тегов title, метаописаний и других элементов HTML, которые могут повлиять на эффективность сайта в результатах поиска.
    2. Ошибки сканирования: узнайте, на каких страницах возникли проблемы при сканировании.

    Чтобы использовать инструмент «Просмотреть как Googlebot», нужно придерживаться следующего порядка:

    1. На главной странице «Инструментов для веб-мастеров» выберите нужный сайт.
    2. На левой панели найдите функцию «Просмотреть как Googlebot».
    3. В текстовом поле введите путь к странице, которую нужно проверить.
    4. В раскрывающемся списке выберите нужный тип просмотра. Чтобы увидеть страницу так, как ее видит робот Googlebot, выберите «Веб».
    5. Нажмите «Просмотреть».

    Этот инструмент позволяет получать до 500 URL в неделю в одном аккаунте «Инструментов для веб-мастеров».

    Если роботу Googlebot удается получить содержание страницы, ее можно добавить в индекс Google. Чтобы сделать это, просто — нажмите соответствующую кнопку. Можно указать как один URL (до 500 в неделю на один аккаунт «Инструментов»), так и URL вместе со всеми адресами, на которые ссылается соответствующая страница (до 10 в месяц).

    На скриншоте выше в красных элипсах показаны количество URLов, которое я могу еще добавить (498 из 500) и количество оставшихся запросов на добавление URL и связанных страниц (10 из 10).

    Теперь посмотрим, как можно добавить новую страницу в индекс. Как мы уже говорили в первой части данного обзора, не всегда количество проиндексированных страниц соответствует тому количеству, которое указано в sitemap.xml.

    Это происходит по той причине, что не всегда возможно создавать новый файл sitemap.xml сразу после размещения новой статьи или поста. Особенно, если вы пишите и размещаете много материалов, плюс занимаетесь продвижением и раскруткой сайта самостоятельно и т.д.

    Гораздо проще в таком случае быстро отправить на индексацию отдельную страницу, а потом, когда таких страниц соберется определенное количество (каждый решает сам — какое) можно создать новый файл sitemap.xml и добавить его в систему (как это сделать мы рассмотрим чуть позже).

    Еще один важный момент, на который следует обращать внимание. При добавлении и отправке на индексацию новых страниц, не забывайте вносить их также в файл sitemap.html — это не займет много времени.

    Выше показан процесс добавления страницы на индексирование. Вначале я просто добавил свою главную страницу, для чего нажал на красную кнопку «Получить содержание». Вот какую картину мы получили после этого: во-первых, мы видим подтверждение того, что запрос выполнен успешно (верхний красный элипс), во-вторых, получили информацию о своем запросе (красный прямоугольник внизу картинки) и, в-третьих, дату получения запроса.

    Но страница еще не отправлена в индекс. Чтобы это сделать, необходимо щелкнуть по ссылке «Отправить в индекс» (светло-голубой элипс в информации о запросе). Выскакивает новое окно, в котором вам предстоит выбрать, какое действие вы хотите произвести:

    Выбираете нужное вам действие и жмете «ОК» (если вы нашли какую-то ошибку, то нажимаете на «Отмена»). После нажатия на «ОК» появится ответ системы на ваш запрос (верхний элипс): «Ваш запрос получен и вскоре будет обработан».

    Кроме того, в нижней части появилась запись, подтверждающая выбранный вами путь отправки на инлексацию (светло-голубой элипс в информации о своем запросе. На этом ваша работа по добавлению страницы в индекс Google завершена. Для других страниц процесс следует повторить в том же порядке.

    Заблокированные URL

    Файл robots.txt позволяет ограничить доступ к сайту для роботов поисковых систем, сканирующих Интернет. Перед обращением к сайту эти роботы ищут файл robots.txt, который запрещает им доступ к определенным страницам.

    Файл robots.txt необходим только в том случае, если на вашем сайте есть содержание, которое не следует включать в индекс поисковых систем. Если вы хотите, чтобы поисковые системы включали в свои индексы все содержание вашего сайта, файл robots.txt (даже пустой) не требуется.

    Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project (www.dmoz.org), могут появиться в результатах поиска Google.

    Чтобы полностью исключить вероятность появления контента страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex или x-robots-tag. По мере сканирования страниц, робот Googlebot обнаружит метатег noindex и не станет отображать страницу в индексе. HTTP-заголовок x-robots-tag рекомендуется использовать, чтобы исключить из индекса файлы, формат которых отличается от HTML (например, изображения или другие типы документов).

    Файлы Sitemap

    Файл Sitemap позволяет сообщить Google о страницах вашего сайта, чтобы они гарантированно попали в индекс. XML-файл Sitemap представляет собой список страниц вашего веб-сайта. Если создать и отправить такой файл Sitemap.xml, поисковая система узнает обо всех страницах на вашем сайте, включая URL, которые невозможно обнаружить в ходе стандартного сканирования.

    Файлы Sitemap.xml особенно полезны в следующих случаях:

    1. На вашем сайте имеется динамическое содержание.
    2. Ваш сайт содержит страницы, которые поисковый робот Googlebot может не обнаружить при сканировании, например страницы с мультимедийным AJAX-содержанием или изображениями.
    3. Ваш сайт создан недавно, и на него указывает мало ссылок. (Поисковый робот Googlebot сканирует Интернет, переходя по ссылкам с одной страницы на другую. Если на ваш сайт указывает мало ссылок, будет сложно его найти).
    4. Ваш сайт содержит большой архив страниц, которые слабо или совсем не связаны друг с другом.

    Google не гарантирует, что будет сканировать или индексировать все ваши URL. Тем не менее, по данным из файла Sitemap.xml поисковик сможет определить структуру вашего сайта. Это позволит ему оптимизировать график сканирования сайта и улучшить этот процесс в будущем.

    Параметры URL

    Еще один важный инструмент, который позволяет настроить максимально эффективное сканирование страниц вашего сайта или блога. Сканируя и индексируя повторяющееся содержание, поисковая система тратит имеющиеся ресурсы впустую, что, в свою очередь, ведет к сокращению количества страниц, которые Google может отсканировать на вашем вебресурсе. Кроме того, дублирующееся содержание в индексе способно снизить частоту появления ваших страниц в результатах поиска Google.

    Дублирующееся содержание часто появляется, когда на сайте одна и та же информация предоставляется по разным URL, например, при использовании идентификаторов сеанса или других подобных параметров:

    1. http://www.example.com/products/women/dresses/green.htm
    2. http://www.example.com/products/women?category=dresses&color=green
    3. http://example.com/shop/index.php?product_ >В данном примере все три URL указывают на одинаковое содержание – коллекцию готовых зеленых платьев.

    Обнаруживая дублирующееся содержание, появившееся, например, из-за параметров URL, Google объединяет дублирующиеся URL в одну группу и выбирает из нее наиболее показательный URL, который и отображается в результатах поиска. Затем свойства этих URL (например, популярность ссылки) консолидируются и присваиваются выбранному URL. В результате этого пользователи могут получать более точные результаты поиска.

    Раздел «Вредоносные программы»

    Если ваш сайт был взломан или вы загрузили на него какой-то вредный скрипт, код, вирус, программу и т.д. – Google заметит вредителя и отправит вам сообщение, которое вы найдете в этом разделе. После того, как исправите ошибку – отправьте сайт или блог на переиндексацию. Как правило, это занимает от 3 – 4-х дней до недели.

    По завершении сканирования, при условии, что все исправлено, в данном разделе появится надпись: «Вредоносные программы на этом сайте не обнаружены». Советую открывать эту страницу при каждом заходе в «Инструменты для вебмастеров».

    Раздел «Другие ресурсы «

    В этом разделе вы найдете несколько инструментов, которые могут помочь вам с разметкой структурированных данных на своем сайте или блоге, добавить данные о вашей организации в «Адреса Google», презентовать ваши товары или услуги для широкого обозрения. В перечень предлагаемых инструментов входят следующие:

    1. Инструмент проверки структурированных данных. С помощью этого инструмента можно убедиться, что системы Google правильно обрабатывают разметку данных и показывают информацию в результатах поиска.
    2. Мастер разметки структурированных данных. Поможет добавить разметку структурированных данных в HTML-код.
    3. Google Адреса. 97% пользователей ищут адреса местных компаний в Интернете. Расскажите им о себе с помощью Google «Адреса организаций» – бесплатной локальной платформы Google.
    4. Google Merchant Center. Здесь можно загрузить в Google сведения о ваших товарах, чтобы предоставить к ним доступ «Покупкам» и другим службам Google.

    Перейдя по нужным ссылка, вы сможете произвести необходимые вам действия, следуя имеющимся указаниям.

    Раздел «Лаборатория»

    Переходим к последнему разделу «Инструментов для вебмастеров». Здесь расположились следующие подразделы:

    • Статистика для автора
    • Пользовательский поиск
    • Предпросмотр страниц
    • Эффективность сайта

    Рассмотрим их по порядку.

    Статистика для автора

    Комплексный отчет, который показывает график и таблицу данных по всем страницам вашего сайта или блога, для которых подтверждено ваше авторство. В таблице для каждой страницы указаны самые важные поисковые параметры (показы, клики, CTR, средняя позиция).

    Чтобы информация о вашем авторстве отображалась в результатах поиска, необходимо иметь профиль в Google+. На фотографии в этом профиле должно быть четко видно лицо. Чтобы подтвердить авторство с помощью привязки содержания к профилю, можно использовать один из способов, описанных ниже.

    Причем, следует заметить, что Google не гарантирует, что информация об авторе будет отображаться в результатах веб-поиска или в «Google Новостях».

    Способ 1. Свяжите свой контент с профилем Google+ с помощью подтвержденного адреса электронной почты.

    Убедитесь, что ваш адрес электронной почты (например, petrov@wired.com) находится в том же домене, что и ваш контент (wired.com). Во всех статьях или публикациях, размещенных вами в этом домене, должно быть явно указано, что вы являетесь автором этого содержания (например, «Автор: Иван Петров»).

    Перейдите на страницу «Для авторов» и сообщите в Google свой адрес электронной почты. Это действие требуется выполнить только один раз для всех опубликованных вами материалов в этом домене. Ваш адрес электронной почты отобразится в разделе «Мои публикации» вашего профиля Google+. Если вы не хотите, чтобы адрес электронной почты был виден всем пользователям, измените настройки приватности для этой ссылки.

    Способ 2. Укажите свое авторство, связав контент со своим профилем Google+.

      Добавьте на веб-страницу ссылку на свой профиль Google+:

    1. Ссылка должна содержать параметр ?rel=author. В противном случае Google не сможет связать ваш контент с профилем Google+.
    1. Добавьте в свой профиль обратную ссылку на сайт с вашим контентом. Это можно сделать в разделе «Мои публикации». Нажмите «Добавить ссылку» в диалоговом окне и укажите URL веб-сайта. В раскрывающемся списке также можно выбрать, кому будет доступна эта ссылка. Нажмите кнопку «Сохранить».

    Чтобы просмотреть данные об авторе, которые Google может извлечь с вашей страницы, используйте инструмент проверки структурированных данных. Если вы не хотите, чтобы сведения о вашем авторстве отображались в результатах поиска, измените свой профиль (используя ссылку plus.google.com/me/about/edit) и убедитесь, что не установлен флажок «Показывать мой профиль в результатах поиска».

    Пользовательский поиск

    Еще один полезный инструмент, который позволяет владельцу сайта создать собственную персонализированную систему поиска для своего вебресурса, в которую также можно добавлять другие сайты и страницы для поиска. Вам предлагаются две версии:

    • Базовый пакет: На страницах результатов поиска присутствует реклама.
    • Site Search: Без рекламы на страницах результатов поиска.

    Пример такой поисковой системы вы можете увидеть на любой странице сайта, на котором вы сейчас находитесь. Она находится в верхнем углу, под лого, справа от вас.

    Предпросмотр страниц

    Инструмент, который позволяет вебмастеру сравнить фактическую страницу с ее снимком в предпросмотре страниц Google. Для проверки введите в пустое поле адрес проверяемой страницы и нажмите «Сравнить». Вскоре появится ссылка на проверяемую страницу, щелкните по ней и вам откроется ее снимок в Google. Вам остается только сравнить реальную страницу с этим снимком. В случае несоответствия – проведите работы по устранению ошибок.

    Эффективность сайта

    Названная функция являлась экспериментальной и в настоящее время больше не используется. Поэтому, для анализа и повышения эффективности сайта вы можете применить следующие ресурсы:

    1. Скорость загрузки сайта в Google Analytics — позволяет измерить скорость загрузки страниц при их просмотре посетителями сайта, а также оценить другие временные показатели, определенные пользователем.
    2. PageSpeed Insights — анализирует содержание ваших страниц и предоставляет рекомендации по повышению эффективности.

    Ну, вот мы и закончили обзорное знакомство с «Инструментами для вебмастеров» от поисковой системы Google. Те же из вас, кто по каким-то причинам не читал первую и вторую статьи, начинающие данный обзор, могут это сделать перейдя по соответствующим ссылкам.

    Подпишитесь на рассылку новостей, и вы всегда будете в курсе происходящего.

    Это просто, удобно и бесплатно!

    Поиск, сканирование и отображение сайтов в системе Google

    Когда пользователь ищет информацию в Google, мгновенно получает список результатов поиска в интернете. Просто говоря, поиск в интернете напоминает просмотр очень толстой книги с гигантским оглавлением, которое точно определяет расположение каждого элемента содержимого.

    Приложения поисковой системы Google проверяют индекс, чтобы определить наиболее релевантные результаты поиска, которые должны быть доставлены пользователю.

    Процедура предоставления результатов поиска состоит из трех основных этапов:

    • Загрузка: Google знает о вашем сайте?
    • Индексация: Google может сканировать ваш сайт?
    • Доставка: ваш сайт включает в себя правильное и полезное содержание, которое подходит для запроса пользователя?

    Загрузка сайта в Google

    Загрузка с индексацией – это процесс, во время которого робот Google обнаруживает новые и обновленные страницы, чтобы добавить их в индекс Google.

    Для загрузки (сканирования) миллиардов веб-страниц Google использует огромное количество компьютеров. Ответственность за эти действия несет приложение Googlebot (также называемый робот, бот или спайдер).

    Google использует процесс на основе алгоритмов: компьютерные программы определяют, какие сайты должны быть добавлены в индекс и, как часто и сколько страниц загружать с каждого сайта.

    Процесс загрузки с индексацией Google начинает с составления списка URL-адресов сайтов, созданных на основе результатов предварительного обхода и обработки данных, поступающих от sitemap, предоставляемых веб-мастерами.

    Когда робот Googlebot посещает эти сайты, он может обнаружить ссылки на каждую из страниц и добавить их в список страниц, которые необходимо проиндексировать. Информация о новых сайтах, изменениях уже существующих сайтов, а также неработающие ссылки регистрируются и используются для обновления индекса Google.

    Google не взимает платы за индексирование вашего сайта.

    Индексирование сайта

    Google обрабатывает каждую из проиндексированных страниц, чтобы создать гигантский указатель всех отображенных на них слов и их места на этих страницах.

    Кроме того, он обрабатываем данные, содержащиеся в тегах и атрибутах, таких, как теги Title и атрибуты ALT. Робот Googlebot может обрабатывать несколько типов содержимого, хотя и не все. Например, он не можем обрабатывать содержимое файлов мультимедиа или динамических страниц.

    Предоставление результатов индекса

    Когда пользователь вводит запрос, компьютеры Google выполняют поиск в индексе подходящих страниц, а затем возвращает результаты признанные наиболее значимыми. Релевантность определяется на основе более 200 факторов – одним из них является PageRank страницы.

    PageRank – это показатель важности страницы, значение которого зависит от расположенных на других сайтах ссылок на страницы вашего сайта. В идеале, каждая ссылка с другого сайта на страницу вашего сайта, увеличивает показатель PageRank.

    Не все ссылки эквивалентны. Google постоянно работает над повышением удовлетворенности пользователей, определяя ссылки, являющиеся спамом и другие действия, отрицательно влияющие на результаты поиска. Лучший тип ссылки – это ссылки, созданные на основе качества содержания страницы.

    Для того, чтобы ваш сайт имел высокие позиции в рейтинге на страницах результатов поиска, убедитесь, что Google может ее правильно загружать и индексировать. Проверенные методы, позволяющие избежать распространенных ошибок и повысить рейтинг сайта, описаны в Проверенные методы, помогающие Google найти, скачать и проиндексировать сайт.

    Функции Google Варианты написания и Автозаполнение предназначены для экономии времени пользователя за счет отображения схожих запросов, исправления типичных ошибок правописания и подсказывания популярных запросов. Ожидаемые результаты отображаются только тогда, когда могут способствовать экономии времени пользователя.

    Если сайт имеет хорошую позицию в рейтинге для определенного ключевого слова, это происходит потому, что при индексации система Google определила его содержание, как точно соответствующее запросу пользователя.

    Добавить комментарий