Google рекомендует избавиться от HTML-карты сайта


Содержание материала:

Правильная карта сайта ускоряет индексацию в 3,14 раз

Карта сайта (sitemap) — это html страница сайта или специальный xml файл, в котором отражены ссылки на все важные страницы сайта. Чтобы понять, что такое карта сайта, достаточно представить книжное оглавление и сразу же станет ясно, зачем нужна карта сайта. Карта сайта помогает посетителю, будь это человек или поисковый робот, быстро найти любую страницу сайта, совершая минимальное число переходов. На простых, небольших сайтах все страницы могут быть доступны через 1-2 клика от главной страницы, но что делать, если сайт большой и структура его непроста? Подобный сайт будет неудобен не только посетителям, но и неочевиден для поисковых систем.

Какие бывают карты сайта

Поисковые системы индексируют сайт постепенно, уровень за уровнем, начиная с главной страницы. Если на сайте много уровней вложенности страниц, то пока все страницы сайта проиндексируются пройдут многие месяцы. Значит, необходимо создать карту сайта, на которой будут все ссылки на все страницы сайта сразу, чтобы робот не тратил время на переходы по уровням вложенности, верно? И да и нет. Ответ зависит от того зачем делается карта и какой она будет. Давайте рассмотри, какие бывают карты сайта.

Карта сайта HTML Sitemap

Карты сайта делятся на 2 основных вида или формата: карта сайта html и карта сайта файл xml. HTML карта сайта — это страница сайта, на которой перечислены ссылки. Обычно это ссылки на самые важные разделы и страницы сайта. HTML карта сайта больше рассчитана на людей, нежели на роботов и помогает быстрее ориентироваться в основных разделах сайта. Для карты сайта в виде html-страницы существуют серьезные ограния по количеству ссылок на одной странице. Если на странице будет слишком много ссылок, далеко не все ссылки могут быть проиндексированы или вовсе страница карты сайта может быть исключена из поиска за чрезмерное количество ссылок, пусть даже внутренних ссылок.

Для того, чтобы карта сайта html правильно индексировалась и адекватно воспринималась посетителями не стоит размещать на странице более 100 ссылок. Этого более чем достаточно, чтобы разместить на странице все разделы и подразделы, которые не влезли в основное меню.

Обычно, карта сайта в формате HTML имеет древовидную структуру, где указаны развернутые разделы и подразделы. Излишне громоздкие HTML карты сайта, зачастую оформляются графическими элементами, CSS-стилями и дополняются Java-script. Однако, карта сайта html не имеет большого значения для поисковых систем.

HTML карта сайта — это не есть полноценный sitemap. Как же быть, если на сайте сотни, тысячи, десятки тысяч страниц? Для этого необходимо разместить ссылки на все страницы в карте сайта в формате xml.

Карта сайта XML Sitemap

XML карта сайта — это файл формата xml, вида sitemap.xml, который обычно находится в корне сайта. У карты сайта в формате xml есть множество преимуществ перед html картой сайта. Sitemap xml — это специальный формат карты сайта, который определяется всеми популярными поисковыми системами, например Google и Яндекс. В xml sitemap можно указать до 50.000 ссылок. Более того, в sitemap xml можно указать относительный приоритет и частоту обновления страниц.

Стоит сказать, что содержимое карты сайта является лишь рекомендацией для поискового робота. Например, если установить для страницы сайта ежегодную частоту обновления, поисковые роботы все равно будут ходить чаще. А если установить частоту обновления страницы ежечасно, это не значит, что роботы будет индексировать страницу каждый час.

Карта сайта xml имеет определенный синтаксис, давайте рассмотрим структуру xml карты сайта подрбнее.

Пример файла карты сайта sitemap.xml

Правильный sitemap.xml должен иметь кодировку UTF8. Содержимое файла карты сайта sitemap.xml выглядит следующим образом:

Где используются следующие обязательные теги:

  • — родительский тег, в него заключаются все url-адреса;
  • — тег, в котором указываются сведения о конкретном url-адресе;
  • — в данном теге указывается непосредственно url.

Далее, следуют необязательные теги:

  • — этот тег заключает в себе дату последнего изменения страницы;
  • — тег используется, чтобы указать насколько часто изменяется страница: always, hourly, daily, weekly, monthly, yearly, never;

— указывает приоритет определенной страницы, относительно других страниц сайта от 0,1 – низкий приоритет, до 1 – высокий приоритет.

Так же, в файле карты сайта в формате xml должно содержаться указание на пространство имен языка XML:

Если файл карты сайта включает более 50 тысяч ссылок или размер sitemap.xml превышает 10 мб, рекомендуется разделить карту сайта на несколько файлов. В таком случае, в карте сайта необходимо указать несколько ссылок на разные файлы карт.

Здесь используются уже знакомые нам теги и , а так же обязательные теги:

  • — родительский тег, в который заключаются адреса всех карт сайта;
  • — тег, в котором заключается параметры для каждой карты сайта.

Пример файла карты сайта sitemap.txt

Еще одним способом оформления карты сайт в виде файла может быть карта сайта в формате txt:

Все просто. В файле sitemap.txt построчно перечисляются все необходимые ссылки. Карта сайта в формате txt — это «вариант для ленивых». Здесь работает аналогичное sitemap xml ограничение в 50.000 ссылок. Однако, TXT карта сайта лишена возможностей указания даты последнего изменения и приоритета страницы.

Как создать карту сайта

Создание карты сайта важный процесс, в котором необходимо четко указать, какие страницы сайта нужно индексировать и как лучше их индексировать. В зависимости от того о каком типе карты сайта идет речь, используются различные способы создания карты сайта. Как создать html карту сайта обсуждать отдельно смысла нет. Рассмотрим как сделать карту карта в формате xml файла. Существует несколько основных способов создания карты сайта, но все их объединяет то, где находится карта сайта и как файл sitemap определяется поисковыми системами.

Как уже было написано выше — файл карты сайта размещается в корне сайта. Поисковые системы способны самостоятельно обнаружить файл карты сайта. Но существует несколько способов указания прямой ссылки на файл(ы) карты сайта(ов) для более скорого обнаружения поисковыми системами. Самый простой способ указать место расположения файла карты сайта — это непосредственное указание ссылки или нескольких ссылок на файлы карт сайта в инструментах для вебмастеров от Yandex и Google. Там же можно проверить карту сайта, провести анализ карты сайта на корректность, соответствие того, какие страницы из карты сайта найдены поисковой системой и сколько из них находится в индексации.

Второй способ указать поисковым системам на расположение файла карты сайта — это директива Sitemap файла robots.txt.

Указание ссылки на карту сайта в robots.txt:

В robots.txt можно указать несколько файлов sitemap, после чего, он автоматически будут добавлены в инструменты для вебмастеров. Как найти карту сайта мы рассмотрели, теперь перейдем к тому, как создать карту сайта.

Основные способы создания карты сайта

  1. Генерация карты сайта силами системы управления сайта, если CMS имеет подобную встроенную возможность.
  2. Скачать карту сайта со стороннего онлайн сервиса. Существует множество online генераторов карт сайта с различным возможностями и ограничениями. Напрмер xml-sitemaps.com обладает возможностью настройки параметров карты сайта, но имеет ограничение по количеству ссылок в файле sitemap.xml в 500 штук.
  3. Скачать программу-генератор карты сайта. Подобные программы генераторы обычно платные, но при их помощи можно можно регулярно генерить sitemap xml для одного или нескольких сайтов. Вот пара примеров подобных программ-генераторов: SiteMap XML Dynamic SiteMap Generator, WonderWebWare SiteMap Generatior.
  4. Автоматическое создание sitemap карты сайта в Joomla (Джумла), WordPress (Вордпресс), Bitrix (Битрикс).
  5. Создание карты сайта вручную.

Карта сайта — один из важнейших инструментов SEO оптимизации сайта. Не важно, как будет создана карта сайта. Важно — какие ссылки будут перечислены в карте сайта и как часто она будет обновляться. Иногда, в карту сайта выгружается все подряд и даже те ссылки, которые запрещены в robots.txt или неканонические ссылки. А обновление карты сайта происходит раз в месяц или реже. Подобное отношение к карте сайта может не просто сделать ее бесполезной, но того хуже — запутать поискового робота, что негативно отразится на индексации и позициях сайта в поиске.

Создайте карту сайта для своего ресурса. Но будте внимательны и хорошо подумайте, что выгружать в sitemap, а что нет.

Подтвердить права на сайт в Гугл (Google)

Здравствуйте уважаемые читатели! В этой статье вы не только узнаете как и зачем подтвердить права на сайт в гугл, но и сможете сделать это самостоятельно, просто повторяя за мной.

Совсем недавно, я писал статью как подтвердить права на сайт в Яндекс просто и быстро, если вы ещё того не сделали, то переходите по ссылке и читайте эту инструкцию. С Гуглом действия похожие и также просты, конечно можно было объединить это в одну статью, но например мне удобнее делать всё по шагам, например-добавил сайт в Яндекс, порадовался за себя, какой я молодец, попил чай, открыл статью как подтвердить права на сайт в Гугл и сосредатачиваюсь на ней. Уверен, я такой не один.

Зачем подтверждать права на сайт

По традиции кратко разберём, зачем нам эти действия нужно обязательно проделать. Самое ценное-это то, что мы дадим гуглу знать, что ваш сайт появился и это действительно Ваш сайт. Гугл с большей серьёзностью относится к конфедециальности и соответственно лучше относится к сайтам с подтверждёнными правами.

К тому же ммы с вами получаем довольно функциональный инструмент для работы с нашим сайтом. Это аналог яндексовского Вебмастера-Search Console или наоборот, поди разбери, кто чей аналог, да и не важно нам это, а важно что мы сможем там:

  • Видеть ошибки на своём сайте.
  • Добавлять robots.txt и sitemap.
  • Проверять как индексируются страницы.
  • Использовать переобход страниц. В Гугл это «Просмотреть как Googlebot».
  • Получать рекомендации от Гугл по работе с сайтом и продвижению.
  • Видеть все ссылки на сайт и с него.

Как видите список возможносте довольно внушительный, хотя и не совсем полный. В Search Console есть две версии новая и старая, они отличаются внешним видом, лично мне удобнее работать в старой версии, но это потому-что я к ней привык.

Как подтвердить права на сайт в Гугл

Для этого вам необходимо иметь аккаунт в Google, если нет, то зарегистрируйте-это просто. Затем в поисковой строке вписываем гугл вебмастер и переходим по первому результату или по это ссылке. Открывается окно в котором нужно нажать «Войти» в правом верхнем углу.

В появившейся строке вписываем адрес сайта или скопируйте его и вставьте, так тожно не допустите ошибку. В новой версии Search Console появится окно с рекомендуемым способом подтверждения. Его и будем использовать.

Для этого скачиваем файл к себе на компьютер, затем переходим на хостинг, я использую таймвеб и очень кстати им доволен, возможно у вас другой, это не важно суть вы поймёте. Ищем корневую папку сайта, у меня она находитя в файловом менеджере. Открываю её ⇒ public_html, загружаем сюда скаченный файл. Как видите файл от Яндекса здесь уже есть.

Если вы испытываете сложности с добавлением файла на хостинг, ничего страшного, в любом хостинге есть служба поддержки и можно попросить сделать это их. В 99% случаев они не отказывают.

Файл ⇒ Загрузить на сервер ⇒ Прикрепить файл. И вот файл загружен

Возвращаемся в Search Console и жмём подтвердить, если всё правильно, то появляется такое сообщение

Теперь можно переходить в панель вебмастера и пользоваться всеми возможностями этого сервиса, о котором я в будущем обязательно напишу статью, а чтобы ничего не пропустить-подписывайтесь на новости блога.

Рекомендую добавить сразу версию сайта с WWW, дополнительных действий в виде скачивания файла и его установки не понадобится. Для этого нужно лишь нажать «добавить ресурс» и прописать домен сайта с WWW это например выглядит так: http://www.site.ru где site основной домен вашего сайта.

Альтернативный способ

Если вы по каким то причинам не смогли подтвердить права на сайт в Гугл первым способом (хотя, если делать всё правильно-это маловероятно), тогда можно использовать ещё один простой способ. Для этого нужно нажать «Альтернативные способы» и выбрать «тег HTML». После этого появится код, примерно такой:

Внимание! Перед любыми работами с кодом, рекомендуется сделать резервную копию и бекап сайта. Чтобы в случае неосторожных действий всегда можно было восстановить данные.

Его нужно вставить в раздел head. Для этого перейдите в «Консоль»⇒«Внешний вид»⇒«Редактор» находим пункт «Заголовок» ( у вас может называться по другому, главное, чтобы под названием была надпись header.php.) и вставляем мета-тег в любое место между тегами и . Код обязательно должен быть с новой строки. На фото стрелкой обозначу, куда лучше вставлять.

Если и этот способ для вас сложен, не расстраивайтесь, когда-то я боялся даже открывать редактор, не то, чтобы код вставлять, всё придёт со временем. Этот тег можно вставить в плагин, например Yoast Seo в инструменты веб-мастеров в раздел Верификация. Если такого плагина у вас нет, это тоже не беда, можно скачать например DCO Insert Analytics Code и вставить туда без редактирования кода.

После вставки тега переходим в Search Console и подтверждаем, должно быть всё хоршо, если так, то я вас поздравляю, вы большой молодец!

Заключение

Только что, мы с вами смогли подтвердить права на сайт в Гугл, я делал тоже самое с моим эксперементальным сайтом, поэтому с уверенностью могу сказать, что это работает, а не переписано мною с каких то других статей. И как видите это просто, ладно не для всех просто, но реально для всех.

Получилось у вас? Помогла статья? Напишите пожалуйста в комментариях.

Удаляем страницу или раздел сайта с поиска Google

Я думаю, что многие знакомы с поисковой системой Google. Но вот мало кто знает алгоритм ее работы. Сам по себе Google, в отличие от Яндекса, с удовольствием индексирует сайты, причем даже те разделы, которые запрещены для индексации в файле robots.txt.

Поясню: если вы запретили в файле robots.txt индексирование той или иной страницы вашего сайта, то Гугл не будет этого делать согласно указанным правилам, но и ссылку на страницу в поисковой выдаче он тоже не удалит. То есть ее упоминание все равно будет присутствовать в поисковой системе.

Мой сайт тоже не стал исключением – я обнаружил несколько страниц, запрещенных к индексированию в файле robots.txt, но находящихся в поисковой выдаче. Как же быть в таком случае?

Удаление страниц и разделов с поиска Google

У Гугла существует сервис для веб-мастеров, который называется «Search Console». Чтобы не бороздить просторы интернета, найти этот сервис вы сможете тут. Именно с помощью его вы можете временно удалить нужную вам страницу или раздел из результатов поиска Google.

1. Прежде чем начать удаление страниц, вам необходимо авторизоваться в сервисе.

2. Далее необходимо добавить ваш сайт в панель управления и подтвердить права на него. Для этого будет предложено несколько вариантов, самые удобные из них – файл и meta-тег.

3. После того как сайт успешно добавлен (если возникли трудности с добавлением – пишите в комментариях), мы наблюдаем такую картину:

Здесь вам необходимо кликнуть по домену, после чего откроется меню с дополнительными разделами.

4. В этом меню нас интересует раздел «Индекс Google» пункт «Удалить URL-адреса».

5. Здесь надо нажать «Временно скрыть» и ввести нужные URL для скрытия.

Но почему можно лишь временно скрыть или временно удалить? Все довольно просто: если при переобходе сайта удаленные страницы вновь доступны для индексации, то они попадут в поисковую выдачу.

Как же быть в таком случае?

Запрет Google на повторную индексацию удаленных страниц

Для решения этой проблемы существует несколько способов.

1. Meta-тег. Тут все просто – на нужном разделе или странице между тегами прописываете meta-тег:

При его наличии страница больше не будет индексироваться. Но сам Google говорит, что это не самый лучший метод (что странно, поскольку у меня все сработало).

2. Страница должна возвращать код ошибки 404 (Не найдено) или 410 (Удалено). Тут не обязательно удалять вашу страницу, а просто прописать код в самом верху страницы на нужных вам разделах:

3. Запретить доступ к контенту, например, установив пароль на страницу. Как это сделать, мы рассмотрим в отдельной статье.

Как проверить наличие страницы вашего сайта в Google?

Для этого в поиск Google вставьте:

где your_site.ru/page.html – это страница или раздел вашего сайта.

Стоить заметить, что удаление страниц из поисковой выдачи – процесс не быстрый, так что наберитесь терпения.

Повышаем эффективность сайта с помощью Google Webmaster Tools

Google Webmaster Tools – бесплатный сервис, который необходим владельцу сайта в первую очередь, чтобы следить за состоянием сайта в ПС Google. В нем находятся все необходимые данные, с помощью которых можно повысить эффективность сайта в Гугл. Проанализировать позиции сайта, входящие и внутренние ссылки, ошибки, присутствующие на сайте. Рекомендуется добавлять сайт в панель вебмастера на первых этапах оптимизации и раскрутки веб-ресурса. В данной статье мы узнаем, как добавить сайт и рассмотрим основные принципы работы инструмента.

  • Простой способ проанализировать Ваш сайт
  • Получить данные статистики сайта в поисковой системе Google
  • Просмотреть статистику ключевых слов семантического ядра
  • Просмотреть количество исходящих и внутренних ссылок
  • Просмотреть поисковые запросы
  • Получить уведомление об ошибках на сайте
  • Проверить файл robots.txt, sitemap.xml
  • Удалять некачественные ссылки с ПС Google
  • Добавлять в индекс ПС новые страницы либо страницы с изменениями
  • Просмотреть, как Google Bot видит страницы сайта

Добавление сайта в Гугл Вебмастер

Войдите в Гугл аккаунт или зарегистрируйте почту Gmail. Вбейте в поисковую строчку «Google Webmaster Tools». Добавляем адрес сайта и нажимаем кнопку.

В новом окне мы подтверждаем права на собственность сайта. Самый легкий способ – разместить html файл на ФТП сервер. Скачиваем файл и загружаем в корень сайта, затем подтверждаем.

Если не устраивает первый способ, то перейдем на вкладку альтернатив. Простой способ — это Тег HTML. Добавляем строчку с кодом на главную страницу сайта в разделе перед .

Оставшиеся способы более замысловаты и ознакомиться с ними можно, нажав на каждый из них. Подтверждаем и, если все правильно, откроется главное окно.

После подтверждения попадаем на главную страницу вебмастера. На ней увидите основные показатели, которые отслеживает инструмент. Большим плюсом является, то, что информация об ошибках, требующая срочного внимания, отображается в разделе «Новое и важное». Так же здесь есть ошибки сканирования, данные об индексации, данные по карте Sitemap. Сейчас рассмотрим более детально. Но, первым делом, следует настроить аккаунт. В правом верхнем углу нажимаем на шестеренку и выполняем необходимые настройки.

Настройки Инструментов для веб-мастеров

Настройки Search Console

Выбираем язык для сообщений, которые будут уведомлять о проблемах сайта, тип оповещения: все проблемы. Разрешаем отправку на почту, чтобы быть в курсе проблем на сайте.

Настраиваем основной домен сайта с www или без. Как показывает практика, Гугл довольно чувствителен к данному параметру. И выбираем скорость сканирования, рекомендованную Гуглом.

Полезная функция переноса старых доменов на новые. Пригодится для тех, кто попал под фильтр или хочет взять более красивое имя для своего веб-ресурса. Важно настроить переадресацию 301, иначе запрос на изменение адресов не будет обработан.

Ресурс Google Analytics

Если Вы еще не подключили Гугл аналитику, то настоятельно рекомендуем зарегистрировать аккаунт. Связать свой сайт с Google Webmaster, можно в разделе Источники трафика -> Поисковая оптимизация. Это позволит увидеть запросы «not provided».

Пользователи и владельцы сайта

В этом разделе предоставляем полный или ограниченный доступ к аккаунту для оптимизатора.

Показывает привязку веб-ресурса к профилю Google+.

Теперь ознакомимся с основными разделами, которые пригодятся для работы с сайтом.

Сообщения

С этой вкладки дублируются сообщения на главное меню. Здесь Гугл присылает сообщения о проблемах работы Вашего сайта. Рекомендуем следить постоянно, чтобы моментально обнаружить возникшие проблемы и устранить.

Вид в поиске

С помощью этого раздела, можно настроить в результатах поиска различное отображение элементов, данных о сайте. Нажмите знак i. В открывшимся В окошке, используя подсказки, отредактируйте Ваши данные.

Структурированные данные, маркер

Эти инструменты являются разметкой schema. Вы можете выделить свой сайт среди остальных путем красивых сниппетов — рейтинг, адреса, видео и т.д. Но не спешите с результатом, ведь после изменений потребуется время, чтобы поисковая машина проиндексировала.

Оптимизация HTML сайта

Здесь можно получить данные о проблемах, выявленные роботом при сканировании: дубли страниц сайта, длинные и короткие мета-описания, заголовки. Устранив ошибки, можно повысить качество сайта в результатах поиска.

Быстрые ссылки – это ссылки, которые отображаются под названием сайта в результатах поиска. Google сам определяет ссылки, которые будут отображаться, если Вы считаете ссылку бесполезной, то можете понизить ей рейтинг. Приведем пример интернет-магазина «Алло».

Поисковый трафик

На этой странице можно увидеть отчеты о поисковых запросах, которые были сделаны за последний месяц. С помощью этой информации узнаем и анализируем показы, клики, CTR, среднюю позицию любой страницы в поисковой выдаче и т.д.

Анализ поисковых запросов

В данной вкладке можно анализировать самые популярные поисковые запросы и страницы, откуда и с какого устройства зашли на сайт. Можно выбрать интересующий диапазон дат, или сравнить с предыдущим периодом.

Ссылки на ваш сайт

В этом разделе можно проанализировать входящие ссылки, узнать какие домены и на какие страницы чаще всего ссылаются на Ваш сайт. Также можно посмотреть наиболее часто употребляемый текст ссылки. Для более детальной информации нажимаем на любой из источников.

Здесь можно ознакомиться с внутренними ссылками вашего сайта, а также посмотреть основную информацию по каждой из них.

Меры, принятые вручную

В этом разделе Вы можете просмотреть были ли приняты ручные санкции по борьбе со спамом. Если же Вы все таки получили уведомление, то требуется устранить причины и отправить запрос на проверку сайта.

Таргетинг по странам и языкам

Не секрет, что для разных регионов и стран поисковая выдача отличается. Чтобы Гугл выводил наиболее подходящие сайты рекомендуем связать сайт с регионом.

Удобство просмотра на мобильных устройствах

Это новая функция, которая поможет обнаружить основные проблемы отображения сайта на мобильных девайсах. С помощью этого инструмента можно улучшить отображение сайта для пользователей планшетов и смартфонов.

Индекс Google

В этой вкладке отображается количество проиндексированных URL и заблокированных страниц в файле robots.txt. Рекомендуем регулярно следить за графиком для выявления изменений в Вашем сайте.

Ключевые слова в содержании

В этом отчете показаны самые важные ключевые слова, которые просканировал Google на сайте. Чем чаще ключевое слово встречается на страницах сайта, тем более значащим оно является. Каждое слово можно просмотреть, нажав на определенное слово, можно посмотреть данные по конкретной странице или сайту. Если встречаются слова не связанные с сайтом, то скорей всего сайт взломан. Так же есть возможность загрузить файл на компьютер.

В этом разделе мы смотрим правильно ли ПС понимают robots.txt.

Здесь можно удалить или скрыть вредоносные страницы сайта. Просто вставьте Ваш адрес и отправьте запрос на удаление.

Сканирование

В этой вкладке показана подробная информация по ошибкам сайта, которые возникали при сканировании роботом. Рекомендуем регулярно анализировать и устранять ошибки для повышения эффективности работы сайта и его ранжирования в ПС.

Данные отчеты показывают индексацию сайта за последние 3 месяцев, а именно:

  • число просканированных страниц за сутки;
  • количество кб загруженных за сутки;
  • время, которое потратилось на загрузку страницы.

Посмотреть, как Googlebot

Данный раздел позволяет просканировать страницы сайта для выявления ошибок, просмотреть как Ваш сайт виден боту. Вставьте интересующий вас адрес в поле, или оставьте url пустым для получения содержания главной страницы. Выберите подходящие устройство и просканируйте.

Инструмент проверки robots.txt

В данном разделе можем проанализировать страницы, которые закрыты или открыты для роботов ПС. Чтобы проверить страницу, добавляем ссылку, выбираем интересующего нас бота и нажимаем «Проверить». Файл robots.txt необходим только в том случае, если на Вашем сайте есть страницы, которое не следует включать в индекс поисковых систем.

В этой вкладке необходимо добавить карту сайта XML для индексирования. Если же карта сайта уже добавлена, то проверяем файл на ошибки. Также есть возможность посмотреть количестве страниц, попавших в индекс.

С помощью данного подраздела, настраиваем эффективное сканирование страниц сайта.

Вывод

Подводя итоги, хотелось бы отметить, что данный инструмент является одним из важных сервисов, который поможет Вам в развитии сайта. С помощью Google Webmaster Tools, Вы можете:

  • отслеживать основные показатели веб-ресурса;
  • анализировать данные из графиков;
  • своевременно устранять возникшие ошибки, которые негативно влияют на позиции Вашего интернет магазина в выдаче Google;
  • проверять robots и sitemap;
  • удалять вредоносные url из ПС.

Прежде, чем браться за голову и задавать частые вопросы «Почему мой сайт не индексируется», «Почему я не в ТОП» для начала зайдите в панель вебмастеров Гугл и проанализируйте Ваш сайт.

Надеемся, данная статья будет для Вас полезной и поможет повысить эффективность сайта. Не забывайте подписываться и задавать вопросы в комментариях.

Как раскрутить сайт — Кодекс OlegON. Советы по оптимизации сайта в Google

1 2 >

Я потратил значительное количество времени, разбирая заявки на форуме по индексированию и ранжированию Google. В целом общая причина их появления — один и тот же вопрос: “сайт пропал или понизился в выдаче”. Надо ответить, что, как и сами вопросы, так и ответы достаточно типовые, поэтому я решил соединить их в единый документ, некоторую инструкцию по разбору подобных ситуаций, а так же для ответов на некоторые другие вопросы. Нижеизложенное — мое личное мнение, сформированное в ходе собственных исследований, чтения различных материалов и справки Google. Для удобства все абзацы имеют сквозную нумерацию.

1. Итак, первое, что Вы должны себе уяснить — результаты выдачи меняются, причем постоянно. Если вы были в первых рядах (топе) поисковой выдачи, то никто не гарантирует защиты от того, что изменится алгоритм ранжирования или появится сайт-конкурент, произойдут какие-то другие события, что Вас утопит. Но такие события в большей своей части сопровождаются плавным переходом трафика, т.е. он будет постепенно исчезать по мере перехода пользователей от вас на другой сайт. Бороться с этим можно только увеличением интереса пользователей к сайту, его удобством и общей популярностью. Точную причину колебания позиций сайта в выдаче не назовет никто, в том числе работники Google. Выдача формируется массой алгоритмов, учитывается масса параметров. Соединить это в целое, учесть все параметры ранжирования и оценки Вашего сайта и всех сайтов, которые Вас обошли, нереально. Выход только один — работать над качеством сайта, его удобством (в том числе мобильной версии) и популярностью.

2. Особо выделяются вопросы вида “я вчера сделал сайт, а гугл его еще не видит”. Или “у меня есть сайт и с ним что-то не так”. Обратите внимание, что гугл — гигантский поисковик, содержащий в себе актуальные данные о миллиардах страниц. Для того, чтобы сайт был просканирован, необходимо зарегистрировать его в Search Console (https://www.google.com/webmasters/tools/home?hl=ru, SC, бывшая WMT, Webmaster tools), подготовить карту сайта, отправить ее в соответствующем разделе SC, после чего ждать. Сайт будет просканирован, проиндексирован и подвергнут ранжированию. Процедура занимает в лучшем случае не один день, т.е. до двух-трех месяцев можно не волноваться. Терпеливо ждите и контролируйте ошибки сканирования в SC. Обратил внимание на общую статистику, что молодые сайты сначала попадают на “испытательный срок”, а потом, даже если не были подвергнуты каким-либо изменениям, падают в выдаче. Это связано с тем, что Google не сразу использует все метрики по отношению к новому сайту, дает ему время поплавать по основным параметрам, после чего механизм ранжирования работает на полную.

3. Но, часто бывает, что график количества посетителей ныряет “в пол” и это не на день-два (что может быть случайностью), а более. При этом, в первую очередь, необходимо посмотреть наличие ручных мер по ссылке: ↴ . Меры могут быть самого различного рода, как связанные с качеством содержания, так и с агрессивным спамом и прочими неуспешными попытками раскрутки. Вебмастера, поддерживающие сайты, как-то связанные с распространением авторского содержания, обязательно должны проверить свой сайт на предмет предъявленных претензий в Lumen (Lumen Database, база DMCA, бывшая Chilling Effects)
В случае предъявления достаточного количества жалоб, домен может быть заблокирован в Google навсегда и безвозвратно. Для того, чтобы жалобы убрать, необходимо уговорить сделать это тех, кто их направил. Сами понимаете, какое это трудное дело. Встречное уведомление DMCA можно подать здесь: ↴ . Интересная и печальная особенность в том, что Google не проверяет жалобы, особенно по Рунету, при ее получении просто банит сайт и ждет развития событий. С учетом территориальных особенностей и отсутствия прямых контактов ждать отзыва жалобы можно вечность.

4. Обратите внимание, что поисковик не является экспертом по авторскому праву и лишь отражает содержимое, доступное пользователям в интернете. Т.е. не отвечает за хранение и доступность ресурсов для других пользователей. Если Вас огорчает, что кто-то разместил копию Вашего сайта или другое авторское содержимое в интернете, то претензию следует предъявлять в первую очередь хостингу и по контактам, опубликованным на сайте, а не поисковику. Однако, Google предлагает ряд вариантов отправки жалобы: ↴ , более подробную справку можно прочитать здесь: http://www.google.com/transparencyreport/removals/copyright/, а список своих жалоб можно посмотреть тут ↴ Более подробно, как с этим бороться, можно почитать в статье https://olegon.ru/showthread.php?t=28138

5. При возникновении каких-то неясностей, как в индексировании, так и в ранжировании сайта, рекомендуется обратить внимание на ошибки сканирования в соответствующем разделе SC. Ошибки необходимо разбирать самостоятельно или задавая конкретные вопросы с указанием конкретной ошибки на форуме.
Нестабильная работа сайта может сказаться ранжировании его в результатах поиска. Никому не нужны периодически и странно работающие сайты. Обратите внимание, что ошибки подключения обозначают доступность сайта в принципе, т.е. возможность подключиться к веб-серверу. Перечисляемые ошибки с цифровым кодом — причины, по которым поисковик не может получить требуемые ему страницы, уже после успешного разрешения имени сайта в службе DNS и подключения. Необходимо разделять эти ошибки, поскольку отвечать за них могут разные поставщики. Во всплывающем окне, при нажатии на сообщение об ошибке, Вы можете увидеть ссылающиеся на эту страницу свои ресурсы, утверждающие о ее существовании.

6. Предполагается, что существует sitemap, т.е. карта сайта (я бы назвал это обязательным атрибутом сайта, которого интересуют позиции в поисковике). Обратите внимание на то, что количество отправленных и количество проиндексированных страниц должно совпадать или незначительно отличаться. Если количество страниц в индексе минимальное, то сайт понижается по проблеме индексирования. О ней есть смысл говорить, если нет ошибок сканирования, о которых я писал выше. Неправильная генерация карты сайта (sitemap) приводит к тому, что сайт либо неполностью индексируется, либо не индексируется вообще. Верх изощренности — дать sitemap на закрытые в robots.txt страницы. Обратите внимание, что файлом sitemap могут быть RSS или Atom фиды, а так же XML-файлы определенного формата, он не может быть текстовой или HTML-страницей. Файл sitemap имеет лимиты на размер и количество включенных в него ссылок, поэтому лучше для больших ресурсов создавать индексную карту сайта, т.е. sitemap со ссылками на другие sitemap. После создания файла sitemap ссылку на него необходимо поместить в директиву Sitemap файла robots.txt, а так же разместить в SC. Для ускорения индексирования собственного сайта я автоматизировал информирование Google о появлении новой карты запросом следующего URL: http://www.google.com/webmasters/sitemaps/ping?sitemap=XXX, где XXX — путь к sitemap в формате urlencode. Авторизация не требуется.
Не раз попадались спам-плагины для WordPress, которые не только создавали карту сайта, но и ставили ссылки на сайты их авторов. Будьте внимательны.

Разберем ряд наиболее частых проблем сканирования и индексирования.

7. Вы недавно кардинально меняли дизайн или содержимое сайта. Закрывали что-то в robots.txt или удаляли страницы в соответствующем разделе SC. Возможно, что изменяли домен или перемещали с сайта. Как правило, это сопровождается букетом ошибок 404 при повторном обходе роботом сайта, но если менялось содержимое сайта, то ошибок не будет, однако сайт в выдаче все равно понизится. Любые серьезные изменения сайта ведут к потере позиций. Выплывет ли сайт обратно и как быстро зависит от того, насколько успешными были эти изменения. Не спешите паниковать. Могут пройти недели до возвращения позиций. Структуру сайта лучше без веских причин не менять. Убедитесь, что не испортили robots.txt и не удалили что-то лишнее (инструмент удаления страниц лучше не использовать без четкого понимания того, что Вы делаете, т.е. в большинстве случаев не надо использовать совсем). Имейте ввиду, что в разделе «Файлы sitemap» перечисляются отправленные и индексируемые страницы именно этого sitemap, при смене содержимого карты сайта или ее имени, некоторые вебмастера впадают в панику, видя крайне малое количество страниц в индексе. Но это страницы новой, только что загруженной карты. Даже если URL совпадают с таковыми в предыдущей карты, они не увеличат счетчик, пока бот их не проверит. Общее количество страниц в индексе в данном случае надо смотреть в «Статусе индексирования», оператор site: поиска точной картины так же не дает.

8. Изменение каких-то настроек привело к тому, что в шапке страниц появились meta noindex. Такое иногда встречается при недостаточно вдумчивом изменении настроек CMS или хостинга. Например, широко распространенные WordPress и Blogger содержат в себе настройки скрытия информации от поисковиков. Достаточно одной неудачно поставленной галочки, чтобы потерять посетителей из поисковиков вообще. К сожалению, в практике попадались случаи, когда подобные заголовки добавляли сотрудники хостинга. Ошибочно или нарочно — история умалчивает.

9. Сайт заражен вирусом. Как и большинство других поисковых систем, Google пытается оградить пользователей от вирусов и предотвратить развитие эпидемии. Как правило, в SC, в разделе по безопасности о заражении сайта сообщается. Но при наличии каких-то подозрений и для профилактики, рекомендую проверять пропадающие (не только главную) страницы на вирусы здесь: ↴ . Обратите внимание, что надо переключить проверку на проверку URL, а не загружать какие-то файлы. Можно еще подставить сюда свой домен, чтобы посмотреть, что думает о вредоносности Google.
На сайт так же может быть внедрен какой-то сторонний код, перенаправляющий пользователей (всех или часть) на другие ресурсы. Очень часто этим страдают социальные кнопки с других ресурсов, загружаемые рекламные баннеры и т.п. Настоятельно рекомендую не использовать на своем сайте код, загружаемый с других источников.
Многие жалуются на то, что Google не сообщает о том, какие именно страницы или файлы заражены вирусом. Однако Google — поисковик, а не антивирус. Если он нашел две страницы с вирусом, это не значит, что на сайте их только две. Вебмастеру дается сигнал о том, что его сайт заражен. А в качестве подтверждения выполнения работ по удалению вируса будет принято его полное отсутствие на ресурсе. Существует достаточно большое количество антивирусов, включая тот же Manul . Дерзайте, ищите.

10. На хостинге ограничения доступа, например, региональное ограничение или ограничения по UserAgent. Категорически не рекомендуется использовать подобное для веб-сайтов, поскольку ложные срабатывания (а стандартов и официальной базы для таких ограничений не существует) приведут к видимости нестабильной работы хостинга. В эту же категорию можно отнести и, собственно, дествительную нестабильность хостинга, DNS-сервера или каналов связи. Для проверки можно воспользоваться одним из следующих сервисов. Я предпочитаю ↴ , можно использовать ↴ или http://www.site24x7.com/check-website-availability.html Не забывайте, что различные бесплатные хостинги или хостинги с дешевым тарифом могут молча отказывать в части запросов робота, создающего дополнительную нагрузку. Не рекомендую использовать директиву Crawl-delay, которой Вы расписываетесь в некачественности хостинга.

11. Избыточное наполнение robots.txt. Начинающие вебмастера впечатляются статьями, где сказано, что все ненужное необходимо закрыть в robots.txt и начинают закрывать вообще все, кроме текста на строго определенных страницах. Это, мягко говоря, неверно. Во-первых, существует рекомендация Google не закрывать скрипты, CSS и прочее, что может помешать боту увидеть сайт так же, как видит его пользователь. Во-вторых, очень большое количество ошибок связано с тем, что закрывая одно, пользователь закрывает другое тоже. Безусловно, можно и нужно проверять доступность страницы и ее элементов здесь: ↴ , но вряд ли Вы сможете все страницы своего ресурса проверить через этот инструмент после каждого изменения. Как вариант ошибки — путаница с последовательностью Allow и Disallow. Моя личная рекомендация — закрывать в robots.txt только очевидно ненужные боту вещи, вроде формы регистрации, страницы перенаправления ссылок и т.п., а от дубликатов избавляться с помощью canonical. Обратите внимание, что то, что Вы поправили robots.txt совсем не обозначает, что Google-bot его сразу перечитает. Для ускорения этого процесса достаточно посмотреть на robots.txt, как Google-bot в соответствующем разделе.

Далее рассмотрю ряд параметров, влияющих на ранжирование, как страниц, так и всего сайта в целом.

12. Неестественная ссылочная масса, входящие ссылки. Многие вебмастера по старинке полагают, что прогон по каталогам или закупка ссылок на биржах приведет к неизбежному взлету сайта в поисковой выдаче. На самом деле все совсем не так радужно. С одной стороны, сайт без ссылок для поисковика авторитетным не будет. С другой — ссылки с биржи или других мест, где они покупаются, сайт не только не будут повышать, а будут понижать, вплоть до ручных мер. Оценить ссылочный профиль можно здесь: ↴ или на ↴ , которым я пользуюсь для проверки ссылок “на вскидку”. Для более подробного анализа существуют полубесплатные и платные анализаторы, например, Ahrefs, SEMRush и.т.п. Все они разной степени точности и качества, многие вебмастера ботов этих анализаторов банят, поэтому рекомендую использовать разные и в комбинациях. Известен термин “ссылочный взрыв”, когда появление множества однотипных ссылок с одинаковым анкором не только не поднимает, а топит сайт. Общий вывод этого раздела: если Вы покупаете ссылки, то рано или поздно это плохо кончится. В лучшем случае Вам после этого поможет кропотливое ручное отклонение ссылок здесь: ↴ Если Вы не только не пользуетесь покупкой ссылок, но и категорически против подобных технологий, то можете пожаловаться на замеченные нарушения здесь: ↴

13. После того, как я достаточно запугал Вас влиянием плохих ссылок, подчеркну, что отсутствие ссылок на сайт — тоже повод для его плохого продвижения в результатах поиска. По логике создателей Google пользователи стремятся поделиться интересным сайтом, поэтому ссылок на хороший, интересный сайт должно быть много. Ссылки должны появляться сообразно возрасту сайта и, крайне желательно, на тематических площадках, т.е. совпадающих по тематике с вашим сайтом.

14. Сильное дублирование информации на разных страницах так же сказывается на отображении сайта в результатах поиска. Особо удачливым веб-мастерам удается добиться по этому пункту и ручных мер. Тут уже можно предложить творчески переработать сайт, соединив информацию на наиболее популярных страницах и поработать над внедрением canonical. С помощью canonical рекомендуется бороться и с присутствием в URL различных служебных параметров, а так же с появлением непонятно откуда взявшихся URL с различными суффиксами, игнорируемыми вашим сайтом. Не рекомендуется отдавать поисковику результаты поиска по сайту в различных их вариантах. Если Вы жалуетесь, что часть страниц сайта не индексируется, то попробуйте найти неиндексируемую страницу, введите ее заголовок в поиск Google по сайту (с суффиксом site:ваш сайт), результатом будут страницы из-за которых не индексируется та, которую Вы нашли сначала.

15. Отсутствие мобильной версии сайта так же сказывается и еще больше будет сказываться на выдаче в ближайшее время. Google все сильнее пытается разделить пользователей компьютеров и мобильных устройств. С некоторой точки зрения убрать от человека с мобильником сайт, который приходится скроллить в четыре стороны на маленьком экране — правильно. А количество таких пользователей становится все больше. Оценивать такой шаг в свете наличия других проблем поиска не буду, но есть инструмент ↴ и игнорировать его нельзя. Обратите внимание, что не следует делать две версии сайта, основной и для мобильных устройств. Слишком велика вероятность промаха, если редирект происходит по UserAgent, например. И в целом велик шанс получить кучу дублей. Изучите тему адаптивного дизайна, т.е. изменения верстки в зависимости от характеристик устройства. Смешно, но достатовно часто для удовлетворения требованиям адаптивного дизайна достаточно добавить в заголовок.

16. Расположение больших картинок в верхней части страницы. Долгое время ломал голову, что же не нравится поисковикам. Попадались и другие пострадавшие пользователи. А недостаток один общий — в верхней части сайта болталась какая-то лопатообразная картинка или, что во много раз хуже — баннер. За баннер можно и запрет поймать где-то в Adwords. Очень плохо ранжируется сайт с картинкой во весь экран, страница которого открывается дальше скроллингом.

17. Обратите внимание, что медленный, тяжело открывающийся сайт, так же будет понижен в результатах поиска. Самая распространенная ошибка в данном случае — недостаток ресурсов хостинга, но часто можно исправить ситуацию и с помощью организации графики, т.е. сжатия картинок и приведения их размера в соответствие с показываемым. Общий инструмент, с которого можно начать: ↴ , обратите внимание, что этот же сервис предлагает автоматизировать решение части проблем, установив соответствующий модуль веб-сервера, более подробно можно почитать об этом здесь: ↴

18. Синтаксические ошибки в HTML-коде вредят сайту, поскольку сайт начинает тормозить при отображении, выглядеть по разному в разных браузерах и т.п. Не стоит пренебрегать анализом страниц в валидаторах. Мне очень понравился ↴ , но можно воспользоваться общепризнанным ↴ . Еще неплохой инструмент для поиска ошибок: ↴ Обратите внимание, кодировка, отличная от UTF-8, сильно вредит ранжированию. Об этом, кстати, валидатор предупреждает.

19. Переспам ссылками или ключевыми словами был актуален в начале столетия. Вебмастера убедились, что если набить страницу многократным повторением одного и того же словосочетания, да еще его поместить в

или жирным выделить, то поисковики радостно выделяют этот сайт в случае поиска этих слов. Даже сейчас попадаются зубодробительные тексты, читать которые невозможно и основная цель которых — обмануть поискового бота, либо страницы, набитые рекламой во всеможных видах. Поисковики давно фильтруют подобное. То же относится и к гигантскому количеству ссылок на странице. Еще совсем недавно каждый второй вешал у себя облако тегов. Сейчас этого делать не следует, можно схлопотать переспам-фильтр. Не могу вспомнить, где именно попадалось правило, что суммарное количество ссылок на странице (не только внешних) не должно превышать сотню. Обратите внимание, что сайт может спамить ссылками не только по желанию веб-мастера, очень часто внедряется спам-код в шаблоны WordPress и подключаемые модули различных CMS. Одновременно лучше убедиться, что ваша CMS оснащена средствами для предотвращения размещения ссылок только что зарегистрированными пользователями. Будьте аккуратны.

20. Игнорирование ошибок разметки структурированных данных чревато ровно тем же, что и игнорирование ошибок в принципе. Удивительно, но штатные шаблоны WordPress страдают этими ошибками прямо с момента установки. Лучше их все же поправить, воспользовавшись инструментом ↴ Подчеркну ответ на вопрос одного из пользователей, разметка нужна не только для мобильных устройств, а для всех сайтов в принципе.

21. Неправильная проверка позиций сайта тоже часто сбивает с толку вебмастеров. Дело в том, что выдача зависит от того, из какого региона Вы делаете запрос, и какие запросы к поисковику делали ранее (персонализированный поиск). Поэтому, если Вы сели за чужую машину, то с высокой долей вероятности результаты поиска будут не такими, как за вашим компьютером, особенно, если сферы интересов владельцев учетных записей различаются.

22. Текст картинками на сегодняшний день не индексируется поисковиками. Не забывайте об этом, когда будете удивляться, почему Ваш интернет-магазин проваливается в текстовом поиске. Как минимум — alt у картинок должен быть заполнен, а названия файлов картинок соответствовать их содержанию. Определитесь, какого типа поиск Вас интересует и продвигайте сайт в нем.

23. Мнение о ЧПУ (ЧеловекоПонятные Урлы) таково, что не надо там кодировать русские слова именно на русском языке. Споры продолжаются на тему того, понимает ли Google транслит или нет, но русские буквы по стандартам подлежат перекодированию, а длинные URL в итоге неудобно передавать пользователям. Мое мнение — либо транслит, либо вообще сосредоточиться на более важных и полезных вещах. Если транслит, то не забудьте о еще одном важном нюансе — слова в URL надо разделять с помощью дефиса, а не знака подчеркивания, т.е. “slovo-i-slovo”, а не “slovo_i_slovo”.

24. Куча дублей разных поддоменов, например, с URL с приставкой www и без нее указывают на один и тот же сайт. Это, в итоге, путает механизм ранжирования и оценки связей страниц и приводит к проваливанию сайта в результатах выдачи. Несколько раз попадался случай, когда хостинг принимал любые поддомены, перенаправляя на основной сайт, что приводит к разрастанию гигантского количества дублей и пессимизации сайта в целом. В этих случаях необходимо поступить, как если бы Вы находились посредине процедуры переезда с домена на домен. Выделяете все попавшие в индекс домены (счастье, если это всего лишь www и основной), выбираете тот домен, который Вы будете использовать (я рекомендую домен второго уровня, т.е. без www) и настраиваете редирект всех страниц с дополнительных доменов на соответствующие страницы выбранного. Подчеркну, что необходимо перенаправлять каждую страницу на соответствующую страницу, а не корень сайта. Не перенаправляйте robots.txt, это помешает пересканированию редиректов!

25. Путаница с языками ясности в общую картину не добавляет. Ознакомьтесь с hreflang и случаями его использования. Не следует открывать для поиска страницы текста с машинным переводом.

26. Частый вопрос “сколько времени потребуется боту, чтобы все исправить”. Общего ответа быть не может, поскольку все зависит от активности бота на вашем сайте до этого и того, насколько далеко зашло сканирование ошибочных страниц, если речь об их исправлении. Официально заявлен срок в 180 дней, например, на склейку доменов. Обещать что-то и называть какие-то точные сроки никто не будет, бессмысленное занятие при существующем наборе факторов, которые на это влияют. Если речь идет о снятии мер, принятых вручную, то это занимает несколько недель с момента отправки заявки на пересмотр. Обратите внимание, что сайты, к которым были применены ручные меры, редко возвращаются на те же позиции, что и раньше без кардинальных изменений в подходе к структуре и наполнению.

27. Общее стремление угодить поисковой машине, а не пользователю, приводит к плачевному результату. Рано или поздно поисковик учтет Вашу хитрость, если она мешает пользователям сайта или поисковой системы. Обратите внимание на то, что Google ценит удобные сайты с уникальным и интересным текстом. Не следует ориентироваться на сиюминутную выгоду и разовый результат. Если Вы проводите день в периодическом обновлении каких-то пузомерок с надеждой, что вырастут какие-то виртуальные баллы, то КПД вашей работы близок к нулю. Регулярно отслеживайте ошибки в SC во всех разделах, просматривайте замечания к коду здесь: ↴ , продвигайте сайт в соцсетях Facebook и Google+, а так же везде, где есть соответствующая тематика. Избегайте спама вообще везде и внедрения в свой сайт страниц, способствующих его популярности, но не соответствующих тематике. Если привлечете большое количество пользователей, то и в результатах поиска будете подниматься. Никому не интересные страницы в поиске тоже будут тонуть.

28. Когда Вы собираетесь пожаловаться на плохое ранжирование/индексирование сайта, начните с чтения всех вышеприведенных пунктов, после чего осознайте: а) Как сайт индексируется б) Есть ли ручные меры, принятые к сайту в настоящий момент (по имени сайта с www и без www) в) История снижения показателей посещаемости, после чего все произошло и насколько быстро г) Отправили ли Вы sitemap, как давно и не менялась ли его структура? д) Есть ли ошибки сканирования? е) Если какие-то страницы не в индексе, то как они выглядят в «Посмотреть, как GoogleBot»? ж) Нет ли в их коде noindex? з) Не закрыли ли Вы лишнее в robots.txt? к) Чем сайт выделяется среди других этой же тематики? л) Нет ли запросов на удаление страниц в соответствующем разделе (опять надо проверить сайт с www и без). м) По каким запросам ищете? н) Покупали или продавали ли ссылки? о) Используете ли скрипты внешней рекламы и чьи? Не надо писать свои выводы — обязательно покажите скриншоты соответствующих разделов по каждому пункту тому, кому Вы собираетесь жаловаться или предоставьте какую-то еще информацию, на основании которой можно сделать тот или иной вывод по пунктам. Ну и обязательно надо указать проблемные URL. И обязательно цитируйте пункты, по которым отвечаете, на память буквы пунктов никто не помнит, даже я сам, а листать туда-сюда некогда.

29. Часто спрашивают, «я все сломал, но теперь исправил, как все пересканировать?«. Ответ очень простой — перепошлите sitemap, причем, желательно, с указанием более новых дат изменения страниц, исправьте выдачу If-Modified-Since, если изменения касались страниц, посмотрите на robots.txt и главную страницу, «как GoogleBot» и отправьте главную страницу в индекс вместе со связанными страницами (увидите соответствующую кнопку). После этого — сидеть и ждать, контролируя появление ошибок сканирования в соответствующем разделе. Можно воспользоваться инструментом удаления устаревших страниц тут: ↴

30. Забавный вопрос, «почему у меня в Яндексе все хорошо, а в Google все плохо?«. Стоит задуматься перед тем, как задать его и Интернет лишится еще некоторого количества бессмысленных байтов. Google — не Яндекс. Это совершенно другой комплекс программ, систем и алгоритмов. Сравнить теплое с мягким еще никому не удавалось, поэтому взывать, чтобы Google посмотрел на Яндекс и сделал так же — глупо и бессмысленно. Лучше сосредоточиться на поиске реальных проблем, которые мешают Вашему сайту. Помните, что ошибки Google, как правило, массовые, т.е. заметные миллионам вебмастеров. Ищите ошибку самостоятельную, без сравнения с Яндексом, если думаете, что таковая ошибка вообще есть.

31. А вот мои конкуренты в топе, хотя у них такие же замечания. Да, конкуренты могут закупать ссылки, воровать контент и мозолить глаза пользователям переспамом, находясь при этом в выдаче выше Вас. Увы, то, что они — Ваши конкуренты, никого не интересует, особенно Google. Мир пошатнется от осознания несправедливости и скорбности понижения вашего сайта в выдаче, но бот об этом не узнает. Если конкурент с большим количеством ссылок и более популярный, ему могут прощаться некоторые другие минусы. В конце концов, какие-то нарушения бот может не видеть, каких-то DMCA-жалоб конкуренты могут недополучить и т.п. Не сравнивайте в общем «почему?», только по какой-то конкретной ошибке сканирования можно приводить сайт конкурента в пример. В остальных случаях пустые жалобы на несправедливость никого не заинтересуют.

32. Что сделать, чтобы сайт был в топе? Ответ простой — сделайте интересный и популярный сайт. Парадокс в том, что многие рассматривают популярность сайта, как следствие первых позиций в Google. В то время, как первые позиции в Google — следствие популярности сайта и наличия в нем уникальных сервисов или информации. Google поддерживает, а не создает популярность. Если у Вас никому не известный сайт о кошечках, то всплыть среди миллионов других сайтов о кошечках просто нереально, если что-то не выделяет Ваш сайт среди других. А если это что-то есть в наличии, то именно по нему и следует выдвигаться в поисковых системах. И работайте над сайтом для людей. В противном случае будете втянуты в войну с поисковым ботом, что в сухом остатке не даст Вам создать что-то дельное. Если создание дельного Вам претит и нужен чисто механический сгон табуна пользователей, то и на это есть ответ. Во-первых, на ваш сайт должно вести очень много проиндексированных ссылок. Во-вторых, все правила, описанные в этом кодексе, должны быть соблюдены. Т.е. с миллионом ссылок сайт можно умудриться загнать под Пингвина или Панду. Суть ранжирования Google, как я его вижу — сбор количества ссылок, как первоначальный капитал и дальнейшее вычитание за вирусность, попадание под биржевые ссылки, в том числе торговля ими, авторедиректы и прочий слив траффика и т.п. Если у Вас идеальный честный сайт и сто ведущих на него ссылок, то Ваш сайт будет ниже ГС с 100000+ ссылок, даже если две трети этих ссылок будут перекрыты явными признаками ГС. Исключением будут совсем зарвавшиеся сайты, которые боту вообще не отвечают, с горой закупленных ссылок или завирусованы. Ссылки и еще раз ссылки рулят вашим ранжированием. В Яндексе еще как-то, вроде используются поведенческие факторы, т.е. если по какой-то радости к Вам на сайт занесет миллион посетителей и они там периодически будут появляться, то в Яше Вы всплывете, на Google это не действует.

33. Неинформативное содержание может обозначать не только пустой и бессмысленный сайт, но и проблемы с авторским правом. Первым делом следует провериться здесь . Ответ на вопрос «Почему Google меня так обозвал, хотя дело в другом?» очевидный и простой — поисковик отвергает звание эксперта по авторскому праву и не хочет связываться с толпой исков за называние авторов сайтов ворами, независимо от того, правомерные эти звания или нет. С одной стороны игнорировать жалобы правообладателей не получается, с другой — сайтостроители тоже могут потянуться в суд стройными рядами. Простой выход — выдать оценочное суждение «не нравится».

34. Почему в выдаче не тот заголовок, который Вы хотите? Достаточно частый вопрос с простым ответом. Большинство вебмастеров ставят в заголовок ключевые слова. Неудивительно, что в случае запроса «Пластиковые окна» и выдаче исключительно заголовков, в результатах поиска был бы длинный перечень абсолютно одинаковых заголовков, только ссылки бы различались. Чтобы такого не получилось, поисковик самостоятельно формирует заголовок ссылки на Ваш сайт, собирая информацию, которая бы могла пояснить пользователю, о чем же именно идет речь на найденной странице. В результате, если вебмастер не удосужился самостоятельно выделить отличительные черты своего сайта в заголовке, сократил, либо переспамил или как-то еще изуродовал заголовок, то получить в выдаче можно совсем неожиданные результаты, порой даже куски сайтов-предков вклеиваются.

35. Серьезные проблемы появляются у любителей тизерной рекламы, продавцов траффика и т.п. вебмастеров, которые по каким-то причинам доверяют чужому коду, подгружающему еще сторонний код или переадресовывающему посетителей куда-то еще. В последнее время, в отчаянной попытке увеличить доход от рекламы, в нее часто стали добавлять автоматическую переадресацию пользователей, что расценивается поисковиком, как клоакинг. Иными словами, если пользователь пришел на ваш сайт за плюшевыми мишками, а его автоматом перебрасывает на сайт по кактусам, то это не нравится не только пользователю, но и поисковой системе. Наиболее частый результат — ручные меры.

36. Баннеры с предложением установки приложения крайне негативно оцениваются поисковиками, если они загораживают основной контент. Т.е. если пользователь пришел к вам за фотографиями кактусов, а вы ему в ответ лопату с предложением установить приложение, пусть даже по тем же кактусам, это будет крайне негативно оценено поисковиком.

37. Не используйте оператор site при оценке сайта. Совсем.

39. Если страница ВК или какого-то другого бесплатного хостинга (Юкоз, ЖЖ и прочие Фейсбуки, например) не видна в результатах. То она там и не должна быть. Большое количество народу пытается разобраться в том, почему плохо ранжируется чужой сайт. Но он чужой, Вам ничего не принадлежит. Захотят — закроют завтра, вообще не будет в выдаче. И ничего сделать или посмотреть в данный момент нельзя, поскольку все «смотрелки» у администрации ВК или про что там пойдет речь. Кроме того, бесплатные хостинги используются не только для выкладывания никому ненужных кошечек и прочей мерзости, но и для вполне осознанных вредительских целей. А варятся-то все сайты на одном домене. Вот и тонут вместе с вредителями одновременно. Решение: заводите отдельный, собственный сайт на нормальном хостинге. Его и продвигайте. Не хотите — попробуйте пробиться в поддержку хостинга, только там уже давно не отвечают на такие вопросы.

40. Иногда пользователи переживают по поводу заблокированных ресурсов, список которых растет в соответствующем разделе Консоли. Однако, если эти ресурсы относятся к другим, сторонним сайтам, то единственное, что Вы можете сделать — убрать их со своих страниц или, если они являются неотъемлемой частью сайта — перестать волноваться. Бот предполагает, что закрытые, недоступные ресурсы могут повлиять на его способность правильно увидеть страницу, однако, катастрофическими подобные сообщения не являются. Но не следует особо переживать по поводу временно недоступных ресурсов, в большинстве случаев эта надпись обозначает, что сервис «Просмотра, как Googlebot» перегружен и не может обработать ваш ресурс полностью. Подождите, попробуйте в другое время, более пристальное внимание обратите на настройки. Как правило, рано или поздно бот эти ресурсы начинает видеть. На качестве сканирования это никак не сказывается. Оно работает с других серверов.

41. Появились странные пользователи, полагающие, что я продвигаю что-то этим вот кодексом. Во-первых, я его публикую в основном на форуме Google, откуда ссылочное не учитывается, судя по всему. Во-вторых, повторюсь, кодекс имеет собой цель иметь возможность получить свод каких-то правил, которые просто необходимо прочитать тем, кто пишет «у меня сайт и с ним проблема, быстренько помогите мне». Любая волонтерская помощь подразумевает уважительное отношение к тем, кто Вам пытается помочь. Анализ сайта — труд. Если Вы пальцем о палец не ударили, чтобы предоставить информацию для анализа, то не ждите, что кто-то ее из Вас будет выдавливать, либо собирать ее самостоятельно. Получите кодекс — прочтите его от первого пункта до ссылок в конце, возможно, что все эти нюансы Вы знаете, возможно, что нет. Соотношение рисков первого ко второму таково, что прочитать все же следует. Плакать, что Вам дали слишком много букв тоже глупо. За каждым из пунктов не один повтор вопроса-ответа на форуме, лучше будет, если Вы сбережете свое и мое время для того, чтобы вылечить того, кому это время действительно нужно. Ваша проблема в том, что Вы чего-то не знаете, а тут информация. Бесплатно. Не смогли информацией воспользоваться самостоятельно — сообщите подробно информацию по больному. В кодексе есть перечень, что требуется. Подумаем вместе. Варианты с тем, чтобы позвать сюда на ковер самого главного, чтобы он отчитался ничтожны. Если что-то не нравится в решении вопросов — покажите всем, как оно должно быть. Какой Вы внимательный и отзывчивый гуру вебмастеринга, как помогаете пользователям отвечать на самые странные вопросы. И без кодекса набираете одни и те же ответы на одни и те же вопросы. Если Вы не готовы что-либо делать, то Вы можете принять решение отказаться от пользования Google. Это избавит Вас от затрат нервов, денег, времени и сил.

42. Часто спрашивают, как посмотреть PR сайта. Общий ответ — никак. Дело в том, что тулбарный PR, который был доступен пользователям, уже несколько лет не обновляется (c 6 декабря 2013 года) и официально закрыт. Безусловно, сам PR страниц на техническом уровне остался, но является внутренним инструментом ранжирования и снаружи в настоящий момент не виден никак и нигде. То, что какие-то сторонние пузомерки до сих пор пытаются показывать изменения PR — исключительно инициатива этих самых пузомерок и ничего реального они не показывают.

43. Вопрос «Как связаться с техподдержкой Google?» очень частый и бессмысленный. Дело в том, что такой техподдержки нет. По крайней мере, что касается тех продуктов, за которые Вы не платите. Т.е., поиск, вебмастера и т.п., в противоположность AdWords и Google Domains for business, например. Единственный способ решить какой-то технический вопрос — это написать его либо на форуме Google, либо на этом форуме. Увы, решать, передавать вопрос именно в Google на рассмотрение или оставить на форуме, будут эксперты в обоих случаях. Зато, если вопрос действительно масштабный, глобальный и интересный, то его передадут непосредственно команде, отвечающей за поиск и выдачу по России или даже по всему миру.

44. Что такое ручные меры и как с ними бороться. Эти меры выдаются человеком, которому машина выдала подозрительные сигналы с вашего сайта. Вы получаете уведомление с сообщением, что и как здесь не так. По массе причин уведомление может быть с достаточно расплывчатой формулировкой, да, Google не стремится к тому, чтобы его затаскали по судам. Можно стучать головой об пол и обращаться в лигу сексуальных реформ, но в данном случае важно, что Вы остаетесь один на один с тем, что ваш сайт Google не нравится. Да, бывают ошибки, но я за все время лично с ними не сталкивался. Первое, что нужно уяснить, меры сайт уже получил. «Быстро-быстро» не получится. Внимательно оцените причину попадания под меры и нарисуйте план действий. Даже если Вы уверены в том, что именно послужило причиной ручных мер, не спешите посылать на пересмотр до того, как трижды все не перепроверите, в том числе какие-то смежные моменты. Каждая отправка на пересмотр увеличивает время этого самого пересмотра. И не надо умолять никого, что больше так не будете, плакать, что это не Вы виноваты, а злой рок или предыдущий вебмастер. Поверьте, не Вы первый, быстрее не будет. Что касается сроков пересмотра, то они могут быть самыми разнообразными, как правило, от недели до трех месяцев, в зависимости от загруженности команды качества поиска, злостности вашего нарушения и количества повторных проверок, например.

45. Если не приходит ответ на пересмотр ручных мер или пересмотр проблем безопасности, то одной из частых причин является осел. Не тот, что за компьютером сидит, а тот, что IE, т.е. Internet Explorer. С ним же может быть связана куча других проблем. Продукты гугла использовать через недобраузеры — моветон. Пользуйтесь Google Chrome.

46. Обратите внимание, что во всех загружаемых роботом или отправляемых Вами в Google текстовиках (например: Disavow Links, Robots.txt, Sitemap) не должно быть BOM (Byte Order Mark), если они сохраняются в UTF. В противном случае гарантирована ошибка их обработки или просто файл будет проигнорирован.

47. Часто спрашивают, почему робот настойчиво индексирует HTTPS, хотя «мы давно от него отказались». Так вот, если Вы от него отказались, то с HTTPS-страниц должен быть редирект на соответствующие HTTP-страницы. В противном случае робот при наличии двух протоколов будет предпочитать HTTPS, несмотря на то, что Вы его давно забросили и там кривой сертификат, пугающий посетителей. Еще один вариант, похуже, вообще отключить ответ на 443 порту. Имеет право на жизнь, однако значительно увеличивает срок переиндексации страниц в пользу HTTP. Должен заметить, что в целом не стал бы рекомендовать откатываться с HTTPS, если на нем уже большая часть страниц проиндексирована.

50. Если сайт на WordPress, то, возможно, вас взломали. Аудит безопасности для таких сайтов.

51. В sitemap проиндексировано 0 (при этом в поиске страницы есть). Конечно есть. Особенно, если сайт давно работает, а сайтмап Вы сделали пять минут назад. Еще раз, данные в консоли обновляются очень медленно. Подождите, выровняется, насколько это возможно.

52. Обязательно расставьте rel=»nofollow» всем ссылкам навигации. Это значительно ускоряет индексацию ресурса в целом при значимом количестве страниц.

54. Не ограничивайте FTP, лучше уберите его на другой порт.

55. Если в индекс попал мусор, как удалить лишние страницы. Особенно этим страдают бывшие завирусованные, которые не могут подобрать правильный раздел для удаления их всех скопом. Решение все же есть. Для начала все эти страницы должны возвращать 410 код. Соответственно, после этого создайте страницу-список ссылок, с обязательным META NAME=»ROBOTS» CONTENT=»NOINDEX, FOLLOW» и скормите ее гуглоботу в консоли с индексацией всех ссылок.

56. «У меня очень мало приходит с Google» иногда обозначает, что не приходит никто вообще. Если по консоли или журналам приходит около 30-40 человек в день, то это, скорее всего, не люди, а боты проверяющие и подставляющие реферер поиска, что портит статистику.

Улучшаем ранжирование сайта, не изменяя его контент

Что можно сделать с сайтом, не трогая контент (допустим, в случае, когда нет доступа к администраторской части), чтобы поисковые системы уделяли ему больше внимания и благодарили хорошими позициями в серпе и, соответственно, давали больше траффика? Ниже я привел несколько простых советов, как быстро улучшить позиции своего сайта.

1. Создайте и настройте файл robots.txt

Файл robots.txt, который должен находится в главной папке, может содержать в себе ряд полезных правил:

– Закрытие ненужных страниц (разделов) от индексации роботом.
Все разделы, которые не должны попасть в индекс, например, в случае дублирования контента или разделов, в которые может попасть только авторизованный пользователь (приватный форум) или же админка, необходимо (очень желательно) закрыть в файле robots.txt. При этом, с одной стороны, вы уменьшаете нагрузку на сервер и, с другой стороны, поисковый робот берет только нужный контент.

Пример подобного файла можно посмотреть тут: http://www.yandex.ru/robots.txt.

– Указание пути к xml карте сайта.
Подробней о карте сайта написано в следующем пункте.

– Время задержки между запросами робота.
Яндекс и Bing поддерживают эту директиву – Crawl-delay, которая указывает в секундах задержку между двумя обращениями робота к серверу. Очень полезно, когда робот поисковой системы сильно нагружает сервер. Как эта директива влияет на позиции сайта? Лишь косвенно, влияя на скорость отдачи страниц сервером.

Более подробно о том, как использовать файл robots.txt читайте в разделе помощи яндекса, и также у google.

Вот пример файла robots.txt в одном из самых простых случаев:

# Zdravstvui, robot, dorogoi –
# Golova iz vaty.
# Vot opyat ty k nam prishol
# S vidom vorovatym…
#
# Indeksirui vse podrad
# Pravdy ne skryvaya –
# Chtoby pishno rascvetal
# Saitik nash prekrasniy!
#
# Chtoby kazhdyi ohlamon
# S silnym zudom pyatok
# Mog vezde naiti legko
# Fotki, fil’mi, babok!

User-agent: *
Disallow:
crawl-delay: 30

2. Сделайте карту сайта (Sitemap)

Поисковые системы должны знать о том, по каким адресам находятся страницы вашего сайта, какой контент на них расположен и насколько он важен для посетителей. Если у вас простая навигация, когда любая страница доступна в 1-2 клика от главной, тогда sitemap может и не понадобится. В других случаях, когда структура сайта очень сложная и ресурс имеет множество разделов, желательно создать карту сайта в виде sitemap.xml или на крайний случай в виде sitemap.html.

Об использовании sitemap очень подробно описано в разделах помощи у яндекса или у google.

Вот пример карты сайта гугла: http://www.google.com/sitemap.html в HTML формате и в XML формате (грузится долго, наберитесь терпения).

3. Увеличьте скорость отдачи страниц

Скорость, с которой отдаются страницы сайта сервером, уже является одним из факторов ранжирования в Google, а также косвенно влияет на другие факторы ранжирования во всех поисковых системах (например, среднее время нахождения пользователя на сайте, процент отказов и т.д.).

Как проверить скорость и при необходимости ускорить свой сервер?

Прежде всего, откройте главную страницу и попробуйте походить по ссылкам, используя навигацию. Устраивает ли вас скорость загрузки, как пользователя? Для точной проверки скорости в мозиле имеется множество плагинов (Tamper Data, Firebug и др.). Лучше всего использовать Firebug, в котором можно отследить количество загружаемых скриптов и их время загрузки, определяя, что больше всего тормозит на странице.

Ускорить сервер можно, переехав на хороший хостинг, добавив кеширование страниц, например, используя smarty в связке с apc (alternative php cache) и оптимизируя код страниц, убрав с них всё лишнее.

4. Склейте домены с www и без www

У многих сайтов в индексе страницы без www префикса дублируются аналогичными с www. Проверить это можно, используя специальные операторы поиска (url: в яндексе и site: в Google).

Когда-то вы ставили на свой сайт ссылки с www префиксом, сейчас без него, поэтому в ссылочном графе неразбериха и необходимо в нём навести порядок. Когда вы склеите оба сайта (варианта), прописав главный из них в файле robots.txt в директиве Host, то виц ресурса повысится, объединив виц каждого из них и, таким образом, вы можете ещё немного подняться в выдаче по своим запросам.

Для Google и других поисковых систем (кроме Яндекса) склейка происходит с помощью 301-го редиректа.

5. Склейте домен с более трастовым

Возможно, у вас имеются ряд зеркал и они не склеены между собой. Для повышения виц лучше будет, если вы их склеите по описанному выше методу. Также склейка домена с более трастовым доменом повысит авторитетность ресурса и поможет подняться ещё немного выше в серпе.

Дополнительно про траст можно почитать здесь.

6. Присвойте сайту регион

В яндексе это делается в панели для вебмастеров, в Google тоже можно указать принадлежность домена, если он не имеет ярко выраженную гео-зону в названии. Если вы не присвоите домену регион, то Яндекс или другой поисковик сделает это за вас (по нескольким признакам), не всегда его выбор может совпадать с вашим желанием. Поэтому, если вы хотите, чтобы вас находили в нужном регионе, присвойте своему ресурсу тот, в котором вы продвигаете свой сайт. Если вы продвигаете товар или услугу по всем регионам (многим), то ищите другие выходы (например, сделайте под каждый регион свой раздел).

7. Вынесите скрипты и стили в отдельные файлы

Хорошей манерой является создание такого кода сайта, когда скрипты и стили вынесены в отдельные файлы. С одной стороны, они перестают засорять код, а с другой, уменьшают размер страницы, позволяя серверу быстрее отдавать её посетителям (и в том числе роботам поисковых систем). Уделяйте много внимания дизайну (внешнему виду) сайта, но также уделяйте достаточно внимания коду (внутреннему виду) сайта, он тоже влияет (пусть в некоторых случаях и косвенно) на ранжирование и позицию ресурса в серпе.

8. Замените 404-ые ошибки на 301-ые

С одной стороны, когда посетитель ввел несуществующий адрес вашего сайта, необходимо выдать ему соответствующее сообщение, это будет корректно по отношению к посетителю, но с другой стороны, можно не спрашивая, направить его на нужную страницу или, если нету таковой, на главную страницу сайта. То есть, избавившись от 404-ых ошибок, заменив их 301-ыми редиректами на существующие, мы повысим вес последних страниц (склеив несуществующие с существующими), а это поможет нам еще чуть-чуть в общей задаче – повысить траффик с поисковых систем.

9. Используйте кросспостинг

Самый простой пример кросспостинга – настроить FeedBurner и дублировать анонсы в сервис микроблогов Твиттер. Также вы можете кросспостить материалы сайта (статьи, новости и обсуждения) на другие блог-платформы. Это, безусловно, улучшит видимость вашего сайта в сети и увеличит количество обратных ссылок, что повлечет за собой очередное повышение рейтинга в серпе.

Если у вас имеются дополнительные методы улучшения ранжирования без изменения контента сайта – поделитесь ими с нами в комментариях.

Как избавиться от слежки Google: 5 простых шагов

Илья Коваль

02 октября 2020

«Если вы пользуетесь проприетарным продуктом и не платите за него, то, скорее всего, продукт — это вы» — запишите эти простые, но в то же время великие слова. В той или иной форме эта фраза встречается уже очень давно. И к сожалению, чем дальше, тем более она верна. Google в этом смысле не одинока. Чтобы просто оценить объём собираемых Google данных, перейдите сразу к шагу #3. Впечатлило? И это только то, что компания решила показать пользователю. А какие ещё данные сохраняются на серверах, не знает, наверное, никто. И чем дальше, тем опять-таки хуже. Даже браузер Chrome в последней своей версии фактически превратился в ещё один сервис Google, а не просто программу. Что же, не пора ли хотя бы немного умерить аппетиты IT-гиганта и хоть немного позаботиться о своей приватности?

⇡#Шаг #1: отказаться от продуктов Google

Да-да, самый простой и очевидный шаг. Полностью отказаться от взаимодействия с Google всё равно не удастся — те же реклама, счётчики, капча и прочие сервисы всё равно будут попадаться вам в Интернете и приложениях. Но это не мешает свести общение с компанией к минимуму как на десктопе, так и на мобильных устройствах. К чему стоит присмотреться? С поиском нам повезло, у нас есть «Яндекс», а для зарубежных сайтов подойдут DuckDuckGo, который особо подчёркивает заботу о приватности пользователей, и даже Bing, неплохо выросший за последние годы. Не забудьте только сменить поиск по умолчанию в своих браузерах. Вместо Gmail можно использовать просто бесконечное число альтернативных сервисов. У нас это опять же «Яндекс» и Mail.ru, а если вы и их не любите, то можно посмотреть в сторону Outlook и Yahoo. В случае, когда совершенно точно не хочется, чтобы кто-то сканировал вашу почту в рекламных целях, есть смысл посмотреть на платные сервисы вроде ProtonMail, Zoho или FastMail. Карты? И снова «Яндекс»! А также HERE, TomTom, MAPS.ME и OpenStreetMap. Для любителей извращений есть Apple Maps.

Про магазин контента Google Play и говорить нечего — для музыки, фильмов, книг есть десятки площадок. Мессенджеров тоже десятки, и у Google они, в общем, не самые лучшие. Альтернативных облачных хранилищ и онлайновых офисных пакетов тоже хватает. Microsoft предлагает и то, и другое. Просто для файлов есть «Яндекс.Диск», Dropbox, «Облако Mail.ru» и Mega (для любителей приватности). Браузеров, помимо Chrome тоже немало. Один из лучших сейчас, конечно, Firefox, но на выбор есть Opera, Vivaldi, «Яндекс.Браузер», Brave, Edge. На мобильных устройствах выбор тоже немал. Параноики могут, например, отказаться в Android от клавиатуры Google (и отдавать весь набранный текст другой компании, естественно). Есть ли хоть что-то, для чего никакой замены нет? Вообще-то есть, но для обычного пользователя таких продуктов всего парочка. Во-первых, это, очевидно, YouTube, потому что нигде больше столько контента не найти. Во-вторых, Google Translate, хотя его постепенно догоняют другие сервисы.

⇡#Шаг #2: отключить сбора сведений Google

Если совсем отказываться от продукции Google не хочется или нет возможности, то следует хотя бы настроить взаимодействие с ней. Вообще Google с некоторых пор предлагает краткий мастер настроек приватности, где собраны основные настройки собираемых сведений. Можно воспользоваться им, а можно и вручную пройтись по отдельным пунктам. Что стоит отключать, а что не надо — решать вам. Например, история приложений и веб-поиска существенно влияет работу поиска, что может быть удобно. Непосредственно для поисковика Google можно отключить персонализированные результаты.

Единственное, что, пожалуй, трогать не стоит, так это пункт «Информация с устройств», который отвечает и за сохранение настроек мобильных устройств в облаке. Это попросту удобно. Для Android устройств есть также ещё одна спорная опция — определение местоположения по беспроводным сетям в дополнение к GPS. Она повышает точность навигации, однако периодически отправляет Google различные данные, пусть и анонимизированные, как заявляется. Если вам это не по духу, то её тоже можно отключить

Кроме того, от части продуктов Google можно попросту отказаться, если они вам не нужны. Предварительно настоятельно рекомендуется скачать все доступные данные, чтобы не потерять их. Наберитесь терпения, так как экспорт может быть очень долгим. И дважды подумайте, действительно ли вам это надо (то есть не надо в данном случае). Есть и ещё один важный момент: сведения могут собирать и сторонние приложения, которые имеют доступ к вашему аккаунту. Проверьте, нет ли среди них какого-нибудь давно забытого вами сайта и не слишком ли много данных хотят некоторые программы. Ровно тот же совет — проверить разрешения — полезен и для любых других систем, будь то расширения в браузере, Windows или iOS с Android.

⇡#Шаг #3: очистить историю Google

Чтобы оценить масштаб проблемы, достаточно залогиниться в аккаунте Google и перейти в раздел общего просмотра активности или подробному списку записанных действий, а также истории работы с устройствами и к списку практически всех покупок, связанных с аккаунтом (сюда в основном идут данные из Gmail). Вряд ли это всё, потому что некоторые данные, которые можно удалить, в этих списках просто не появляются. Но всё равно даже их есть смысл удалить в случае опасений. В настройках есть довольно удобный фильтр по типам продуктов и датам, так что всё подряд можно и не вычищать. Ещё раз повторимся, что Google использует эти данные в том числе для улучшения поиска и работы сервисов лично для вас.

Для карт всё несколько хитрее. В общей ленте активности записываются только запросы, просмотры местности и так далее. А вот так называемые посещённые места в терминологии Google (историю местоположений) можно посмотреть в этом разделе. Там же внизу справа есть иконка в виде шестерёнки, где и находится заветный пункт для очистки истории. Обратите внимание, что на удаление данных уйдёт некоторое время, так что судорожно обновлять страницу не надо. В том же меню можно подчистить личные метки и отмеченные на карте места.

⇡#Шаг #4: настроить рекламу Google

Все те данные, которые упомянуты в первых шагах, Google использует для подсовывания наиболее подходящей с ее точки зрения рекламы. В этом и есть основной бизнес компании. Полностью отказаться от рекламы всё равно нельзя, если не прибегать, конечно, к услугам блокировщиков, которые тоже, строго говоря, успешно продают услугу неблокирования тех или иных кампаний и компаний. Однако можно отключить так называемую рекламу на основе интересов. То есть какую-то рекламу Google всё равно вам будет показывать, но она имеет все шансы, как ни странно, очень быстро надоесть, так как разнообразием не блещет. Серьёзно, меня месяцами преследует на YouTube одна и та же серия рекламных роликов продукта, который мне в принципе не очень нужен.

Персонализация рекламы в сервисах Google отключается в один шаг. Но это не всё! Есть особая опция «Рекомендации друзей», которая может показывать ваши отзывы в различных сервисах вашим друзьям, и наоборот, показывать их отзывы вам. Для отключения рекламы по интересам от Google на других сайтах потребуется установка расширения IBA Opt-out. Также компания предлагает расширение Google Analytics Opt-out Add-on для отключения веб-счётчика и аналитики Google. Заодно рекомендуется установить и расширение Protect My Choices, которое позволит запомнить настройки отказа от рекламы по интересам и для других компаний. Есть даже приложения под Android и iOS для той же цели. EFF предлагает своё решение Privacy Badger для блокировки шпионящей рекламы и других трекеров.

Но попробовать всё равно стоит. Специальный сайт предлагает просканировать настройки различных рекламных сетей. После этого — небыстрого, надо сказать, — процесса внизу надо нажать кнопочку Opt out of all, подождать и… снова нажать, и снова нажать, пока число неответивших сетей не снизится до минимума или ноля. Для жителей Европы есть отдельный аналогичный сервис, который тоже предлагает расширения для браузеров. Если вы часто пользуетесь VPN или «живёте» в корпоративной сети, то они могут пригодиться. Правда, отзывы об этих системах противоречивы: мол, не всегда работают.

⇡#Шаг #5: настроить Google Chrome

Если нет никакой возможности (или желания) отказаться от браузера Chrome, то опять-таки можно хотя бы покопаться в его настройках для улучшения приватности. Основные опции находятся в разделе Настройки > Дополнительные > Конфиденциальность и безопасность. Здесь, в принципе, можно отключить все галочки, кроме двух: отправка запрета (это функция Do not track) и безопасный просмотр. Первая позволяет частично избавиться от отслеживания перемещений с сайта на сайт, хотя не все ресурсы умеют с ней работать. Назначение второй понятно из названия — эта функция оберегает вас от фишинга и вирусов. Чуть ниже, в языковых параметрах, можно отключить предложения перевода страниц.

Там же есть целая группа настроек для контента. Если никогда этого не делали, то пройдитесь по параметрам каждого пункта и убедитесь, что никаких лишних разрешений для отдельных сайтов нет. В целом рекомендуемые по умолчанию настройки не вредны. Отдельно можно заняться файлами cookie, благодаря которым во многом и происходит отслеживание действий пользователя. Во-первых, стоит включить блокировку cookie от сторонних сайтов. Во-вторых, можно пожертвовать удобством и включить опцию удаления cookie при закрытии браузера. В этом случае при каждом запуске Chrome придётся заново логиниться во все веб-сервисы. Аналогичные настройки, но в не в таком объёме, есть и в мобильной версии Chrome для Android. В нём же, кстати, можно отключить функцию Экономия трафика (Data saver), которая фактически часть трафика пропускает через серверы Google.

Но… это не касается самой Google. В Chrome 69 вход в любой из сервисов компании автоматически включает и вход в сам браузер, и наоборот. Отключить эту функцию можно, набрав в адресной строке адрес chrome://flags//#account-consistency и выбрав у параметра Identity consistency between browser and cookie jar значение Disable. Для активации потребуется перезапустить браузер. Впрочем, если это вас не напрягает, то можно хотя бы настроить синхронизацию всяческих данных, отключив передачу ненужных или слишком чувствительных (пароли, например). В конце концов, никто не запрещает заодно и подчистить всю историю действий в Chrome (chrome://settings/clearBrowserData ).

Отдельно стоит напомнить, что режим Инкогнито не является заменой вышеперечисленным шагам. Более того, по-хорошему при каждом входе стоит проверять хотя бы базовые настройки приватности Google. А всем вышеупомянутым расширениям также необходимо разрешить работу в инкогнито-режиме, да и по сайтам с настройками рекламы пройтись не мешает. Впрочем, всё это практически никак не защитит от ведения логов, например, IP-адресов и прочей информации, которую можно извлечь из браузера или приложения со стороны владельцев серверов.

⇡#Что ещё можно сделать?

Строго говоря, ничего более существенного, что не сказалось бы при этом на комфортности использования Интернета и приложений, сделать-то, в общем, нельзя. Можно интереса ради посетить сервисы Panopticlick и webkay или пройтись по разделам BrowserLeaks, чтобы оценить, насколько точно можно вас идентифицировать в Интернете. И это только базовые техники, которые можно использовать для отслеживания пользователя. Даже VPN не всегда спасает. Что делать? Увы, тема приватности в Интернете слишком обширна, но если вас этой действительно волнует, то есть ещё парочка сайтов с советами и наборами программ и веб-сервисов: PRISM Break и Privacytools. Впрочем, на 100 % защитить свои данные они не помогут, так что придётся или полностью уйти в офлайн, ну или расслабиться и получать удовольствие.

Как отключить быстрые ссылки и рекомендации на стартовой странице Chrome для Andro >

В Chrome для Android появились рекомендуемые ссылки. По этому поводу есть две новости: плохая и хорошая. Плохая заключается в том, что это сомнительное удобство перекочевало в стабильную версию Google Chrome. Хорошая новость — их можно отключить.

Я точно знаю, что многим людям не очень-то по душе, когда кто-то начинает слишком усердно подсовывать рекламу под видом «очень интересных, специально для вас подобранных статей». Они считают, что сами найдут нужные сайты без подсказок.

Если вы тоже относитесь к их числу, то вот вам совет, как отключить отображение рекомендованных статей на стартовом экране Chrome для Android.

  1. Скопируйте следующую ссылку, затем откройте новую вкладку и вставьте содержимое буфера обмена в адресную строку браузера.
  2. Перед вами откроется служебная страница с настройками. На ней уже будет выделена опция «Показывать популярные сайты на странице быстрого доступа». Переключите её в положение «Отключено».
  1. Теперь проделайте те же самые манипуляции по следующему адресу.
  2. И вот здесь:
  3. Перезапустите браузер.

После выполнения этих действий вы избавитесь от отображения на стартовой странице сайтов, которые, по мнению Google, могут быть вам интересны. Это позволит несколько ускорить старт программы и сэкономит трафик.

Как добавить сайт в поиск Google или проиндексировать свой сайт в 2020 году

После того, как вы создали новый сайт или блог и готовы поделиться им с миром, следующее, что вам нужно сделать, это обеспечить, чтобы люди могли его найти. Процесс добавления или предоставления вашего сайта в Google или другие поисковые системы называется индексацией сайта.

В этой статье мы расскажем о том, как добавить свой сайт в Google . В рассматриваемом примере мы пошагово покажем, как проиндексировать WordPress –сайт в гугле ( Google ), используя плагин Yoast SEO и сервис Google Search Console .

В то же время для тех, кто не использует WordPress , процесс будет таким же, с той лишь разницей, что необходимо будет использовать альтернативный подход для создания карты сайта и обеспечения условий для того, чтобы поисковый робот Google мог просканировать ваш сайт.

Вот краткое описание того, что мы рассмотрим в этой статье:

  • Три этапа добавления любого сайта в поиск Google .
  • Как добавить свой WordPress-сайт в поиск Google :
  • Как обеспечить, чтобы поисковый робот Google мог сканировать сайт ( robots.txt ).
  • Как установить и настроить плагин Yoast SEO .
  • Как использовать Google Search Console для индексации сайта.

Три шага для добавления любого сайта в поиск Google

Мы рассмотрим весь процесс шаг за шагом для пользователей WordPress , однако почти все те же действия нужно выполнить, независимо от того, какую платформу вы используете:

1. Убедитесь, что поисковый робот Googlebot может получить доступ к страницам сайта, которые вы хотите проиндексировать. Это относится к файлу robots.txt . Если вы — пользователь WordPress , это очень просто, и мы покажем, как это сделать.

2. Настройте Google Search Console для домена, который вы хотите добавить в поиск Google .

3. Отправьте файл Sitemap через Google Search Console и попросите Google выполнить сканирование вашего сайта.

Как добавить свой WordPress-сайт в Google Search Console

Чтобы проиндексировать WordPress-сайт , необходимо включить возможность сканирования вашего сайта для поискового робота Googlebot , затем создать карту сайта и, наконец, отправить файл Sitemap через Google Search Console . Вот, как это делается.

Шаг 1 — Как обеспечить, чтобы поисковый робот Google мог сканировать сайт (robots.txt)

Включить возможность сканирования вашего WordPress-сайта для поискового робота Google очень просто. Когда вы будете готовы к тому, чтобы ваш сайт стал видимым через поисковые системы, выполните следующие действия:

1. В панели администрирования WordPress наведите указатель мыши на пункт главного меню « Настройки » и выберите раздел « Чтение ».

2. Прокрутите открывшуюся страницу вниз до раздела « Видимость в поисковых системах » и снимите флажок для опции « Попросить поисковые системы не индексировать этот сайт ». Если данный флажок не будет снят это станет причиной того почему гугл не индексирует сайт и его страницы или делает это плохо.

3. Затем сохраните внесенные изменения

И это все, что вам нужно сделать на данном этапе, чтобы Google мог сканировать ваш сайт. Перейдем к следующему шагу.

Шаг 2. Как установить и настроить плагин Yoast SEO

Yoast SEO — это бесплатный WordPress-плагин , который мы рекомендуем всем пользователям. В данном случае мы будем использовать его для создания карты сайта. В дополнение к этому Yoast SEO является одним из лучших и наиболее доступных WordPress-плагинов для SEO , он регулярно обновляется, чтобы всегда идти в ногу с последними тенденциями.

Вот этапы установки плагина Yoast SEO и создания карты сайта:

1. В панели администрирования WordPress наведите указатель мыши на пункт главного меню « Плагины » и выберите раздел « Добавить новый «.

2. Вы будете перенаправлены в репозиторий плагинов WordPress . Чтобы найти плагин Yoast SEO , введите в панели поиска « Yoast SEO ». Плагин Yoast SEO будет одним из первых результатов.

3. При установке любых плагинов рекомендуется проверять их рейтинг, количество установок, а также когда состоялось последнее по времени обновление, и совместим ли он с используемой вами версией WordPress. В нашем случае все хорошо.

4. Затем нажмите кнопку « Установить », чтобы установить плагин.

5. Когда плагин будет установлен, нажмите кнопку « Активировать », чтобы активировать плагин.

6. После активации плагина, вы увидите новую вкладку « SEO » с логотипом Yoast в главном меню WordPress .

7. Наведите указатель мыши на эту вкладку и выберите раздел « Панель мониторинга ».

8. Оттуда перейдите на вкладку « Функции », затем прокрутите панель вниз и включите опцию « Дополнительные параметры ». Сохраните внесенные изменения, нажав соответствующую кнопку, расположенную в нижней части экрана.

9. На вкладке Yoast SEO должны появиться дополнительные вкладки. Перейдите на вкладку « Тайтлы и мета «.

10. Далее перейдите на вкладку « Типы записей ». Здесь можно выбрать элементы сайта, которые вы хотите индексировать. В большинстве случаев необходимо индексировать только страницы и записи. Если этот вариант подходит и вам, установите для параметра « meta robots » значение « no-index » для всего, что вы не хотите индексировать. Если вам нужна дополнительная информация о различных настройках, кликните по ссылке « Справка », и вы получите доступ к видео руководству, относящемуся к странице, на которой вы находитесь, а также к другой справочной информации.

11. После того, как вы закрыли от индексации все типы записей, которые не хотите индексировать, сделайте то же самое на вкладках «Таксономии », « Архивы » и « Другие ».

12. Затем нажмите на кнопку « Сохранить изменения ».

13. Далее перейдите в раздел « XML Sitemaps «.

14. Просмотрите вкладки « Типы записей » и « Таксономии » и включите объекты, которые вы хотите индексировать, и отключите те, которые хотите исключить из процесса индексации. Для большинства сайтов здесь также подходит индексация страниц и записей, однако дополнительную информацию вы всегда можете получить в разделе « Справка ».

15. Затем сохраните внесенные изменения.

16. Перейдите на вкладку « Основные » и кликните по ссылке « XML карта сайта ». Скопируйте ссылку из адресной строки браузера и сохраните ее для дальнейшего использования в Google Search Console .

Это все, что касается установки и настройки плагина Yoast SEO и создания URL-адреса Sitemap . Теперь мы можем перейти к настройке бесплатной учетной записи Google Search Console и индексированию сайта.

Шаг 3 — Как использовать Google Search Console для индексации сайта

Google Search Console — это бесплатный инструмент Google , и мы будем использовать его для сканирования сайта или блога. Этот инструмент также поможет управлять любыми ошибками сканирования, связанными с вашим сайтом. Давайте рассмотрим этапы настройки вашей учетной записи:

1. Перейдите в Google Search Console . Сначала нужно войти в свою учетную запись Google . Здесь не должно быть много информации, если вы не работали с ней раньше.

2. Скопируйте ссылку на свой домен прямо из адресной строки браузера и вставьте ее в текстовое поле, расположенное в середине экрана. Затем нажмите кнопку « Добавить ресурс ».

3. Затем вас попросят подтвердить право собственности на домен. Выберите вкладку « Альтернативные методы » и нажмите кнопку « HTML-тег ». На экране появится мета тег name. Выделите весь тег и скопируйте его.

4. Вернитесь на панель администрирования WordPress и перейдите в раздел инструментов плагина Yoast SEO .

5. Перейдите на вкладку « Инструменты для веб-мастеров ». Здесь вы увидите три текстовых поля. Вставьте мета тег, который вы скопировали из Google Search Console в текстовое поле « Google Search Console «. В качестве дополнительной опции можно проиндексировать свой сайт не только в Google ( гугл ), но и в других поисковых системах. Сохраните внесенные изменения.

6. После этого можно вернуться в Google Search Console и нажать кнопку « Проверить ». После этого вы должны увидеть сообщение о том, что Google нашел тег, и все хорошо.

7. Теперь нажмите кнопку «Добавить / Проверить Sitemap ». Надеюсь, вы сохранили URL-адрес Sitemap , который скопировали ранее. Вставьте его во всплывающем окне и нажмите кнопку « Отправить ».

8. Вам следует перезагрузить страницу, и после этого у вас должна появиться новая запись о файле Sitemap . Если на данном этапе у вас возникла ошибка, скорее всего, это связано с тем, что ваш сайт блокирует поисковых роботов. Не беспокойтесь об этом.

9. В разделе меню « Сканирование » перейдите в раздел « Просмотреть как Google ». Затем нажмите кнопку « Извлечь и отобразить ». Это может занять некоторое время.

10. После этого вы должны увидеть статус « Частично ». Нажмите кнопку « Отправить в индекс » рядом с ним. Должно появиться окно с просьбой подтвердить, что вы не робот. Установите галочку и выберите параметр « Сканировать этот URL и все его прямые ссылки ». Нажмите « Отправить ».

11. Рядом со статусом « Частично » теперь должно появиться сообщение, которое гласит о том, что « URL-адрес и его связанные страницы, представленные на индексацию ».

Есть два других способа, с помощью которых добавить метатег на свой сайт ( шаг 5 ), они подходят для немного более продвинутых пользователей:

  • Вы можете скопировать его непосредственно в разметку файла header.php темы оформления, которую вы сейчас используете.
  • Вы можете добавить его в код заголовка темы оформления с помощью инструментов настройки темы.

Вы должны контролировать, чтобы скрипт или тег отслеживания Google не изменялся и не удалялся, а также, чтобы на сайт не был добавлен другой метатег, иначе это может негативно повлиять на ваш сайт.

Вот и все! Вы успешно отправили свой сайт на индексацию в Google . С помощью Google Search Console и плагина Yoast SEO вы стали на один шаг ближе к привлечению поискового трафика на свой сайт.

Данная публикация представляет собой перевод статьи « How to Add Your Website to Google Search (2020) Submit or Index Your Website » , подготовленной дружной командой проекта Интернет-технологии.ру

Безошибочный сайтмап для сайта

Вы просто кретин, если в свое время не уделили сайтмапу нужное внимание. Достаточно один раз разобраться в вопросе и в будущем избежать большого количества ошибок, что давайте сейчас и сделаем.

Ваш покорный слуга в годы младые также был таким кретином, когда только начал продвигать сайты в одной конторе. Попался мне в то время один сайтец на продвижение, который, следует сказать, был просто гавном. И у этого гавна были проблемы с индексацией. Естественно, будь сайт достаточно качественным, его бы оба поисковика индексировали несмотря ни на какие проблемы, но владельцы жались на нормальных дизайнера, верстальщика и программиста, а в этом случае сеошнику остается только, так сказать, открывать бутылку при помощи ножниц. Я перепробовал на нем все — и настройку last-modified, и ускорение индексации модным в то время фастботом, и покупку ссылок. И только потом оказалось, что дело было в том, что там не обновлялся автоматически сайтмап! Когда я его обновил — все страницы влетели в индекс.

Что такое sitemap и зачем он нужен

Что такое sitemap? Это файл с информацией о страницах сайта, которые нужно индексировать. Обычно sitemap создают для Яндекса и Гугла, чтобы оповестить поисковых роботов о страницах, которые нужно внести в индекс. Ещё при помощи сайтмапа осуществляется проверка того, как часто происходят обновления, и индексация каких веб-документов является наиболее важной. В целом очень хорошо о нем рассказали на Вебмастерской Яндекса:

Влияет ли наличие sitemap на продвижение

Если у вас отсутствует сайтмап, это не означает, что поисковики не станут индексировать ресурс. Поисковые роботы зачастую и без этого неплохо сканируют сайты и включают их в поиск. Но иногда могут возникать сбои, из-за которых порой удается отыскать не все веб-документы. Основными причинами являются:

  1. Разделы сайта, в которые можно попасть, только совершив длинную цепочку переходов;
  2. Динамические URL-адреса.

Так вот, создание sitemap.xml во многом помогает решить эту проблему. Этот файл влияет на SEO лишь постольку, поскольку облегчает/ускоряет индексацию страниц. Также возрастает шанс того, что веб-страницы проиндексируются до того, как ваши конкуренты смогут скопировать контент, опубликовав его у себя на сайте.

В каком еще формате бывает карта сайта и почему её делают в формате XML

Зачем нужна карта сайта, мы разобрались. Теперь давайте рассмотрим, в каких форматах её можно сделать:

  1. В формате html. Создается в виде обыкновенной страницы с адресами, ведущими на главные разделы ресурса. Такой тип карты помогает быстро сориентироваться, и рассчитан в большей степени на людей, чем на поисковых роботов. В HTML sitemap можно поместить ограниченное число ссылок (не более 100), ведь если их окажется больше, то не все они попадут в индекс. Или же поисковые роботы могут и вовсе исключить такую страницу из поиска за чрезмерное число URLов, пусть даже и внутренних.
  2. Создание xml-файла sitemap. Здесь нет слишком критичных ограничений по количеству ссылок, а поисковики лучше его индексируют, ведь файл sitemap xml-формата содержит полную информацию в понятном для робота виде. Особенно он важен для проектов, где имеются сотни и тысячи документов одинаковой важности, и размещение всех ссылок на них необходимо. В сайтмап такого типа есть возможность разместить до 50 тысяч URLов и помимо этого можно выставить частоту обновлений и приблизительный приоритет (priority), чего не скажешь о карте в формате HTML. Именно по этим причинам сайтмап почти всегда создают в xml.

Вот еще инфа об этом файле:

Как сделать правильный sitemap

Рассмотрим, как сделать правильную xml-карту. Здесь должны быть соблюдены следующие требования:

Топ-пост этого месяца:  Установка и настройка слайдера jQuery lightSlider
Добавить комментарий