Чтение роботом Google JavaScript как Googlebot может повлиять на поисковую оптимизацию


Содержание материала:

Доступ к файлам CSS и JS для Googlebot

Если вы получили письмо со следующими строками

«Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске»,

то не стоит отчаиваться – всё можно исправить за пару минут.

ПС Google хочет всё знать о ваших сайтах, это помогает ей в ранжировании и позволяет получить ценную информацию для построения выдачи. Ранее файлы css и js можно было закрывать, далеко боты не ходили, но в последнее время у них появился такой интерес и надо его уважать из солидарности. Скорее всего, никто понижать позиции прямо завтра не будет, но требование есть требование и будем соответствовать нормам.

Находим файлы без доступа

Для того чтобы найти, к каким файлам css и js не может получить доступ GoogleBot, надо перейти в панель вебмастера и открыть вкладку:

Сканирование – посмотреть как GoogleBot.

Поле ввода оставляете пустым и нажимаете «получить и отобразить» после чего синеете и зеленеете от ожидания. Вернее всего, вы увидите статус «частично выполнено», на него надо нажать и вам откроется панель с двумя скринами сайта:

  1. — Так увидел эту страницу робот Googlebot
  2. — Так увидит эту страницу посетитель сайта.

Картинки хороши, спору нет, но не Айвазовский, поэтому смотрим ниже и видим список с адресами файлов, которые не может обработать бот Google. Тут же указана причина, которая мешает заветному желанию ботов и есть ссылка на файл robots.txt, точнее на директиву, мешающую визиту робота. Огульно всё удалять в роботс не надо, там много полезного и рубка с плеча может обернуться появлением в индексе массы мусорных страниц.

Правим robots.txt

Для моих сайтов на Joomla надо было внести в robots всего несколько правок, точнее добавить строки:

Обратите внимание, что я не прописываю директивы для всех поисковых систем – они не жалуются, так зачем это делать, а даю разрешение на сканирование только для Google. В сухом и небольшом остатке у нас остаются запреты на доступ к Метрике Яндекса, Аналитикс Google и виджет facebook. Почему Google требует открыть ему доступ к внешним файлам и как это сделать без помощи хакеров вопрос, скорее всего, это обычный глюк, когда лес рубят щепки летят. Открыв свои файлы css и JavaScript для ботов можно быть спокойными, глюки же оставим программистам самого Google.

10 способов думать, как Googlebot и улучшить ваше техническое SEO

Пытаетесь преодолеть очередную планку роста органического трафика? Высококачественный контент и ссылки безусловно помогут вам в этом, но не стоит забывать о техническом SEO. Один из наиболее важных навыков в технической оптимизации сайтов, который вы можете приобрести в 2020-м – научиться думать, как Googlebot.

Прежде чем приступить к содержательной части, необходимо понять, что вообще из себя представляет этот Гугл-бот, как он работает и для чего нам всё это знать.

Что такое Googlebot

Googlebot – это веб-краулер (робот, паук), который собирает данные с веб-страниц. Всего лишь один из многих. У каждой поисковой системы есть свои фирменные пауки. В мире SEO их ещё называют «агентами пользователя». Вот наиболее известные:

  • Yandex – Яндекс
  • Googlebot – Google
  • Bingbot – Bing
  • Slurp Bot – Yahoo
  • Alexa Crawler – Amazon Alexa
  • DuckDuckBot – DuckDuckGo

Как работает Googlebot

Мы не можем начать оптимизировать сайты под Googlebot, пока не поймём, как он обнаруживает, читает и оценивает веб-страницы.

Как робот Google находит веб-страницы

Краткий ответ: ссылки, карты сайтов и запросы на обход.

Длинный ответ: самый быстрый способ заставить Google просканировать ваш сайт, это зайти в Search Console и добавить ссылку на карту вашего сайта. Однако это ещё не всё.

Несмотря на то, что карты сайта являются отличным способом заставить Google сканировать ваш сайт, этот метод не учитывает PageRank. Внутренние ссылки – это рекомендуемый способ сообщить Google, какие страницы связаны и имеют ценность. В Интернете опубликовано много замечательных статей о Google PageRank и внутренних ссылках, поэтому я не буду сейчас вдаваться в подробности.

Google также может обнаружить ваши веб-страницы, благодаря профилю «Google Мой бизнес», каталогам и ссылкам с других сайтов. Это упрощённая версия того, как работает робот Google. Чтобы узнать больше, вы можете прочитать официальную документацию Google по их пауку.

Как робот Google читает веб-страницы

Google прошёл долгий путь в рендеринге сайтов. Основная задача бота Гугла – прочитать страницу сайта так, как это сделал бы обычный пользователь. Чтобы проверить, как Google просматривает вашу страницу, воспользуйтесь инструментом проверки URL в Search Console. Так вы сможете сравнить страницу глазами посетителя и Googlebot.

Технические факторы ранжирования

Как и в традиционном SEO, в техническом SEO нет волшебной таблетки. Все 200+ факторов ранжирования важны!

Если вы являетесь техническим специалистом, думающим о будущем SEO, то самые значимые факторы ранжирования, на которые стоит обратить внимание, сосредоточены вокруг пользовательского опыта.

Зачем нам думать, как Googlebot

Когда представители поисковых систем говорят нам делать качественные сайты, они как раз вот это и имеют в виду. Все эти размытые формулировки являются в то же время очень точными.

Если вы можете удовлетворить пользователей интуитивным и полезным веб-сайтом, соответствующим требованиям Googlebot, то в итоге получите больше органического трафика.

Пользователи или роботы

На кого больше обращать внимание при создании сайта? На пользователей или на роботов?

Краткий ответ: на тех и на других.

Длинный ответ: это острый вопрос, который может вызвать напряжённость между дизайнерами интерфейсов, веб-разработчиками и SEO-специалистами. Тем не менее это даёт нам возможность поработать вместе и лучше понять баланс между поведением пользователей и ботов.

UX-дизайнеры отдают предпочтение в работе пользователям. SEO-специалисты – краулерам. Посередине находятся веб-разработчики, пытающиеся взять лучшее из обоих миров.

Опытный сеошник должен понимать важность пользовательского опыта. Поэтому необходимо оптимизировать сайты и под людей, и под роботов, одновременно. К счастью, Google изо всех сил старается ориентироваться на живых посетителей сайтов.

Следующие 10 советов по оптимизации под Гугл-бота позволят вам ублажить сразу обоих: дизайнера и разработчика.

1. Robots.txt

Robots.txt – это текстовый файл, который находится в корневом каталоге веб-сайта. Это одна из первых вещей, которую ищет робот Googlebot при сканировании сайта. Настоятельно рекомендуется добавить robots.txt на ваш сайт и включить в него ссылку на sitemap.xml.

Есть много способов оптимизировать файл robots.txt, но важно соблюдать осторожность. Разработчик может закрыть индексацию для всех роботов во время технических правок и забыть открыть её при внедрении на действующий сайт. В результате даже после устранения проблемы могут потребоваться недели на возврат органического трафика.

Существует множество советов и руководств по оптимизации файла robots.txt. Тщательно разберитесь в вопросе, прежде чем что-то внедрять на свой сайт. И не забывайте отслеживать результаты правок.

2. Sitemap.xml

Карты сайтов являются ключевым способом обнаружения новых страниц на ваших проектах ботом Гугла и считаются важным фактором ранжирования.

Вот несколько советов по оптимизации карты сайта:

  • У вашего сайта должна быть только одна карта.
  • Страницы блога и основные страницы сайта должны быть разделены на разные файлы, а затем объединены в общую карту.
  • Не устанавливайте высокий приоритет для каждой отдельно взятой страницы.
  • Удалите из карты сайта страницу для 404-ошибки и 301 редиректы.
  • Отправьте файл sitemap.xml в Google Search Console и следите за обходом.

3. Скорость сайта

Быстрота загрузки стала одним из важнейших факторов ранжирования, особенно для мобильных устройств. Если скорость загрузки вашего сайта слишком низкая, робот Google может понизить ваш рейтинг.

Самый простой способ выяснить, считает ли робот Google, что ваш сайт загружается слишком медленно, – это проверить скорость с помощью любого из бесплатных инструментов. Многие из этих инструментов предоставляют рекомендации, которые вы можете отправить вашим разработчикам.

4. Микроразметка Schema

Добавление структурированных данных на ваш сайт поможет роботу Google лучше понять контекст отдельных веб-страниц и веб-сайта в целом. Однако важно, чтобы вы следовали рекомендациям Google.

Для наибольшей эффективности лучше использовать JSON-LD при реализации разметки структурированных данных. Сам Google отметил у себя в рекомендациях, что JSON-LD является предпочтительным языком разметки.

5. Канонизация

Большой проблемой для крупных сайтов, особенно в секторе электронной коммерции, является дублированный контент. Есть множество практических причин для дублирования контента, например, мультиязычность сайта.

Если вы используете сайт с дублированным контентом, крайне важно указывать основные страницы при помощи тега rel=canonical и атрибута hreflang.

6. Таксономия URL

Наличие чёткой и понятной структуры URL, как показывает практика, приводит к более высоким позициям в поисковой выдаче и помогает пользователям лучше ориентироваться на сайте. Настройка родительских страниц позволяет роботу Google понимать взаимосвязь каждой страницы.

Однако, если у вас есть старые страницы, которые имеют хорошие позиции, Джон Мюллер из Google не рекомендует менять их URL. Грамотная таксономия URL-адресов – это то, что нужно установить с самого начала разработки сайта.

Если вы абсолютно уверены, что оптимизация URL-адресов поможет сайту, убедитесь, что настроили правильные 301-редиректы и обновили свой sitemap.xml.

7. Загрузка JavaScript

Несмотря на то, что со статичными HTML-страницами проще работать в плане SEO, динамический контент, созданный с помощью JavaScript, позволяет сделать ваш веб-сайт интереснее для пользователей. В 2020 году Google потратил много ресурсов на улучшения взаимодействия с JavaScript.

Во время недавней сессии вопросов и ответов с Джоном Мюллером, последний заявил, что Google планирует продолжить фокусироваться на JavaScript в 2020 году. Если ваш сайт сильно зависит от динамического рендеринга с помощью JavaScript, убедитесь, что ваши разработчики следуют официальным рекомендациям Google.

8. Изображения

Google давно намекает на важность оптимизации изображений, но в последние месяцы особенно много говорит об этом. Оптимизация изображений поможет роботу Google контекстуализировать, как ваши картинки связаны и улучшить ваш контент.

Если вы хотите быстро оптимизировать изображения, я рекомендую:

  • Имя файла изображения: опишите, что это за изображение, используя как можно меньше слов.
  • ALT-текст: можно скопировать имя файла и использовать дополнительные слова для описания изображения.
  • Структурированные данные: вы можете добавить schema-разметку для описания изображений на странице.
  • Карта картинок сайта: Google рекомендует добавить отдельную карту для ваших изображений.

9. Неработающие ссылки и зацикленные редиректы

Все мы знаем, что битые ссылки – это плохо, некоторые оптимизаторы утверждают, что они могут потратить впустую бюджет на обход сайта. Однако Джон Мюллер заявил, что неработающие ссылки не уменьшают этот бюджет.

Я полагаю, что, учитывая неоднозначность имеющейся информации, мы должны быть осторожны и убирать все неработающие ссылки. Используйте Google Search Console или ваш любимый инструмент для сканирования, чтобы найти неработающие ссылки на сайте!

Зацикленные редиректы – ещё одна характерная черта старых проектов. Такое явление обычно возникает, когда в цепочке редиректов присутствует несколько этапов.

Пример выше: третий вариант первоначальной страницы перенаправляет пользователя на второй вариант, который, в свою очередь, перенаправляет опять на третий вариант. Получается замкнутый цикл.

Поисковые системы часто испытывают трудности при сканировании циклов перенаправления и потенциально могут завершить обход сайта. Лучшее решение здесь – заменить исходную ссылку на каждой странице финальной ссылкой.

10. Заголовки страниц и мета-описания

Для многих SEO-профессионалов подобная информация может показаться устаревшей, но на практике доказано, что хорошо оптимизированные заголовки страниц и мета-описания могут улучшить ранжирование и CTR в поисковой выдаче.

Да, это самые основы поисковой оптимизации, но Googlebot читает их (title, description), поэтому не стоит пренебрегать дополнительной возможностью. Есть много различных теорий по поводу правильных meta-тегов, но общие рекомендации довольно просты:

  • Лучше использовать вертикальные чёрточки (|) вместо дефисов (-) в качестве разделителя, хотя боту Гугла без разницы.
  • В заголовок главной, страницы контактов и «о компании» включите название вашего бренда. В большинстве случаев другие типы страниц не имеют большого значения.
  • Не увлекайтесь длиной.
  • Для вашего мета-описания скопируйте первый абзац текста и отредактируйте его так, чтобы он соответствовал диапазону, который в данное время Google рекомендует использовать для тега description. Если это в результате не совсем точно описывает вашу страницу, то вам следует подумать о том, чтобы поработать над содержанием.
  • Проверьте! Использует ли Google ваши собственные заголовки и описания.

Подведём итог

Когда дело доходит до технического SEO и оптимизации под поисковых роботов, есть много вещей, на которые стоит обратить внимание. Многие из них требуют практических исследований, и я рекомендую попросить ваших коллег поделиться опытом, прежде чем вносить изменения в сайт.

Хотя новаторская тактика является захватывающей, она может привести к снижению органического трафика. Хорошее правило – проверить эту тактику, подождав несколько недель между изменениями. Это даст Googlebot определённое время, чтобы он смог разобраться с нововведениями на сайте и соответственно повысить вас в выдаче.

Автор оригинала: Джон Макалпин – руководитель SEO-департамента в Cardinal DIgital Marketing. Джон разрабатывает общую SEO-стратегию для CDM – SEO-агентства из Атланты, которое специализируется на обслуживании компаний, работающих в сфере здравоохранения на всей территории США. В настоящее время он живёт в Далласе, активно участвует в местном и национальном SEO-сообществе, имеет большой опыт в области технического SEO, веб-разработки и стратегии цифрового маркетинга.

Источник: www.searchenginejournal.com.

ПОНРАВИЛАСЬ СТАТЬЯ? ПОДЕЛИСЬ С ДРУЗЬЯМИ!

Внешние JavaScript и CSS файлы играют роль в ранжировании сайтов в Google

В этом году Google обновил свой поисковый движок в техническом плане и индексатор обрабатывает веб-страницы практически как обычный современный браузер, где включены JavaScript и CSS . Сегодя Google обновил свои рекомендации для вебмастеров в свете упомянутой функции.

Теперь для оптимальной индексации и обработки страниц Google рекомендует не скрывать используемые на сайте внешние файлы изображений, JavaScript и CSS в robots.txt, а давать гуглботу полный к ним доступ. Закрытие этих файлов может привести к неверному распознаванию страниц и повлиять на ранжирование.

Исторически, система индексации Google была построена по аналогии с текстовыми браузерами типа Lynx, поэтому важно было лишь наличие и доступность текста на странице. Но сейчас эта система работает аналогично другим браузерам, поэтому нужно обратить внимание на следующие моменты:

— Как и все современные браузеры, поисковый робот может не поддерживать какие-то из используемых на страницах технологий. Стоит убедиться, что дизайн сайта следует принципам прогрессивного улучшения, это поможет гуглу видеть полезный контент и основной функционал, когда некоторые из особенностей дизайна пока не поддерживаются.

— Быстрая загрузка страниц нравится не только пользователям, но также позволяет более эффективно индексировать документы поисковой системой. Google рекомендует удалить ненужные запросы/загрузки и оптимизировать сами CSS и JavaScript файлы.

— Убедитесь, что сервер нормально воспримет дополнительную загрузку хранимых скриптов и стилей гуглботом.

Как исправить ошибку «Googlebot не может получить доступ к CSS и JS файлам» в WordPress

Вы столкнулись с ошибкой в аккаунте Google Search Console, что Googlebot не может получить доступ к CSS и JS-файлам? Если это так, тогда вам пригодится наша сегодняшняя статья. Сегодня мы рассмотрим практическое решение проблемы, когда Googlebot не удается получить доступ к файлам CSS и JS на вашем сайте.

Зачем Googlebot нужен доступ к CSS и JS файлам?

Одной из целью Google является предоставление лучшего рейтинга для удобных для пользователя сайтов – быстрых, с хорошим пользовательским интерфейсом (UI) и т.д. Чтобы дать оценку пользовательскому интерфейсу сайта, поисковому роботу Google нужен доступ к файлам CSS-стилей и скриптов JavaScript.

Как правило, в WordPress доступ поисковым ботам к любым файлам CSS или JS не ограничивается. Однако вебмастер мог так сделать вручную, с целью дополнительных мер безопасности, или же неосознанно, посредством какого-то SEO плагина.

Если ограничить доступ роботу Googlebot к индексированию CSS и JS-файлов, это может негативно повлиять на эффективность SEO для вашего сайта. А теперь перейдем к практическому решению этой проблемы.

Топ-пост этого месяца:  Как Google реагирует на использование нескольких типов микроразметки

Как предоставить Google доступ к CSS и JS файлам сайта

Сначала нужно узнать, к каким файлам у Googlebot’а ограниченный доступ.

Это можно увидеть в Google Search Console в меню Сканирование – Посмотреть как Googlebot. Нажмите кнопку Сканировать, а потом кнопку Получить и отобразить (сделайте так как ПК, так и для Mobile: Smartphone).

После этого вы сможете проанализировать результат. Если Googlebot не смог получить доступ к CSS/JS файлам, вы увидите предупреждение об этом.

Список заблокированных ресурсов вы также сможете увидеть в меню Индекс Google – Заблокированные ресурсы. Нажав на каждый ресурс, вы увидите ссылки на те ресурсы, к которым Googlebot не смог получить доступ. Очень часто это касается CSS стилей и JS-файлов, которые были добавлены плагинами или темой в WordPress.

Теперь нужно отредактировать файл robots.txt в корне сайта. Этот файл содержит инструкции для поисковых роботов, включая и бота Google.

Инструкции, которые запрещают доступ ботам к ресурсам, выглядят примерно так:

Чтобы снять ограничения к определенным ресурсам, вы можете переопределить это в файле robots.txt , добавив исключения к заблокированным папкам. Чтобы добавить исключение, укажите инструкцию вида:

Указав все нужные инструкции, сохраните файл robots.txt и в Google Search Console отправьте на повторное сканирование свой сайт. Желательно, чтобы поисковый бот Google (или другой поисковой системы) имел доступ к CSS и JS ресурсам вашего сайта. Это может быть одним из важных компонентов SEO-продвижения своего сайта.

Мы надеемся, что сегодняшняя короткая статья помогла вам решить проблему «Googlebot не может получить доступ к CSS и JS файлам» на вашем сайте.

Googlebot теперь работает на базе последней версии Chromium

Google объявил о запуске новой версии Googlebot. Теперь веб-краулер всегда будет работать на базе последней версии Chromium – браузера с открытым исходным кодом, на основе которого создан Chrome.

На данный момент Googlebot использует Chromium версии 74 вместо давно устаревшей 41-й.

Обновлённый краулер теперь поддерживает более 1000 новых функций, включая ES6, IntersectionObserver for lazy-loading и Web Components v1 APIs.

Благодаря этому Google сможет обрабатывать больше контента сайтов, а это значит, что их владельцам, возможно, больше не нужно будет создавать специальные решения и использовать такие функции, как «транспайлинг» (transpiling) или полифиллы, чтобы Googlebot мог индексировать их материалы.

При этом Googlebot по-прежнему может видеть не всё.

«Некоторые ограничения остались, поэтому проверьте наш инструмент для устранения неполадок с JS-сайтами и просмотрите нашу серию видео по JavaScript SEO», — отметили в Google.

Напомним, Google заявил, что работает над закрытием разрыва между Googlebot и современными браузерами, в октябре 2020 года. В апреле стало известно, что эта работа активно продвигается и уже близится к завершению. В том же месяце специалисты DeepCrawl заметили, что Google тестирует новый, более современный движок рендеринга для Googlebot, работающий на базе Chrome 69 и выше. Теперь компания официально обновила свой веб-краулер.

Как использовать поискового робота Google для SEO оптимизации?

В словаре SEO-специалистов часто можно услышать о таком понятии, как “дружественность сайта к поисковым системам”. Что это значит? Процесс сканирования и индексирования сайта это достаточно затратный процесс для всех поисковых систем, особенно с таким ростом количества сайтов и страниц, как происходит сейчас. Чем дороже процесс по ресурсам, тем больше лимитов и жестких правил устанавливают поисковики. Понимание того, по каким правилам работают поисковые роботы (в частности, Googlebot) поможет постепенно сделать свой сайт “дружественным” для поисковиков. А это помогает быстрее индексировать новые и обновленные страницы, быстрее находить ошибки и т.д.

Что такое Googlebot?

Поисковые роботы (например, Googlebot) – это роботы, которые сканируют веб-страницы и добавляют их индекс. Если код на странице дает боту команду на индексирование, тогда он добавляет эту страницу в индекс, и только тогда она становится доступной пользователям. Очень хорошо этот процесс описан в этом руководстве Google. Ключевыми правилами сканирования, являются четыре следующие шага:

Если страница высоко ранжируется, поисковый робот Google будет тратить больше времени на её сканирование.

Здесь мы можем поговорить о «краулинговом бюджете», представляющем собой точное количество времени, затрачиваемого веб-роботами на сканирование определенного сайта: чем более авторитетна веб-страница, тем больший бюджет она получит.

Google бот постоянно сканирует сайт

Вот что об этом говорит Google: «Поисковый робот Google не имеет доступа к сайту чаще, чем один раз в секунду». Это означает, что сайт находится под постоянным контролем веб-пауков, если у них есть доступ к нему. Сегодня многие SEO специалисты спорят о так званой «скорости обхода» и пытаются найти оптимальный способ обхода сайта роботом, чтобы получить высокий уровень ранжирования. Тем не менее, «скорость обхода» – это всего лишь скорость запросов поискового робота Google, а не повторение сканирования. Вы даже можете изменить этот показатель самостоятельно с помощью Webmasters Tools. Огромное количество внешних ссылок, наличие ссылок с 404 ошибкой, уникальность и упоминания в соцсетях влияют на вашу позицию в результатах поиска. Также важно уточнить, что веб-пауки не сканируют каждую страницу непрерывно, поэтому намного выгоднее сразу создавать полезный и уникальный контент.

Файл Robots.txt – это первое, что сканируют роботы Google

Если страница отмечена в файле robots.txt как запрещенная для сканирования, роботы не будут её сканировать и соответственно в индекс она не попадет.

Файл Sitemap.xml – это руководство для ботов Google

Файл Sitemap.xml помогает ботам понять, какие части сайта нужно просканировать и проиндексировать. Так как сайты в основном различаются по своей структуре, гуглбот не может краулить все страницы на сайте автоматически. Качественный файл Sitemap может помочь страницам с низким рейтингом, небольшим количеством обратных внутренних ссылок и бесполезным контентом попасть в индекс на равне с более авторитетными страницами.

Как оптимизировать сайт для лучшего сканирования поисковым роботом Googlebot?

Не недооценивайте файл robots.txt

Файл robots.txt является вместилищем команд для поисковых роботов. И так как ваш “краулинговый бюджет” ограничен, уделите время и постарайтесь закрыть от сканирования все необходимые страницы. Так, ваши самые ценные страницы будет индексироваться быстрее и чаще.

Полезный и уникальный контент действительно имеет значение

Основной тезис такой – контент, который сканируется чаще, ранжируется выше и соответственно приносит больше трафика. Особенно это становится важно сейчас. Google все больше ориентируется на новизну, актуальность страниц. Обновляйте контент на ваших топовых страницах, добавляйте их в индекс вручную и постепенно гуглбот будет сам уделять им больше внимания. Если у сайта слишком большое количество открытых страниц пагинации, то есть вероятность, что нужные вебмастеру страницы могут быть не проиндексированы. Это связано с тем, что поисковых бот израсходует краулинговый бюджет на продублированные страницы.

Пора начать использовать внутренние ссылки

Внутренние ссылки не только упрощают использование сайта для пользователя, но и делают проще процесс сканирования для поисковых ботов. Если ранее вы не уделяли внимания каждой ссылке на странице, воспользуйтесь Google Search Console, чтобы отследить активные ссылки. Для еще более глубокого исследования, добавьте ваш сайт в наш краулер и оцените всю структуру внутренних ссылок, анкор лист, распределение весов. Также вы можете попробовать запустить аудит сайта, чтобы найти ошибки и проанализировать внутреннюю структуру сайта, включаяя ссылки.

Sitemap.xml жизненно важен

Еще раз, почему этот файл так важен? Sitemap – это карта местности для бота. Без неё он блуждает по сайту только на основе внутренних ссылок, и страницы которые слабо перелинкованы получают мало внимания, или вообще могут быть не замечены. Это один из важных факторов, которые поисковая система гугл использует при сканировании сайтов.

Как анализировать работу Googlebot?

Для анализа работы гуглбота, просто регулярно проверяйте раздел «Сканирование» в Webmaster Tools.

Популярные ошибки при сканировании

Страница “Ошибки сканирования” помогает быстро найти как критические ошибки, так и неопасные уведомления. К этому блоку чаще всего стоит обращаться, когда вы заметили какие то резкие изменения в индексации, снижение количества трафика.

Файлы Sitemap

Используйте эту функцию, если хотите поработать с картой сайта: изучить, добавить или выяснить, какой контент индексируется.

Посмотреть как Googlebot

Функция «Посмотреть как Googlebot» один из самых быстрых способов добавить страницу в индекс гугла.

Статистика сканирования

Эта вкладка помогает оценить динамику сканирования сайта в разрезе 90 дней.

Параметры URL

Google не рекомендует использовать эту функцию без необходимости. По задумке, объяснение значений отдельных частей URL-адреса помогает гуглу лучше понимать как сканировать каждый тип страниц.

Как подружить поискового робота «Яндекса» с сайтом на JavaScript

Время чтения: 10 минут Нет времени читать? Нет времени?

На первый взгляд, у современных поисковиков нет никаких проблем с JavaScript – этот язык программирования используется повсеместно, и все прекрасно индексируется. А в блоге «Яндекса» для вебмастеров еще 4 года назад сообщили, что поисковый робот теперь использует JavaScript и CSS. Это верно, но с оговорками.

О том, какие сложности в продвижении могут возникнуть, если сайт написан на JavaScript, и что с этим делать, мы спросили у нашего проектного директора Александра Белова.

Зачем нужен JavaScript

JavaScript (сокращенно JS) – это популярный язык программирования, который можно по-разному использовать в создании сайтов:

  • Для встроенных скриптов – небольших фрагментов кода, которые выполняются прямо в браузере. Обычно это счетчики (типа Google Analytics и «Яндекс.Метрики») или элементы дизайна – например, выпадающие меню, всплывающие окна и интерактивные галереи изображений.
  • Как часть технологии AJAX (способа асинхронного обмена данными браузера с веб-сервером на основе JavaScript), позволяющей не перезагружать страницу веб-сайта при каждом обновлении данных.
  • Для разработки так называемых Single Page Application (SPA) – одностраничных интерактивных приложений, которые полностью написаны на языке JavaScript.

Первые два способа были известны давно, но в последние годы в веб-дизайне наметился новый тренд – не только создание SPA-сайтов, но и полный перевод на JavaScript существующих.

В чем преимущество сайтов на JavaScript по сравнению с обычными сайтами

Развитие одностраничников во многом стимулируется компанией Facebook, которая создала и поддерживает для них специальную библиотеку React.JS. Сейчас это фактический стандарт разработки. Поисковик Google тоже улучшает индексацию SPA-сайтов и анализ их содержания.

— Александр, в чем главное преимущество SPA и зачем они нужны?

У сайта, который полностью написан на JavaScript – так называемого SPA – гораздо больше возможностей, чем у стандартного, сделанного, например, на PHP. В первую очередь это высокая эффективность и способность к увеличению функциональности. Такой код может делать что угодно и как угодно, потому что он выполняется в браузере пользователя, а не на сервере. При этом нагрузка на сам сервер и, как следствие, скорость загрузки сайта минимальные. Это очень важно, особенно для посещаемых ресурсов.

Большинство одностраничников, с которыми нам в «Текстерре» приходилось иметь дело – это наборы модулей на JavaScript, существующих фактически сами по себе. Разработчику достаточно переписать пару-тройку скриптов, чтобы появился практически новый сайт, с другой логикой и функциональностью.

Судя по тому, как идет развитие этой технологии в мире, сайты на JavaScript с использованием React или подобных библиотек – не мода, а долгосрочный тренд.

Важно, чтобы над проектом работала одна группа разработчиков, а не множество разных агентств. Тогда SPA получаются действительно крутыми – с продуманной структурой, логикой и очень быстрыми.

В чем трудности при переходе на JavaScript

В мире нет ничего идеального, совершенного и постоянного. Приобретающие популярность SPA сайты тоже имею свои недостатки. Один из них, причем существенный – это проблемы с поисковиками.

— В чем отличие сайтов на JS от обычных c точки зрения индексации, и почему их не очень любят поисковики?

Проблема в том, что поисковые роботы не видят единой иерархии HTML документов. Если для генерации страниц используется JavaScript, они создаются динамически, по требованию посетителей. Google или «Яндекс» обычно не могут сами сделать такие запросы и видят, в основном, только то, что создано для них статически.

Использование такого рендеринга требует от разработчиков высокой квалификации. Максимум, что сможет любитель – отстроить внутренний ссылочный профиль. В итоге робот начнет индексировать сайт, но высоких позиций ждать не стоит. Реальную структуру воссоздать довольно сложно, и может получиться подобие того, что делают на конструкторах типа Tilda или Wix. Формально какие-то страницы будут проиндексированы, но настоящая поисковая оптимизация невозможна.

Если к разработке сайта на JavaScript сразу не привлечь профессионалов, потом проблемы с индексацией сложно исправить. Многие специалисты вообще отказываются браться за эту работу, потому что шансов на успех очень мало.

Как «Яндекс» (и Google) индексируют SPA

— А как, в реальности, обстоят дела c JavaScript у «Яндекса»?

Действительно, поисковик Google активно развивается в направлении JavaScript и всячески приветствует эту тенденцию веб-разработки. Вероятно потому, что компания всегда выступает за качество и не боится новых технологий.

У поисковика «Яндекса» схожая политика, но он находится в зоне вынужденных обстоятельств – развитие технологии SPA явно опережает возможности сервиса. Разработчикам пока что предлагается только два варианта: либо полноценный и качественный внешний рендеринг, о котором я уже говорил, либо создание статических копий страниц с HTML структурой и правильной настройкой canonical .

На мой взгляд, это решение c использованием canonical не очень перспективное. Лучше уж никак, чем такой устаревший способ.

Что нужно делать разработчикам, чтобы JavaScript индексировался «Яндексом»

Сейчас «Яндекс» нормально индексирует обычные сайты, которые содержат небольшие фрагменты кода на JS, но неважно относится к SPA, полностью сделанным на этом языке.

— Как быть разработчикам, чтобы избежать проблем с индексацией?

В отличие от сайтов с кусочками кода на JavaScript, которые давно и успешно индексируется всеми поисковиками, при создании SPA однозначно придется делать рендеринг. Или, как вариант, отказаться от органического поиска «Яндекса».

Но, в первую очередь, нужно задать вопрос заказчику: что он хочет? Сейчас для всех привлекательна тема SPA – считается, что это можно сделать сравнительно быстро и недорого. Но когда они потом приходят в агентства за продвижением, то узнают, в какую лужу сели. Потому что правильный сайт на JavaScript, с нормальной структурой и хорошим рендерингом, стоит дорого. Готов ли заказчик отдать несколько миллионов рублей за сайт с рендерингом или нет?

Если хочется сэкономить миллион на рендеринге, нужно отдать три миллиона (или даже больше) на контекстную рекламу. Потому что без рендеринга в органической выдаче «Яндекса» ничего хорошего не светит.

— Если мы решили, что все-таки нужен рендеринг для SPA, какие могут быть варианты действий?

В целом, задача одна — выстроить корректную HTML структуру. Без разницы каким путем. Это может быть реализовано как на собственном сервере – программным решением (SSR – Server Side Rendering), так и на внешнем (аутсорсинг). Например, это нормально делают сервисы prerender.io или renderjs.io, но, конечно, не бесплатно.

— А что выбрать – делать на своем сервере или отдать на аутсорсинг?

Окончательное решение – всегда на усмотрение разработчика и заказчика. Но в целом для небольших проектов лучше все-таки аутсорсинг, а свой рендеринг имеет смысл делать только для очень крупных и сложных. В первую очередь – из-за стоимости разработки.

Но есть и хорошая новость – в большинстве JS-фреймворков, на которых пишутся все эти одностраничники, есть встроенная поддержка SSR. Например, она есть в React, Angular и Vue.

Но еще важнее, на мой взгляд, чтобы о реализации рендеринга задумывались на самой начальной стадии создания сайта. И тут я всегда за внутреннюю кухню. Тот, кто делает сам сайт, тот и должен заниматься рендерингом, чтобы обеспечить целостность разработки. Потому что SPA получаются хорошо, только если ими занимается одна группа людей, одна команда.

Бывает поздно, когда вы только начали задумываться о рендеринге уже проблемного сайта, потому что не все можно исправить. Но если сразу все сделать правильно, то к нам в агентство можно обращаться только за продвижением.

Ошибки в настройке индексирования

— Какая самая частая ошибка при организации рендеринга?

Есть одна особенность SPA-сайтов, о которой часто забывают. Многие очень обжигаются на рендеринге, потому что разработчики делают его для пользователей, но практически не оптимизируют для поисковиков. К нам в «Текстерру» нередко приходят и говорят, что есть крутой проект на JS, с нормальным вроде бы рендерингом, но сайт плохо индексируется. Как потом выясняется, там действительно есть продуманная HTML-структура, но работа с «Яндексом» не настроена. Страницы до сих пор отдаются роботу по JS.

Ошибка в том, что разработчики часто смотрят на сайт глазами пользователя, но забывают протестировать, какой контент получает «Яндекс». Только так можно понять реальную картину и настроить индексацию.

Вместо заключения: стоит ли игра свеч

Настроить правильное индексирование сайта, написанного на JavaScript – сложная и дорогая задача. Возможно, что полная стоимость работ по рендерингу будет сопоставима или даже выше, чем разработка самого сайта.

— А вообще, стоит ли игра (переход на SPA) свеч? Если да, то в каких случаях обязательно настраивать индексацию?

Все это имеет смысл, если необходим сайт на JavaScript. О преимуществах SPA мы уже говорили, и других таких технологий пока что не существует. Но каждый, в принципе, решает сам. Часто, когда нужен трафик только от Google, можно просто перенести сайт на новый движок и не тратить лишних денег. Потому что Google уже сейчас отлично поддерживает индексацию с помощью технологии WRS. Ну и «Яндекс» тоже когда-нибудь этому научится.

Если при переходе на SPA или создании нового сайта на JavaScript важно сохранить органический трафик из «Яндекса», других вариантов кроме рендеринга нет. Это сложно, довольно дорого, но обычно оправдывает себя.

Руководство по SEO JavaScript-сайтов. Часть 1. Интернет глазами Google

Представляем вашему вниманию перевод первой части материала, который посвящён поисковой оптимизации сайтов, построенных с использованием JavaScript. Речь пойдёт об особенностях сканирования, анализа и индексирования таких сайтов поисковыми роботами, о проблемах, сопутствующих этим процессам, и о подходах к решению этих проблем.

В частности, сегодня автор этого материала, Томаш Рудски из компании Elephate, расскажет о том, как сайты, которые используют современные JS-фреймворки, вроде Angular, React, Vue.js и Polymer, выглядят с точки зрения Google. А именно, речь пойдёт о том, как Google обрабатывает сайты, о технологиях, применяемых для анализа страниц, о том, как разработчик может проанализировать сайт для того, чтобы понять, сможет ли Google нормально этот сайт проиндексировать.

JavaScript-технологии разработки веб-сайтов в наши дни весьма популярны, поэтому может показаться, что они уже достигли достаточно высокого уровня развития во всех мыслимых направлениях. Однако, в реальности всё не так. В частности, разработчики и SEO-специалисты всё ещё находятся в самом начале пути к тому, чтобы сделать сайты, построенные на JS-фреймворках, успешными в плане их взаимодействия с поисковыми системами. До сих пор множество подобных сайтов, несмотря на их популярность, занимают далеко не самые высокие места в поисковой выдаче Google и других поисковых систем.

Может ли Google сканировать и анализировать сайты, основанные на JavaScript?

Ещё в 2014-м компания Google заявляла о том, что их системы неплохо индексируют сайты, использующие JavaScript. Однако, несмотря на эти заявления, всегда давались рекомендации осторожно относиться к этому вопросу. Взгляните на это извлечение из оригинала материала «Совершенствуем понимание веб-страниц» (здесь и далее выделение сделано автором материала):

«К сожалению, индексация не всегда проходит гладко, что может привести к проблемам, влияющим на позицию вашего сайта в результатах поиска … Если код JavaScript слишком сложный или запутанный, Google может проанализировать его некорректно… Иногда JavaScript удаляет контент со страницы, а не добавляет его, что также затрудняет индексацию».

Топ-пост этого месяца:  Как добавить сайт в Google Analytics установка счётчика Гугл

Возможность сканирования, возможность анализа и бюджет сканирования

Для того, чтобы понять, сможет ли поисковая система правильно обработать сайт, то есть, обработать его так, как того ожидает создатель сайта, нужно учесть три фактора:

  1. Возможность сканирования сайта: системы Google должны быть способны просканировать сайт, учитывая его структуру.
  2. Возможность анализа сайта: системы Google не должны испытывать проблем в ходе анализа сайта с использованием технологий, используемых для формирования его страниц.
  3. Бюджет сканирования: времени, выделенного Google на обработку сайта, должно хватить для его полноценной индексации.

О клиентском и серверном рендеринге

Говоря о том, может ли Google сканировать и анализировать сайты, использующие JavaScript, нам нужно затронуть две очень важные концепции: рендеринг, или визуализация страниц, на стороне сервера, и на стороне клиента. Эти идеи необходимо понимать каждому специалисту по SEO, который имеет дело с JavaScript.

При традиционном подходе (серверный рендеринг), браузер или робот Googlebot загружают с сервера HTML-код, который полностью описывает страницу. Все необходимые материалы уже готовы, браузеру (или роботу) нужно лишь загрузить HTML и CSS и сформировать готовую к просмотру или анализу страницу. Обычно поисковые системы не испытывают никаких проблем с индексацией сайтов, использующих серверный рендеринг.

Всё большую популярность получает метод визуализации страниц на стороне клиента, который имеет определённые особенности. Эти особенности иногда приводят к проблемам с анализом таких страниц поисковыми системами. Весьма распространена ситуация, когда при первоначальной загрузке данных браузер (или Googlebot) получает пустую HTML-страницу.

Фактически, на такой странице либо вовсе нет данных, подходящих для анализа и индексации, либо их очень мало. Затем в дело вступают JavaScript-механизмы, которые асинхронно загружают данные с сервера и обновляют страницу (изменяя DOM).

Если на вы используете методику визуализации на стороне клиента, вам нужно убедиться в том, что Google в состоянии правильно сканировать и обрабатывать страницы вашего сайта.

JavaScript и ошибки

HTML и JS коренным образом различаются в подходах к обработке ошибок. Единственная ошибка в JavaScript-коде может привести к тому, что Google не сможет проиндексировать страницу.
Позвольте мне процитировать Матиаса Шафера, автора работы «Надёжный JavaScript»: «JS-парсер не отличается дружелюбием. Он совершенно нетерпим к ошибкам. Если он встречает символ, появление которого в определённом месте не ожидается, он немедленно прекращает разбор текущего скрипта и выдаёт SyntaxError. Поэтому единственный символ, находящейся не там, где нужно, единственная опечатка, может привести к полной неработоспособности скрипта.»

Ошибки разработчиков фреймворков

Возможно вы слышали об эксперименте по SEO в применении к JavaScript-сайтам, который провёл Бартош Горалевич, занимающий должность CEO в компании Elephate, для того, чтобы узнать, может ли Google индексировать веб-сайты, созданные с использованием распространённых JS-фреймворков.

Список исследованных технологий

В самом начале выяснилось, что Googlebot не в состоянии анализировать страницы, созданные с использованием Angular 2. Это было странно, так как Angular создан командой Google, поэтому Бартош решил выяснить причины происходящего. Вот что он пишет по этому поводу:

«Оказалось, что имелась ошибка в QuickStart Angular 2, в чём-то вроде учебного руководства, посвящённого тому, как готовить к работе проекты, основанные на этом фреймворке. Ссылка на это руководство присутствовала в официальной документации. Было выяснено, что команда Google Angular допустила ошибку, которая была исправлена 26-го апреля 2020 года».

Ошибка в Angular 2

Исправление ошибки привело к возможности нормального индексирования тестового сайта на Angular 2.

Этот пример отлично иллюстрирует ситуацию, когда единственная ошибка может привести к тому, что Googlebot оказывается не в состоянии проанализировать страницу.

Масла в огонь подливает и то, что ошибка была совершена не новичком, а опытным человеком, участвующим в разработке Angular, второго по популярности JS-фреймворка.

Вот ещё один отличный пример, который, по иронии судьбы, снова связан с Angular. В декабре 2020-го Google исключила из индекса несколько страниц сайта Angular.io (веб-сайт, основанный на Angular 2+, на котором применяется технология визуализации на стороне клиента). Почему это произошло? Как вы можете догадываться, одна ошибка в их коде сделала невозможной визуализацию страниц средствами Google и привела к масштабному исключению страниц из индекса. Позже ошибка была исправлена.

Вот как Игорь Минар из Angular.io это объяснил:

«Учитывая то, что мы не меняли проблематичный код в течение 8 месяцев, и мы столкнулись со значительным падением трафика с поисковых систем, начиная примерно с 11 декабря 2020, я полагаю, что за это время что-то изменилось в системе сканирования сайтов, что и привело к тому, что большая часть сайта оказалась исключённой из поискового индекса, что, в свою очередь, стало причиной падения посещаемости ресурса.»

Исправление вышеупомянутой ошибки, препятствующей анализу страниц ресурса Angular.io, было возможным благодаря опытной команде JS-разработчиков, и тому факту, что они реализовали ведение журнала ошибок. После того, как ошибка была исправлена, Google снова смог проиндексировать проблемные страницы.

О сложности сканирования сайтов, построенных с использованием JavaScript

Вот как происходит сканирование и индексирование обычных HTML-страниц. Тут всё просто и понятно:

  1. Googlebot загружает HTML-файл.
  2. Googlebot извлекает ссылки из кода страницы, в результате он может параллельно обрабатывать несколько страниц.
  3. Googlebot загружает CSS-файлы.
  4. Googlebot отправляет все загруженные ресурсы системе индексирования (Caffeine).
  5. Caffeine индексирует страницу.

Всё это происходит очень быстро.

Однако процесс усложняется, если работа ведётся с веб-сайтом, основанным на JavaScript:

  1. Googlebot загружает HTML-файл.
  2. Googlebot загружает CSS и JS-файлы.
  3. После этого Googlebot должен использовать Google Web Rendering Service (WRS) (эта система является частью Caffeine) для того, чтобы разобрать, скомпилировать и выполнить JS-код.
  4. Затем WRS получает данные из внешних API, из баз данных, и так далее.
  5. После того, как страница собрана, её, в итоге, может обработать система индексирования.
  6. Только теперь робот может обнаружить новые ссылки и добавить их в очередь сканирования.

Весь этот процесс гораздо сложнее, чем сканирование HTML-сайтов. Во внимание тут нужно принять следующее:

  • Разбор, компиляция и выполнение JS — это операции, которые требуют немалых затрат времени.
  • В случае с сайтами, на которых интенсивно используется JavaScript, Google приходится ждать до тех пор, пока будут выполнены все вышеописанные шаги прежде чем можно будет проиндексировать содержимое страниц.
  • Процесс сборки страницы — это не единственная медленная операция. Это также относится к процессу обнаружения новых ссылок. На сайтах, интенсивно использующих JS, Google обычно не может обнаружить новые ссылки до того, как страница не будет полностью сформирована.

Индексирование HTML-страницы и страницы, формируемой средствами JS

Теперь мне хотелось бы проиллюстрировать проблему сложности JavaScript-кода. Готов поспорить, что 20-50% посетителей вашего сайта просматривают его с мобильного устройства. Знаете ли вы о том, сколько времени занимает разбор 1 Мб JS-кода на мобильном устройстве? По информации Сэма Сакконе из Google, Samsung Galaxy S7 тратит на это примерно 850 мс, а Nexus 5 — примерно 1700 мс! После разбора JS-кода его ещё нужно скомпилировать и выполнить. А на счету — каждая секунда.

Если вы хотите больше узнать о бюджете сканирования, советую почитать материал Барри Адамса «JavaScript and SEO: The Difference Between Crawling and Indexing». SEO-специалистам, имеющим дело с JavaScript, особенно полезными будут разделы «JavaScript = Inefficiency» и «Good SEO is Efficiency». Заодно можете посмотреть и этот материал.

Google и браузер, выпущенный 3 года назад

Для того чтобы понять, почему при сканировании сайтов, использующих JS, у Google могут возникнуть проблемы, стоит поговорить о технических ограничениях Google.

Я уверен, что вы используете самую свежую версию вашего любимого браузера. Однако в Google дело обстоит не так. Тут, для рендеринга веб-сайтов, используется Chrome 41. Этот браузер был выпущен в марте 2015-го года. Ему уже три года! И браузер Google Chrome, и JavaScript за эти годы чрезвычайно сильно развились.

В результате оказывается, что существует множество современных возможностей, которые просто недоступны для робота Googlebot. Вот некоторые из его основных ограничений:

  • Chrome 41 лишь частично поддерживает современный синтаксис JavaScript ES6. Например, он не понимает новые языковые конструкции.
  • Интерфейсы, вроде IndexedDB и WebSQL, отключены.
  • Куки, локальные хранилища и сессионные хранилища очищаются при перезагрузке страницы.
  • И, опять же, перед нами браузер, который был выпущен три года назад!

Рассматривая технические ограничения Chrome 41, вы можете проанализировать разницу между Chrome 41 и Chrome 66 (самой свежей версией Chrome на момент написания этого материала).

Теперь, когда вы знаете, что для формирования страниц Google использует Chrome 41, найдите время на то, чтобы загрузить этот браузер и проверить собственные веб-сайты для того, чтобы понять, может ли этот браузер нормально с ними работать. Если нет — загляните в консоль Chrome 41 для того, чтобы попытаться узнать, что может быть причиной ошибок.

Кстати, раз уж заговорили об этом, вот мой материал, посвящённый работе с Chrome 41.

Современные возможности JavaScript и индексирование сайтов

Как быть тому, кто стремится использовать современные возможности JS, но при этом, хочет, чтобы Google нормально индексировал его сайты? На этот вопрос отвечает данный кадр из видео:

Современные возможности JavaScript и индексирование страниц

Браузер, применяемый в Google для формирования страниц сайтов, основанных на JS, может правильно обрабатывать сайты, использующие современные возможности JS, однако, разработчикам таких сайтов потребуется приложить для этого некоторые усилия. А именно, использовать полифиллы, создавать упрощённую версию сайта (используя технику постепенной деградации) и выполнять транспиляцию кода в ES5.

Постепенная деградация и полифиллы

Популярность JavaScript росла очень быстро, а теперь это происходит быстрее, чем когда бы то ни было. Однако некоторые возможности JavaScript просто не реализованы в устаревших браузерах (так уж совпало, что Chrome 41 — это как раз такой браузер). Как результат, нормальный рендеринг сайтов, использующих современные возможности JS, в таких браузерах невозможен. Однако, веб-мастера могут это обойти, используя технику постепенной деградации.

Если вам хочется реализовать некоторые современные возможности JS, которые поддерживают лишь немногие браузеры, в таком случае вам нужно обеспечить использование упрощённой версии вашего веб-сайта в других браузерах. Помните о том, что версию Chrome, которую использует Googlebot, определённо, нельзя считать современной. Этому браузеру уже три года.

Выполняя анализ браузера, вы можете в любое время проверить, поддерживает он некую возможность или нет. Если он эту возможность не поддерживает, вы, вместо неё, должны предложить нечто такое, что подходит для этого браузера. Эта замена и называется полифиллом.

Кроме того, если нужно, чтобы сайт мог быть обработан поисковыми роботами Google, вам совершенно необходимо использовать транспиляцию JS-кода в ES5, то есть, преобразование тех конструкций JS, которые не понимает Googlebot, в конструкции, понятные ему.

Например, когда транспилятор встречает выражение let x=5 (большинство старых браузеров эту конструкцию не поймут), он преобразует его в выражение var x=5 (эта конструкция понятна всем браузерам, в том числе и Chrome 41, который играет для нас особую роль).

Если вы используете современные возможности JavaScript и хотите, чтобы ваши сайты правильно обрабатывались поисковыми роботами Google, вам, определённо, стоит использовать транспиляцию в ES5 и полифиллы.

Тут я стараюсь объяснить всё это так, чтобы было понятно не только JS-разработчикам, но и, например, SEO-специалистам, которые далеки от JavaScript. Однако, в детали мы не вдаёмся, поэтому, если вы чувствуете потребность лучше разобраться в том, что такое полифиллы — взгляните на этот материал.

Googlebot — это не настоящий браузер

Когда вы путешествуете по интернету, ваш браузер (Chrome, Firefox, Opera, или любой другой) загружает ресурсы (изображения, скрипты, стили) и показывает вам страницы, из всего этого собранные.

Однако, Googlebot работает не так, как обычный браузер. Его цель — проиндексировать всё, до чего он может дотянуться, загружая при этом только самое важное.

Всемирная паутина — это огромное информационное пространство, поэтому Google оптимизирует систему сканирования с учётом производительности. Именно поэтому Googlebot иногда не посещает все страницы, на посещение которых рассчитывает веб-разработчик.

Ещё важнее то, что алгоритмы Google пытаются выявить ресурсы, которые необходимы с точки зрения формирования страницы. Если какой-то ресурс выглядит, с этих позиций, не особенно важным, он попросту может быть не загружен роботом Googlebot.

Googlebot и WRS избирательно загружают материалы, выбирая только самые важные

В результате может оказаться так, что сканер не станет загружать некоторые из ваших JS-файлов, так как его алгоритмы решили, что, с точки зрения формирования страницы, они не важны. То же самое может произойти и из-за проблем с производительностью (то есть, в ситуации, когда выполнение скрипта занимает слишком много времени).

Хочу отметить, что Том Энтони заметил одну интересную особенность в поведении робота Googlebot. Когда используется JS-функция setTimeout , настоящий браузер получает указание подождать определённое время. Однако, Googlebot не ждёт, он выполняет всё немедленно. Этому не стоит удивляться, так как цель роботов Google заключается в том, чтобы проиндексировать весь интернет, поэтому их оптимизируют с учётом производительности.

Правило пяти секунд

Многие эксперименты в области SEO указывают на то, что, в целом, Google не может ждать окончания выполнения скрипта, который выполняется более 5 секунд. Мои эксперименты, похоже, это подтверждают.

Не принимайте этот как должное: добейтесь того, чтобы ваши JS-файлы загружались и завершали работу менее чем за 5 секунд.

Если ваш веб-сайт загружается по-настоящему медленно, вы можете многое потерять. А именно:

  • Посетителям сайта будет некомфортно с ним работать, они могут его покинуть.
  • У Google могут возникнуть проблемы с анализом страниц.
  • Это может замедлить процесс сканирования сайта. Если страницы медленны, Google может решить, что его роботы замедляют ваш сайт и снизить частоту сканирования. Подробнее об этом можно почитать здесь.

Постарайтесь сделать ваш сайт не слишком тяжёлым, обеспечьте высокую скорость реакции сервера, а так же убедитесь в том, что сервер нормально работает под высокой нагрузкой (используйте для этого, например, Load Impact). Не усложняйте жизнь роботам Google.

Обычная ошибка в плане производительности, которую совершают разработчики, заключается в том, что они помещают код всех компонентов страницы в единственный файл. Но если пользователь переходит на домашнюю страницу проекта, ему совершенно не нужно загружать то, что относится к разделу, предназначенному для администратора сайта. То же самое справедливо и в применении к поисковым роботам.

Для решения проблем с производительностью рекомендуется найти соответствующее руководство по применяемому JS-фреймворку. Его стоит изучить и выяснить, что можно сделать для ускорения сайта. Кроме того, советую почитать этот материал.

Как взглянуть на интернет глазами Google?

Если вы хотите взглянуть на интернет, и, особенно, на свой веб-сайт, глазами роботов Google, вы можете воспользоваться одним из двух подходов:

  1. Используйте инструменты Fetch (сканирование) и Render (отображение) из Google Search Console (очевидно!). Но не полагайтесь на них на 100%. Настоящий Googlebot может иметь таймауты, отличающиеся от тех, которые предусмотрены в Fetch и Render.
  2. Используйте Chrome 41. Как уже было сказано, достоверно известно, что Google использует для рендеринга загружаемых роботами страниц Chrome 41. Загрузить этот браузер можно, например, здесь. Использование Chrome 41 имеет множество преимуществ перед применением загрузки страниц с использованием Google Search Console:

  • Благодаря использованию Chrome 41 вы можете видеть журнал ошибок, выводимый в консоль браузера. Если вы столкнётесь с ошибками в этом браузере, вы можете быть практически полностью уверены в том, что и Googlebot столкнётся с теми же ошибками.
  • Инструменты Fetch и Render не покажут вам результаты отрисовки DOM, а браузер покажет. Используя Chrome 41 вы можете проверить, увидит ли Googlebot ваши ссылки, содержимое панелей, и так далее.

Вот ещё один вариант: инструмент Rich Results Test (проверка расширенных результатов). Я не шучу — это средство может показать вам, как Google интерпретирует вашу страницу, демонстрируя результаты визуализации DOM, а это очень полезно. Google планирует добавить результаты рендеринга DOM в инструменты Fetch и Render. Так как до сих пор это не сделано, Джон Мюллер советует применять для этого Rich Results. Сейчас не вполне понятно, следует ли Rich Results тем же правилам рендеринга, что и система индексирования Google. Пожалуй, для того, чтобы это выяснить, стоит провести дополнительные эксперименты.

Инструмент Rich Results Test

Инструменты Fetch и Render и проверка тайм-аутов системы индексирования

Инструменты Fetch и Render могут лишь сообщить вам о том, имеет ли Google техническую возможность сформировать анализируемую страницу. Однако не полагайтесь на них, когда речь заходит о тайм-аутах. Я часто сталкивался с ситуацией, когда Fetch и Render были способны вывести страницу, но система индексирования Google не могла проиндексировать эту страницу из-за используемых этой системой тайм-аутов. Вот доказательства этого утверждения.

Я провёл простой эксперимент. Первый JS-файл, включённый в анализируемую страницу, загружался с задержкой в 120 секунд. При этом технической возможности избежать этой задержки не было. Nginx-сервер был настроен на двухминутное ожидание перед выдачей этого файла.

Проект, используемый для эксперимента

Страница экспериментального проекта

Оказалось, что инструменты Fetch и Render ждали загрузки скрипта 120 секунд (!), после чего страница выводилась правильно.

Анализ страницы средствами Fetch и Render

Однако система индексирования оказалась не такой терпеливой.

Результаты индексирования экспериментального сайта

Здесь видно, что система индексирования Google просто не стала дожидаться загрузки первого скрипта и проанализировала страницу без учёта результатов работы этого скрипта.

Как видите, Google Search Console — это отличный инструмент. Однако пользоваться им следует только для проверки технической возможности анализа страницы роботами Google. Не используйте это средство для того, чтобы проверить, дождётся ли система индексирования загрузки ваших скриптов.

Анализ кэша Google и сайты, интенсивно использующие JavaScript

Многие специалисты в области SEO применяли кэш Google для поиска проблем с анализом страниц. Однако эта методика не подходит для сайтов, интенсивно использующих JS, так как сам по себе кэш Google представляет собой исходный HTML, который Googlebot загружает с сервера (обратите внимание — это многократно подтверждено Джоном Мюллером из Google).

Материал из кэша Google

Просматривая содержимое кэша, вы видите, как ваш браузер интерпретирует HTML, собранный средствами Googlebot. Это не имеет никакого отношения к формированию страницы для целей индексирования. Если вы хотите узнать подробности о кэше Google — взгляните на этот материал.

Использование команды site вместо анализа кэша Google

В настоящий момент один из лучших способов проверки того, были ли какие-то данные проиндексированы Google, заключается в использовании команды site .

Для того чтобы это сделать, просто скопируйте какой-нибудь фрагмент текста с вашей страницы и введите в поисковике Google команду следующего вида:

Если вы, в ответ на такую команду, увидите в поисковой выдаче искомый фрагмент, это значит, что данные были проиндексированы.

Тут хотелось бы отметить, что подобные поисковые запросы рекомендуется выполнять в анонимном режиме. Несколько раз у меня были случаи, когда редакторы сайта меняли тексты, и по какой-то причине команда site сообщала о том, что проиндексированы были старые тексты. После переключения в анонимный режим браузера эта команда стала выдавать правильный результат.

Просмотр HTML-кода страницы и аудит сайтов, основанных на JS

HTML-файл представляет собой исходную информацию, которая используется браузером для формирования страницы. Я предполагаю, что вам известно, что такое HTML-документ. Он содержит сведения о разметке страницы — например, о разбиении текста на абзацы, об изображениях, ссылках, он включает в себя команды для загрузки JS и CSS-файлов.

Топ-пост этого месяца:  Как снизить требование сложности пароля woocommerce при регистрации

Посмотреть HTML-код страницы в браузере Google Chrome можно, вызвав щелчком правой кнопки мыши контекстное меню и выбрав команду View page source (просмотр кода страницы).

Однако, воспользовавшись этим режимом просмотра кода страницы, вы не увидите динамического содержимого (то есть тех изменений, которые внесены в страницу средствами JavaScript).

Вместо этого следует анализировать DOM. Сделать это можно с помощью команды того же меню Inspect Element (просмотреть код).

Различия между исходным HTML-кодом, полученным с сервера, и DOM

Исходный HTML-код, полученный с сервера (то, что выводится по команде View page source) — это нечто вроде кулинарного рецепта. Он предоставляет информацию о том, какие ингредиенты входят в состав некоего блюда, содержит инструкции по приготовлению. Но рецепт — это не готовое блюдо.

DOM (команда Inspect Element) — это блюдо, приготовленное по «HTML-рецепту». В самом начале браузер загружает «рецепт», потом занимается приготовлением блюда, и уже в итоге, после того, как страница полностью загружена, перед нами появляется нечто «съедобное».

HTML, загруженный с сервера, и DOM

Обратите внимание на то, что если Google не удаётся сформировать страницу на основе загруженного HTML-кода, он может просто проиндексировать этот исходный HTML-код (который не содержит динамически обновляемого содержимого). Подробности об этом можно найти в данном материале Барри Адамса. Барри, кроме того, даёт советы, касающиеся того, как быстро сравнить исходный HTML и DOM.

Итоги

В этом материале мы поговорили о том, как Google обрабатывает сайты, которые созданы с применением JavaScript-технологий. В частности, огромное значение имеет то, что для анализа страниц в Google используется Chrome 41. Это накладывает определённые ограничения на применение JavaScript.

Во второй части перевода этого материала речь пойдёт о том, на что стоит обратить внимание для того, чтобы JS-сайты нормально индексировались поисковыми системами. Там же будут подняты ещё некоторые темы, касающиеся SEO и JavaScript.

Уважаемые читатели! Как вы анализируете свои сайты, проверяя, индексирует ли их Google так, как вы этого ожидаете?

Google подробнее рассказал о работе нового Googlebot

Сотрудники Google Мартин Сплитт (Martin Splitt) и Гэри Илш (Gary Illyes) поделились подробностями о новом Googlebot, который будет всегда работать на основе последней версии Chromium – движка, на основе которого работает Google Chrome, Opera, Яндекс и другие браузеры.

Старый агент пользователя с новыми возможностями

Запуск нового Googlebot начался еще в ноябре, но пользователи ничего не заметили из-за того, что он существовал под старым агентом пользователя. Несмотря на свое название (Chrome 41), агент пользователя, использующий новый Googlebot, работает на базе Chrome 74. В компании решили не вносить за раз слишком много изменений, которые могут повлиять на SEO. Название агента пользователя изменится в ближайшем будущем, а пока останется прежним.

Right, unfortunately the UA is wrong 😉 We wanted to do things step by step and we didn’t want to change the UA as people might have hardcoded it somewhere — with enough heads-up, we’ll change that!

Две «волны» сканирования

Google по-прежнему сканирует некоторые JavaScript страницы в два захода. Поэтому, несмотря на улучшенный Googlebot, некоторые страницы будут и дальше индексироваться с задержкой.

There is still a delay. but more than 1000 new features are supported now!

Google продолжает работать над индексацией «в один заход».

Объем сканирования не изменится

Объем сканирования при одинаковом краулинговом бюджете не будет увеличиваться, несмотря на более сложные операции, выполняемые Googlebot.

Много новых функций

В обновленном Googlebot появилось более 1000 новых функций. Например, новая версия поддерживает ES6, Intersection Observer, CSS Font Loading API и другие компоненты:

Googlebot пока доступен не для всех инструментов

Googlebot используется во многих инструментах Google. Однако, как сообщает сотрудник Google Гэри Илш, обновление пока коснулось только поиска: Mobile Friendly Test и другие сервисы перейдут на новую версию в ближайшем будущем.

Новый агент пользователя

Западные специалисты заметили новый агент пользователя Android 9.0.0 Pixel 3 XL, 01-may-2020.

@JohnMu @g33konaut Could these hits be due to the new search engine?

Googlebot hits using User Agent String Android 9.0.0 Pixel 3 XL, 01-may-2020 pic.twitter.com/t5yZDQTqs3

В Google говорят, что агент пользователя «похож на официальный», но большей информации пока дать не могут.

Напомним, на прошлой неделе в рамках конференции для разработчиков I/O 2020 Google анонсировал крупное обновление поиска.

Как влюбить в себя Google или памятка блогеру по оптимизации сайта под поисковую систему

Привет, друзья! Наблюдая за статистикой моего блога, я уже давно заметила, что в Яндексе его позиции в разы выше, чем в поисковой системе Google. Если статьи, по которым трафик идет на сайт, в Яндексе находятся в ТОП-10, то в Google они уходят далеко за 100…

Чтобы как-то повлиять на ситуацию, я решила изучить рекомендации Гугл по оптимизации сайтов. А вообще это нужно делать с момента запуска веб-площадки. Если вы не в курсе, то у поисковых систем есть официальное руководство по оптимизации ресурсов. И в большинстве случаев не нужно «городить огород»: необходимо лишь изучить официальные документы.

Если вас интересует оптимизация сайта гугл, то вы открыли нужную статью. Есть еще один важный момент, который нужно уяснить всем блогерам. Зачастую мы воспринимаем требования поисковых систем к сайтам с точки зрения «строго родителя», который запрещает разные вещи и всячески ограничивает свободу блогеров.

Но строгий родитель в большинстве своем действует из благих побуждений к своему ребенку. Так и требования поисковых систем – это лишь возможность помочь блогерам более качественно вести свои ресурсы, чтобы удовлетворять запросы, как пользователей, так и поисковых роботов.

Внешняя оптимизация сайта под поисковую систему гугл начинается с соблюдения технических требований.

Основные технические моменты настройки сайтов

Google выделяет 4 пункта, соблюдение которых положительно скажется на продвижении вашего сайта в поисковике.

Вообще, это обязательное условие, и его необходимо соблюдать каждому блогеру. Суть в том, что после создания сайта необходимо подтвердить на него права через поисковик. Это касается не только Google: новая площадка должна быть добавлена во все поисковые системы, в том числе Яндекс и mail.ru. Как это сделать – на моем блоге уже выходила подробная статья с пошаговой инструкцией.

  1. Настройка файла robots.txt

Оптимизация сайта невозможна без правильной настройки файла robots.txt. Этот файл необходим, чтобы указать роботам, какую информацию можно индексировать на вашем сайте, а какую – нет.

Необходимо открыть доступ роботу Googlebot к JavaScript, CSS, графическим файлам.

Учитывайте, что запрещённые к индексации страницы через robots.txt, могут отображаться в поисковой выдаче. В этом случае, чтобы полностью заблокировать URL, используйте атрибут noindex.

По-другому разметку страниц на сайте, особенно это актуально для блогов на движке wordpress, называют версткой.

Сразу хочу отметить, что бесплатные шаблоны для блогов на вордпресс не содержат микроразметку страниц. Чтобы сделать верстку, необходимо пригласить вебмастера.

В качестве альтернативы могу порекомендовать платные шаблоны магазина wpshop.ru со встроенной микроразметкой страниц по умолчанию.

  1. Установка защищенного протокола на сайт https

Это обязательное условие было введено Google в конце 2020 года. HTTPS – это защищенный протокол, который призван кодировать личные данные пользователей сайтов.

Существуют как платные, так и бесплатные виды SSL-сертификатов. Для простых блогов достаточно установить защищенный протокол типа letsencrypt. Уверена, что ваш хостинг предоставляет функцию установки бесплатного SSL-сертификата. Выпуск платных сертификатов можно заказать отдельно или купить также через хостинг.

Требования гугл к оформлению сайта и статей

И если с решением технических вопросов на сайте вам может помочь вебмастер, то с оформлением площадки и статей вы справитесь самостоятельно. Это не менее важная часть оптимизации ресурса для поисковой системы Google.

Правильный title

Чтобы не было путаницы, для новичков уточню, что title – это не заголовок в тексте. Заголовки, которые вы встречаете в тексте статьи, имеют тег Н.

К созданию SEO-заголовков существует несколько рекомендаций:

  • Title должен быть релевантен тематике статьи и отражать содержание страницы;
  • Делайте тайтл кратким, но в тоже время осмысленным;
  • Добавьте в SEO-заголовок ключевую фразу;
  • Каждая страница на сайте должна иметь уникальный title без дублей.
  • Прописывать тайтл, который противоречит содержанию статьи;
  • Использовать шаблоны (заголовок 1, страница 1 и т.д.);
  • Делать дубли;
  • Длинные тайтл;
  • Добавлять ненужные ключевые фразы.

Длину SEO-заголовка можно проконтролировать через плагин Yoast SEO.

Содержательный description

Внутренняя оптимизация сайта невозможно без правильного description. После title – это второй обязательный элемент, который должен быть заполнен на каждой странице вашей веб-площадки.

Согласно требованиям гугл description может состоять из нескольких предложений или даже из одного абзаца. Ограничений на размеры текста в этом блоке нет!

В данном случае я бы не рекомендовала ориентироваться на показатель плагина Yoast SEO, который ограничивает количество символов в мета-описании.

Правильный description должен отражать содержание страницы, быть информативным и интересным.

Не рекомендуется в мета-описание копировать часть статьи или добавлять только ключевые слова. Постарайтесь составить такой дискрипшн к статье, который заинтересует пользователей и обратит на себя внимание поисковиков. Но не всегда мета-описание отображается в выдаче. Поисковый алгоритм сам определяет наиболее релевантный текст для главной страницы поиска.

Оформление заголовков

Теги Н1, Н2, Н3, Н4 и т.д. как раз отвечают за вывод заголовков в статье.

Согласно требованиям поисковой системы гугл заголовки необходимы для структурирования контента.

Не рекомендуется выделять заголовками слова, которые не определяют структуру текста. Не используйте заголовки без необходимости. В этом случае ключевую мысль или фразу лучше выделить тегами strong или em.

На сегодняшний день в интернете есть мнение, что выделять в тексте статьи слова жирным или курсивом нельзя. Это считается переоптимизацией. Но как пишет сам Google, для структурирования контента такое форматирование использовать можно. Единственное, что не нужно впадать в крайности!

Заголовки в статье не должны быть слишком длинными, и не нужно ими злоупотреблять.

Выстраивание иерархии

Самый простой вариант иерархии на блоге выглядит следующим образом: главная страница – рубрика – статья.

Для интернет-магазинов иерархия имеет более сложный вид, но присутствовать она должна на каждой веб-площадке. Это позволяет лучше ориентироваться на сайте как пользователям, так и поисковым роботам.

Иерархию на блогах можно реализовать через настройку «хлебных крошек» плагина Yoast SEO.

К иерархии также относится перелинковка – связывание страниц через внутренние ссылки. Google считает, что это позволяет упростить поиск информации читателям на сайте.

Не рекомендуется использовать на веб-площадках слишком сложную структуру иерархии. Графика и анимация не должны присутствовать в приоритете на сайте в качестве внутренних ссылок.

Навигация

Оптимизация сайта своими руками предполагает наличие навигации. Навигация необходима для поисковых роботов. Для блогов на движке wordpress это реализуется за счет установки специальных плагинов, которые позволяют включить файлы Sitemap XML.

Опять же вспоминаем про плагин Yoast SEO с наличием такой возможности.

Оформление страницы 404

Также поисковая система гугл предъявляет определенные требования к странице 404. 404 отвечает за ненайденную страницу на сайте. Например, владелец блога посчитал правильным удалить определенную страницу со своего ресурса. И пока эта страница присутствует в индексе поисковых систем, посетители, которые будут на нее попадать, увидят ошибку 404.

Google считает, что эта страница должна содержать ссылки на другие элементы веб-площадки: на главную страницу, на популярные разделы, на схожую по тематике удаленной статьи категорию и т.д. Такое оформление должно быть сделано для удобства пользователей.

Требования к URL страницы

По-другому URL страницы называют ее адресом. На вордпресс создание ярлыка реализуется за счет плагинов. Самые популярные из них – rus-to-lat и cyr-to-lat. Это бесплатные плагины.

Также эта функция есть в современном платном плагине, который, я считаю, должен быть установлен на каждом блоге – Clearfy Pro .

Итак, какие требования гугл предъявляет к URLстранице. Нельзя делать ярлык длинным и не понятным. Избегайте добавлять в него шаблоны и большое количество ключевых слов.

URL должен быть простым и уникальным для каждой страницы сайта.

Оптимизация контента

К внутренней оптимизации сайта, конечно же, относится работа над контентом.

Как раз это та сфера, где мы можем вносить изменения своими руками без сторонних исполнителей.

Основное требование, которое должны соблюдать владельцы сайтов – это создание интересного, качественного и полезного контента. А чтобы генерировать такой контент, необходимо учитывать требования читателей. Для этого Гугл рекомендует пользоваться его сервисом «Планировщик ключевых слов».

Готовые тексты должны быть написаны без ошибок, в том числе орфографических, пунктуационных и стилистических.

Для проверки текстов я рекомендую следующие сервисы:

  • orfogrammka.ru
  • advego.com/text/seo/
  • turgenev.ashmanov.com.

Пусть это будут легко читаемые тексты без запутанных формулировок. Не используйте изображения вместо текста, т.к. поисковые роботы не умеют распознавать текст на картинках.

Еще одно важное правило для эффективной оптимизации сайта – это постоянное обновление контента. В идеале статья на информационном блоге должна выходить 1 раз в день.

Но даже если вы публикуете 1 пост в неделю, делайте это по расписанию. Чтобы приучить поисковых роботов моментально индексировать новый материал.

Оптимизация текстов для пользователей

Полезные и легко читаемые тексты уже будут привлекать внимание пользователей ресурса. Работайте над оригинальным контентом. Важно привнести в тексты свой опыт, практику и свою точку зрения. Нет смысла заниматься рерайтом чужих статей, т.к. такой контент негативно сказывается на раскрутке сайтов.

Переоптимизация ключевыми словами запрещена. Особенно негативно гугл реагирует на сайты, где текст умышленно скрыт от пользователей, но доступен поисковым роботам.

Важность добавления ссылок

Вот это особенно важный пункт, которому вы должны уделить внимание. Потому что, я пришла к выводу, что одна из причин плохой индексации моего блога в поисковой системе Google, это отсутствие на него внешних ссылок.

Ссылки на сайте бывают внутренние и внешние.

О перелинковке речь в этой статье уже шла. Как раз за это отвечают внутренние ссылки.

Согласно трактовке Google, для правильной оптимизации статей текст ссылки должен содержать описание страницы, на которую она ведет. Нельзя использовать ссылки следующего содержание: читайте здесь, посмотрите тут, кликните сюда, и т.д. Тем более не используйте слова, не имеющие отношение к контенту, на который ведет ссылка.

Нельзя в качестве ссылок использовать предложения, а уж тем более абзацы. Ссылка должна быть короткой, состоящей из нескольких слов или небольшой фразы.

И ни в коем случае внутренние ссылки не закрывайте от индексирования!

Все требования к внешним ссылкам аналогичны требованиям к внутренним.

Вот тут у меня случился «разрыв шаблона». Ведь опытные линкбилдеры рекомендуют наращивать внешние ссылки в соотношении 80% безанкорные и 20% анкорные. Откуда взялась данная формула – не понятно. С точки зрения Google безанкорные ссылки негативно влияют на продвижение сайта.

Как закрыть ссылки от индексирования

Внешние ссылки на сайт – это положительный фактор оптимизации любого ресурса. Но внешние ссылки с ресурса также не менее важны. Когда я проходила обучение по SEO-продвижению, для меня было удивительно, что внешние ссылки с сайта на трастовые ресурсы также благоприятно сказываются на его продвижении. Единственное условие: площадки, на которые вы ссылаетесь, должны быть качественными!

В остальных случаях большое количество внешних ссылок с сайта будет ему вредить, т.к. это растрачивает его вес.

Когда без внешних ссылок не обойтись, их можно закрывать от индексирования. Самый известный способ, который на данный момент потерял свою актуальность – через атрибут nofollow.

Также внешние ссылки легко закрываются через бесплатный плагин Hide Links или скрипт urlspan.

Как правильно оптимизировать изображения

Поисковые роботы еще не научились распознавать текст на картинках. За расшифровку того, что присутствует на изображении, отвечает атрибут Alt.

Это обязательный элемент, который должен быть заполнен к каждой картинке статьи. Если посетитель просматривает сайт в режиме отключения картинок, через Alt он поймет, какое изображение здесь находится.

Данный атрибут должен быть кратким, но содержательным. Нельзя использовать шаблоны типа image1, 2, 3 и т.д.

Если картинка в статье используется, как ссылка, в этом случае необходимо продумать более тщательно текст атрибута.

Нельзя использовать много изображений со ссылками.

Адаптивность сайта под мобильные устройства

Мне кажется, это одно из главных условий успешного продвижения любого веб-ресурса. С каждым годом количество мобильного трафика только растет, и не иметь адаптивный шаблон сайта – это отказаться как минимум от 50% возможного дохода.

Оптимизация сайта под мобильные устройства может быть реализована в 2-х вариантах. Первый вариант – адаптивный шаблон. Второй вариант – мобильная версия сайтов. Насколько я знаю, первый вариант используется намного чаще. И современные площадки верстают сразу с адаптивным дизайном. Следует рассматривать это, как важный способ оптимизации сайта под поисковые системы, в том числе Google.

Внешнее продвижение

Также в руководстве по поисковой оптимизации гугл прописаны способы внешнего продвижения сайтов.

Одно из обязательных условий – это работа блога в связке с социальными сетями. Благодаря такому «сотрудничеству», можно сформировать заинтересованное сообщество, которое будет способствовать продвижению веб-ресурса.

Общение с владельцами блогов по схожей тематике не только натолкнет вас на новые идеи, но и положительно повлияет на раскрутку сайта.

Ну и без формирования внешних ссылок у вашего сайта мало шансов выйти в ТОП. При этом, как утверждает Google, покупка ссылок строго запрещена, их наращивание должно идти естественным путем.

Для меня этот вопрос оказался очень сложным! Я знаю, что на моих статьях хорошее удержание, иногда до 50 минут. Но сохранять статьи в социальных сетях или в закладках никто не хочет. А уж тем более по собственному желанию оставлять ссылку на мой блог или материал принципиально никто не будет этого делать, т.к все владельцы сайтов не хотят растрачивать вес собственных площадок!

На каждую страницу сайта должна быть сделана хотя бы одна текстовая ссылка. Это реализуется за счет внутренней перелинковки. Поэтому при публикации новой статьи не забывайте добавлять ссылки на старые материалы. А после публикации новой статьи поставьте на нее ссылки с ранее опубликованных страниц.

Аналитика через сервис Google Search Console

О том, насколько правильно и эффективно оптимизирован ресурс под поисковую систему гугл, расскажет сервис Google Search Console.

Буквально пару недель назад обновился его функционал, и приходится вновь изучать эту систему.

Пару раз в неделю я открываю Сёч консоль для добавления новой статьи в индексацию. Сейчас это реализовано через раздел Проверка URL.

Здесь вы найдете следующую информацию:

  • отчет об эффективности работы вашего сайта (график отражает его динамику);
  • Страницы с ошибками;
  • Запросы, которые находятся в ТОП поисковой выдачи гугл и приводят больше всего трафика на сайт;
  • Файл Sitemap;
  • Ошибки адаптивности под мобильные устройства;
  • Внешние и внутренние ссылки веб-площадки, и т.д.

Google Search Console – это полноценный инструмент для анализа любой веб-площадки. Вот почему так важно при создании сайта подтвердить права в гугл на собственный ресурс. В противном случае вы не сможете отслеживать изменения показателей сайта через этот инструмент.

В поисковой системе Яндекс за аналитику отвечает ЯндексВебмастер.

Вывод

Оптимизация сайта под поисковые системы подразумевает ряд мер, которые должны быть применены к вашему ресурсу. Но не стоит требования ПС расценивать как ограничение свободы блогеров. Все рекомендации поисковиков направлены на создание качественного ресурса, который способен приносить пользу читателям.

Поэтому основная задача каждого блогера – это качественный контент, и наращивание внешних ссылок.

Автор статьи Ольга Абрамова, блог Денежные ручейки

Добавить комментарий