Google раскрыл характеристики нового Googlebot


Содержание материала:

Google обновил поисковый краулер. Что изменилось? Как это повлияет на ранжирование?

Google впервые за продолжительное время внес значимые изменения в поисковый краулер.

Что изменилось? Как изменения повлияют на ранжирование сайтов в поисковой выдаче?

Разберемся со всеми вопросами далее.

Что произошло?

Google обновил версию поискового краулера Googlebot.

Работа над улучшением Googlebot велась более года.

По сути обновился движок рендеринга, который использует краулер Googlebot.

Теперь для краулинга используется последняя версия движка рендеринга — Chromium 74.

Ранее краулер использовал аж 41-ую версию.

В дальнейшем версия краулера будет регулярно обновляться в соответствии с обновлениями Chromium.

Такой подход призваны обеспечить поддержку всех новых возможностей, которые появляются в обновленных версиях Chromium.

Например, в Chromium 75 появится новая функциональность, которая позволит использовать на сайте ленивую загрузку изображений и iframe через применение атрибута loading.

Обновленный краулер Google отличается от предыдущего тем, что поддерживает более 1 000 новшеств.

Иными словами, теперь для поисковых алгоритмов множество страниц будет выглядеть несколько иначе, нежели ранее.

Такие изменения влияют на ранжирование сайтов.

Наиболее значимыми являются изменения, касающееся поддержки выполнения JavaScript. Такие изменения введены, так как на большинстве сайтов скрипты используются все больше.

Данные по использованию JavaScript на сайтах:

Что в результате?

Итак, новая версия Googlebot поддерживает более 1 000 новшеств.

Рассмотрим наиболее значимые изменения.

1 — Поддержка веб-компонентов

В обновленной версии Googlebot появилась поддержка веб-компонентов.

Ранее использование веб-компонентов на сайте было недопустимым с точки зрения поисковой оптимизации. Теперь Googlebot умеет обрабатывать такие модули.

На практике веб-компоненты используются для создания элементов интерфейса, которые на сайте переиспользуются множество раз.

Такими элементами могут быть шаблоны для навигации, формы для ввода и галереи. Во всех таких элементах используется JavaScript API.

2 — Поддержка IntersectionObserver for lazy-loading

В обновленной версии Googlebot появилась поддержка IntersectionObserver for lazy-loading.

На практике IntersectionObserver for lazy-loading используется для реализации ленивой загрузки изображений, что позволяет повысить скорость загрузки сайта.

Итак, теперь технология IntersectionObserver for lazy-loading поддерживается Googlebot, а значит поисковая система найдет на странице все оригинальные файлы изображений, которые подгружаются по требованию.

Рекомендованный материал в блоге MegaIndex по теме поисковой оптимизации изображений по ссылке далее — SEO оптимизация изображений — Как получать трафик за счет SEO оптимизации изображений.

3 — Поддержка ES6

В Googlebot появилась поддержка ECMAScript 6, а соответственно новой функциональности JavaScript.

Теперь есть возможность индексировать single page application, так называемые SPA сайты.

Рекомендованный материал в блоге MegaIndex по теме поисковой оптимизации сайтов и JavaScript по ссылке далее — JavaScript и SEO.

Что не изменилось?

Поисковая система Google по-прежнему обрабатывает страницы сайтов в две волны.

Значит сложность и объем JavaScirpt скриптов, используемых на странице, влияет на скорость индексации.

Рендеринг страниц на серверах Google напрямую зависит от JavaScript.

Весь процесс выглядит так:

Сравнительная таблица изменений в Googlebot

Далее сравнительная таблица изменений в краулере Google.

Вопросы и ответы

Что такое Googlebot?

Googlebot — это поисковый робот, который сканирует интернет, и включает страницы сайтов в индекс поисковой системы Google.

Что такое SPA?

SPA — это одностраничное приложение или сайт, использующий один единственный HTML-документ как оболочку для всех страниц сайта и организующий взаимодействие с пользователем через динамически подгружаемые HTML, CSS, JavaScript.

Подобная подгрузка происходит обычно посредством AJAX.

Учитывается ли обновление в сервисе тестирования Google Mobile Friendly Test?

Пока не все сервисы Google перешли на использование более совершенной версии Googlebot.

В перспективе Google станет учитывать изменения связанные с Googlebot во всех сервисах, и на всех своих сайтах.

На данном этапе процесс находится на стадии тестирования, перед внедрением.

Почему на мой сайт заходит Googlebot Chrome 41?

Название Googlebot в User Agent пока не изменилось. Поэтому название версии является не достоверным.

На самом деле используется обновленный Googlebot.

Значение в записи User Agent будет обновлено позже.

Изменится ли краулинговый бюджет?

В следствии обновления возросла нагрузка на сервис Google, который используется для рендеринга страниц, так как поддерживается больше новшеств.

Но краулинговый бюджет для сайтов изменяться не будет.

Значение crawl бюджета не зависит от сложности и объема JavaScript, который используется на странице сайта.

Есть ли разъяснения от Google?

Да. Есть презентация обновленной версии Googlebot с конференции Google IO.

Рекомендованный материал в блоге MegaIndex на тему изменения в поисковой выдаче Google по ссылке далее — Стало известно как изменится формат поисковой выдачи в Google в 2020 году.

Выводы

Google обновил поисковый краулер. В результате улучшается рендеринг страниц, на которых используется JavaScript. Но Googlebot может выполнять не все скрипты.

Для примера можно сравнить функциональные возможности версии движка Chrome 41 и Chrome 74 — Сравнение функциональных возможностей.

Выполнения JavaScript не следует путать с выполнением пользовательских действий. Google не стал выполнять такие сценарии как клики, скроллинг, и взаимодействие с формами.

Итак, новшества позволяют Google индексировать больше контента с страницы.

Значит по результатам переиндексации изменятся и позиции множества страниц.

  • После переиндексации, провести анализ страниц сайта в кеше Google;
  • Вместо сторонних решений для ленивой загрузки использовать решение, которые поддерживается поисковым краулером — IntersectionObserver for lazy-loading;
  • Если на сервере используется server-side rendering для того, чтобы поисковому краулеру передавать сгенерированные страницы, то использование такой функциональности можно пересмотреть. В результате сэкономить ресурсы на содержание проекта;
  • Если на сайте используется JavaScript, то поставить задачу на рефакторинг кода.

Весь процесс попадания страниц сайтов в поисковую выдачу состоит из множества этапов и выглядит так:

Исходя из последовательности шагов, оптимизация рендеринга страниц входит в комплекс мер по поисковой оптимизации сайта.

Если для продвижения сайта использовать частные сети сайтов, то проверять потенциальную эффективность доменных имен можно быстрее, если использовать 301 редирект.

Найти освободившиеся доменные имена можно посредством специальных бесплатных или платных сервисов. Например, можно использовать MegaIndex.

Сервис бесплатный.

Рекомендованный материал в блоге MegaIndex по ссылке далее — Что лучше: ссылка или 301 редирект?.

На практике разработка сайта с учетом требований поисковой оптимизации упрощается еще по той причине, что Microsoft заявили о переводе стандартного браузера Windows Edge на Chromium.

В результате большинство популярных интернет браузеров будут поддерживать тот же набор функциональных возможностей, что и Googlebot.

Chromium уже используется в таких браузерах как:

  • Google Chrome;
  • Opera;
  • Яндекс Браузер.

Итак, обновленный поисковой краулер Googlebot поддерживает ряд новых технологий. Наиболее значимые изменения в следующем:

Что дальше?

В сети появился анонс движка Chrome 76, в котором будет поддерживаться ленивая загрузка для iframe и изображений. Сейчас для решения задачи требуется применять IntersectionObserver for lazy-loading. С обновлением реализация ленивой загрузки изображений на практике упростится.

Что это значит?
Теперь при правильной разметке поисковые краулеры смогут индексировать изображения, подгружаемые по требованию.

Какая от этого польза для поискового оптимизатора?
Преимущества следующие:

  • Увеличение скорости загрузки страниц сайта. Влияет на конверсии. Влияет на ранжирование;
  • Быстрое и простое внедрение на сайте;
  • Экономия в плане нагрузки на сервер.

Если тема интересна, напишите в комментариях. Можно создать отдельный пост с примерами по реализации на практике.

Остались ли у вас вопросы, замечания или комментарии по теме обновления краулера Google?

Флорида 2 – крупное мартовское обновление поисковых алгоритмов Google: первые реакции вебмастеров на изменения

Реакция сеошников на крупное мартовское обновление поисковых алгоритмов Google (так же известное, как «Флорида 2») в основном положительная. Во многих профессиональных сообществах высказывается мысль, что это скорее откат предыдущих изменений, чем полноценное новое обновление. Некоторые вебмастеры отмечают усиление связи между ссылками и ранжированием.

В течение нескольких недель до этого отмечалась активная деятельность бота Гугла. Пока не совсем ясно, есть ли связь между агрессивностью паука, ссылками и апдейтом. Но было интересно наблюдать за этим в преддверии обновления.

На скриншоте выше показано, как GoogleBot пытался сканировать страницы администратора на WordPress-сайте.

Название апа: «March 2020 Core Update»

Было много споров по поводу официального названия обновления. Но в итоге Google поставил точку в этих спорах официальным заявлением:

We understand it can be useful to some for updates to have names. Our name for this update is «March 2020 Core Update.» We think this helps avoid confusion; it tells you the type of update it was and when it happened.

— Google SearchLiaison (@searchliaison) March 15, 2020

Примерный перевод:


Мы понимаем, что обновлениям полезно давать названия. Название этого апдейта: «Мартовское обновление ядра 2020». Это позволит избежать путаницы; указан тип обновления и время его запуска.

Бретт Табке о мартовском обновлении Google 2020

Бретт Табке является основателем форума об интернет-маркетинге WebmasterWorld и конференции Pubcon. Его считают одним из родоначальников современного SEO. Многое из того, что мы сейчас воспринимаем, как данное, возникло благодаря идеям Бретта, озвученным на WebmasterWorld. Например, аббревиатура SERP.

Именно Табке получил предварительное уведомление от Google об этом обновлении во время недавней конференции «Pubcon Florida». Вот что он думает об этом обновлении:

Ну, как написано на форуме Гугла, пока что слишком рано говорить об этом.

Изначально в Google заявляли, что это будет одно из самых больших обновлений, которое мы видели за «очень долгое время» (их слова). Пока что это не так.

На самом деле, я думаю, мы можем наблюдать откат нескольких последних обновлений.

Инсайт Табке об обновлении, которое выглядит как откат, является хорошо сформулированным наблюдением. Распространённой темой сейчас в среде вебмастеров является то, как их сайты восстанавливаются после предыдущих апов алгоритмов.

Топ-пост этого месяца:  Как улучшить качество фото за 5 минут — ретушь, редактирование и прочая обработка фотографий онлайн

Мнение SEMrush по поводу мартовского обновления 2020

Вот что SEMrush рассказали на счёт Флориды 2:

Прямо сейчас я могу вам озвучить базовые вещи, которые мы наблюдаем по поводу Флориды 2:

1. Общий уровень изменений ненамного выше, чем при обычных апах Гугла, которые не получают отдельного названия.

2. Паттерны практически одинаковы для десктопов и мобильных устройств.

3. Затронуты все страны, которые мы отслеживаем, но Германия и особенно Франция с Италией, похоже, отстают на один день.

4. На данный момент наиболее затронутыми категориями являются автомобили, здоровье и домашние животные.

Обсуждение мартовского апа на форуме WebmasterWorld

В обсуждении на WebmasterWorld вебмастеры больше говорят о плюсах, нежели о минусах обновления. Сам Табке вот что написал:

Трафик на нескольких сайтах, затронутых Пингвином, значительно восстановился. Я считал их мёртвыми. А тут, сегодня утром, впервые за год, заметил с них партнёрские отчисления. Трафик вырос с 400 уников в сутки до 2,500.

Другой пользователь форума тут же написал, что наблюдает аналогичную историю:

Да, сайт под Пингвином, на который я забил много лет назад, вырос с 35 уникальных посетителей в стуки до 380.

Затем, в ходе обсуждения, другой участник заявил:

Определенно есть связь между анкорными ссылками и нынешним апом. У меня есть огромное количество обратных ссылок с точным вхождением, благодаря тому, что в 2002 году на моём сайте было поле для копирования и вставки, которое раньше содержало ссылку с точным вхождением. Все мои хорошо зарекомендовавшие себя страницы, на которые есть ссылки с точным соответствием, летят в пропасть, а новые страницы, которые я выложил несколько месяцев назад и на которые почти нет ссылок, работают нормально и даже набирают обороты.

Реакция «чёрных» сеошников

Участники закрытой группы в Фейсбуке по чёрному SEO отмечают, что сайты, использующие автоматическое создание ссылок, имеют тенденцию к спаду. Также сообщается, что падают сайты с «интенсивной анкорной оптимизацией».

Анкорный текст – это слова, используемые для ссылок на другие сайты. Типичным анкорным текстом является «тут», «здесь» и т.п. Оптимизация анкорного текста – это создание ссылок с конкретными словами в качестве анкора с целью воздействия на поисковые системы.

Тут нужно сделать оговорку. Корреляция между оптимизацией текста анкоров и изменениями в выдаче ненадёжна. Хотя может показаться, что причиной была анкорная оптимизация текста, скорее всего, это проблема качества сайта, на котором была получена ссылка. Низкое качество ссылочного имеет отсроченную реакцию. Обычно бывает так, что ссылки проставляются, работают какое-то время, а затем Google их обесценивает.

Переоптимизация приводит к тому, что в Google Search Console появляется соответствующее предупреждение. В остальных случаях всё упирается просто в обесценивание ссылок.

На форумах, где обсуждают чёрное SEO, всё же больше позитивных комментариев, касательно мартовского апа.

Заключение

Как заметил Табке, пока рано делать выводы. Но следить за реакцией общественности на обновления Гугла довольно полезно.

До этого Google всегда раскрывал подробности, касающиеся апов алгоритмов. Если обновление, ранее известное как Флорида 2, действительно является серьёзным, ждём от «корпорации добра» объяснений и деталей.

Статья написана по материалам с сайтов: www.searchenginejournal.com, www.webmasterworld.com, twitter.com.

ПОНРАВИЛАСЬ СТАТЬЯ? ПОДЕЛИСЬ С ДРУЗЬЯМИ!

SEO-фрагменты Google (SEO Snippets): игнорирует ли Googlebot правило crawl-delay?

28.12.2020 Время прочтения: 1 минута

С 21 декабря 2020 г. Google публикует SEO-фрагменты (SEO Snippets) – короткие обучающие видео, полезные в первую очередь для тех, кто работает в SEO. Ниже перевод очередного SEO-фрагмента.

Сегодняшний вопрос поступил от Амида из Индии. Он спрашивает: «Игнорирует ли Googlebot правило crawl-delay?».

Директива crawl-delay для файла robots.txt для всех поисковых систем была введена очень давно. Идея была в том, чтобы вебмастер мог указать, сколько секунд будет ждать робот-обходчик между запросами, чтобы ограничить нагрузку на веб-сервер.

Это была неплохая идея, однако оказалось, что серверы действительно достаточно динамичны, и придерживаться одинакового периода между запросами просто не имеет смысла.

Возможность задавать количество секунд между запросами сегодня, когда подавляющее большинство серверов способны пропускать так много трафика в секунду, бесполезна. Вместо использования crawl-delay директивы мы решили автоматически регулировать обход страниц, основываясь на реакции вашего сервера. Итак, если мы заметим ошибку сервера, или что реакция сервера замедлилась – мы приостановим обход.

Google подробнее рассказал о работе нового Googlebot

Сотрудники Google Мартин Сплитт (Martin Splitt) и Гэри Илш (Gary Illyes) поделились подробностями о новом Googlebot, который будет всегда работать на основе последней версии Chromium – движка, на основе которого работает Google Chrome, Opera, Яндекс и другие браузеры.

Старый агент пользователя с новыми возможностями

Несмотря на свое название (Chrome 41), агент пользователя, использующий новый Googlebot, работает на базе Chrome 74. В компании решили не вносить за раз слишком много изменений, которые могут повлиять на SEO. Название агента пользователя изменится в ближайшем будущем, а пока останется прежним.

Right, unfortunately the UA is wrong �� We wanted to do things step by step and we didn’t want to change the UA as people might have hardcoded it somewhere — with enough heads-up, we’ll change that!

— Martin Splitt @ (@g33konaut) 8 мая 2020 г.

Две «волны» сканирования

Google по-прежнему сканирует некоторые JavaScript страницы в два захода. Поэтому, несмотря на улучшенный Googlebot, некоторые страницы будут и дальше индексироваться с задержкой.

There is still a delay…but more than 1000 new features are supported now!

— Martin Splitt @ (@g33konaut) 7 мая 2020 г.

Google продолжает работать над индексацией «в один заход».

Объем сканирования не изменится

Объем сканирования при одинаковом краулинговым бюджете не будет увеличиваться, несмотря на более сложные операции, выполняемые Googlebot.

— Martin Splitt @ (@g33konaut) 8 мая 2020 г.

Много новых функций

В обновленном Googlebot появилось более 1000 новых функций. Например, новая версия поддерживает ES6, Intersection Observer, CSS Font Loading API и другие компоненты:

Googlebot пока доступен не для всех инструментов

Googlebot используется во многих инструментах Google. Однако, как сообщает сотрудник Google Гэри Илш, обновление пока коснулось только поиска: Mobile Friendly Test и другие сервисы перейдут на новую версию в ближайшем будущем.

Новый агент пользователя

Западные специалисты заметили новый агент пользователя Android 9.0.0 Pixel 3 XL, 01-may-2020.

@JohnMu @g33konaut Could these hits be due to the new search engine?

Googlebot hits using User Agent String Android 9.0.0 Pixel 3 XL, 01-may-2020 pic.twitter.com/t5yZDQTqs3

— Lino Uruñuela (@Errioxa) 8 мая 2020 г.

В Google говорят, что агент пользователя «похож на официальный», но большей информации пока дать не могут.

Напомним, на прошлой неделе в рамках конференции для разработчиков I/O 2020 Google анонсировал крупное обновление поиска.

В Google рассказали о новых способностях GoogleBot сканировать страницы с редиректами

Поисковый бот GoogleBot способен вытекать по цепочке редиректов до пяти страничек . Информацией поделился Джон Мюллер (John Mueller), голова команды поддержки вебмастерам, во время пятничной видеоконференции. Весть сообщает издание Search Engine Roundtable.

По словам Джона Мюллера, GoogleBot одновременно обрабатывает 5 страничек и, как правило , эту отметку не превосходит , прекращая свой путь по цепочке страничек с настроенным редиректом. Мюллер также отметил , что данный процесс по времени равен сканированию одной странички без редиректов. В случае же , если редиректов гораздо более , то и время индексации странички методами Google возрастает .

Подчеркнем , что при индексации интернет-сайта важно , чтобы поисковик мог вытекать хоть каким перенаправлениям, установленным на сайте . Это подкрепляет и Джон Мюллер, который также откомментировал излишнюю влюбленность вебмастеров к редиректам.

«В совершенстве , чем меньше редиректов реализовано в цепочке – тем лучше . В едином случае мы советуем сокращать численность пернаправлений со странички настолько , как это может быть . Время от времени , правда , это не удаётся реализовать по тех. факторам , вот отчего мы настроили GoogleBot так , чтобы он был способен индексировать до 5 страниц в цепочке редиректов», – считает голова команды Google по поддержки вебмастерам.

Как использовать поискового робота Google для SEO оптимизации?

В словаре SEO-специалистов часто можно услышать о таком понятии, как “дружественность сайта к поисковым системам”. Что это значит? Процесс сканирования и индексирования сайта это достаточно затратный процесс для всех поисковых систем, особенно с таким ростом количества сайтов и страниц, как происходит сейчас. Чем дороже процесс по ресурсам, тем больше лимитов и жестких правил устанавливают поисковики. Понимание того, по каким правилам работают поисковые роботы (в частности, Googlebot) поможет постепенно сделать свой сайт “дружественным” для поисковиков. А это помогает быстрее индексировать новые и обновленные страницы, быстрее находить ошибки и т.д.

Что такое Googlebot?

Поисковые роботы (например, Googlebot) – это роботы, которые сканируют веб-страницы и добавляют их индекс. Если код на странице дает боту команду на индексирование, тогда он добавляет эту страницу в индекс, и только тогда она становится доступной пользователям. Очень хорошо этот процесс описан в этом руководстве Google. Ключевыми правилами сканирования, являются четыре следующие шага:

Если страница высоко ранжируется, поисковый робот Google будет тратить больше времени на её сканирование.

Здесь мы можем поговорить о «краулинговом бюджете», представляющем собой точное количество времени, затрачиваемого веб-роботами на сканирование определенного сайта: чем более авторитетна веб-страница, тем больший бюджет она получит.

Google бот постоянно сканирует сайт

Вот что об этом говорит Google: «Поисковый робот Google не имеет доступа к сайту чаще, чем один раз в секунду». Это означает, что сайт находится под постоянным контролем веб-пауков, если у них есть доступ к нему. Сегодня многие SEO специалисты спорят о так званой «скорости обхода» и пытаются найти оптимальный способ обхода сайта роботом, чтобы получить высокий уровень ранжирования. Тем не менее, «скорость обхода» – это всего лишь скорость запросов поискового робота Google, а не повторение сканирования. Вы даже можете изменить этот показатель самостоятельно с помощью Webmasters Tools. Огромное количество внешних ссылок, наличие ссылок с 404 ошибкой, уникальность и упоминания в соцсетях влияют на вашу позицию в результатах поиска. Также важно уточнить, что веб-пауки не сканируют каждую страницу непрерывно, поэтому намного выгоднее сразу создавать полезный и уникальный контент.

Файл Robots.txt – это первое, что сканируют роботы Google

Если страница отмечена в файле robots.txt как запрещенная для сканирования, роботы не будут её сканировать и соответственно в индекс она не попадет.

Файл Sitemap.xml – это руководство для ботов Google

Файл Sitemap.xml помогает ботам понять, какие части сайта нужно просканировать и проиндексировать. Так как сайты в основном различаются по своей структуре, гуглбот не может краулить все страницы на сайте автоматически. Качественный файл Sitemap может помочь страницам с низким рейтингом, небольшим количеством обратных внутренних ссылок и бесполезным контентом попасть в индекс на равне с более авторитетными страницами.

Как оптимизировать сайт для лучшего сканирования поисковым роботом Googlebot?

Не недооценивайте файл robots.txt

Файл robots.txt является вместилищем команд для поисковых роботов. И так как ваш “краулинговый бюджет” ограничен, уделите время и постарайтесь закрыть от сканирования все необходимые страницы. Так, ваши самые ценные страницы будет индексироваться быстрее и чаще.

Полезный и уникальный контент действительно имеет значение

Основной тезис такой – контент, который сканируется чаще, ранжируется выше и соответственно приносит больше трафика. Особенно это становится важно сейчас. Google все больше ориентируется на новизну, актуальность страниц. Обновляйте контент на ваших топовых страницах, добавляйте их в индекс вручную и постепенно гуглбот будет сам уделять им больше внимания. Если у сайта слишком большое количество открытых страниц пагинации, то есть вероятность, что нужные вебмастеру страницы могут быть не проиндексированы. Это связано с тем, что поисковых бот израсходует краулинговый бюджет на продублированные страницы.

Топ-пост этого месяца:  Использование скрипта выбора цвета (Iris Color Picker) в WordPress

Пора начать использовать внутренние ссылки

Внутренние ссылки не только упрощают использование сайта для пользователя, но и делают проще процесс сканирования для поисковых ботов. Если ранее вы не уделяли внимания каждой ссылке на странице, воспользуйтесь Google Search Console, чтобы отследить активные ссылки. Для еще более глубокого исследования, добавьте ваш сайт в наш краулер и оцените всю структуру внутренних ссылок, анкор лист, распределение весов. Также вы можете попробовать запустить аудит сайта, чтобы найти ошибки и проанализировать внутреннюю структуру сайта, включаяя ссылки.

Sitemap.xml жизненно важен

Еще раз, почему этот файл так важен? Sitemap – это карта местности для бота. Без неё он блуждает по сайту только на основе внутренних ссылок, и страницы которые слабо перелинкованы получают мало внимания, или вообще могут быть не замечены. Это один из важных факторов, которые поисковая система гугл использует при сканировании сайтов.

Как анализировать работу Googlebot?

Для анализа работы гуглбота, просто регулярно проверяйте раздел «Сканирование» в Webmaster Tools.

Популярные ошибки при сканировании

Страница “Ошибки сканирования” помогает быстро найти как критические ошибки, так и неопасные уведомления. К этому блоку чаще всего стоит обращаться, когда вы заметили какие то резкие изменения в индексации, снижение количества трафика.

Файлы Sitemap


Используйте эту функцию, если хотите поработать с картой сайта: изучить, добавить или выяснить, какой контент индексируется.

Посмотреть как Googlebot

Функция «Посмотреть как Googlebot» один из самых быстрых способов добавить страницу в индекс гугла.

Статистика сканирования

Эта вкладка помогает оценить динамику сканирования сайта в разрезе 90 дней.

Параметры URL

Google не рекомендует использовать эту функцию без необходимости. По задумке, объяснение значений отдельных частей URL-адреса помогает гуглу лучше понимать как сканировать каждый тип страниц.

Посмотреть код HTML страницы сайта глазами поискового робота.

В некоторых случаях бывает интересно посмотреть HTML код понравившейся станицы. Например узнать какой .js библиотекой достигнут тот или иной функционал, а может заинтересовали CSS стили оформления и.т.д. Но откравая страницу правой кнопкой мыши мы можем иногда наблюдать сжатый код написанный в одну строчку, ну и разумеется без подсветки кода. Что согласитесь затрудняет поиск заинтересовавшего куска кода. Наш онлайн сервис поможет открыть HTML в удобочитаемом виде с подсветкой и форматированием кода.

Глаз робота отличается от пользователя.

Это связано с тем, что некоторые сайты могут отдавать различный контент в зависимости от пользователя или робота.

Например интернет магазин для пользователя может отдаваться различый контент в зависимости от региона проживания.

Метод черной поисковой оптимизации — называется «клоакинг» Термин произошел от английского слова to cloak – маскировать, прятать, скрывать — Сайты, отдающие разный контент пользователям и роботам поисковых систем.

Такие сайты Яндекс и Google относят к некачественным сайтам и объявили за клоакинг жесткие штрафные санкции, от пессимизации до бана.

Ярким примером клоакинга могут служить каталоги ссылок скрывающие прямые ссылки от роботов , но показывающие их простому пользователю, который никак не может понять почему же его сылка не видна в поисковых системах.

Обратите внимание, что к клоакингу не относится показ различного содержание веб-ресурса если пользователь просматривает его как авторизованный (через логин и пароль). Также не имеет отношение к клоакингу просмотр динамических страниц с разными URL переменными например URL = user и URL = bot.

Наш онлайн инструмент для веб-мастера позволяет просмотреть код HTML глазами поискового робота Googlebot и робота Яндекса.

Список HTTP USER AGENT:

Пользователь — Я Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.66 Safari/535.11

Основной робот Яндекса — Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

Зеркальщик — робот Яндекса — Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)

Картинки — робот Яндекса — Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)

Видео — робот Яндекса Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots)

Вебмастер — робот Яндекса Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)

Индексатор мультимедийных данных — робот Яндекса Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots)

Поиск по блогам — робот Яндекса Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots)

APIs-Google — робот Google PIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)

AdSense — робот Google Mediapartners-Google

AdsBot Mobile Web Andro >Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web — робот Google Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot-Google (+http://www.google.com/adsbot.html) AdsBot — робот Google)

Googlebot Images — робот Google Googlebot-Image/1.0

Googlebot News — робот Google Googlebot-News

Googlebot V >Googlebot-Video/1.0

Googlebot — робот Google Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense — робот Google (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobile Apps Andro >AdsBot-Google-Mobile-Apps

Воспользовались сервисом 327 — 07.11.2020 раз

8 крупных нововведений, анонсированных на Google I/O 2020

В мае в Калифорнии прошла ежегодная конференция для разработчиков Google I/O 2020. В этой Джей Лаб рассказывает о самых больших нововведениях, запланированных компанией на этот год.

Google планирует вплотную заняться разработками с использованием искусственного интеллекта и переименовать свое исследовательское подразделение в Google AI

Как раз перед началом конференции, компания Google объявила о том, что она проводит ребрендинг своего подразделения Google Research и переименовывает его в Google AI. Этот шаг сигнализирует о том, что Google сфокусирует R&D на машинном зрении, обработке естественного языка и нейронных сетях.

Google делает общение с цифровым помощником более естественным с помощью «разговора с продолжением»

Анонс Google: Компания Google объявила о том, что Google Talk Assist теперь может продолжать разговор без необходимости начинать каждую команду с фразы «ОК Google». Теперь пользователю нужно сказать ее один раз в начале разговора. Компания также добавляет новую функцию, которая позволяет задавать несколько вопросов в рамках одного запроса. Все эти обновления станут доступны в ближайшие несколько недель.

Почему это важно: чаще всего пользователи задают дополнительные вопросы, если не получили ответ, который им нужен. Согласитесь, необходимость начинать каждый вопрос с фразы «Ок, Google» может быть довольно раздражающей, и делает процесс общения абсолютно неестественным. Если Google хочет занять лидирующую позицию в разработке голосовых интерфейсов, то взаимодействие с программой должно ощущаться как полноценный разговор, а не просто набор запросов.

Google Photo увеличит использование функций AI

Анонс Google: Приложение Google Photo уже упростило процесс редактирования фотографий с помощью встроенных инструментов редактирования и функций AI для автоматического создания коллажей, фильмов и стилизованных фотографий. Теперь еще больше команд можно будет выполнить с помощью AI, например перевод фото в ч/б, коррекция яркости и вращение.

Почему это важно: Компания Google уделяет много внимания работе с фото, и она способна привлечь потенциальных пользователей, предлагая мощные инструменты для редактирования, сортировки и изменения фотографий. Каждая дополнительная фотография, сделанная на смартфон Google предоставляет им больше данных и помогает все лучше и лучше распознавать изображения, что в конечном итоге не только улучшает пользовательский интерфейс Google, но и улучшает их собственные инструменты. Все-таки основным направлением Google является поиск, а для осуществления визуального поиска требуется много данных.

Google Assistant и YouTube появятся на смарт-дисплеях

Анонс Google: Уже давно ходили разговоры о том, что в этом году Google будет активно продвигать разработку смарт-дисплеев. На конференции Google I/O компания поделилась более подробной информацией на эту тему. Первые смарт-дисплеи от Google появятся в июле, и, конечно же, в них будут задействованы Google Assistant и YouTube. Компания инвестировала некоторые ресурсы в создание визуально-ориентированной версии цифрового помощника для того, чтобы оправдать добавление экрана к привычному опыту взаимодействия.

Почему это важно: пользователи все больше привыкают к идее использования у себя дома какого-либо умного устройства, которое будет отвечать на их вопросы. Но Google стремится создать систему, в которой пользователь сможет не только задавать вопросы, но и иметь визуальный дисплей для реализации действий, которые невозможно осуществить с помощью одного лишь голосового интерфейса. Google Assistant обрабатывает голосовую часть этого уравнения, а YouTube – это хороший сервис, который добавит визуализации привычному общению.

Google Assistant будет работать с Google Maps

Анонс Google: Google Assistant начнет работать с Google Maps на iOS и Android уже этим летом. Google уже давно работает над тем, чтобы сделать карты более персонализированными, но поскольку Google Maps теперь имеет гораздо больше функций, чем просто указание направления, компания внедряет новые инструменты, предоставлять рекомендации лучших заведений пользователям.

Интеграция карт также предполагает объединение камеры, технологии машинного зрения и Google Maps с функцией Street View. Такой тандем функций позволяет пользователю буквально ощутить свое присутствие на любой улице мира. Объектив Google может делать такие вещи, как идентификация здания или даже породы собак, просто при наведении камеры на объект. Он также может идентифицировать текст.

Почему это важно: Google Maps являются одним из самых крупных и важных продуктов Google. Сейчас наблюдается огромный ажиотаж вокруг дополненной реальности, и большинство компаний только начинают касаться верхушки этого айсберга и изучать варианты использования технологии. Поиск нужного направления для навигации по городу кажется таким естественным вариантом использования камеры, и, хотя это своего рода технический подвиг, он дает Google еще одно преимущество, которое поможет удержать пользователей в приложении. Опять же, в случае с Google все возвращается к вопросу данных: чем больше пользователей остаются в их приложениях, тем больше данных может собрать Google.

Google анонсировала выпуск нового поколения оборудования для машинного обучения на платформе TPU

Анонс Google: поскольку война за создание индивидуально-настроенного программного обеспечения с использованием AI набирает обороты, компания Google объявила о создании кремния третьего поколения – Tensor Processor Unit 3.0. Генеральный директор Google Сундар Пичай сообщил, что новый модуль TPU в 8 раз эффективнее, чем прошлогодний аналог, и способен выполнять до 100 петафлоп операций. Google объединяется практически со всеми крупными компаниями, стремящимися создать кремний для обработки машинных операций.

Почему это важно: идет гонка за создание лучших инструментов машинного обучения для разработчиков. Независимо от того, находится ли она на уровне платформ с такими инструментами, как TensorFlow или PyTorch или на уровне программного обеспечения, компания, способная удерживать разработчиков в своей экосистеме, будет иметь преимущество перед конкурентами. Это особенно важно, поскольку Google пытается превратить свою облачную платформу, GCP, в массовый бизнес, одновременно составляя конкуренцию AWS Amazon и Microsoft Azure. Предоставление разработчикам, которые уже массово используют TensorFlow, способа ускорить свою работу, может помочь Google привлечь их в свою экосистему.

Google News получат редизайн на основе AI

Анонс Google: Берегись, Facebook. Google также планирует использовать AI в обновленной версии Google News. Обновленное новостное приложение с поддержкой AI будет «позволять пользователям следить за новостями, которые им интересны, понимать всю историю и поддерживать издателей, которым они доверяют». Оно будет использовать элементы приложения Google для электронных журналов Newsstand и YouTube, и начнет поддерживать новые функции, такие как «выпуски новостей» и «полный охват», чтобы помочь людям получить краткое или более целостное представление о новостях.

Почему это важно: основной продукт Facebook фактически называется «Лента новостей», и служит основным источником информации для нетривиальной части планеты. Но Facebook был втянут в скандал с личными данными 87 миллионов пользователей, которые попали в руки политической исследовательской фирмы, и у пользователей появилось много вопросов, касающихся алгоритмов Facebook и конфиденциальности пользовательской информации. Это огромное преимущество, которое Google может использовать, предлагая лучший новостной продукт и, опять же, удерживая пользователей в своей экосистеме.

Google представляет ML Kit — SDK, который позволяет легко добавлять элементы AI в приложения для iOS и Android

Анонс Google: Google представила ML Kit, новый комплект для разработки программного обеспечения для разработчиков приложений на iOS и Android, который позволяет им интегрировать готовые модели Google для машинного обучения в приложения. Модели поддерживают распознавание текста, распознавание лиц, сканирование штрих-кода, маркировку изображений и распознавание ориентиров.

Топ-пост этого месяца:  OpenСart – мощный инструмент для создания современного интернет-магазина

Почему это важно: инструменты машинного обучения запустили волну новых юзкейсов, основанных на распознавании изображений или распознавании речи. Даже несмотря на то, что такие фреймворки, как TensorFlow, упростили разработку приложений с использованием этих инструментов, разработчикам все равно нужен высокий уровень знаний, чтобы запустить их и успешно продвигать. Разработчики всегда ищут лучшие варианты использования новых инструментов и устройств, а комплекты разработки, такие как ML Kit, помогают снизить барьер для входа и дают разработчикам возможность начать пробовать интересные варианты, не имея огромного багажа опыта в машинном обучении.

Итак, наверняка вам интересно, когда же вы сможете протестировать все эти новые функции:) На сегодняшний день бета-версия Android P уже доступна, и вы можете найти обновление здесь.

Google

Так или иначе продуктами компании Google пользуются все — среди них есть и поиск, и почта, и календари с контактами, а уж про YouTube и говорить не стоит. Удивительно, как компании удалось достичь таких высот! Мы в свою очередь активно пользуемся самыми разными сервисами Google, о чем вам обязательно рассказываем!

Связанные теги

Похожие теги:

Несмотря на то что США очень активно прорабатывают вопрос частичного снятия санкций с Huawei, чтобы вернуть ей право сотрудничать с американскими предприятиями, китайская компания, судя по всему, уже не стремится к этому. По словам Рена Чжэньфэя, основателя и генерального директора Huawei, его не слишком волнует, снимут США свои санкции или нет. Даже если этого не произойдёт, подчеркнул предприниматель, Huawei прекрасно проживёт в условиях изоляции от американского рынка и технологий, разрабатываемых местными предприятиями. Читать далее

Несмотря на то что Google постоянно обвиняют в тайном сборе данных о пользователях, она, в отличие от Apple, не пытается скрыть ту информацию, которую ей удалось собрать. Именно поэтому в настройках своего профиля вы без труда сможете отыскать не только историю своих перемещений, записанных инструментами Google Maps, но и историю своих онлайн- и офлайн-покупок, оповещения о которых поступали на вашу почту, и даже историю всех запросов, адресованных Google Assistant. Последние хранятся на серверах Google в виде аудиозаписей, а потому каждый может прослушать. Послушайте, среди них явно есть то, о чём вы даже не подозревали. Читать далее

Театр безопасности – это то, чем занимается Google, делая вид, что пытается бороться с вредоносными приложениями в Google Play. Чего только она не делала, чтобы исключить опасное ПО из фирменного каталога, но практически все попытки компании очистить Google Play не давали ощутимого результата, а злоумышленники как обходили защитные механизмы Google, так и обходят их. Не помогла даже антивирусная система Google Play Protect, проверяющая приложения на содержание вредоносных компонентов. Быть может App Defense Alliance сможет хоть чем-то помочь? Читать далее

Несмотря на то что Google старается регулярно обновлять все свои приложения, новые программы она выпускает довольно редко, а если и выпускает, то обычно они не обретают популярности уже существующих программ. Кажется, чёрная полоса началась с социальной сети Google+, после которой большая часть всех приложений, которые выпустил поисковый гигант, не имела успеха у пользователей. Тем не менее, это не отпугнуло компанию, и она продолжила ставить эксперименты с софтом. Последним опытом компании стало приложение «Android Auto на экране телефона». Разбираемся, зачем оно было нужно, что умеет и какая судьба его ждёт. Читать далее

В этом году Google Pixel уже в четвертый раз пытается покорить сердца любителей Android своей чистотой и непорочностью. Хотя, у этого смартфона тоже есть свои скелеты в шкафу, но, что не говори, сам по себе он без сомнения интересен. Даже самые лютые скептики понимают, что у него есть главное преимущество, которого нет у других, — близость к Google и ее бесконечная поддержка, в прямом и переносном смысле. Правда, на этот раз ложкой дегтя стала новость, которая на днях облетела Интернет, о том, что одна очень интересная функция не будет доступна в сторонних приложениях. Давайте разберемся, что это за функция, чем она удобна и стоит ли расстраиваться.

Что такое Motion Sense

Функция получила название Motion Sense, так как именно оно максимально полно отражает ее возможности. В прямом переводе эти два слова означают “движение” и “чувство”. То есть смартфон будет чувствовать ваши движения. Возможно, предтечей этой функции было появление активных граней в некоторых смартфонах, например, HTC U11. Это был не самый лучший смартфон, но у него, впрочем, были свои плюсы. Именно тогда мы узнали, что смартфоном можно управлять не только путем нажатия экранных или физических клавиш.

Суть Motion Sense заключается в том, чтобы управлять смартфоном можно было жестами. Не надо его трогать, можно махнуть над ним рукой и переключить песню или сделать другие действия. В общем, как дополнительный способ управления смартфоном, способ достаточно удобный.

Особенность Google Pixel 4

Одной из неприятных особенностей функции Motion Sense является то, что производитель решил наложить на нее серьезные ограничения и не открывать API для разработчиков.

Правда, сначала была перспектива того, что функция будет доступна не только в некоторых штатных приложениях. На примере Pokémon Wave Hello и Headed South закрадывались именно такие ощущения, но позже выяснилось, что этого не будет.

Узнали об этом наши коллеги, журналисты издания Android Police, которые напрямую задали вопрос Google, чтобы узнать вероятность доступа к этой технологии сторонних разработчиков. В итоге они получили ответ, в котором черным по белому было сказано: «не сейчас, но мы сообщим, если планы изменятся».

Возникает вопрос, почему нельзя сделать доступной функцию, на которой производитель делает отдельный акцент. На самом деле, все просто. Дело в том, что при анализе движений используются те же алгоритмы и оборудование, которое нужно для разблокировки смартфона по лицу. Получается, это станет серьезной дырой в безопасности, которых в Android и без того хватает.

Почему представители компании не дали более категоричного ответа и не сказали, что функция не будет доступна никогда? Во-первых, в этом деле нельзя зарекаться и пример многих компаний, включая Apple, является тому подтверждением. Во-вторых, можно предположить, что компания ведет работу над разделением функций и сможет сделать так, чтобы сторонним разработчикам можно было открыть доступ к жестам без снижения уровня безопасности. Возможно, это даже станет отдельной темой на конференции Google I/O.

Преимущества Motion Sense

Давайте обсудим в нашем Telegram-чате, насколько удобным решением является функция Motion Sense. Если честно, мне она кажется несколько надуманной. При этом, я не против внедрения чего-то действительно нового. Просто мне кажется, что сценариев использования именно такого способа управления будет очень немного.

Допустим, вы готовите что-то или ремонтируете и у вас грязные руки. В этом случает Motion Sense действительно будет очень удобным решением. Проблема в том, что таких сценариев очень не много. Их можно буквально пересчитать по пальцам одной руки. Едва ли кто-то будет размахивать руками над экраном смартфона, который лежит перед ним, или и вовсе находится у него в руках. Именно поэтому бОльшая часть сценариев будет плохо применима к использованию этой функции.

К полезным сценариям использования за уши можно притянуть еще отключение будильника, когда тот звонит и не всегда понимаешь, как его выключить, но сделать это надо быстрее, чтобы не разбудить никого вокруг. Вот только в таком способе отключения будильника таится одна опасность. Если будильник будет слишком легко отключить, можно будет так же легко проспать, снова уснув.

В итоге каждый решит для себя, нужен ли ему такой способ управления приложениями, но лично я отношусь к нему, как к концепту. Для меня это что-то типа высокой моды. С одной стороны, это непонятный полет воспаленной фантазии не всегда адекватного художника, но с другой стороны, это позволяет в несколько утрированной форме понять, куда идти дальше. Это же относится и к концептам автомобилей. Попробовать стоит, а там уже можно решить, что из опробованного применять в будущем.

Какой бы самоуверенной ни пыталась казаться Huawei, уверяя всех вокруг, что сможет заменить сервисы Google собственными наработками, в реальности всё куда сложнее. Мало того, что большинство из имеющихся служб компании пока применимо только на территории Китая, так ещё оставшиеся оказываются не способны конкурировать с решениями поискового гиганта в принципе. Взять хотя бы каталог приложений AppGallery, который не сможет и близко заменить Google Play, даже если его ассортимент расширить в 10 раз. Но это не значит, что выхода из сложившейся ситуации нет совсем. Читать далее

Уже несколько месяцев в сети много говорят о Samsung Galaxy Fold. Мы тоже много об этом говорили и даже приводили примеры того, почему это гаджет будущего. Вот только остается вопрос, почему многие производители не унимаются и продолжают пытаться выпустить что-то промежуточное. То есть не складной смартфон и не обычный, а двухэкранный. На деле это вызывает недоумение, но LG активно продолжает пытаться объяснить нам мотив своих действий.

Так повелось, что ни одна неделя не может обойтись без важных новостей от Google. На этой неделе они тоже были, но, возможно, самые интересные новости поступали от китайских производителей. В первую очередь это касается Huawei и Xiaomi. Представляете себе дисплей, которой заживляет сам на себе царапины? Если интересно, что это такое, можете поискать новость у нас на сайте или просто ознакомиться с нашей традиционной подборкой самых интересных новостей недели из мира Android. Кстати, это она и есть. Начинаем?

Вам нравится интерфейс приложения YouTube для Android? Лично у меня нет к нему особых претензий, если не считать историй, которые там ну совершенно не нужны, и не всегда срабатывающего механизма смены ориентации при открытии полноэкранного режима. Однако Google считает, что нет пределов совершенству, а потому решила переработать интерфейс приложения, изменив компоновку его элементов в соответствии с частотой их использования. Таким образом должно получиться более удобное для пользователя оформление, которое к тому же принесёт пользу и самой Google. Читать далее

Обновления Android – сложная и неоднозначная тема. Говорят, что они существуют, но подавляющее большинство пользователей никогда с ними не сталкивались. Откуда такая информация, спросите? А вы посмотрите на ежеквартальный отчёт Google о распространении разных версий Android, где отчётливо видно, что доля Android 10 даже не дотягивает до 10%. Тем не менее, определённо есть такие аппараты, которые, в отличие от всех остальных, обновляются регулярно и на постоянной основе. Само собой, речь идёт о владельцах смартфонов Google Pixel, которые иногда даже получают закрытые сборки, не предназначенные для глаз рядовых пользователей. Читать далее

18 грандиозных провалов Google

От очков Google Glass и смартфонов Google Play edition до сервисов и приложений, которые просуществовали всего один день.

Google (NASDAQ: GOOGL) знаменит множеством популярных продуктов, начиная от поисковых сервисов и заканчивая картами Земли и ОС Android.

Однако не все, к чему прикасаются инженеры компании, сразу превращается в золото. Ожидалось, что очки Google Glass изменят мир, но проект провалился. А помните соцсеть Google Buzz? Последним в цепочке провальных проектов Google стал Gchat. Вот 18 неудавшихся идей компании, которые навсегда остались в прошлом.

Добавить комментарий