Как проверить сколько страниц в Яндексе и Гугле

Содержание материала:

Как посмотреть число страниц сайта в индексе поисковых систем

Хотите узнать, сколько страниц вашего сайта есть в индексе поисковых систем? В этой статье вы не только познакомитесь с 4 работающими способами, как проверить количество страниц в индексе поисковых систем, но и поймете, когда и зачем это нужно.

1. Самый быстрый способ

Оператор «site» для Google. Чтобы получить информацию по Google, введите в поиск «site:» и ваш домен. Например:

Поисковая система Google покажет все страницы вашего сайта, которые есть в ее индексе. Общее их количество вы можете увидеть в самом верху:

Здесь их количество равняется 62. В вашем случае цифра скорее всего будет иной.

Внимание! Оператор site чувствителен к регистру. Если написать его с большой буквы, он не сработает.

Оператор «host» для Яндекса. Если вы хотите узнать, сколько у вашего сайта страниц в индексе Яндекса, воспользуйтесь оператором «host». Также, как и в предыдущем примере, напишите «host:» и интересующий вас домен:

В индексе Яндекса уже не 62, а 63 единицы контента. Такая разница не критична. Другое дело, если разница составляет десятки процентов. В этом случае нужно проводить технический аудит.

2. Яндекс Вебмастер и Google Search Console

Если на вашем сайте установлены сервисы для вебмастеров, вы сможете не только посмотреть количество страниц в индексе, но и динамику индексирования вашего веб-ресурса.

Как проверить, сколько страниц в индексе Яндекса. Перейдите в Яндекс Вебмастер и авторизуйтесь, войдя в почту, к которой вы привязывали свой веб-ресурс.

Затем, перейдите в раздел «Индексирование -> Страницы в поиске». Чтобы посмотреть их все перейдите во вкладку «Все страницы»:

Если вы перейдете в соседнюю вкладку, вы увидите те, которые оттуда выпали:

В графе «Статус» можно узнать причину выпадения.

Google Search Console. Перейдите по этой ссылке. Недавно этот сервис обновился и возможно вам придется снова подтверждать права на свой сайт.

После авторизации перейдите в раздел «Покрытие». Здесь вы увидите 4 вкладки:

  • Ошибка – не попавшие в индекс;
  • Без ошибок, но с предупреждениями – попавшие в индекс, возможно, вразрез вашим желаниям, например, даже если они закрыты в robots.txt;
  • Без ошибок – находящиеся в индексе;
  • Исключено – которым запрещено индексирование.

В каждой вкладке можно найти тонну полезной информации. Например, почему какая-то важная для SEO страница не попала в индекс, и наоборот, почему другая, закрытая в роботс туда попала.

Исследуйте и исправляйте ошибки.

3. Расширения и букмарклеты

Минус этого способа в том, что вам придется устанавливать в свой браузер дополнения. Но жирный плюс в том, что если вам нужно постоянно проверять, сколько страниц есть в индексе Яндекса и Гугла, то делается это быстрее, чем с помощью операторов.

Один клик мыши и вы уже видите все данные у себя на экране.

Самое популярное дополнение – это RDS Bar. Ее можно установить и в Chrome, и в Firefox. Однако, у меня это расширение работает корректно только в браузере Firefox. Это мой незаменимый инструмент в работе над продвижением клиентских сайтов, так как часто приходится проверять размер сайтов конкурентов.

Чтобы посмотреть, какие именно страницы есть в индексе Яндекса, нажмите на соответствующую цифру:

4. Сервисы

Еще один способ проверить индексацию сайта – воспользоваться специальными сервисами. Один из них – pr-cy.ru. С помощью этого сервиса вы узнаете количество страниц в индексе Яндекс и Google в рамках стандартного (бесплатного) аудита сайта.

Просто введите домен сайта и в отчете обратите внимание на раздел «Индексация»:

Есть и другие сервисы проверки индексации страниц. Например, платформа sitechecker. Но в отличие от pr-cy этот и другие сервисы берут деньги или требуют регистрацию.

Почему важно делать проверку

Для правильной и своевременной индексации сайта вы можете сделать карту сайта, корректно настроить файл robots.txt и многое другое. Но все это не дает абсолютных гарантий.

Поэтому, периодически проверяйте количество страниц вашего сайта индексе поисковых систем.

Чем это может помочь:

Во-первых, вы можете заметить резкий рост этого показателя, что может говорить о том, что в нее попали мусорные страницы. Это может привести к падению трафика.

Во-вторых, вы можете наоборот, заметить резкое падение этих значений. Если среди «пропавших» страниц есть важные с точки зрения SEO, вы также можете потерять много трафика.

В-третьих, вы можете заметить диспропорцию в показателях Яндекса и Google, что является тревожным звоночком и сигнализирует о возможных санкциях в одной из них.

Если вы заметили что-то из вышеперечисленного у своего сайта, пишите об этом в комментариях. Возможно, общими усилиями мы сможем найти причину или даже решение ситуации.

Как проверить сколько страниц в Яндексе и Гугле

Здравствуйте. Недавно в интернете нашел программу под названием Site-auditor программа очень полезная и здорово мне помогла. Она позволяет быстро собрать данные о сайте в поисковых системах.

Одним кликом и вы получаете данные из основных поисковых систем, а именно: Яндекс, Рамблер, Google, Yahoo.Программа Site-auditor может определить на сайте популярные cчетчеки такие как: Рамблер Top100, LiveInternet (RAX), Mail.ru, SpyLog, HotLog.

А самое классное то, что она бесплатная, занимает на компьютере всего 1,1 МБ и ее не нужно устанавливать. Все собираемые данные сохраняются на вашем компьютере и позволяют Вам отслеживать историю изменений.

Запустив программу в разделе «Экспресс-анализ». Вы можете собрать основные данные об уровне оптимизации сайта.

Чтобы проверить данные нужно в поле https://, ввести URL-адрес исследуемого сайта. По нажатию кнопки «Проверить», программа производит сбор данных:

  • Индекс цитирования Яндекса — ТИЦ и Google — PageRank;
  • Количество страниц, проиндексированных поисковыми системами Яндекс, Рамблер, Google, Апорт и Yahoo.
  • Количество ссылок на сайт, обнаруженных поисковыми системами Google, Яндекс, Yahoo.
  • Данные о наличии сайта в каталогах Яндекс, Рамблер Top100, Апорт и DMOZ.

Если вы часто работаете с ключевыми запросами для сайтав, Site Auditor может стать хорошим помощником для подбора ключевых фраз. Во вкладке «Подбор запросов» – введите ключевую фразу, и программа покажет, сколько раз запрашивалась ваша фраза в Яндексе.

Одним словом, Site Auditor интересная программа, которая позволит без труда и быстро собрать данные о сайте.

Ознакомиться с данной программой можно на сайте разработчика, а именно здесь

Как проверить индексацию страниц сайта

Если вы занимаетесь продвижением сайта, то очень важно, чтобы все страницы вашего сайта были проиндексированы в поисковых системах (Яндекс, Google и т.п.).

  • Во первых, если страницы нет в индексе, значит люди не смогут ее найти и вы зря потратили время (и возможно деньги) на ее создание, наполнение и оформление. Каждая страница в индексе — это источник посетителей.
  • Во вторых, если страницы нет в индексе, это может свидетельствовать о технических проблемах на сайте, например дублирование контента, глюки сайта или хостинга.
  • В третьих, эта страница может играть техническую роль, например, участвовать в схеме перелинковки (или содержать платные ссылки, за которые вы не получите деньги, если страницы нет в индексе).

Работая с клиентами я не раз сталкивался с тем, что из-за проблем с индексацией были плохие позиции. Эта техническая проблема, которую я обычно исправляю в первый месяц сотрудничества, за счет чего уже со 2-го месяца бывает заметный рост посетителей и позиций.

Ниже я рассмотрю ручные и автоматизированные способы проверки индексации страниц в Яндекс и Google. Покажу, как проверить индексацию сайта в целом и каждой страницы в отдельности.

Содержание:

Как узнать количество страниц на сайте

Это можно сделать несколькими путями:

  1. Если вы используете современную систему управления сайтом, то в административной части наверняка можно посмотреть количество страниц. Например, у меня это выглядит так:
  2. Следующий способ подойдет практически всем (при условии что у вас до 500 страниц на сайте, иначе за деньги). Есть отличный сервис http://www.xml-sitemaps.com/, который строит xml-карты сайта. В процессе работы он посчитает и количество страниц вашего сайта. Опять же, пример для моего сайта (совпадает с прошлым способом: 146 страниц, это 113 записей и 33 страницы):
  3. Третий способ — это использование программы Xenu (легко ищется в Яндексе). Это программа полностью сканирует ваш сайт, составляет список страниц, список битых ссылок и еще много полезной информации. Потом просто нужно посчитать количество страниц на сайте. Но подойдет не всем, т.к. в ней нужно будет разобраться.
  4. Еще одна бесплатная и полезная программа — Site Analyzer, в ней можно не только посмотреть кол-во страниц, но и найти SEO-ошибки.

Теперь, когда мы знаем фактическое количество страниц, надо проверить сколько из них проиндексированы в Яндексе и Google

Смотрим индексацию сайта в целом

В данном случае мы узнаем сколько всего страниц сайта проиндексировано в поисковой системе. Что нам это дает? Зная фактическое количество страниц на сайте, мы можем сравнить соответствует ли оно количеству проиндексированных страниц. И если соответствует, значит всё в порядке, а если нет, то нужно разобраться с проблемой и выяснить каких именно страниц не хватает (или какие страницы имеют дубли).

Индексация сайта в Яндексе

  • Смотрим приблизительно индексацию страниц в Яндексе вручную. Для этого нужно в поисковой строке ввести конструкцию вида:url:адрес-вашего-сайта*. Обратите внимание, в конце стоит звездочка. Например, в моем случае: url:ilyapronin.ru*.
  • Следующий способ — это использование Яндекс.Вебмастераhttp://webmaster.yandex.ru/. Возможно понадобится подключить ваш сайт к этому сервису, если вы еще этого не сделали. После подключения сайта к Яндекс.Вебмастеру мы можем узнать много полезной информации о сайте и кроме всего прочего — количество проиндексированных страниц:

Как видите данные немного отличаются. Это из-за того, что конструкция url:ваш-сайт показывает не только страницы, но другие типы файлов (doc, xls, jpg и т.п.). Вебмастер же показывает именно количество страниц.

Индексация сайта в Google

Здесь аналогично с Яндексом есть 2 способа:

  • Вручную с помощью конструкции site:ваш сайт. Эффект будет примерно такой же, как с Яндексом.
  • Используя инструменты Google для Вебмастеров https://www.google.com/webmasters/ (аналог Яндекс.Вебмастер)

автоматические способы

  • Мне очень нравится бесплатная программа Site Auditor, скачать ее можно здесь: http://www.site-auditor.ru/. Она проверяет индексацию сайта сразу в Яндекс и Google, а так же и другие полезные параметры:
  • Плагин для браузеров — RDS Bar. Его можно добавить в все популярные бразеры (Chrome, Firefox, Opera). После этого у вас появится информационная панель, показывающая информацию о сайте, на котором вы находитесь, в том числе и индексацию страниц:

Что дальше

Теперь когда мы знаем, сколько страниц от фактического количества проиндексированы, может быть 3 ситуации:

  1. Количество страниц в поисковиках и на сайте совпадает. Это идеальный вариант, значит с сайтом всё впорядке.
  2. Количество проиндексированных страниц меньше. Значит с сайтом проблемы (наиболее популярная проблема — малоинформативный или неуникальный контент)
  3. Количество проиндексированных страниц больше. Скорей всего у вас проблема с дублированием страниц, т.е. одна страница может быть доступна по нескольким адресам. Это плохо для продвижения, т.к. статический вес страницы размывается и кроме-того получается много страниц с повторяющимся контентом.

Для дальнейшей диагностики сайта, нам понадобится узнать какие страницы точно проиндексированы, а какие не входят в индекс.

Топ-пост этого месяца:  Оптимизируйте передачу CSS

Как проверить индексацию одной страницы

Это нам может понадобится, когда мы хотим проверить конкретную страницу на своем сайте (например, недавно опубликованную) или страницу на чужом сайте (например, где мы купили ссылку и ждем, когда она проиндексируется)

  • Ручной способ. Тут всё очень просто. Копируем адрес страницы с сайта и вставляем в поисковую строку Яндекс или Google. Если она проиндексирована, то она окажется на первом месте результатов поиска.
  • Используя упомянутый уже плагин RDS бар. Он показывает проиндексирована ли страница, на которой вы сейчас находитесь.

Как проверить индексацию всех страниц по отдельности

В данном случае мы будем проверять на проиндексированность сразу все страницы сайта и в результате узнаем какие конкретно страницы не проиндексированы в поисковике.

Здесь нам понадобится не просто знать количество фактических страниц на сайте, но и список адресов этих страниц (их url). Это наверно самое сложное в этой статье. Список страниц мы вроде бы получили, когда генерировали карту сайта, но там адреса содержатся не в чистом виде и нужно уметь работать с какой-нибудь программой по обработке данных, чтобы извлечь их. Поэтому будем использовать еще одну программу.

Как получить список всех страниц сайта

Чтобы получить список всех страниц сайта, будем использовать программу для Windows, которая генерирует карту сайта — Sitemap Generator, взять можно здесь http://www.wonderwebware.com/sitemap-generator/

Перед сбором ссылок нужно настроить параметр Exclude Patterns. Это делается, чтобы исключить при сборе ненужные ссылки, например, в моем случае при сборе собирается очень много адресов вида: https://ilyapronin.ru/prodvizhenie/kak-prodvigayut-sajjty.html?replytocom=324#respond, которые указывают на комментарий на странице. А мне нужен только адрес страницы. Поэтому, я настроил исключение адресов по маске *replytocom*:

Дальше, запускаем сбор url и когда программа закончит их собирать, переходим на вкладку Yahoo Map / Text и копируем адреса оттуда (Кнопка сохранить не работает, т.к. мы используем бесплатную версию программы)

Теперь у нас есть адреса всех страниц.

Как проверить индексацию страниц автоматически

Дальше нам понадобится программа YCCY, которую можно скачать здесь: http://www.yccy.ru/soft/yccy

Здесь всё просто. После запуска программы добавляем собранный на прошлом шаге список url вашего сайта и добавляем в список исходных url. Программа позволяет проверять индексацию в Яндекс, Гугл и Rambler, выбираем нужную нам поисковую систему и запускаем проверку:

После того, как получили список страниц, которые не попали в индекс, нужно понять почему это произошло. Если со страницей всё впорядке, то чтобы она зашла в индекс, можно закупить на нее ссылок или несколько ретвитов с прокаченных аккаунтов.

Заключение

Умение проверить индексацию страниц своего сайта позволит вам продуктивней работать с поисковыми системами, а так же вычислить существующие проблемы с сайтом.

Как узнать, сколько страниц проиндексировано? Страницы в индексе Яндекса, Google, Bing

Узнаём число страниц в индексе

Порой бывает нужным узнать, сколько документов того или иного сайта проиндексировано какой-либо поисковой системой. Это полезно знать для проверки — а не выкинул ли поисковик ваш сайт из индекса, а также для анализа сайтов-доноров (тех, на которых мы хотим разместить внешнюю ссылку на свой ресурс) на предмет наличия их страниц в индексе Яндекса, Google, Bing и т.д.

В одной из предыдущих статей — о проверке индексации в Яндексе, Гугле, Bing и Mail.ru я описал различные способы анализа нахождения конкретного документа сайта в индексе. Для проверки сайта в целом всё довольно просто.

Узнаём, сколько страниц проиндексировано Яндексом

Вводим в строку поиска такой запрос: host:домен и видим количество документов:

Число страниц в индексе Яндекса

Всё очень просто.

Как узнать, сколько страниц в индексе Google

Для Гугла всё примерно то же самое. Вводим в строку поиска site:домен/ и видим число проиндексированнных страниц:

Количество документов в полном индексе google

Но для Гугла есть особенность: как правило, не все из документов, находящихся в его индексе, участвуют в выдаче и ранжировании. Чтобы узнать число тех, которые принимают участие в выдаче, необходимо изменить запрос на такой site:домен/& (добавляем амперсанд). Число страниц в этом случае обычно поменьше:

Сколько документов из Google участвуют в выдаче

Сколько страниц проиндексировано в Bing.com

Синтаксис запроса почти такой же, как и в Гугле site:домен :

Число документов в индексе Bing

Число документов в Mail.ru узнать не получается. Но оно и не страшно, т.к. пока Mail.ru использует индексы других поисковиков.

Как видно, синтаксис запросов довольной простой. Для ускорения данного процесса всё же лучше пользоваться плагинами, например RDS bar для Google Chrome. Но если плагинов нет под рукой, или они глючат (что бывает), то можно использовать и ручной способ узнать, сколько страниц проиндексировано какой-либо поисковой системой.

  • Банковская карта Яндекс.Денег — как купить и получить? Видео-обзор Относительно недавно компания Yandex и банк «Тинькофф. Кредитные системы».
  • Как ещё увеличить Яндекс Диск? Инвайты (приглашение) . удет . Так что, пользуясь случаем, выкладываю здесь свою ссылку с инвайтом на
  • Чем может быть полезен инструмент Проверить URL от Яндекса? . транице был изменен, робот автоматически отследит это. Данные в поисковой выдаче
  • Как скачать SugarSync manager? Автоматическая синхронизация данных с компьютером и получение ссылок на скачивание Думаю, это статьёй завершу затянувшийся обзор облака от SugarSync.
  • Используем базы ключевых слов Пастухова для сбора семантики Думаю, все почти знают, как важно собрать качественную семантику (т.е. ключев.

Петр! Привет!
Я написала отзыв на проведенный тобой тренинг. Рада нашему знакомству.Буду заходить на твой блог,учиться у тебя.

Большое спасибо, Галина!
Всё только начинается

Хм, пару недель назад искал ответ на этот вопрос. Извращался с плагинами FF. Так проще и больше нравится.

Вон оно как оказывается… проверю. просто у меня блог еще молодой

Молодой, но уже под фильтром в Яндексе.

Пётр! Блог молодой еще ни кем не проиндексирован толком! С чего ты взял что он под фильтром? Я этот говно-яндекс с детства не люблю по этому и не стремлюсь чтоб что то ему нравилось ))) У меня в яндексе только главная страница. Ну яша не пишет что БАН.

Да, кажется, осмотрелся, не под фильтром
Архив справа показывает, что уже 55 записей, а в индексе только главная, но т.к. все они добавлены за март, то Яндекс мог просто ещё не проиндексировать.
Если бан — то и главной не будет

Эт точно. В гугле нормально индексируется. просто время мало прошло. Мне некоторые пишут что ЯША не индексировал их сайты по 3-4 года! и потом о чудо! либо на оборот в ЯШЕ было 1000 страниц, а стало 10-15.траф с ЯШИ упал. Вот где обидно ))) ну если меня все же яша пошлет, я ему отвечу взаимностью…
Почему у тебя RSS нет? я бы подписался. или только через мыло?

Под каждой статьёй есть ссылка на RSS

Спасибо большое, я так и подозревал.

Извините, не ту статью прокоментировал!))

Спасибо, действительно полезно, не то что у первых двух в топе.

а я вот добавил кучу тыреного текста на сайт ( закинул книгу о ремонте квартиры, а она, хоть и была в архиве, но, видать, не мне первому пришла в голову идея книги ставить на сайт для увеличения количества текста и страниц ), евроремонт.net дык теперь боюсь в бан не уйти, заходил к Вам «проверяться».

Как думаете, будет мне бан, или нет?

R, если она в архиве — это просто файл, который поисковики не прочтут.

Если тексты из неё выложены на сайте, и Вы не первый, кто выложил эти тексты, то будет Вам бан или фильтр.

а что делать, если в индексе мало страниц?

Ну так сразу и не скажешь. Много чего:
— анализировать
— ждать
— добавлять новые

А есть способ, чтобы узнать не только кол-во страниц в индексе у какого-либо сайта, но и чтобы была информация о том, какие именно места в выдаче они занимают и по каким запросам?

Да, конечно. Многие сервисы покажут это. Иногда с ошибками, но покажут — seopult, seolib, megaindex, setlinks.ru/position.html и другие).

Лучше писать тексты самому и не парится ( нет мозгов — просто переделывай чужие тексты на копирывать — дело отстойное 100 бан ) бред, но пишу сам

ну да, пока сил хватает =)

Но ведь должны быть какие нибудь сервисы которые дают всю эту информацию на одной странице и без лишних телодвижений. Если такие есть поделитесь ссылочкой. ЗЫ Подпишусь на комменты.

Да их полно, только ошибаются иногда.
Вот, например, cy-pr.com

Спасибо за статью. Помогла очень.
Не знал просто как в гугле проверять, а в яндексе очень удобно через webmaster проверять.

а в яндексе очень удобно через webmaster проверять

— ну это только для своих сайтов

Здравствуйте !
Сергей, проверте свой блог ( xtool.ru/trast.php?site= )
Дмитрий, попробуйте ( xseo.in/indexed) примерно 90% правды.
Петр, хорошая статья. Для новичков как раз самое оно.

Да, xseo.in неплохо всё показывает =)

Все ли я делаю правильно: site:vst-instruments.ru/&.
Ничего не происходит!

Админ те методы якобы проверки сайта которые ты тут описываешь подходят разве что для малолетних деток которые не сталкиваоись с веб дизайном и сайтостроительством извмини конечно за резкость и для того что бы высказать свою такую умную мысль не надо клепать подобные сайты пачками и запихвать их в поиск а то я смотрю твой такой умный урок проскакивает через раз в поисковике.

Ты зашёл сюда с Яндекса по запросу «как проверить сколько страничек сайта в поиске гугл», и не прочитав статью сразу же оставил коммент. ))

Как «веб дизайн» и «сайтостроительство» помогают в таком сложном деле, как проверка индексации «страничек»?

Есть хороший сайт, с очень коротким адресом — vk.com. Он полон малолетних (и не только) деток.
Иди туда и учи их, если сможешь запятые расставить.

То ли ты тролль, то ли тупой, то ли всё сразу.

P.S.
«извмини конечно», не сдержался.

А никто не знает сервис, который позволяет массово дать показания о количестве страниц в индексе ПС?

Большое спасибо. очень помогло, но многое не понятно ещё

Огромное спасибо. Очень помогли.

Спасибо большое помогли посчитать.

Петр, может подскажешь, а как определить какие лишние страницы в индексе. То есть не соответствуют записям, страницам. Есть какой то сервис который покажет не весь индекс, а что именно в нем лишнее?
Мой сайт залетел в АГС когда в нем было примерно 400 страниц и в индексе было чуть больше 500. И Гугле тоже самое. Месяца три назад наложили АГС. Индекс стал падать и за два месяца упал до 70 примерно. А вот уже третью неделю, сам АГС по прежнему стоит, но индекс подскочил до 2000 почти и Гугла тоже. Я конечно занимался оптимизацией сайта. Но никаких перелинковок не делал. Robot.txt менял, но вроде в нем тоже ничего лишнего особо нет, чтобы на 1500 тыс. лишних страниц тянуло. На самом сайте сейчас записей примерно 580. И вот никак разобраться не могу, что лишнее. Конечно листая индекс я вижу некоторые лишние страницы, но как они туда попали, вот в чем вопрос.

Как определить — просмотреть все страницы в индексе Гугла и найти ненужные (обычно это дубли существующих страниц, т.е. контент у них тот же, но URL другой).
Для ненужных лучше прописать мета-тег роботс.
Подробнее:
http://web-ru.net/prodvizhenie-sajta/seo/google-robots-txt.html
http://web-ru.net/prodvizhenie-sajta/seo/pravilnyj-robots-txt-google-yandex.html

Добрый день. А как можно посмотреть историю индексирования сайта? сколько страниц было в индексе год назад, два, три…

Сообщать мне о новых комментариях к этой статье

Как узнать сколько страниц в поиске?

Вопрос казалось бы тривиальный и риторический. Есть сайт — odub.ru. И есть небольшая проблемка c Яндексом.

Для начала возьмём Google:
> страниц в Search Console (загружено\индекс) = 380.000\129.000
> страниц по показаниям pr-cy.ru в Google = 129.000
> страниц по запросу site:odub.ru в Google = 129.000
Т.е всё просто и понятно. Всё ОК

Теперь обратимся к Яндексу и начнём запутываться:
> страниц в Вебмастере(загружено\индекс) = 824.200\164.300 (на сайте максимум 500.000 страниц, редиректы настроены)
> страниц по показаниям pr-cy.ru в Яндекс = 54.000 (аналогичные сервисы приблизительно столько же)
> страниц по запросу host:odub.ru* | host:www.odub.ru* в Яндекс = 31.000 (вообще хз откуда цифра)

Вопрос знатокам: какое из чисел, предоставленных Яндексом, является истинным?

Как проверить индексацию сайта: 4 проверенных способа

Если вы хотите узнать, есть ли определенная страница в индексе поисковой системы и сколько в целом страниц вашего сайта участвуют в поиске, вам стоит узнать о четырех самых простых способах поверки индексации сайта, которыми пользуются все SEO-специалисты.

В процессе индексирования портала, поисковый бот сначала сканирует его, то есть, обходит для изучения контента, а затем добавляет информацию о веб-ресурсе в базу данных. Затем поисковая система формирует поиск по этим базам. Не путайте сканирование с индексацией – это разные вещи.

Узнать подробнее про работу индексации вы можете в статье — Индексация сайта: что это такое и как работает.

Как узнать количество страниц на сайте?

Чтобы понимать, сколько еще страниц вашего проекта не проиндексировано, нужно знать их общее количество. Это позволит понять, как быстро индексируется ваш сайт. Сделать это можно несколькими способами:

  1. Посмотреть карту сайта. Ее вы найдете по адресу: название_вашего_сайта.ru/sitemap.xml. Здесь показываются в основном показываются все страницы, размещенные на ресурсе. Но иногда карта сайта может генерироваться не правильно, и часть страниц в ней может не быть.
  2. Воспользоваться специальной программой. Эти программы сканируют весь ваш сайт и выдают все страницы вашего сайта, пример таких программ Screaming Frog Seo (платная) иди Xenus Links Sleuth (бесплатная).
Топ-пост этого месяца:  Встроенные средства MySQL восстановления из дампа

Способы проверки индексации сайта

Предлагаем вашему вниманию 4 самых распространенных и простых способа, позволяющие проверить, какие страницы есть в индексе, а какие – нет.

1. Через панель вебмастера

Этим методом владельцы веб-ресурсов проверяют их наличие в поиске чаще всего.

Яндекс

  1. Авторизуйтесь в Яндекс.Вебмастер.
  2. Перейдите в меню «Индексирование сайта».
  3. Под ним найдите строку «Страницы в поиске».

Можно пойти и по другому пути:

  1. Выберите «Индексирование сайта».
  2. Дальше перейдите в «История».
  3. Затем кликните на вкладку «Страницы в поиске».

И первым, и вторым способом вы сможете изучить динамику роста или спада числа страниц в поисковой системе.

Google

  1. Зайдите в панель управления сервиса Google Webmaster Tools.
  2. Кликните на вкладку Search Console.
  3. Перейдите в «ИндексGoogle».
  4. Нажмите на опцию «Статус индексирования».

2. Через операторов поисковых систем

Они помогают уточнить результаты поиска. Так, применение оператора «site» позволяет увидеть приблизительное число страниц, которые уже находятся в индексе. Чтобы проверить этот параметр, в строке поиска Яндекс либо Google укажите: «site:адрес_вашего_сайта».

Важно! Если результаты в Google и Яндекс сильно разнятся между собой, то значит ваш сайт имеет какие-то проблемы со структурой сайта, мусорными страницы, индексацией или на него наложены санкции.

Для поиска вы также можете использовать дополнительные инструменты, например, чтобы узнать, как изменялась индексация страниц за определенный период времени. Для этого под поисковой строкой нажмите на вкладку «Инструменты поиска» и выберите период, к примеру, «За 24 часа».

3. Посредством плагинов и расширений

Используя специальные программы, проверка индексации веб-ресурса произойдет автоматически. Это можно сделать с помощью плагинов и расширений, еще известных как букмарклеты. Они представляют собой javascript-программы, которые сохраняются в браузере в виде стандартных закладок.

Преимущество плагинов и расширений в том, что вебмастеру нет необходимости каждый раз по новой заходить в поисковик и вводить там адреса сайтов, операторы и прочее. Скрипты произведут все в автоматическом режиме.

Самым популярным плагином, применяемым в этих целях, является RDS bar, который можно скачать в магазине приложений любого браузера.

Стоит отметить, что в Mozilla Firefox у плагина куда больше возможностей, чем в других браузерах. RDS bar предоставляет информацию относительно и всего веб-сайта, и его отдельных страниц

На заметку. Есть платные и бесплатные плагины. И самый большой минус бесплатных плагинов в том, что в них регулярно нужно вводить капчу.

Нельзя оставить без внимания и букмарклет «Проверка индексации». Чтобы включить программу, просто перетяните ссылку на панель браузера, а затем запустите свой портал и нажмите на закладку расширения. Так вы откроете новую вкладку с Яндекс или Google, где изучите нужную информацию касательно индексации определенных страниц.

4. С помощью специальных сервисов

Я в основном пользуюсь сторонними сервисами, потому что в них наглядно видно какие страницы в индексе, а какие там отсутствуют.

Бесплатный сервис

https://serphunt.ru/indexing/ — есть проверка, как по Яндекс, так и по Google. Бесплатно можно проверить до 50 страниц в сутки.

Платный сервис

Из платных мне больше всего нравится Topvisor — стоимость 0.024р. за проверку одной страницы.

Вы загружаете в сервис все страницы вашего сайта и он вам покажет, какие находятся в индексе поисковых систем, а какие нет.

Заключение

Главная цель владельца любого веб-ресурса – добиться индексации всех страниц, которые будут доступны поисковым роботам для сканирования и копирования информации в базу данных. Реализовать эту задачу на большом сайте может быть очень непросто.

Но при правильном комплексном подходе, то есть, грамотной SEO-оптимизации, регулярном наполнении сайта качественным контентом и постоянном мониторинге процесса включения страниц в индекс поисковиков, можно добиться положительных результатов. Для этого мы в этой статье и рассказали о четырех методах проверки индексации сайта.

Знайте, что, если страницы слишком резко начали вылетать из поиска – с вашим ресурсом что-то не так. Но зачастую проблема таится не в процессе индексации, а в самой оптимизации. Желаете быстро индексироваться и попадать в ТОП выдачу поисковых запросов? Предлагайте целевой аудитории контент, превосходящий конкурентов.

Пожалуйста, оцените эту статью. Чтобы мы могли делать лучший контент! Напишите в комментариях, что вам понравилось и не понравилось!

Как проверить сколько страниц в Яндексе и Гугле

Здравствуйте. Недавно в интернете нашел программу под названием Site-auditor программа очень полезная и здорово мне помогла. Она позволяет быстро собрать данные о сайте в поисковых системах.

Одним кликом и вы получаете данные из основных поисковых систем, а именно: Яндекс, Рамблер, Google, Yahoo.Программа Site-auditor может определить на сайте популярные cчетчеки такие как: Рамблер Top100, LiveInternet (RAX), Mail.ru, SpyLog, HotLog.

А самое классное то, что она бесплатная, занимает на компьютере всего 1,1 МБ и ее не нужно устанавливать. Все собираемые данные сохраняются на вашем компьютере и позволяют Вам отслеживать историю изменений.

Запустив программу в разделе «Экспресс-анализ». Вы можете собрать основные данные об уровне оптимизации сайта.

Чтобы проверить данные нужно в поле https://, ввести URL-адрес исследуемого сайта. По нажатию кнопки «Проверить», программа производит сбор данных:

  • Индекс цитирования Яндекса — ТИЦ и Google — PageRank;
  • Количество страниц, проиндексированных поисковыми системами Яндекс, Рамблер, Google, Апорт и Yahoo.
  • Количество ссылок на сайт, обнаруженных поисковыми системами Google, Яндекс, Yahoo.
  • Данные о наличии сайта в каталогах Яндекс, Рамблер Top100, Апорт и DMOZ.

Если вы часто работаете с ключевыми запросами для сайтав, Site Auditor может стать хорошим помощником для подбора ключевых фраз. Во вкладке «Подбор запросов» – введите ключевую фразу, и программа покажет, сколько раз запрашивалась ваша фраза в Яндексе.

Одним словом, Site Auditor интересная программа, которая позволит без труда и быстро собрать данные о сайте.

Ознакомиться с данной программой можно на сайте разработчика, а именно здесь

Быстрый способ проверить индексацию страниц в Яндексе и Google

Поисковые системы по ряду причин индексируют не все страницы сайта или, наоборот, добавляют в индекс нежелательные. В итоге практически невозможно найти сайт, у которого бы количество страниц в Яндексе и Google совпадало.

Если расхождение не превышает 10%, то на это не все обращают внимание. Но такая позиция справедлива для СМИ и информационных сайтов, когда потеря малой части страниц не сказывается на общей посещаемости. А вот для интернет-магазинов и прочих коммерческих сайтов отсутствие товарных страниц в поиске (даже одной из десяти) — это потеря дохода.

Поэтому важно хотя бы раз в месяц проверять индексацию страниц в Яндексе и Google, сопоставлять результаты, выявлять, какие страницы отсутствуют в поиске, и принимать меры.

Проблема при мониторинге индексации

Посмотреть проиндексированные страницы не составляет труда. Сделать это можно путем выгрузки отчетов в панелях для вебмастеров:

  • Яндекс.Вебмастер («Индексирование» / «Страницы в поиске» / «Все страницы» / «Скачать таблицу XLS / CSV»);

В итоге у вас будет 2 XLS-файла со списком страниц, проиндексированных в Яндексе и Google. Проблема в том, чтобы сопоставить эти списки и определить, каких URL не хватает.

Если у вас, скажем, до 100 URL, то можно сделать это вручную, отсортировав URL по алфавиту и выявив расхождения. Займет это минут 15-20. Если же количество URL составляет 500, 1000 или десятки тысяч, то ручная работа потребует часов или даже дней. В этом случае нужна автоматизация.

Инструмент онлайн-проверки индексации от PromoPult

Для быстрой проверки индексации онлайн в Яндексе и Google в PromoPult разработали инструмент «Анализ индексации страниц».

  • одновременная проверка проиндексированных страниц в Яндексе и Google (или в одной ПС);
  • возможность проверки сразу всех URL сайта по XML-карте;
  • нет ограничения по количеству URL.
  • работа «в облаке» — не нужно скачивать и устанавливать ПО или плагины;
  • выгрузка отчетов в формате XLSX;
  • уведомление на почту об окончании сбора данных;
  • хранение отчетов неограниченное время на сервере PromoPult.

Как работает инструмент проверки индексации?

Шаг 1. Добавление URL

Перейдите на страницу инструмента и добавьте URL, индексацию которых необходимо проверить. Сделать это можно тремя способами:

  • Добавление XML-карты сайта (способ подходит, если вам нужно проверить все URL сайта; для этого укажите полный путь к карте сайта в формате http://www.site.ru/sitemap.xml).
  • Загрузка XLSX-файла (в этом случае система проверит все URL, указанные на первом листе сайта; расположение URL по столбцам и строкам не имеет значения).
  • Добавление списка URL вручную (способ подходит, если вам нужно проверить не все URL сайта, а только некоторые из них; каждый URL указывайте с новой строки).

В зависимости от того, из какого источника вы будете брать URL, решаются разные задачи:

Из XML-карты сайта или CMS. В этом случае можно проверить, какие из важных URL не проиндексированы.

Пример. В карте сайта 1250 URL, которые подлежат индексации. Мы вводим поочередно в Яндексе и Google команду:

Получаем количество проиндексированных страниц — 684 и 1090.

Задача — определить, каких страниц не хватает. Сканируем XML-карту сайта с помощью инструмента от PromoPult, получаем информацию по всем URL и выявляем несоответствия.

Из отчета о проиндексированных страницах из Яндекс.Вебмастера или Google Search Console. Бывает, что в каком-то поисковике количество проиндексированных страниц превышает количество URL в карте сайта. В такой ситуации необходимо загрузить на проверку все URL из поисковика, в котором наблюдается такое превышение, — это позволит выявить «лишние» страницы.

Пример. В карте сайта 15 570 URL, которые подлежат индексации. Проверяем количество страниц по команде site:yourdomain.ru в Яндексе и Google:

В Яндексе количество страниц превышает количество страниц не только в Google, но и в карте сайта. Очевидно, что в индекс попали нежелательные страницы. Если запустить проверку только по URL из карты, то мы так и не узнаем, какие URL «лишние». Поэтому переходим в Яндекс.Вебмастер, выгружаем все страницы из поиска и проверяем их. Теперь проще разобраться, в чем проблема.

Чтобы не было проблем с индексацией, запустите продвижение сайта в комплексном SEO-модуле системы PromoPult. Внутренняя оптимизация, повышение авторитетности сайта, наполнение контентом — все это специалисты делают за вас. Вы лишь задаете бюджет и контролируете процесс.

Шаг 2. Указание ПС

На данном этапе нужно выбрать ПС для проверки индексации. Для выявления расхождений выбирают обе системы.

Шаг 3. Получение результата

После завершения проверки отчет появится в «Списке задач». Кроме того, вам на почту придет уведомление:

Скачать отчет можно в формате XLSX:

В файле 2 листа: результаты анализа и исходные данные. На первом листе 3 столбца: URL и данные по индексации (1 — страница проиндексирована, 0 — нет).

С помощью автофильтра вы легко определите, каких страниц нет в той или иной ПС:

Сколько стоит использование инструмента?

Проверка 1 URL в одной поисковой системе обойдется в 0,02 руб. То есть для мониторинга сайта небольшого интернет-магазина на 1000 страниц нужно 40 рублей, более крупного сайта на 10000 страниц — 400 рублей. С учетом того, сколько времени экономит данный инструмент, его стоимость можно считать условной.

Количество проиндексированных страниц в Яндексе и Google разное — что с этим делать?

На данном этапе вы уже знаете, какие страницы не проиндексированы. Теперь нужно понять, почему это произошло.

Есть ряд причин, по которым поисковики могут индексировать не все (или лишние) страницы:

  • отдельные директивы для Яндекса и Google в robots.txt (в этом случае — ошибочно или намеренно — запрещена индексация определенного типа страниц для одного из Googlebot или Yandexbot; нужно проверить txt и при необходимости исправить директивы);
  • молодой сайт (требуется время, чтобы поисковики добавили все страницы в индекс; если спустя 2-3 месяца после запуска сайта проблема не решилась, ищите другие причины);
  • нет XML-карты сайта (она помогает поисковикам лучше понимать структуру сайта, поэтому ее стоит обязательно создать и разместить в корне сайта);
  • наличие дублей страниц (возникают в силу специфики CMS, ошибок при разработке и настройке сайта, копировании контента; решение — найти и устранить дубли);
  • низкая скорость работы сайта (робот может попросту не дождаться ответа и уйти ни с чем; решение — найти «узкие места» и ускорить работу сайта);
  • редкое добавление контента (чем реже вы добавляете новые страницы, тем реже роботы посещают сайт; естественно, скорость переобхода у Яндекса и Google разная, поэтому возникают расхождения; решение — хотя бы раз в неделю создавать новую страницу с уникальным контентом, например, статьей для блога; если у вас не хватает времени для работы над контентом, подключите модуль автоматического наполнения сайта от PromoPult — копирайтеры будут регулярно писать тематические тексты под ваш сайт, а верстальщики — размещать их на страницах);
  • редкое обновление устаревшего контента (если существующие страницы не обновляются, то при выпадении из индекса повторная индексация произойдет не скоро; избежать этого помогает настроенный Last-Modified и регулярная актуализация информации);
  • санкции поисковиков (ваш сайт может попасть под санкции одного из поисковиков, в то время как со стороны другого их не будет; в этом случае стоит проверить сайт на наличие фильтров и при необходимости выйти из-под них);
  • более 4 уровней вложенности (в такой ситуации поисковик не успевает добраться до части «глубоких» страниц; решение — переосмыслите структуру сайта, максимально упростите ее).

Для точной диагностики причин выпадания страниц из индекса проведите SEO-аудит сайта. По его результатам у вас на руках будет готовый план действий. Останется воплотить их в жизнь.

После устранения недостатков подождите пару недель, чтобы поисковики переиндексировали страницы, и повторно промониторьте ситуацию. Если все сделано верно, то расхождения минимизируются (ожидать, что совпадать будут 100% страниц, не стоит).

Заключение

Проверка индексации в одной поисковой системе — не проблема, достаточно выгрузить отчеты из панели для вебмастеров. Но сопоставить данные из Яндекса и Google и выявить, какие именно страницы не проиндексированы одной из ПС, — другое дело. Вручную сделать это, особенно если страниц более 100-200, трудоемко. В такой ситуации стоит воспользоваться инструментом автоматизации. Спустя пару минут после запуска у вас будет отчет, который позволит выявить нестыковки и принять меры для их устранения.

Топ-пост этого месяца:  Изучение Material Design Lite Сетка

Попробуйте инструмент анализа индексации страниц в действии — предлагаем 10 бесплатных проверок!

Хотите дополнительно заработать? Поделитесь ссылкой на инструмент и получайте 10 % от расходов пользователей, которые перешли по ней.

Как проверить индексацию сайта в Яндексе и Google: 5 рабочих способов

Чтобы понять, находится ли конкретная страница сайт в поиске и сколько вообще страниц вашего ресурса видят поисковые машины, нужно не так и много. Подробнее о том, как проверить индексацию сайта и получить нужную информацию, мы расскажем в этой статье. Сразу же отметим, что при сканировании сайта, роботы переносят все полученные сведения о ресурсе в отдельные базы. И далее уже поисковая система работает по этим базам. Однако отметим, что некоторые неопытные веб-мастера путают два понятия: сканирование и индексацию. Сканирование – это, по сути, изучение роботом сайта. На обход всего ресурса нужно не так уж и много времени. А вот индексирование – то есть, добавления информации о ресурсе в базы данных, занимает относительного много времени.

Содержание этой статьи:

1) Как проверить индексацию сайта через панель управления в сервисе для веб-мастеров

Этот метод является основным. Для сервиса Google следует выполнить следующие действия:

  • перейти в панель управления сервиса;
  • выбрать вкладку Search Console;
  • после этого перейти в еще одну вкладку «Индекс Google»;
  • кликнуть по пункту Статус индексирования.

Для сервиса Яндекс последовательность действий будет следующей:

  • открыть Вебмастер;
  • найти пункт Индексирование сайта;
  • выбрать строку Страницы в поиске.

Также можно пойти по другой последовательности вкладок – после Индексирования сайта кликнуть на вкладку История, а уже там кликнуть на вкладку Страницы в поиске. Это позволит вам отследить, как меняется количество проиндексированных страниц.

Такой способ проверки доступен только тем веб-мастерам, для которых в панели инструментов сервиса открыт соответствующий доступ.

На картинке ниже представлен график хорошо проиндексированного сайта. Как можно увидеть, количество страниц в индексе постоянно возрастает.

А на картинке ниже представлен тот случай, когда наблюдаются проблемы с индексацией или страницы сайты вообще закрыты от индексирования.

2) Проверка поисковыми операторами

С их помощью легко уточнить будущие результаты. Например, отлично для этих целей подходит параметр/оператор «site:», посредством которого вы сможете увидеть, сколько именно страниц проиндексировано.

Для этого в поисковой строке (Яндекс или Google, а лучше и там, и там) вводится следующая комбинация: site: url сайта

Обратите внимание! Большая разница в результатах двух поисковых систем может говорить о наличии тех или иных проблем в работе сайте.

К примеру, сайт cubing.com.ua, данные которого приведены на скринах ниже, находится под фильтром АГС, накладываемым поисковой системой Яндекс.

А вот дополнительные инструменты, которые есть в поисковых системах, дают возможность получить много интересной информации. Например, как менялась индексации за тот или иной период времени.

3) Плагины и расширения

Это автоматизированный метод проверки. Помимо плагинов можно использовать специальные расширения. Их еще называют букмарклеты, который представляют собой программы-скрипты. Они сохраняются в виде обычных браузерных закладок.

Привлекательность скриптов состоит в том, что теперь вам не придется снова и снова открывать поисковую системы и вводить какие-то слова или символы. За вас все сделает программа.

На картинке выше представлен пример работы плагина RDS bar . На скриншоте показано, какие данные он показывает при интеграции в браузер Google Chrome. Но в браузере Mozilla он предоставляет еще больше данных и возможностей.

В частности, такой плагин дает возможность получить данные, как по отдельной странице, так и по всему сайту в целом.

Обратите внимание! Плагины бывают, как платными, так и бесплатными. Явный недостаток бесплатных версий – необходимость постоянно вводить капчу. Нервирует жутко!

Хорошие отзывы заслужил скрипт/букмарклет «Проверка индексации». Его нужно всего лишь перетащить на панель вашего браузера. Потом открывайте нужный вам сайт и кликните по закладке скрипта. Это активирует новую вкладку браузера, на которой показаны все данные.

4) Специальные сервисы

Истинные помощники всех «сеошников». Перечислять подобные сервисы можно долго – их много. К примеру, выделяется ресурс Netpeak Spider .

Основное преимущество сервисов состоит в том, что вы получаете массу дополнительной информации помимо основных данных:

  • данные о количестве проиндексированных страниц;
  • полный список всех страниц, которые находятся в индексе;
  • коды ответа;
  • мета-теги;
  • файл robots.txt и многое-многое другое.

Кроме того, сервис предоставит информацию об ошибках на сайте.

5) Проверка индексации сайта с помощью Topvisor

Topvisor — является лучшим из сервисов для мониторинга и анализа поискового продвижения. Для проверки индексации следует выполнить следующие действия:

После того, как пройдете регистрацию, выберите проект, которой хотите проиндексировать.

Далее переходим во вкладку «ядро»

Здесь можно создавать группы ключевых слов для удобства и с помощью сервиса определить частотность запросов и посмотреть их базовые, «фразовые» и «точные» значения. При этом «ключи» вводить можно вручную, импортировать их из файла, а также сделать подбор из Яндекс.Wordstat и Google AdWords.

Для проверки позиций переходим на вкладку «позиции» , выбираем нужную поисковую систему, к примеру Яндекс, выбираем нужную группу ключевых запросов и кликаем по зеленой кнопке в верхнем левом углу «обновить».

Спустя некоторое время данные обновятся. В отчете вы увидите позиции вашего сайта по определенным запросам и частоту запросов по «ключам». Когда происходят какие-либо изменения, например, ваш сайт поднялся на несколько позиций выше в поисковой системе, то эти изменения будут отображены здесь же. Так же доступна опция автоматического запуска проверки в указанное время или в зависимости от апдейтов Яндекса

Почему возникают проблемы с индексированием сайта: описание основных проблем и пути их решения

Рассмотрим основные причины, почему сайт может не индексироваться. Зачастую на исправление ошибок нужно не так уж и много времени, но после этого результаты поисковой выдачи существенно улучшаются.

Молодой сайт

Если вашему ресурсу совсем мало дней/недель/месяцев, нужно лишь просто подождать. Немного. Так уж работают поисковые системы, что сайты и страницы попадают в индекс далеко не сразу. Иногда приходится ждать несколько месяцев.

Отсутствует sitemap

Без нормальной карты сайта добиться хороших результатов нереально. Sitemap оказывает непосредственную помощь поисковым роботам, что существенно ускоряет скорость сканирования сайта, а также попадания его страниц в индекс. Добавлять ссылку на карту сайта проще всего через панель управления в сервисе веб-мастеров.

Наличие ошибок

Внимательно следите за оповещениями при посещении сервиса веб-мастеров. Там постоянно появляются сообщение о наличии тех или иных недочетов, ошибок. Просматривайте их и не забывайте исправлять.

Проблема с robots

Метатег robots важен для правильного индексирования сайта. Неосознанное изменение настроек на хостинге или вашей CMS приводит к появлению следующей записи в коде.

Что говорит о том, что страница попросту не индексируется.

Ошибка с файлом robots.txt

Правильно написанный файл robots.txt – гарантия хорошего индексирования. Нередко можно встретить советы и рекомендации закрывать для поисковых роботов через данный файл все ненужное.

Однако уникальная особенность файла состоит в том, что лишь один неправильно поставленный символ может вообще закрыть сайт для индексации поисковыми системами.

Даже если вы стремились закрыть всего лишь одну страницу, может оказаться так, что одним кликом перекрыли несколько страниц и т.д.

Посмотрите внимательно на свой файл. Нет ли в нем записи User-agent: * Disallow: / ? Если она присутствует, значит сайт закрыт для индексрования.

И еще несколько причин, по которым сайт не индексируется

Среди основных проблем с индексированием можно выделить:

  • наличие дублей страниц;
  • использование при наполнении сайта неуникальных материалов;
  • низкая скорость загрузки сайта и проблемы с доступом к нему.

Как ускорить индексацию сайта в Яндексе и Гугле?

Главная цель владельца сайта – чтобы все страницы, открытые для поисковых роботов, находились в индексации. Добиться такого результата, скажем откровенно, весьма и весьма сложно.

Кроме того, необходимо постоянно отслеживать весь процесс добавления страниц в индекс. Любые изменения – резкие – будь-то положительные или отрицательные, сигнализируют о наличии конкретных проблем, которые мешают нормальному индексированию ресурса.

Для проверки индексирования сайта воспользуйтесь любым (а лучше последовательно каждым) способом, описанным в нашей статье:

  • панелью инструментов в сервисе для веб-мастеров;
  • поисковым оператором/параметром site: ;
  • плагины и скрипты;
  • специализированные онлайн-сервисы.

Бонус, для тех, кто действительно хочет достичь результатов

Представляем специальную таблицу , которая поможет вам при работе с индексацией сайта.

Работать с такой таблицей очень и очень просто. Вот подробная последовательность действий:

  • сделайте копию таблицы со столбцами, как на скрине;
  • выберите доменную зону;
  • в столбик А подгрузите URL сайта;
  • подождите, пока подгрузятся все URL – чем их больше, тем дольше ждать результата.

Столбы В и С можно копировать, что позволит вам отслеживать динамику индексации страниц.

Вы еще не прошли обучение на моем авторском курсе «Как создать сайт за 4 дня»? Переходите по ссылке: ifish2.ru/free/ и регестрируйтесь прямо сейчас либо можете воспользоваться моей инструкцией, где я пошагово показываю как создать сайт на WordPress бесплатно! Приходите, будет интересно!

Крутой способ проверки большого количества страниц в индексе Яндекса и Гугла

Доброго времени суток, дорогие читатели. Хочу вам рассказать очень полезный кейс (способ — называйте как хотите) сбора страниц в индексе яндекса и гугла, который мы с коллегами придумали на днях. Скажете вы — «А почему мне не зайти, например, в Яндекс вебмастер или спарсить выдачу?!» — все просто, в данном случае наш пациент — интернет магазин атрибутики для телефонов с огромным количеством страниц (реальных страниц товаров — около 10000 штук). Необходимо было на данном сайте проверить какие страницы товаров в данный момент находятся в индексе, а какие нет.

Почему же нам не подходят стандартные способы проверки страниц в индексе:

  • Яндекс вебмастер: там показывается лишь 1000 URL в индексе, сколько бы у вас страниц не было, он покажет лишь первую тысячу.
  • Скрипт с XML-лимитами Яндекса: честно говоря не сталкивался, но знаю, что этот способ наверняка будет более затратным, чем тот, который я вам покажу, к тому же, с Гугла вы таким образом не сможете собрать страницы с индекса
  • Проверить вручную каждую ссылку: думаю очевидно, почему нам этот метод не подходит =)

Что нам нужно для проверки индексации страниц в индексе Яндекса и Гугла

Для того, чтобы им воспользоваться нам необходим KeyCollector, думаю он есть практически у каждого СЕО-оптимизатора, а также немного денег на антикапчу. Результатом нашей проверки будет екселевский документ, в котором будет список всех URL-ов сайта отсортированных по «в индексе / не в индексе» (в случае с двумя поисковыми системами, можно будет сделать и две колонки — Индекс Яндекса и Индекс Google).

Итак, сам способ массовой проверки индексации большого количество страниц в Яндексе и Гугле

Нам нужно добыть список всех URL вашего сайта, каким образом это сделать, я думаю вы и сами знаете. В большинстве случаев у нас есть sitemap.xml в котором присутствует необходимый список ссылок. Давайте в пример возьмем сайтмап данного блога. Показывать я буду на примере 50-ти страниц, но этого будет достаточно, чтобы понять что к чему =)

1) Заходим на сайтмап -> правая кнопка мыши -> сохранить как -> sitemap.xml

2) Далее открываем наш сохраненный файл с помощью екселя. Вылетают какие-то предупреждения — жмем везде «ОК». Видим примерно следующее:

Вот в принципе-то тот самый перечень страниц, которые мы и будем проверять на индексацию в Яндексе/Гугле

3) Теперь заходим в КейКоллектор и сразу создадим новый проект и зайдем в настройки -> парсинг -> общие и там где у нас написано «фильтрация символов» стираем оба поля и жмем сохранить.

Мы это сделали для следующего нашего шага

4) Добавления наших URL-ов. Жмем добавить фразы, копируем столбик со всеми ссылками из excel — не пугайтесь, даже если их 10 000 — коллектор добавил их мгновенно. Как скопировали нажимаем «добавить в таблицу».

5) После того, как страницы были успешно добавлены — в правом верхнем углу пишем URL нашего пациента и нажимаем кнопочку «Сбор позиций сайта с ПС яндекс» (или/и гугл соответственно вашим целям) и ждем пока он закончит. Для сравнения: операция на проверок 10000 страниц заняла около 6 часов, но в данном случае это малая жертва, т.к. ваши трудо- и временные затраты практически нулевые (коллектор вам не будет грузить компьютер или еще каким-либо образом мешать, он просто тихо сделает свою работу).

Осталось только выгрузить наш документ: не забудьте в настройках -> интерфейс -> экспорт -> поставить галочки на «фраза» и «позиция с ПС яндекс» (ну и гугл, если необходимо). Сохраняем. Давайте наконец выгрузим то, что у нас получилось! (кнопочка excel в верхнем левом углу)

И что мы видим в итоге: Экселевский файлик с урлами сайта и цифру напротив либо «1» либо «-1».
«1» — страница в индексе
«-1» — страница не в индексе

Что же именно мы сделали? По сути, мы заставили КейКоллектор заходить в яндекс/гугл вбивать в поисковую строку каждый урл и собирать позицию нашего сайта в выдаче. От туда и цифра, если «1» — то это первая (и единственная) позиция, а «-1» — это значит, что страницы в выдаче нет. Хочу напомнить, что вам понадобится антикапча — иначе коллектор будет останавливаться каждые 5 минут. Спасибо за внимание.

Добавить комментарий