AMP-страницы не требуют отдельного файла Sitemap


Содержание материала:

AMP-страницы не требуют отдельного файла Sitemap

Доброго времени суток! У нас следующая проблема:
В апреле этого года мы запустили AMP на наш сайт talapai.kz
Всего страниц у нас 120000 (в sitemap), но количество проиндексированных AMP страниц по сей день не превышает 10 000. В чем может быть проблема?

Мои предположения были такими. Наш sitemap раздроблен на 12 файлов и в каждом по 10 000 страниц. Отталкиваясь отсюда, я думала что гугл индексирует только один файл — sitemap2, почему именно сайтмап2, потому что во первых: в SearchConsole на странице Файлы Sitemap у нас отображался главный сайтмап и сайтмап2 (как рядом с главным сайтмапом появился второй — не знаем, возможно кто-то когда-то его вручную добавил). Во вторых: я сверила урлы проиндексированных amp страниц с ссылками в файле сайтмап2 — сошлись некоторые. Почему сошлись только некоторые, я думаю из-за того что сайтмап2 на сайте был актуальным, а ссылки в search console были за предыдущий день, т.к. статистика урлов не показывается день в день.

В итоге в этот список с двумя файлами я добавила и все остальные сайтмапы (29 июня), с надеждой что кол-во проиндексированных страниц в AMP вырастит, но все без изменений — кол-во такое же 9114. Хотя обычные страницы индексируются нормально, независимо от того добавлен только главный сайтмап или и все остальные тоже.

Опережая другие предположения, canonical урлы у нас проставлены.

— В чем еще может быть проблема? Может кто сталкивался с подобным.
Все таки думаю, что гугл индексирует для AMP только один файл, но как сказать ему, что у нас файлов больше? Ведь нет специальной функции добавления сайтмапа только для АМП в Google Search Console.

— И не дает покоя все таки второй сайтмап, почему во вкладке Статус индексирования URL в левом верхнем выпадающем списке у нас отображается главный сайтмап и сайтмап2? (отправляю скрин )
https://yadi.sk/i/ekHM6vyJ3Yf6od

Буду рада любому предположению, надеюсь на помощь.

Файлы sitemap для изображений

Карта изображений сайта: зачем нужна и как ее настроить

О необходимости наличия карты сайта со списком присутствующих на нем страниц для повышения эффективности его продвижения в поисковиках и о нюансах ее настройки мы уже ранее писали. Сегодня же хотим Вам рассказать, зачем и как использовать sitemap для изображений сайта.

О том, что на содержимое этого файла ориентируются поисковые роботы при посещении сайта, знают все более-менее знакомые с основами SEO веб-мастера. При этом многие не придают значения участию изображений сайта в поиске и не заморачиваются с настройкой sitemap для картинок, а то и вовсе не знают об этом моменте.

А ведь в некоторых случаях поисковик без помощи веб-мастера не сможет проиндексировать все графические файлы сайта (например, если он подгружаются через Javascript).

Также составление sitemap для картинок способствует более тщательному индексированию содержимого веб-ресурсов с большим количеством страниц и уровней вложенности.

К тому же полноценное участие в поиске по картинкам может стать неплохим источником получения дополнительного трафика на сайт.

Что нужно знать о sitemap для изображений

  1. Карту изображений сайта можно разместить как в составе уже имеющегося sitemap.xml со списком страниц, так и в отдельном файле, который можно назвать, например, sitemap2 или sitemapimages. Главное при этом, не забыть прописать соответствующую строку в robots.txt.

В sitemap для картинок прописываются не просто списки ссылок, а специальные теги, с помощью которых поисковик получает основную, а также дополнительную информацию об изображениях.

При составлении карты изображений сайта можно указывать до 1000 графических объектов для каждой его странички. Вот так, например, будет выглядеть фрагмент sitemap картинок, указывающий на наличие трех изображений на одной и той же странице:

Как составить карту изображений сайта

  1. Sitemap для картинок можно составить вручную, следуя вышеприведенному примеру структуры этого файла. Конечно же, это оправдано лишь, когда на сайте имеется не очень большое количество графических файлов.
  2. С помощью одного из многочисленных онлайн-сервисов. Большинство из них предлагают сгенерировать карту изображений сайта платно. Но бесплатные варианты тоже можно найти.

Например, в сервисе, скриншот которого расположен выше, нужно всего лишь ввести адрес веб-сайта, для которого требуется сделать sitemap изображений и подождать пару минут. Затем сгенерированный код необходимо скопировать и вставить в новый файл, созданный в Блокноте, и сохранить его в корень сайта с расширением .xml.

Используя плагины, устанавливаемые в CMS (для Вордпресс подойдут Yoast SEO, Udinra Image Sitemap и др.), сформировать карту изображений сайта еще проще.
В них обычно имеется возможность настроить, какие теги, кроме основных, будут использоваться, что позволит регулировать степень полноты передаваемой поисковикам информации о картинках.

Также нет необходимости возиться с созданием файла в формате .xml и расположением его в корневой директории веб-ресурса – такие плагины делают все это автоматически.

Sitemap для картинок и Яндекс

Описанная в статье возможность создания отдельного sitemap для изображений актуальна только для Google. Как ни прискорбно, но Яндекс не умеет распознавать придуманные Гуглом для описания картинок теги.

Поэтому, чтобы не видеть ошибок и предупреждений при проверке карты сайта в Яндекс.Вебмастере, можно сделать два файла – один обычный со списком страниц, а второй для картинок. Затем Яндексу нужно «скормить» только стандартный sitemap.xml, а Гуглу оба.

В результате создания sitemap для изображений Вы сможете существенно повысить степень присутствия Вашего сайта в поиске по картинкам (в Google), получив в награду улучшение позиций и дополнительный трафик.

Кто уже пользуется таким сайтмапом? Оставьте свое мнение и рекомендации в комментариях.

sitemaps.org

В этом документе приведено описание XML-схемы протокола Sitemap.

Формат протокола Sitemap состоит из XML-тегов. Для всех значений данных в файле Sitemap должно использоваться маскирование. В файле необходимо использовать кодировку UTF-8.

  • В начале поставьте открывающий тег , а в конце поставьте закрывающий тег .
  • Укажите область имен (стандарт протокола) в теге .
  • Включите запись для каждого URL-адреса как родительский тег XML.
  • Включите дочернюю запись для каждого родительского тега .

Все теги необязательны. Поддержка необязательных тегов может отличаться в зависимости от поискового сервера. Чтобы получить более подробную информацию, обратитесь к документации поискового сервера.

Также все URL-адреса в файле Sitemap должны быть с одного узла, например www.example.com или store.example.com. Дополнительные сведения см. в разделе Расположение файла Sitemap

Пример XML-файла Sitemap

Ниже приведен пример файла Sitemap, в котором содержится только один URL-адрес и использованы все необязательные теги. Необязательные теги выделены курсивом.

Определения XML-тегов

Ниже описаны доступные XML-теги.

Инкапсулирует этот файл и указывает стандарт текущего протокола.

Родительский тег для каждой записи URL-адреса. Остальные теги являются дочерними для этого тега.

URL-адрес страницы. Этот URL-адрес должен начинаться с префикса (например, HTTP) и заканчиваться косой чертой, если Ваш веб-сервер требует этого. Длина этого значения не должна превышать 2048 символов.

Дата последнего изменения файла. Эта дата должна быть в формате W3C Datetime. Этот формат позволяет при необходимости опустить сегмент времени и использовать формат ГГГГ-ММ-ДД.

Обратите внимание, что этот тег не имеет отношения к заголовку «If-Modified-Since (304)», который может вернуть сервер, поэтому поисковые системы могут по-разному использовать информацию из этих двух источников.

Вероятная частота изменения этой страницы. Это значение предоставляет общую информацию для поисковых систем и может не соответствовать точно частоте сканирования этой страницы. Допустимые значения:

Значение»всегда» должно использоваться для описания документов, которые изменяются при каждом доступе к этим документам. Значение «никогда» должно использоваться для описания архивных URL-адресов.

Имейте в виду, что значение для этого тега рассматривается как подсказка, а не как команда. Несмотря на то, что сканеры поисковой системы учитывают эту информацию при принятии решений, они могут сканировать страницы с пометкой «ежечасно» менее часто, чем указано, а страницы с пометкой «ежегодно» – более часто, чем указано. Сканеры могут периодически сканировать страницы с пометкой «никогда», чтобы отслеживать неожиданные изменения на этих страницах.

Приоритетность URL относительно других URL на Вашем сайте. Допустимый диапазон значений — от 0,0 до 1,0. Это значение не влияет на процедуру сравнения Ваших страниц со страницами на других сайтах — оно только позволяет указать поисковым системам, какие страницы, по Вашему мнению, более важны для сканеров.

Приоритет страницы по умолчанию — 0,5.

Следует учитывать, что приоритет, который Вы назначили странице, не влияет на положение Ваших URL на страницах результатов той или иной поисковой системы. Поисковые системы используют эту информацию при обработке URL, которые относятся к одному и тому же сайту, поэтому можно использовать этот тег для увеличения вероятности присутствия в поисковом индексе Ваших самых важных страниц.

Кроме того, следует учитывать, что назначение высокого приоритета всем URL на Вашем сайте не имеет смысла. Поскольку приоритетность – величина относительная, этот параметр используется для того, чтобы определить очередность обработки URL в пределах сайта.

Маскирование символов

В файле Sitemap должна использоваться кодировка UTF-8 (обычно ее можно выбрать при сохранении данного файла). В XML-файлах для всех значений данных (включая URL-адреса) должно использоваться маскирование символов, перечисленных ниже в таблице.

Атрибут Описание
обязательный
обязательный
обязательный
необязательно
необязательно необязательно
Символ Маскирование
Амперсанд & &
Одинарные кавычки
Двойные кавычки « «
Больше > >
Меньше

Кроме того, для всех URL (включая URL из вашего файла Sitemap) должны использоваться маскирование и кодировка для удобочитаемости веб-сервером, на котором они размещаются. Однако, если для создания своих URL Вы используете какой-либо вид скрипта, инструментального средства или журнала (любой способ кроме ввода их вручную), то маскировка и кодировка применяются автоматически. Убедитесь в том, что все URL-адреса соответствуют стандарту RFC-3986 для URI, стандарту RFC-3987 для IRI и XML-стандарту.

Ниже приведен пример URL-адреса, в котором используется символ, отличный от ASCI ( ü ), а также символ, для которого необходимо маскирование ( & ):

Ниже этот же URL-адрес приведен в кодировке ISO-8859-1 (для размещения на сервере, который использует эту кодировку) с маскированием:

Ниже этот же URL-адрес приведен в кодировке UTF-8 (для размещения на сервере, который использует эту кодировку) и с использованием маскирования:

Ниже приведен тот же URL-адрес, но с использованием маскирования:

Пример XML-файла Sitemap

В следующем примере показан файл Sitemap в XML-формате. Sitemap в этом примере содержит небольшое число URL-адресов, каждый из которых использует разное сочетание необязательных параметров.

Использование файлов индекса Sitemap (для создания группы из нескольких файлов Sitemap)

Можно предоставить несколько файлов Sitemap, однако в каждом из этих файлов должно быть не более 50000 URL, а размер каждого из этих файлов не должен превышать 50 МБ. При необходимости файл Sitemap можно сжать с помощью архиватора gzip, чтобы уменьшить требования к пропускной способности канала. Однако размер файла sitemap без сжатия не должен превышать 50 МБ. Если необходимо перечислить более 50000 URL-адресов, следует создать несколько файлов Sitemap.

Если требуется передать несколько файлов Sitemap, необходимо перечислить каждый из этих файлов в файле индекса Sitemap. В файле индекса Sitemap может быть перечислено не более 50000 файлов Sitemap. Размер этого файла не должен превышать 50 МБ (52 428 800 байт) и может быть сжат. У вас может быть несколько файлов Sitemap. Формат XML-файла индекса Sitemap очень похож на формат XML-файла Sitemap.

Файл индекса Sitemap должен:

  • В начале поставьте открывающий тег , а затем поставьте закрывающий тег .
  • Добавьте запись для каждого файла Sitemap как родительский XML-тег.
  • Включите дочернюю запись для каждого родительского тега .

Необязательный тег также доступен для файлов индекса Sitemap.

Примечание. Файл индекса Sitemap может указывать только файлы Sitemap, которые находятся на том же сайте, что и файл индекса Sitemap. Например, файл индекса http://www.vashsait.ru/sitemap_index.xml может включать файлы Sitemap, размещенные на сайте http://www.vashsait.ru, но не на сайте http://www.primer.ru или http://vashkhost.vashsait.ru. Для файла индекса Sitemap, как и для файлов Sitemap, необходимо использовать кодировку UTF-8.

Пример индекса XML Sitemap

В следующем примере показан файл индекса Sitemap, который содержит два файла Sitemaps.

Примечание: для URL-адресов Sitemap, как и для всех значений в XML-файлах, должно использоваться маскирование .


Определения XML-тегов индекса Sitemap

Указывает местоположение файла Sitemap.

Этим местоположением может быть файл Sitemap, файл Atom, файл RSS или простой текстовый файл.

Указывает время изменения соответствующего файла Sitemap. Не соответствует времени изменения ни одной из страниц в этом файле Sitemap. Значение тега «lastmod» должно быть представлено в формате W3C Datetime.

Предоставляя отметку времени последнего изменения, Вы позволяете сканерам поисковой системы извлекать только часть файлов Sitemap в индексе, то есть сканер может извлекать только те файлы Sitemap, которые были изменены после определенной даты. Этот механизм частичного извлечения файлов Sitemap позволяет быстро обнаруживать новые URL на сайтах больших размеров.

Другие форматы файла Sitemap

Протокол Sitemap дает возможность обеспечить поисковые системы подробной информацией о страницах, и мы рекомендуем его использовать, поскольку при этом можно указать дополнительные сведения о страницах сайта, а не только их URL. Помимо протокола XML мы также поддерживаем каналы RSS и текстовые файлы, которые предоставляют более ограниченную информацию.

Канал синдикации

Вы можете предоставить канал RSS 2.0, Atom 0.3 или 1.0. Как правило, этот формат используется только в том случае, если на сайте уже есть канал синдикации. Обратите внимание, что в этом случае поисковые системы, возможно, не получат информацию обо всех URL на вашем сайте, поскольку данный канал предоставляет информацию только по последним URL. Однако поисковые системы могут использовать эту информацию, чтобы обнаружить другие страницы сайта, переходя по ссылкам на страницах канала в процессе обычного сканирования. Убедитесь, что канал расположен в каталоге самого высокого уровня, который должен сканироваться поисковой системой. Поисковые системы извлекают информацию из канала следующим образом.

  • поле – указывает URL
  • поле даты изменения (поле

для каналов RSS и дата для каналов Atom) – указывает, когда каждый URL был изменен в последний раз. Использовать поле даты изменения необязательно.

Текстовый файл

Вы можете предоставить простой текстовый файл, содержащий один URL в строке. Этот текстовый файл должен соответствовать следующим требованиям.

  • В этом текстовом файле в каждой строке должен быть только один URL. Эти URL не могут содержать новые внедренные строки.
  • Необходимо указать URL полностью, включая префикс http.
  • Каждый текстовый файл может содержать не более 50 000 URL, и его размер не должен превышать 50 МБ (52 428 800 байт). Если сайт включает более 50000 URL, можно разделить этот список на несколько текстовых файлов и передать каждый файл отдельно.
  • Для этого текстового файла необходимо использовать кодировку UTF-8. Ее можно задать при сохранении файла (например, в программе «Блокнот» она указана в меню «Кодировка» диалогового окна «Сохранить как»).
  • Этот текстовый файл не должен включать никаких других данных, кроме списка URL.
  • Этот текстовый файл не должен содержать данных заголовка или нижнего колонтитула.
  • При необходимости файл Sitemap можно сжать с помощью архиватора gzip, чтобы уменьшить требования к пропускной способности канала.
  • Этому текстовому файлу можно присвоить любое имя. Убедитесь, что ваши URL-адреса соответствуют стандарту RFC-3986 для URI-адресов и стандарту RFC-3987 для файлов IRI.
  • Загрузите этот текстовый файл в каталог самого высокого уровня, который должен сканироваться поисковой системой, и убедитесь, что в файл не внесены адреса URL, находящиеся в каталоге более высокого уровня.

Ниже приведен пример строк текстового файла.

Местоположение файла Sitemap

Местоположение файла Sitemap определяет набор URL-адресов, которые можно включить в этот Sitemap. Файл Sitemap, расположенный в каталоге http://primer.ru/catalog/sitemap.xml, может включать любые URL-адреса, начинающиеся с http://primer.ru/catalog/, но не должен включать URL-адреса, начинающиеся с http://primer.ru/images/.

Если у Вас есть разрешение на изменение файла http://primer.org/path/sitemap.xml, можно предположить, что у Вас также имеется разрешение на предоставление информации для URL с префиксом http://primer.org/path/. Примеры допустимых URL в http://primer.ru/catalog/sitemap.xml включают:

К недопустимым URL-адресам в файле http://primer.ru/catalog/sitemap.xml относятся следующие:

Это значит, что все URL-адреса, перечисленные в файле Sitemap, должны использовать один и тот же протокол (в данном случае — HTTP) и должны быть размещены на том же хосте, что и файл Sitemap. Например, если файл Sitemap расположен по адресу http://www.primer.ru/sitemap.xml, в нем могут быть указаны URL-адреса из субдомена http://subdomen.primer.ru.

URL-адреса, которые считаются недопустимыми, исключаются из дальнейшего рассмотрения. Настоятельно рекомендуется поместить файл Sitemap в корневой каталог Вашего веб-сервера. Например, если адрес Вашего сервера — primer.ru, Ваш файл индекса Sitemap должен быть размещен по адресу http://primer.ru/sitemap.xml. Возможно, в некоторых случаях нужно будет создать различные файлы Sitemap для различных путей на Вашем сайте (например, если полномочия доступа в Вашей организации установлены таким образом, что доступ с правом записи к различным каталогам предоставляется отдельно).

Если при передаче файла Sitemap используется путь, содержащий номер порта, необходимо включить этот номер порта в путь в каждом URL, перечисленном в файле Sitemap. Например, если Ваш файл Sitemap находится в http://www.primer.ru:100/sitemap.xml, то каждый URL, перечисленный в файле Sitemap, должен начинаться с http://www.primer.ru:100.

Файлы Sitemap и перекрестная отправка

Чтобы отправить файлы Sitemap на несколько узлов с одного, необходимо «подтвердить» владение узлом(-ами) для которого URL-адреса отправляются в файле Sitemap. Ниже приведен пример. Допустим, необходимо отправить файлы Sitemap на 3 узла:

Более того, необходимо разместить все три файла Sitemap на одном узле: www.sitemaphost.com. Таким образом, URL-адреса Sitemaps будут следующими:

По умолчанию это приведет к ошибке «перекрестная отправка», так как была произведена попытка отправить URL-адреса для узла www.host1.com через файл Sitemap, который расположен на узле www.sitemaphost.com (то же самое и для двух других узлов). Первый способ избежать этой ошибки — это доказать свое владение (например право изменять файлы) узлом www.host1.com. Это можно сделать, изменив файл robots.txt на узле www.host1.com, чтобы указать на файл Sitemap на узле www.sitemaphost.com.

В этом примере файл robots.txt на узле http://www.host1.com/robots.txt содержал бы строку «Sitemap: http://www.sitemaphost.com/sitemap-host1.xml». Изменив файл robots.txt на узле www.host1.com с указанием на файл Sitemap на узле www.sitemaphost.com, вы косвенно доказали, что являетесь владельцем узла www.host1.com. Другими словами, кто бы не управлял файлом robots.txt на узле www.host1.com, он доверяет файлу Sitemap на узле http://www.sitemaphost.com/sitemap-host1.xml на предмет содержания URL-адресов для узла www.host1.com. Эту же процедуру можно повторить для двух других узлов.

Теперь можно отправлять файлы Sitemap на узел www.sitemaphost.com.

Если в файле robots.txt указан определенный узел, например http://www.host1.com/robots.txt, это указывает на файл Sitemap или файл индекса Sitemap на другом узле. Скорее всего это означает, что для каждого конечного файла Sitemap, например http://www.sitemaphost.com/sitemap-host1.xml, все URL-адреса принадлежат узлу, который на них указывает. Это происходит потому, что, как было указано ранее, ожидается, что файл Sitemap будет содержать URL-адреса только с одного узла.

Проверка файла Sitemap

Для определения элементов и атрибутов, которые могут появляться в Вашем файле Sitemap, используются следующие XML-схемы. Эту схему можно загрузить с помощью приведенных ниже ссылок.

Ряд инструментов может помочь при проверке структуры файла Sitemap на основе этой схемы. Вы можете найти список инструментов для работы с XML-файлами в каждом из следующих местоположений:

Для проверки Вашего файла Sitemap или файла индекса Sitemap по этой схеме в XML-файл нужно добавить дополнительные заголовки, как показано ниже.

Sitemap:

Файл индекса Sitemap:

Расширение протокола Sitemaps

Протокол Sitemap можно расширить с помощью Вашего собственного пространства имен. Просто укажите это пространство имен в корневом элементе. Например:

Уведомления для сканеров поисковых систем

После того как файл Sitemap создан и размещен на веб-сервере, необходимо сообщить о местонахождении этого файла поисковым системам, поддерживающим этот протокол. Это можно сделать следующим образом.

Затем поисковые системы смогут извлечь файл Sitemap и разрешить своим сканерам доступ к URL-адресам.

Передача файла Sitemap с помощью интерфейса поисковой системы

Чтобы отправить файл Sitemap напрямую в поисковую систему, которая предоставляет возможность получать информацию о статусе и ошибках обработки, обратитесь к документации поисковой системы.

Как указать местоположение файла Sitemap в файле robots.txt

Можно указать местоположение файла Sitemap, используя файл robots.txt. Для этого просто добавьте следующую строку:

Эта инструкция не зависит от строки агента пользователя, поэтому неважно, где она размещается в файле. При наличии файла индекса Sitemap можно включить местоположение только этого файла. Перечислять каждый отдельный файл Sitemap, указанный в файле индекса, не нужно.

Можно указать несколько файлов Sitemap для каждого файла robots.txt.

Передача файла Sitemap с помощью запроса HTTP

Чтобы отправить файл Sitemap с помощью HTTP-запроса (замените на URL, указанный поисковой системой), создайте запрос для следующего URL-адреса.

Например, если файл Sitemap находится в архивном файле http://www.primer.ru/sitemap.gz, URL-адрес будет следующим:

Добавьте кодировку URL для всех символов после /ping?sitemap=:

Можно отправить http-запрос, используя «wget», «curl» или другой механизм по выбору. Успешный запрос возвратит код отклика HTTP 200; если получен другой отклик, необходимо повторно передать запрос. Код отклика HTTP 200 указывает только на то, что поисковая система получила Ваш файл Sitemap, но это не значит, что сам файл Sitemap или содержащиеся в нем URL допустимы. Самый простой способ — создать автоматическое задание для регулярного создания и передачи файлов Sitemap.
Примечание. Предоставляя файл индекса Sitemap, необходимо инициировать только один http-запрос, который включает местоположение файла индекса Sitemap; отправлять отдельные запросы для каждого файла Sitemap, указанного в этом индексе, не нужно.

Ошибки в карте сайта sitemap.xml

Небольшой пост по поводу ошибок в xml-карте сайта:

  • Почему возникают?
  • Насколько критично?
  • Всегда ли надо устранять?

Файл sitemap — это файл с информацией о страницах сайта, подлежащих индексированию. Разместив этот файл на сайте, вы можете:

  • сообщить Яндексу, какие страницы вашего сайта нужно индексировать;
  • как часто обновляется информация на страницах;
  • индексирование каких страниц наиболее важно.

О проблемах с сайтом можно узнать при помощи сервиса Яндекс.Вебмастер, для этого необходимо добавить сайт в Вебмастер.

Яндекс.Вебмастер сигнализирует о возможной проблеме

Сразу замечу, что в обязательном порядке необходимо реагировать на фатальные ошибки. К «самым фатальным ошибкам» относятся заражение сайта вирусами и полный запрет на индексирование сайта в файле robots.txt (Disallow: /).

В конкретном случае сервис сообщает, что возможно есть какие-то проблемы с файлами Sitemap.

В одном или нескольких файлах Sitemap обнаружены ошибки, которые могут повлиять на обработку файлов индексирующим роботом После щелчка по ссылке «Проверить» возникла ужасающая картина — почти 11 тыс. ошибок в файле Sitemap с постами сайта

У особо впечатлительных веб-мастеров может подняться давление, но сперва следует разобраться в причине статуса.

Как оказалось, проблема в теге image:image, который не смог распознать робот Яндекса

Этот тег появился в картах Sitemap по той причине, что в качестве SEO-плагина на сайте установлен Yoast SEO, который создает Sitemap согласно пожеланиям Google.

Тег содержит всю информацию об одном изображении. Он нужен для того, чтобы картинки были представлены в результатах поиска Google.

Следуя рекомендациям для веб-мастеров и советам по публикации изображений, вы повысите вероятность того, что ваши картинки будут представлены в результатах поиска. Кроме того, можно предоставить Google дополнительную информацию о графических материалах, размещенных на вашем сайте, с помощью специальных функций файла Sitemap. Это поможет Google найти контент, который иначе нельзя было бы обнаружить (например, если он загружается с помощью JavaScript), а также позволит вам указать изображения, которые необходимо сканировать и индексировать.

Получается, что хорошо для Google, то плохо для Яндекса. На некоторых блогах появились рекомендация убирать все лишнее из файлов Sitemap чтобы у Яндекса не было замечаний. Но надо ли на самом деле убирать то, что рекомендует Google? Насколько критичны данные ошибки для сайта? Чтобы ответить на этот вопрос, обратимся к справке Яндекса.

Файл Sitemap может содержать различную информацию о страницах сайта, которая передаётся роботам с помощью тегов в файле. Робот Яндекса поддерживает следующие теги:

  • loc (адрес страницы);
  • lastmod (дату последнего обновления страницы);
  • changefreq (частоту изменения страницы);
  • priority (относительную значимость страницы).

Если файл содержит другие теги, например, с указанием на мобильную или мультиязычную версию, а также с адресами картинок , в Яндекс.Вебмастере появится ошибка «Неизвестный тег». Неподдерживаемые теги игнорируются роботом при обработке Sitemap, при этом данные из поддерживаемых тегов учитываются, поэтому менять файл Sitemap необязательно . Если содержимое файла будет изменено, потребуется до двух недель на обновление информации в Яндекс.Вебмастере.

Итак, согласно справки Яндекса, если ошибки связаны с тегом , то нет необходимости его удалять. Однако всегда терзают смутные сомнения. А может ошибки все же негативно влияют на продвижение сайта? Чтобы дать адекватный ответ на этот вопрос, я нашел несколько топовых сайтов строительной тематики на движке WordPress с установленным плагином Yoast SEO и посмотрел их параметры:

Согласно выработанным мною метрикам, у изученных сайтов все замечательно. Для большей наглядности привожу статистику одного из них.

Возраст сайта — 1,5 года, количество статей — 450, посещаемость более 15 тыс. человек в сутки. Плагин Yoast SEO был установлен с первых дней создания сайта

Все вышесказанное относилось к тегу . Естественно, возникают и другие ошибки, которые действительно могут негативно сказаться на индексировании сайта. Во всех случаях необходимо руководствоваться тем, что при помощи sitemap.xml поисковые роботы должны узнать обо всех документах которые вы хотите видеть в выдаче. Любой робот поймет следующую разметку:

Атрибут Описание
обязательный Инкапсулирует информацию о всех файлах Sitemap в этом файле.
обязательный Инкапсулирует информацию об отдельном файле Sitemap.
обязательный
необязательно


Должна быть ссылка на каждый «нужный» документ. На практике могут возникать случаи, когда Вебмастера Яндекса и Google говорят «good», а на самом деле проблема существует. Например, ссылки на новые документы могут не появляться в карте сайта. Это может произойти из-за некорректной работы скриптов отрисовывающих Sitemap. Выявить данную неисправность довольно просто — опубликовав тестовую страницу, убедитесь, что ссылка на неё появились в карте сайта.

Нужен ли Вашему сайту sitemap ?

Sitemap — она же карта сайта в специальном формате для поисковых систем, с перечнем страниц сайта, которые нуждаются в индексировании. О sitemap написано в интернете очень много. Настолько много, что чуть ли не на каждом сайте сегодня встретишь этот самый sitemap. Некоторые даже вообще полагают, что сайт без sitemap — вообще не сайт. Sitemap, якобы, способствует быстрой индексации сайта, выводит страницы в топы, предотвращает кражу контента (за счет быстрой индексации), помогает ПС правильнее понимать структуру сайта, гарантирует включение страницы в индекс и т.д. и т.п. Увы, это всего лишь мифы!

Друзья. Sitemap — это прошлый век. О нем написано настолько много неправильного и противоречивого, что мне сегодня будет трудно переубедить вас в том, что сайтам сегодня не нужны sitemap.

ФАКТ 1. О необходимости использовать на сайте sitemap — нигде не сказано. Более того, вот что содержится в определении этого термина согласно Википедии (обратите внимание на слова жирным шрифтом):

Sitemaps может помочь поисковикам определить местонахождение страниц сайта, время их последнего обновления, частоту обновления и важность относительно других страниц сайта для того, чтобы поисковая машина смогла более разумно индексировать сайт. Использование протокола Sitemaps не является гарантией того, что веб-страницы будут проиндексированы поисковыми системами, это всего лишь дополнительная подсказка для сканеров, которые смогут выполнить более тщательное сканирование сайта.

Из этого определения не следует, что использование sitemap является обязательным атрибутом сайта и какой-либо интернетной панацеей. Так, sitemaps мог играть решающую роль лет 5-10 назад, когда сайты зачастую писались руками в html, без использования «хлебных крошек» и вообще, без использования «систем управления сайтом», которые сегодня автоматически поддерживают создание правильной структуры сайта (рубрики, метки, календарь и т.д.).

Указать поисковой системе на новые страницы посредством Sitemaps — еще ничего не значит, а порой таит в себе негативные последствия (о которых позднее). Сегодня ПС (эволюционирующие) не нуждаются в ваших подсказках при индексировании (вы думаете, они будут вести себя именно так, как вы это укажете в Sitemaps?), а повальное культивирование культа sitemaps (устаревшего) — скорее всего от незнания.

ФАКТ 2. Многие вебмастера замечали такой парадоксальный факт: новые страницы, которые вскармливались ПС через sitemap очень скоро теряют позиции в результатах поиска. Ответ простой: ПС не воспринимают всерьез страницы, на которых никто и нигде не ссылается (нет ни внешних, ни внутренних ссылок). Такие страницы могут влететь в индекс и тут же вылететь. Замечали такую ситуацию? Совершенно другая ситуация, когда на страницу, предлагающуюся к индексации, имеются ссылки с других страниц или сайтов! Вам также, наверное, знакома такая ситуация (быстрая индексация страницы посредством социальных лайков). Поэтому у вебмастеров, у которых перелинковка материалов не настроена должным образом — использование sitemap равносильно генерированию дорвеев.

ФАКТ 3. Sitemap содержит практически полную структуру сайта, что облегчает воровство контента, дублирование сайта, создание локальных копий. Если сайт большой (содержит много рубрик и тем), то получить, скажем, нужный перечень ссылок на нужные статьи на сайте без наличия sitemap — можно, но хлопотно. Совершенно другое дело если есть sitemap — содержащий, по сути, все пути на страницы сайта. Многие современные парсеры, нацеленные на воровство и сбор чужого контента, как правило, содержат функцию импорта материалов посредством sitemap. А многие горе-вебмастера даже и не прячут файл sitemap, порядочно размещая его в корне — http://www.example.com/sitemap.xml и даже прописывая расположение в файле robots.txt посредством директивы: Sitemap: (хотя он может располагаться где угодно и быть доступен ПС только по извещению через панели вебмастера).

ФАКТ 4. Sitemaps не ускоряет индексирование и не гарантирует включение страниц в индекс ПС. Об этом сказано везде! Так, при извещении Яндекса о наличии sitemap на сайте, он сразу предупреждает, что ему потребуется около 2-ух недель на знакомство с вашей «картой сайта». Более того, здесь же он предупреждает: «Как правило, робот обрабатывает файлы Sitemap не реже раза в две недели». И лишь только потом он принимает решение, подходит ли ему ваша страница или не подходит? На самом деле, sitemap никак не влияет на скорость и важность вашей страницы. Распространенное мнение — что sitemap ускоряет индексирование («быстрее индексирует сайт») — всего лишь миф.

Нужно ли мне создавать файл Sitemap?

Этот вопрос есть в справочной документации Яндекса. Ответ на него гласит:

Обычно робот Яндекса узнаёт о страницах сайта, переходя по ссылкам со страницы на страницу. В большинстве случаев этого достаточно для полного индексирования сайтов. Однако, если ваш сайт содержит много динамически создаваемых страниц или страницы, для попадания на которые требуется много переходов по ссылкам, робот Яндекса может не найти некоторые из страниц сайта или неверно определить их важность. Файл Sitemap помогает решить эти проблемы.

А теперь задайтесь вопросом: нужен ли sitemap для вашего сайта? Вот-вот, конкретно, для вашего сайта он нужен? Насколько у вас сайт со сложной структурой, в которой Яндексу не разобраться своими силами? Большинство сайтов в интернете — редкообновляемые справочные ресурсы на какой-нибудь CMS (как у автора на WordPress), для которых sitemap — ни что иное как пятое колесо (несмотря на разнообразие свободнодоступных плагинов по этой теме, основная полезная работа которых — нагрузка на сервер.

Спасибо всем, кто дослушал до конца. Несогласных выслушаю в комментариях. Отсутствие у данного сайта sitemap — говорит о том, что я свято верю в то, что говорю.

Sitemap.xml или «Делать было нечего. »

Новогодние праздники 666+666+666+6+6+6-го года в самом разгаре. За серьезные вещи совсем не хочется браться. Зато можно заняться всякими мелочами, до которых обычно не доходят руки. Такой мелочью для меня стала генерация файлов Sitemap.xml.
Sitemap.xml — это файл, содержащий в специальном формате ссылки на страницы сайта, которые должны быть проиндексированы поисковыми системами. Исчерпывающая информация о формате может быть найдена на Sitemaps.org.
Давно хотелось иметь удобный инструмент для формирования данных файлов.

Поиски в сети дали множество «удобных online-сервисов» для ручного создания карты сайта и несколько простеньких скриптов, которые также непригодны для создания карты сайта с большим количеством ссылок.

Что хотим.

Чтобы сгенерировать sitemap.xml для небольшого сайта не нужно много усилий. Для больших же ресурсов есть особенности.
Существуют ограничения на размер файлов sitemap.xml в 10Мб, а также ограничения на в 50000 ссылок на один файл. Автоматическая обработка данных ограничений и стала моей целью.
Таким образом, были сформированы следующие требования:

  1. Скрипт должен следить за размером получаемых файлов и количеством добавленных url. При необходимости, создавать несколько файлов в соответствии с форматом;
  2. Не хранить промежуточные данные в памяти;
  3. Создавать по необходимости сжатые версии файлов, для отдачи с помощью nginx;
  4. Автоматически выполнять простейшие проверки данных.

Сказано — сделано. Конечный вариант скриптов можно найти по ссылке в конце статьи.

Чего не делает скрипт?

Чтобы предупредить дальнейшие вопросы скажу, что скрипт не является универсальным решением, которое в один чих сгенерирует карту для произвольного сайта.
Это лишь инструмент, и список ссылок, которые будут добавляться в файл, необходимо формировать самостоятельно, возможно, в несколько заходов.
Кроме того, скрипт не исправляет и не кодирует url, переданные ему. Поэтому позаботиться о соответствии ссылок стандарту RFC-3986 для URI, стандарту RFC-3987 для IRI и XML-стандарту.

[Поддержка] Шустрая карта сайта — sitemap xml

Рекомендуемые сообщения

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Похожий контент

Испытано на 2+ млн позиций. 100 тыс товаров в экспресс режиме за 1.5с

! Внимание БОЛЬШИЕ цветные буквы не просто так в тексте
Указывайте домен при покупке

Скоростная карта сайта. Является расширенной версией FX Sitemap Lite, входящего в состав Full IndeX
Преимущества перед стандартным:
ускоренная генерация благодаря собственной модели выборки товаров, категорий, инфостраниц, производителей (

в 20-200 раз) заменяет оригинальный google_sitemap, сохраняя максимальную совместимость со сторонними модулями добавление lastmod (значительно ускоряет индексацию) устранение дублей товаров валидация яндексом фикс &amp при использовании seo_pro не патчит файлы (без vqmod/ocmod) мультисайтмап (сайтмап сайтмапов) Уникальные функции:
возможность создать любое кол-во карт, с любым кол-вом товаров поддержка исключения любых страниц из карты списком express режим с заданием окончаний (для структуры сайт/товар) ultra режим с заданием окончаний (для структуры сайт/категория/товар) функция сохранения в файл c заданием имени файла (можно повесить на cron) добавление списка страниц из файла улучшения мультиязычности новости с возможностью задать роут* блоги с возможностью задать роут* сохранение и автосохранение(при мульти) в файл <ы>с заданным именем возможность выдывать не динамический адрес а имена файлов в мультисайтмап SEO страницы Mega Filter Pro SEO страницы OCFilter страницы SEO CMS Blog исключение страниц при использовании модуля HYPER PRODUCT MODELS

Изображения
В модуле присутствует функционал включения изображений в сайтмап, он 100% рабочий что неоднократно проверено. Данный функционал был востребован за всё время существования модуля в сумме 4-5 раз, но в каждом случае наблюдалось крайне странное и весьма неоднозначное поведение пользователей.
В связи с этим дабы сберечь психику было принято решение об исключении данного функционала из бесплатной техподдержки.
Так же обязательна к прочтению статья по данной теме

——————
* — поддерживаются таблицы blog/news/article/record + octemplates blog, по запросу патч для newsblog, по запросу патч для revolution blog, по запросу патч для ocstore3 blog

300.00 руб
Скачать/Купить дополнение

#FX Sitemap — Сверхскоростная Карта сайта [xml]
Испытано на 2+ млн позиций. 100 тыс товаров в экспресс режиме за 1.5с

! Внимание БОЛЬШИЕ цветные буквы не просто так в тексте
Указывайте домен при покупке

Скоростная карта сайта. Является расширенной версией FX Sitemap Lite, входящего в состав Full IndeX
Преимущества перед стандартным:
ускоренная генерация благодаря собственной модели выборки товаров, категорий, инфостраниц, производителей (

в 20-200 раз) заменяет оригинальный google_sitemap, сохраняя максимальную совместимость со сторонними модулями добавление lastmod (значительно ускоряет индексацию) устранение дублей товаров валидация яндексом фикс &amp при использовании seo_pro не патчит файлы (без vqmod/ocmod) мультисайтмап (сайтмап сайтмапов) Уникальные функции:
возможность создать любое кол-во карт, с любым кол-вом товаров поддержка исключения любых страниц из карты списком express режим с заданием окончаний (для структуры сайт/товар) ultra режим с заданием окончаний (для структуры сайт/категория/товар) функция сохранения в файл c заданием имени файла (можно повесить на cron) добавление списка страниц из файла улучшения мультиязычности новости с возможностью задать роут* блоги с возможностью задать роут* сохранение и автосохранение(при мульти) в файл <ы>с заданным именем возможность выдывать не динамический адрес а имена файлов в мультисайтмап SEO страницы Mega Filter Pro SEO страницы OCFilter страницы SEO CMS Blog исключение страниц при использовании модуля HYPER PRODUCT MODELS

Изображения
В модуле присутствует функционал включения изображений в сайтмап, он 100% рабочий что неоднократно проверено. Данный функционал был востребован за всё время существования модуля в сумме 4-5 раз, но в каждом случае наблюдалось крайне странное и весьма неоднозначное поведение пользователей.
В связи с этим дабы сберечь психику было принято решение об исключении данного функционала из бесплатной техподдержки.
Так же обязательна к прочтению статья по данной теме

——————
* — поддерживаются таблицы blog/news/article/record + octemplates blog, по запросу патч для newsblog, по запросу патч для revolution blog, по запросу патч для ocstore3 blog

Добавил Otvet Добавлено 22.03.2020 Категория SEO, карта сайта, оптимизация Системные требования умение читать инструкцию, IQ > 70 Сайт разработчика http://full-index.ru/sitemap/ Старая цена Метод активации Автоматическая активация Ioncube Loader Нет OpenCart 3.0
2.3
2.2
2.1
2.0
1.5.6.4
1.5.6.3
1.5.6.2
1.5.6.1
1.5.6
1.5.5.1
1.5.5
1.5.4.1
1.5.3.1 ocStore 3.0
2.3
2.2
2.1
1.5.5.1.2
1.5.5.1.1
1.5.5.1
1.5.4.1.2
1.5.4.1.1
1.5.4.1
1.5.3.1
1.5.2.1
1.5.1.3 OpenCart.Pro, ocShop Opencart.pro 2.3
Opencart.pro 2.1
OcShop 2.0.3.х
OcShop 1.5.6.4.х Обращение к серверу разработчика Нет

300.00 руб
Скачать/Купить дополнение

Sitemap generator — генератор статической карты сайта
Sitemap generator — модуль для генерации статической карты сайта для Opencart и ocStore.

Расширение подходит и тестировалось на версиях Opencart 2.0, 2.1, 2.2, 2.3 и 3.0
Так же подойдет для OpencartPro версии 2.1 и 2.3
Расширение подходит и тестировалось на версиях ocStore 2.1, 2.3 и 3.0

— Установка расширения:
Распакуйте файл с версией вашего Opencart и перетащите в корень вашего сайта. После чего обновите «Модификаторы».
Потом перейдите в раздел Модулей и активируйте его, после чего настройте как вам необходимо.

Модуль не заменяет никаких файлов.
— Что может модуль:
1) Модуль генерирует статический файл с расширением .xml в корне вашего сайта на основе предоставленной ссылки на динамическую карту сайта, которая генерируется в разделе «Каналы продвижения»;
2) Модуль создает ссылку для крона, что бы можно было автоматически пе регенерировать карту, когда вам будет удобно через крон.

Зачем нужен этот модуль и как он работает?
У вас на сайте есть раздел «Каналы продвижения», в которых есть расширения например — «google sitemap» или «sitemap pro», которые генерирует динамическую карту сайта и предоставляют ссылку в виде — «/index.php&route=extension/feed/google_sitemap» для просмотра карты сайта.
Но это не всегда хорошо для SEO и нужно что бы карта на сайте была в статическом виде site_name/sitemap.xml, а не site_name/index.php&route=extension/feed/google_sitemap
Данный модуль по предоставленной ссылке, например — «site_name/index.php&route=extension/feed/google_sitemap» генерирует статическую карту сайта в корне сайта.

Модуль легкий в настройке.
Модуль имеет 4 поля:
1) Название модуля — тут просто пишите название модуля, оно будет отображаться в админке вашего сайта;
2) Ссылка на карту сайта — сюда добавляете ссылку на динамическую карту сайта;
3) Название файла карты сайта — сюда пишите название вашей карты сайта, которое вам нужно. Пишите название без точки и расширения, просто название.
4) Статус — оно отвечает, будет работать модуль или нет и будет работать ссылка для крона или нет.

Порядок настройки модуля:
1) Откройте модуль, заполните все поля, после чего сохраните модуль.
2) Потом опять зайдите в этот модуль и вы увидите что внизу сайта появится ссылка на крон, но что бы появилась статическая карта, вам нужно нажать на кнопку «Генерировать карту». И если вы корректно заполнили все поля, вам выскочит уведомление что карта успешно создана и помещена в корень сайта. После чего статическая карта появится в корне вашего сайта, и модуль перезагрузится.

Если вы заметите какие-то неполадки или у вас будет предложение по улучшению самого модуля, пишите в личное сообщения данного сервиса, после чего я вам обязательно отвечу.
Добавил Sunser Добавлено 20.10.2020 Категория SEO, карта сайта, оптимизация Системные требования Сайт разработчика Старая цена Метод активации Без активации Ioncube Loader Нет OpenCart 3.0
2.3
2.2
2.1
2.0 ocStore 3.0
2.3
2.1 OpenCart.Pro, ocShop Opencart.pro 2.3
Opencart.pro 2.1 Обращение к серверу разработчика Нет

Sitemap generator — модуль для генерации статической карты сайта для Opencart и ocStore.

Расширение подходит и тестировалось на версиях Opencart 2.0, 2.1, 2.2, 2.3 и 3.0
Так же подойдет для OpencartPro версии 2.1 и 2.3
Расширение подходит и тестировалось на версиях ocStore 2.1, 2.3 и 3.0

— Установка расширения:
Распакуйте файл с версией вашего Opencart и перетащите в корень вашего сайта. После чего обновите «Модификаторы».
Потом перейдите в раздел Модулей и активируйте его, после чего настройте как вам необходимо.

Модуль не заменяет никаких файлов.
— Что может модуль:
1) Модуль генерирует статический файл с расширением .xml в корне вашего сайта на основе предоставленной ссылки на динамическую карту сайта, которая генерируется в разделе «Каналы продвижения»;
2) Модуль создает ссылку для крона, что бы можно было автоматически пе регенерировать карту, когда вам будет удобно через крон.

Зачем нужен этот модуль и как он работает?
У вас на сайте есть раздел «Каналы продвижения», в которых есть расширения например — «google sitemap» или «sitemap pro», которые генерирует динамическую карту сайта и предоставляют ссылку в виде — «/index.php&route=extension/feed/google_sitemap» для просмотра карты сайта.
Но это не всегда хорошо для SEO и нужно что бы карта на сайте была в статическом виде site_name/sitemap.xml, а не site_name/index.php&route=extension/feed/google_sitemap
Данный модуль по предоставленной ссылке, например — «site_name/index.php&route=extension/feed/google_sitemap» генерирует статическую карту сайта в корне сайта.

Модуль легкий в настройке.
Модуль имеет 4 поля:
1) Название модуля — тут просто пишите название модуля, оно будет отображаться в админке вашего сайта;
2) Ссылка на карту сайта — сюда добавляете ссылку на динамическую карту сайта;
3) Название файла карты сайта — сюда пишите название вашей карты сайта, которое вам нужно. Пишите название без точки и расширения, просто название.
4) Статус — оно отвечает, будет работать модуль или нет и будет работать ссылка для крона или нет.

Порядок настройки модуля:
1) Откройте модуль, заполните все поля, после чего сохраните модуль.
2) Потом опять зайдите в этот модуль и вы увидите что внизу сайта появится ссылка на крон, но что бы появилась статическая карта, вам нужно нажать на кнопку «Генерировать карту». И если вы корректно заполнили все поля, вам выскочит уведомление что карта успешно создана и помещена в корень сайта. После чего статическая карта появится в корне вашего сайта, и модуль перезагрузится.

Если вы заметите какие-то неполадки или у вас будет предложение по улучшению самого модуля, пишите в личное сообщения данного сервиса, после чего я вам обязательно отвечу.

Последние посетители 0 пользователей онлайн

Ни одного зарегистрированного пользователя не просматривает данную страницу

Вопросы и ответы по формированию карты сайта

За время работы сервиса ко мне обращались с различными вопросами, наиболее часто встречающиеся я собрал на этой странице. Стилистика вопросов сохранена. 😉

Вопрос: Здравствуйте, оплатил ваш сервис создание saitemap, делал сформатировать HTML но понял, что карта все же формируется в xml, скажите, как сформатировать в html и её получить? Заранее благодарен.
вопроc: Скажите, мне нужно сделать карту HTML в текстовом виде с гипрелинками и т.д. как обычная карта сайта. а не xml. сайт xxx страниц в индексе яндекса около 1300. Вы сможете сделать мне такую карту? и скажите., сколько это будет стоить для меня? Заранее благодарен.
Ответ:

После сканирования вашего сайта, вы можете сформировать карту в любом формате. Если вы хотите HTML для размещения на сайте, то укажите ваш сайт, затем нажмите «Загрузить HTML», сохраните на диск и вставьте в ту страницу своего сайта. Вы получите полный набор ссылок на все страницы вашего сайта.

Если страниц более 500, то или бесплатное досканирование на следующий день или все сразу за минимальную сумму в 25 рублей.

Вопроc: В гугле проиндексировано 1700 страниц, а у вас нашло только 233
Ответ: Сканер выдал на Ваш сайт сообщение «Обнаружено более 200 ошибочных ссылок.» Карта сайта построена для всех корректных страниц. Если Вас смутило сообщение о том, что остались недосканированные страницы, так это те, которые у Вас на сайте ошибочные! Возможно их удалили или это какая-то ошибка у вас на сервере. Скрипт обнаружил их отсутствие и сообщил. Когда исправите, вы можете повторить сканирование. Могу также предположить, что у вашего сервера был какой-то сбой в это время и он не отдавал страницы или у него стоит защита от массового скачивания. Если стоит защита, то на время сканирования её стоит отключить.
вопроc: я так и делал. но генерация прервалась через 20 минут. У меня adsl 1 мегабит, скорость нормальная. теперь получается заново нужно оплачивать сервис?
ответ:

Ваша скорость в данном случае не имеет значения. Имеет значение скорость вашего хостера. Т.е. какой канал у хостера. Сервис обращается напрямую к указанному сайту и скачивает все страницы, анализирует их, находит ссылки, все складыает в базу данных. Есть ограничение на общее время скачивания и на скачивание каждой страницы. Параметры ограничений описаны на странице http://htmlweb.ru/analiz/sitemap_pay.php.

После сканирования в течение суток вы можете построить карту в любом формате на основании сохраненной в базе информации.

На следующие сутки, если измененных страниц менее 500, сканер бесплатно обновит базу и вы опять сможете строить карту в любом формате. И так хоть каждый день. Если страниц обновилось больше, то заходите через день или оплатите чисто символическую сумму в 25 рублей.

Вопроc: Я оплатил построение карты сайта xxx. Очень долго ждал. Почему не все страницы попали в сайтмап? Почему много сообщений об ошибках на чужих сайтах?
Ответ:

Вы запросили анализ доступности внутренних и внешних ссылок, поэтому сканирование длилось достаточно долго. Сканер проверял доступна ли страница, на которую вы ссылаетесь со своего сайта. Соответственно, если внешних ссылок очень много и они на различные сайты, то время сканирования существенно увеличивается и Вы можете выйти за ограничения времени сканирования. Если Вы действительно хотите проверить все ссылки, то оплатите за досканирование и получите полную карту сайта и сообщения обо всех ошибочных ссылках.

Вопроc: Подскажите, пожалуйста, как применить маскирование символов при таком результате, когда в URL используется кириллица?
Например: http://xxx.ru/фото_и_видео/раздел_1
Ответ:

Вы НЕ сможете построить для такого сайта корректную карту, которую будут понимать поисковые системы.

Вопроc: Добрый день! Я админ сайта xxx, вчера платно сканировали мой сайт, прочитал следующую инфу: «При закрытии страницы, скрипт продолжает работать, результаты будут доступны в любое время в течение суток без пересканирования.». Где мне теперь скачать мой sitemap.xml?
Ответ:

Заходите на сайт http://htmlweb.ru/analiz/sitemap.php, укажите свой сайт и формируете sitemap.xml в бесплатном режиме. Он будет сформирован без пересканирования на основании информации из базы данных. В течение месяца Вам будет доступно ускоренное пересканирование, когда сканируются только страницы с измененными датами.

Вопроc: Зашел на следующий день, пишет «Сайт сканируется, ждите завершения», и показывает меньшее количество страниц, вчера было 1477, а сегодня 1086
Ответ:

Видимо часть страниц не выдает дату изменения, сканер их быстро пересканирует, если до 500, то бесплатно.

Вопроc: В получаемой карте, установлены ли параметры страниц: приорити и частота обновления. Если да, то можем ли мы изначально указать список страниц, по которым эти параметры надо изменить на максимальные или минимальные
Ответ:

Да, конечно параметры страниц устанавливаются. Сейчас вам доступно два варианта или установить всем страницам одинаковое значение или «Понижать приоритет по подпапкам», в этом случае, чем глубже в дереве каталогов страница, тем ниже её приоритет. На каждый уровень глубины отнимается «0.1» от указанного Вами начального приоритета.

Вы можете указать приоритет в заголовке страницы(head) с помощью параметра: .


Вопроc: Можно у вас заказать платную автоматическую генерацию sitemap к нескольким сайтам? Сайты по несколько тысяч страниц. Всего 7 сайтов. Насколько я понял (http://www.htmlweb.ru/analiz/sitemap.php) она стоит 25WMR на сайт?! Я так понимаю, нужно перевести WMR и дать вам адреса сайтов и электронный адрес, куда вы отправите карты?
Ответ:

Вы неправильно поняли. Каждые 2тыс страниц за 25WMR. если Вы сами используете сервис генерации карты сайта. Если на Вашем аккаунте будет достаточно денег, то карта будет построен для всего сайта. Если средств недостаточно, то сканирование прервется, для продолжения сканирования, пополните баланс и выберите «Оплата за досканирование».

Сервис полностью автоматизирован и не требует моего участия, поэтому и цена чисто символическая. Если Вы хотите, чтобы я сам сделал вам карту и прислал на почту, то это будет стоить не менее 500WMR за каждые 2000 страниц на каждом сайте.

Вопрос: Помогите пожалуйста, разобраться в одном моменте в главе «Поддержание карты сайта». Создал благодаря вашему сервису sitemap.xml, разместил в корне и далее все по списку Ваших рекомендаций. Остался ОЧЕНЬ доволен. Перешел к разделу «поддержание карты сайта» и столкнулся с загадочным для меня выражением (или это просто так не совсем точно описано) — «создать в корневой папке вашего сайта каталог sitemap, установить на него атрибуты 777». Мне понятно, как создать эту папку и где. Ясно как её назвать. Но что означает «установить на нее атрибуты 777»?
Ответ:

дело в том, что запись в корень вашего сайта, где лежит сейчас карта хостер как правило ограничивает. И средствами php создавать и перезаписывать карту, лежащую в корне становиться невозможно. Поэтому для поддержания, мы её перемещаем в папку sitemap. По умолчанию, у большинства хостеров, при создании папок сразу устанавливаются права доступа достаточные для записи из php. Если будет сообщение об ошибке, то вам необходимо разрешить доступ на запись и создание файлов. Например, в Far-е это делается по горячей клавише Ctrl+A, когда курсор находится на папке.

Вопрос: Я оплатил платное сканирование. Где мне увидеть внешние ссылки с моего сайта? (к сожалению без подписи)
Ответ:

На сегодняшний день сервис предоставляет возможность при первом сканировании Проверять «существование» внешних ссылок. Т.к. очень часто поставишь ссылку на какой-то полезный ресурс, а через год его нет, а ссылка «болтается». Никому никогда пока не нужно было сформировать их список. Если этот сервис вам нужен, откройте секрет зачем и в каком виде его удобнее сделать? Если он действительно нужен, то я его добавлю, т.к. список ссылок все равно формируется и мне не составит труда его выдавать.

Вопрос: У меня следующий вопрос по платному сервису htmlweb.ru/analiz/sitemap_online.php
Если я хочу, чтобы у меня автоматически делалась карта сайта 2 раза в неделю с глубиной 3000 страниц, то сколько я буду платить?
Вот сейчас, на моем сайте xxx я буду платить за добавление 3к страниц 2 раза в неделю, даже если при прошлой индексации эти страницы были найдены?
Ответ:

Если сайт сделан правильно, то в заголовке каждой страницы возвращается её дата изменения.

Если на ваших страницах изменений мало, до 300 страниц, то за каждое обновление Вы будете платить 25 руб. за каждое автоматическое обновление. Если информации об обновлении нет(сайт криво написан), или изменяются ВСЕ 3000 страниц вашего сайта, то в режиме автоматического поддержания карты Вам это будет обходиться в 3000/300*25= 250 руб. По умолчанию, бесплатно, при первом сканировании «парсится» 500 страниц. Платно: каждые 2000 за 25. Ещё раз подчеркну, это речь о начальном сканировании. Т.е. при «кривом» сайте вручную пересканировать дешевле.

Вопрос: Ваш сканер после оплаты начал сканировать понедельно, а мне нужно ежедневно.
Ответ:

Видимо Вы имеете ввиду параметр «Частота обновления страниц», который по-умолчанию установлен в «Еженедельно». Этот параметр Вы можете задать сами в форме чуть ниже url сайта. Если Вы запустили сканирование в режиме «еженедельно», или не с тем параметром «Приоритет», с каким хотелось бы, не расстраивйтесь. Дождитесь окончания сканирования. После чего поставьте желаемые режимы и выберите тот формат карты сайта, который хотите. Карта сформируется с вновь заданными параметрами на основании собранной ранее информации. При этом платить повторно не нужно. Все манипуляции с отсканированным сайтом в течение суток абсолютно бесплатны. В т.ч. и построение карты в html формате и дерево сайта и т.д. В течение месяца, если новых или измененных страниц меньше 500 в сутки, то тоже бесплатно.

Вопрос: я нихрена в этом не шарю, сделайте мне карту.
Ответ:

Сервис полностью автоматизирован. Если Вы хотите участие человека, это стоит 500 руб за карту до 2000 страниц. Предвидя вопросы почему так дорого, отвечаю «Стоимость работы программы и стоимость работы человека существенно отличается.»

Вопрос: Ваш сканер «ругается» на ссылку с пробелом.
Ответ:

Ваша CMS неверно формирует ссылки. Настоятельно рекомендую ссылки сделать корректными, иначе некоторые браузеры не смогут их открывать. В CMS, если она на PHP, нужно в том месте, где формируется ссылка вызвать функцию urlencode().

Вопрос: Если бы в Вашем генераторе присутствовала функция (nofollow) — запрета сканирования определенных страниц по маске — это бы решило проблему. Подозреваю, что это можно поправить с помощью внесения определенной строки в robots.txt — подтвердите, пожалуйста, если это так.
Ответ:

По robots.txt — вы совершенно правы, все, что запрещено для индексации сканер — игнорирует. Аналогично и с атрибутом тегa A rel=’nofollow’. Это можно включить/выключить параметром при старте сканирования.

Вопрос: При автоматической создании карты сайта, дата изменения для всех материалов будет дата создания карты или система отслеживает изменения и будут указаны свежие даты только у измененных страниц, а старые будут с предыдущими датами изменений?
Ответ:

Дата создания страниц берется из заголовка каждой страницы Вашего сайта из поля «Last-Modified:».

Вопрос: Построение карты сайта перегружает процессор хостера. От количества запросов. Можно как-то настроить количество обращений к сайту при построении карты сайта? На данный момент у меня ограничение не более 600 хитов в течении 5 минут
Ответ:

Да, укажите задержку в robots.txt:
Вопрос: Мне не пришло письмо с картой. Что делать?
Ответ:

Проверьте папку SPAM на вашем почтовом сервере, возможно оно там. Письмо приходит от sitemap@htmlweb.ru. Добавьте этот адрес в список надежных отправителей. Также Вы можете запросить карту повторно в бесплатном режиме и сразу загрузить её с сервера. Она будет сформирована без пересканирования на основании информации из базы данных.

Вопрос: Что за опция «Сформировать архив HTML файлов сайта»?
Ответ:

При выборе этой опции все страницы Вашего сайта добавляются в этот ZIP-архив. Таким образом он будет содержать полный постраничный html-образ вашего сайта без стилей и картинок. Таким как его видят сканера поисковых систем. Архив хранится у нас на сервере 3 дня. Для его повторного формирования воспользуйтесь опцией полное пересканирование.

    Обратите внимание:
  • Переход между страницами внутри архива возможен, только если все внутренние ссылки были без параметров. При сохранении на диск страниц, которые вызывались с GET-параметрами их имена преобразуются для совместимости с именами файлов в операционной системе.
  • Никакие файлы стилей, картинок, внешняя музыка, внешние скрипты и т.д. не сохраняются.

Вопрос: Что за опция «Использовать существующий sitemap.xml»?
Ответ:

При выборе этой опции сканер ищет на сайте существующий sitemap и использует из него параметры: Частота обновления страниц(changefreq) и Приоритет(priority). Кроме того, это существенно повышает скорость сканирования, т.к. сканер использует дату прошлого изменения и не сканирует те страницы, которые не изменились и присутствуют в прошлой карте сайта. В этом режиме title страниц и анкоры ссылок не будет прочитаны. Рекомендуется использовать при формировании карты сайта только в формате XML.

Параметр , указанный на странице имеет меньший приоритет, чем параметр указанный в существующем sitemap.xml

Вопрос: Сколько страниц может содержать карта сайта в формате XML?
Ответ:

Согласно спецификации карта сайта может содержать не более 50000 URL, а размер каждого из этих файлов не должен превышать 10 МБ.

Вопрос: Как задать приоритет для отдельных страниц?
Ответ:

Вы можете указать приоритет в заголовке страницы(head) с помощью параметра: . При этом, если включена опция «использовать старый sitemap.xml», то приоритет будет браться из него.

Вопрос: Что за опция «В ссылки вставлять Title страницы(html,txt)»?
Ответ:

Если формируется html файл, то содержимое анкора — это текст из ссылки, а атрибут title — это title страницы, на которую ссылаются. Если формируется txt и параметр не выбран, то содержимое анкора — это текст из ссылки, если выбран, то — это title страницы, на которую ссылаются.

Вопрос: Вопрос я загрузил сайтмап который делал у Вас на сайте, на гугле он выдал мне:
Для робота Google установлен запрет на http://xxxxx.ru/ Что делать?
Ответ:

У Вас в robots.txt полный «бардак». На Вашем сайте в http://xxxxx.ru/robots.txt Вы пытались защититься от сканирования роботами, которые, как правило этот файл вообще игнорируют. Кроме того Вы не совсем корректно указали директивы, что привело к игнорированию части сайта поисковыми системами. А вот то, что реально стоило закрыть, например, страницы админки, обратной связи, поиска Вы не закрыли – это не есть хорошо.

Вопрос: Как разбить большую карту на части? Как сделать карту с постраничной навигацией?
Ответ:

Укажите в опции «Ссылок в одном файле:» число больше 0.
Эта опция позволяет разбить HTML файл на отдельные файлы, содержащие части карты. Также будет создан объединяющий файл со ссылками на созданные части карты.

Вы получите архив, содержащий файл sitemap.htm, и для каждой части карты отдельный sitemapN.htm, содержащий заданное количество ссылок. Рекомендуется для сайтов с более, чем 500 страниц. Укажите 0 для создания одного общего файла.

Вопрос: Сервер не возвращает в заголовке время изменения страницы.
Ответ:

В заголовке большинства страниц нет информации о дате/времени последнего изменения. Это вынуждает браузер ваших клиентов постоянно загружать все страницы сайта, вместо того, чтобы брать их из КЭШа. Тем самым увеличивая нагрузку на Ваш сайт и ухудшает отношение посетителей к Вашему сайту из-за долгого повторного открытия уже посещенных страниц.

Вопрос: Когда открываю карту сайта в браузере вылетает ошибка:
Ошибка загрузки таблицы стилей: Произошла неизвестная ошибка (805303f4)http://htmlweb.ru/analiz/sitemap.xsl.
Ответ:

Это защита браузера от ссылок на сторонние домены. Пути решения:

  • или не обращать внимания, т.к. с картой все номально
  • или скачать и положить XSL файл к себе на сервер
  • или из карты убрать на него ссылку. Для этого при формировании карты в режиме «Эксперт» выключить опцию «Добавлять ссылки на XSD и XSL-схемы»
  • или отключить эту защиту в браузере, для этого в адресной строке браузера набрать about:config найти переменную security.fileuri.strict_origin_policy установить её значение в false и перезагрузить браузер.

Чтобы задать свой вопрос, воспользуйтесь контактами.

Ограничение размера файла google sitemap.xml

может кто-нибудь, пожалуйста, дайте мне знать ограничение памяти (МБ) размера файла google sitemap.xml.

7 ответов

Согласно последнему обновлению: 01 января 2020 года

Любой файл Sitemap ограничен 50 МБ (без сжатия) с максимальным 50 000 URL-адресов.

И файл индекса Sitemap (не путать с файлом Sitemap) может включать до 50 000 файлов Sitemap.

Таким образом, для одного файла индекса Sitemap максимальную емкость URL-адресов и хранилища можно рассчитать, как описано ниже:

с точки зрения URL:

50 000 sitemaps = ( 50 000 * 50 000 ) URL = 2 500 000 000 URL-адресов

Примечание. Google поддерживает несколько форматов файлов Sitemap, но все же все форматы ограничивают одну карту сайта до 10 МБ (без сжатия) и до 50 000 URL-адресов. Также ознакомьтесь со схемой индексного файла карты сайта, которая определяется здесь .

с точки зрения размера:

50 МБ + ( 50 000 карты сайта * 50 МБ) = 2 500 050 МБ => 2,3 туберкулеза

Таким образом, мы можем иметь максимум 2500 миллионов URL-адресов , отправив один индексный файл карты сайта, и у нас будет около 2 ТБ хранилища для всех включенных файлов карты сайта, которые включены в индексном файле карты сайта.

Поскольку мы можем отправить до 500 файлов индекса сайта в Google см. Здесь , вывод такой:

( 500 * 2500 ) миллионы URL-адресов ограничены размером ( 500 * 2 ) ТБ

Справка:

Схема для файлов индекса Sitemap

Google поддерживает несколько форматов карты сайта, таких как XML, RSS, mRSS, Atom 1.0 и Text.

Все форматы ограничивают использование одного файла Sitemap URL-адресами 10 МБ (без сжатия) и 50 000 . Если у вас есть файл большего размера или несколько URL-адресов, вам придется разбить ваш список на несколько файлов Sitemap. При желании вы можете создать индексный файл карты сайта (файл, который указывает на список карт сайта) и отправить этот единственный индексный файл в Google. Вы можете отправить в Google несколько файлов Sitemap и /или индексов Sitemap.

Насколько большим может быть мой файл Sitemap? : Sitemaps. орг

Файлы Sitemap должны быть не больше 50 МБ (52 428 800 байт) и содержать не более 50 000 URL-адресов. Эти ограничения помогают гарантировать, что ваш веб-сервер не будет перегружен обслуживанием очень больших файлов. Это означает, что если ваш сайт содержит более 50 000 URL-адресов или размер файла Sitemap превышает 50 МБ, необходимо создать несколько файлов Sitemap и использовать индексный файл Sitemap. Вам следует использовать индексный файл Sitemap, даже если у вас небольшой сайт, но вы планируете увеличить его до 50 000 URL-адресов или размер файла 50 МБ. Файл индекса Sitemap может содержать до 50 000 файлов Sitemap и не должен превышать 50 МБ (52 428 800 байт). Вы также можете использовать gzip для сжатия ваших файлов Sitemap.

Безошибочный сайтмап для сайта

Вы просто кретин, если в свое время не уделили сайтмапу нужное внимание. Достаточно один раз разобраться в вопросе и в будущем избежать большого количества ошибок, что давайте сейчас и сделаем.

Ваш покорный слуга в годы младые также был таким кретином, когда только начал продвигать сайты в одной конторе. Попался мне в то время один сайтец на продвижение, который, следует сказать, был просто гавном. И у этого гавна были проблемы с индексацией. Естественно, будь сайт достаточно качественным, его бы оба поисковика индексировали несмотря ни на какие проблемы, но владельцы жались на нормальных дизайнера, верстальщика и программиста, а в этом случае сеошнику остается только, так сказать, открывать бутылку при помощи ножниц. Я перепробовал на нем все — и настройку last-modified, и ускорение индексации модным в то время фастботом, и покупку ссылок. И только потом оказалось, что дело было в том, что там не обновлялся автоматически сайтмап! Когда я его обновил — все страницы влетели в индекс.

Что такое sitemap и зачем он нужен

Что такое sitemap? Это файл с информацией о страницах сайта, которые нужно индексировать. Обычно sitemap создают для Яндекса и Гугла, чтобы оповестить поисковых роботов о страницах, которые нужно внести в индекс. Ещё при помощи сайтмапа осуществляется проверка того, как часто происходят обновления, и индексация каких веб-документов является наиболее важной. В целом очень хорошо о нем рассказали на Вебмастерской Яндекса:

Влияет ли наличие sitemap на продвижение

Если у вас отсутствует сайтмап, это не означает, что поисковики не станут индексировать ресурс. Поисковые роботы зачастую и без этого неплохо сканируют сайты и включают их в поиск. Но иногда могут возникать сбои, из-за которых порой удается отыскать не все веб-документы. Основными причинами являются:

  1. Разделы сайта, в которые можно попасть, только совершив длинную цепочку переходов;
  2. Динамические URL-адреса.

Так вот, создание sitemap.xml во многом помогает решить эту проблему. Этот файл влияет на SEO лишь постольку, поскольку облегчает/ускоряет индексацию страниц. Также возрастает шанс того, что веб-страницы проиндексируются до того, как ваши конкуренты смогут скопировать контент, опубликовав его у себя на сайте.

В каком еще формате бывает карта сайта и почему её делают в формате XML

Зачем нужна карта сайта, мы разобрались. Теперь давайте рассмотрим, в каких форматах её можно сделать:

  1. В формате html. Создается в виде обыкновенной страницы с адресами, ведущими на главные разделы ресурса. Такой тип карты помогает быстро сориентироваться, и рассчитан в большей степени на людей, чем на поисковых роботов. В HTML sitemap можно поместить ограниченное число ссылок (не более 100), ведь если их окажется больше, то не все они попадут в индекс. Или же поисковые роботы могут и вовсе исключить такую страницу из поиска за чрезмерное число URLов, пусть даже и внутренних.
  2. Создание xml-файла sitemap. Здесь нет слишком критичных ограничений по количеству ссылок, а поисковики лучше его индексируют, ведь файл sitemap xml-формата содержит полную информацию в понятном для робота виде. Особенно он важен для проектов, где имеются сотни и тысячи документов одинаковой важности, и размещение всех ссылок на них необходимо. В сайтмап такого типа есть возможность разместить до 50 тысяч URLов и помимо этого можно выставить частоту обновлений и приблизительный приоритет (priority), чего не скажешь о карте в формате HTML. Именно по этим причинам сайтмап почти всегда создают в xml.

Вот еще инфа об этом файле:

Как сделать правильный sitemap

Рассмотрим, как сделать правильную xml-карту. Здесь должны быть соблюдены следующие требования:

Топ-пост этого месяца:  Обзор расширений Joomla Урок 9. Расширения по реализации обратной связи
Добавить комментарий
https://mukhutdinov.com/gde-kupit-domen-deshevo.html
2012-08-22T18:08:20+00:00
monthly