Детальное руководство по файлу Sitemap. Как создать Sitemap XML для "Яндекса" и Google: пошаговая инструкция Создание sitemap xml онлайн
Здравствуйте. Яндекс.Вебмастер, сегодня «обрадовал» сообщениями о серьезных ошибках в файлах Sitemap на двух сайтах. Не весть, какая страшная новость, однако, исправляя ошибки, а попросту генерируя новые карты сайтов, наткнулся на новый, для меня, генератор создания Sitemap WordPress сайтов. Мне понравились и его работа и его дизайн, и его результаты. Показываю.
Происхождение генератора
Называется новый инструмент «XML Sitemap Generator». Общий доступ .
По заявлению самих создателей «Xml Sitemap Generator» создан независимой организации и не связан с какой-либо поисковой системой или каталогом.
Поверим и не обратим внимание, что вся информация на сайте повернута в сторону Google, а также в меню есть прямая ссылка на плагин «XML Sitemap Generator» вот страница плагина .
Доступные инструменты
На сайте генератора, есть возможность создать личный кабинет и сохранять в нём свои настройки. Регистрация не обязательна и можно делать карты-сайта здесь и сразу.
Основной инструмент «Online XML sitemap generator». По домену сайта легко и быстро можно создать карту сайта Sitemap, в различных форматах: xml, txt, html. По отдельности или в архиве.
- Войдите на сайт генератора;
- Найдите в меню ссылку «Online generator»;
- Вставьте в поле адрес сайта с протоколом http или https;
- Заполните поля настроек;
- Введите капчу;
- Согласитесь с лицензией;
- Нажмите «Generate Sitemap».
Обратите внимание, на кнопку «More Settings». Здесь можно выключить из карты сайта отдельные URL, исключить форматы картинок, а также определить, что показывать в заголовках карты title, H1, H2.
Результаты
генератор создания Sitemap WordPress — результаты
- Результаты работы генератора это список различных форматов карт сайт, которые можно посмотреть «View» и скачать «Downloads».
- Напомню, что для инструментов веб.мастеров нужны форматы Sitemap , можно, но не обязательно .
- Могут пригодиться файлы robots.txt, log file и error report.
Сначала проверь
Скачанную карту сайта лучше сначала проверить. Валидность Sitemap можно проверить на следующих сервисах:
- Яндекс.Вебмастер (https://webmaster.yandex.ru/tools/sitemap/?tab=file), вкладка «файл»
- Сервис com. Free XML Sitemap Validator тут: http://tools.seochat.com/tools/site-validator/#sthash.vbWd21XR.dpbs
- Еще ссылка для проверки Sitemap: http://freetools.webmasterworld.com/tools/site-validator/#sthash.XJfzJ92K.dpbs
Куда ставить то
Сама по себе карта Sitemap сайта вам не нужна. Её нужно показать поисковикам. Зачем? Она, яко бы, помогает поисковикам быстрее индексировать страницы сайта.
Поэтому скачанный файл sitemap.xml нужно залить по FTP в корневую папку сайта и попробовать открыть в браузере с адресом http://vash_domen/sitemap.xml . В принципе, название sitemap может быть любым, важно сохранить тип файла .
Сообщить поисковикам
После добавления карты сайта в корень сайта, нужно сообщить поисковикам, что карта сайта существует. Для этого:
В конец файла robots.txt, через строчный пробел, добавляем строку:
Sitemap: http://vash_domen/sitemap.xml
В инструментах вебмастеров сообщаете о карте поисковикам:
- Яндекс: вкладка Индексирование>>>Файлы Sitemap;
- Google: вкладка Сканирование>>>Карты сайта Sitemap;
- Bing: Карта сайта Sitemap.
Через некоторое время после добавления карт сайта, проверьте информацию в панели вебмастеров. Если есть ошибки, исправьте и заново сделайте карту сайта.
Аналогичные генераторы
- https://www.xml-sitemaps.com/
- http://www.mysitemapgenerator.com/start/free.html
Плагин
Есть плагин, «XML Sitemap Generator» https://wordpress.org/plugins/www-xml-sitemap-generator-org/ , который в автоматическом режиме, по сделанным настройкам генерирует карты сайт и сообщает об этом Google Webmasters.
Плагин должен корректно работать, если вы не используете другие генераторы sitemap на сайте. Например, такие генераторы есть в плагинах JetPack, SEO Joast. Различные карты сайта конфликтуют, и лучше определиться с одним генератором.
Приветствую вас, друзья!
Продолжаем готовить наши сайты к продвижению. На прошлом уроке мы создали файл , а сегодня наша цель — создать файл sitemap, по-другому «карта сайта».
Sitemap.xml — это файл, где указываются страницы подлежащие индексированию с определенным приоритетом для .
С одной точки зрения sitemap.xml вообще не нужен: робот и сам прекрасно справляется со своей работой. Но если посмотреть с другой стороны, то карта сайта действительно нужна. Все дело в том, что одни страницы имеют гораздо большее значение, нежели другие. И в первую очередь робот должен проиндексировать важные страницы, а потом другие.
Файл Sitemap.xml позволяет указать роботу, какие страницы нужно индексировать первыми, а какие последующими. С этой точки зрения карта сайта нужна. Поэтому и выходит этот урок.
Ну что? Погнали!
Как проходит индексирование сайта?
Чтобы полностью понять зачем нужна карта, давайте поговорим об . Если говорить в простой и понятной для всех форме, то процес выглядит так:
Представьте такую ситуацию: вам нужно что-то найти в книге по физике и вы пошли в библиотеку, чтобы найти там ту самую книгу. Пришли и нашли, открыли ее. После этого, начинаете искать нужную вам информацию без какого-либо ориентирования. Таким образом, листая книгу, вы начали воспринимать всю информацию, какая там только есть, то есть индексировать.
Примерно так выглядит процесс индексации. Вы, как робот, начали просматривать все, что только есть в книге и запоминать, хотя большая часть из содержания имеет второстепенное значение. Чтобы быстро ориентироваться по книге, предусмотрено содержание: страница с названиями глав и номерами страниц (ссылки). Файл Sitemap.xml, как раз-таки, является неким содержанием, но только для поискового робота.
Как создать файл sitemap.xml?
Создать карту сайта можно, используя специальные онлайн-генераторы, которых пруд пруди в Интернете. А для тех, чьи сайты работают на CMS, можно использовать плагины (блог работает на WordPress, я использую плагин Yoast SEO).
Есть и те, кто хочет написать сам Sitemap.xml, следующая часть урока именно для вас. Но сначала я хочу, чтобы вы скачали редактор Notepad ++, в этом редакторе можно сохранить файл в формате.xml:
Теперь подробнее остановимся на значениях в теге
— Обязательный тег, в котором указывается ссылка на страницу; — Дата обновления страницы; — Указывается частота обновления страницы, имеет следующие значения: - hourly — ежечасно;
- daily — ежедневно;
- weekly — еженедельно;
- mouthly — ежемесячно;
- yearly — ежегодно;
- never — никогда.
— приоритет индексирования страницы. Имеет значения от 0.1 — 1;
Остановимся на приоритете подробнее. Не нужно указывать высокий приоритет для каждой страницы в sitemap.xml. Он указывается исключительно относительно страниц, указанных в файле. То есть, если в карте сайте страница site.ru/1.html имеет приоритет 1 (высокий), а страница site.ru/2.html имеет приоритет 0.5, то site.ru/1.html будет проиндексирована первой, а вторая страница, соответственно, второй. Таким образом, тег
Вывод : для продвигаемых страниц ставьте приоритет 1, для других, менее важных, значения ниже.
Залить sitemap.xml нужно в корень папки сайта!
Карта сайта должна быть доступна по адресу: http://site.ru/sitemap.xml
Если по этому адресу карта не доступна, то вы залили ее не туда!
Ограничения для sitemap.xml
С тем, как создать файл sitemap.xml мы разобрались, теперь поговорим об ограничениях в файле:
- Ссылки должны вести на один и тот же сайт;
- Длина ссылка не должна превышать 2048 символов;
- Максимальное количество ссылок 50 000;
- Размер файла не больше 10 Мб.
Иногда случается так, что в один файл не вмещается вся информация, в этом случае поможет индексный файл.
Индексный файл — это тот же sitemap.xml, в котором указываются ссылки на карты сайта, которые мы создавали чуть выше.
Так, выглядит внутри индексный файл:
Сохраните его и при надобности используйте, заменив ссылки на свои.
Запомните: sitemap.xml нужен практически для всех сайтов, за исключением мелких. Он очень помогает в индексировании сайта.
Ну а на этом все, дорогие друзья!
До скорых встреч!
Предыдущая статьяСледующая статья
You can very easy create your sitemap. First type in your URL and then select the parameters you may wish to change. (change frequency, last modification date and page priority. You may also alter default settings for exclude extensions, do not parse extensions and session ids. In the next fields you can declare which URLs you want to exclude from sitemap (see example below). Finally you may select the maximum number of pages and the depth level. Optionally you can select to create additional sitemaps, like ROR sitemap, HTML sitemap or TXT sitemap.
What is "Page changing frequency" ?
Change frequency affects when and how often search engine spiders visit your site’s pages. It may have one of seven values: always, hourly, daily, weekly, monthly, yearly, never. This tells the search engines how often each page is updated. An update refers to actual changes to the HTML code or text of the page.
What is "Last modification date" ?
This parameter can take one of the next three values:
Server"s response.
Set the date of last modification of the file using server response headers. This value, gives crawlers the information to not recrawling documents that have not changed. We recommend to keep this setting.
Current time.
Set the date of last modification of the file using the current date and time.
None.
Do not use any value for Last modification of the files.
What is "Page priority" ?
The Priority is set to a number between zero and one. If no number is assigned, priority is set to 0.5. This number determines the priority of a particular URL relative to other pages on the same site. A high priority page may be indexed more often and appear above other pages from the same site in search results. Automatic priority reduces the priority of a page depending on depth level.
What is "Depth Level" ?
Depth level of a page means how many clicks away is this page from homepage.
What is "Exclude extensions" ?
Files with these extensions found in your website pages are not included in sitemap (not crawled). Separate input values with spaces.
What is "Do not parse extensions" ?
Files with these extensions will not be fetched in order to save bandwidth, because they are not html files and have no embedded links but will be included in the sitemap. Separate input values with spaces.
What is "Session IDs" ?
If URLs on your site have session IDs in them, you must remove them. Including session IDs in URLs may result in incomplete and redundant crawling of your site. Common session IDs: PHPSESSID, sid, osCsid. Separate with spaces.
What is "Exclude URLs" ?
URLs that contain these strings (or regex) will not be included on sitemap. Input values one per line.
e.g. 1 Use string: component/
in order to exlude all pages in www.yoursite.com/component/
If regex, add in the end: \s* (example: blo\s*)
e.g. 2 If you have any of the following websites, you may exclude these strings: (copy and paste to Exlude URLs box)
В этом путеводителе мы рассмотрим следующие вопросы:
Что такое Sitemap ?
Это файл, который содержит в себе перечень ссылок на все важные страницы сайта. То есть, этот документ направляет поисковые системы на основной контент на сайте.
Для чего нужна карта сайта
Сайтмап нужен, если у сайта есть проблемы с индексацией, которые вызваны:
1) большим количеством страниц;
2) отсутствием ссылок (внутренних или внешних) на страницы;
3) глубокой вложенностью на сайте (запутанной структурой).
HTML vs XML-карта сайта
Карты сайта бывают следующих типов:
- HTML;
Самое простое объяснение разницы между этими форматами в том, что XML-карта в первую очередь предназначена для поисковых систем, а HTML – для пользователей.
HTML-карта – это всего лишь общий обзор сайта, содержит только информацию и страницы, которые нужно видеть пользователям. Если вы находитесь на сайте и ищете определённый раздел, при переходе на Sitemap HTML легко его найдёте. Несмотря на то, что такой тип карт сайта ориентирован на пользователя, он также может помочь вашему ранжированию в поисковых системах. Это одно из свидетельств того, что вы заботитесь об удобстве сайта для пользователя.
При составлении HTML-карты сайта важно учитывать:
1. Структурированное содержание.
Карта сайта должна быть понятна и удобна для восприятия пользователя. Желательно, чтобы она включала в себя разделы, категории, подкатегории и т. д.
2. Анкоры ссылок.
Протокол XML-карты сайта предназначен для поисковых роботов. XML-файл содержит в себе информацию о том, когда последний раз обновлялся URL-адрес, насколько это важно и как часто происходят изменения.
Обычно Sitemap состоит из следующих XML-тегов:
Обязательные:
Необязательные:
Не устанавливайте для каждого URL-адреса слишком частую смену файла и максимальный приоритет. Если метки частоты и приоритета не отражают реальность, вероятнее всего, поисковые системы будут более склонны игнорировать всю карту XML.
Другие форматы Sitemap
Помимо вышеперечисленных карт сайта, поисковые системы также поддерживают следующие форматы:
Для Google:
— RSS, mRSS и Atom 1.0;
RSS / Atom фиды должны содержать последние обновления вашего сайта. Обычно они небольшие и часто обновляются (что является плюсом).
— Сайты Google.
Для сайтов, созданных на платформе Google Сайты, Sitemap создаётся автоматически, и внести какие-то изменения невозможно.
Для Google и Яндекс:
— текстовый формат (TXT).
Файл должен быть в кодировке UTF-8 и состоять только из URL-адресов.
Требования Google и Яндекса к файлам Sitemap
1. Используйте кодировку UTF-8.
2. Максимальное количество URL – 50 000.
3. Ссылки в сайтмапе должны быть на том же домене, что и файл.
4. Если файл слишком большой, разделите его на несколько и укажите их в файле индекса Sitemap.
5. Ответ сервера при обращении к файлу должен быть 200 ОК.
6. Указывайте только канонические адреса страниц (без GET-параметров и идентификаторов сессий).
1. Максимальный размер – 10 МБ.
2. Поддерживает кириллические URL.
1. Максимальный размер – 50 МБ.
2. Поддерживает только цифры и латинские буквы.
Распространённая ошибка: чтобы уменьшить требования к пропускной способности канала, используют архиватор gzip. Размер сайтмапа должен быть 50 МБ (10 МБ) до сжатия, а не после.
Совет: русские доменные имена можно преобразовать с помощью кодировки Punycode.
Как создать XML Sitemap
1. Чтобы создать карту сайта, в первую очередь нужно определить канонические адреса, которые будут добавлены в файл.
2. Определить, какой формат файла будете использовать.
3. Создать файл можно вручную или, воспользовавшись генератором Sitemap.
Google в своей справке подготовил список онлайн и десктопных, платных и бесплатных генераторов карт сайта. Ознакомиться со всем списком можно, перейдя по ссылке .
Сгенерировать Sitemap проще, чем кажется. Разберём, как сгенерировать сайтмап, на примере деcктопного приложения Majento:
1. Парсим сайт.
2. Переходим в раздел «Сайты» => «Генерировать Sitemap».
3. Сохраняем в нужном нам формате.
4. Карта сайта готова.
Из online-генераторов XML-карты сайта заслуживает внимания XML Sitemap Generator .
Расширенные возможности этого сервера позволяют установить определённые XML-теги, включить/исключить нужные документы.
Исключить ненужные страницы можно и с помощью регулярных выражений.
Google поддерживает расширенный синтаксис для изображений. Для этого вы можете создать отдельную карту сайта для изображений или добавить синтаксис в существующую. Использование расширенного синтаксиса в Sitemap предоставляет поисковой системе дополнительную информацию об изображениях на сайте. Также это может помочь Google обнаружить и проиндексировать изображения, которые он не может найти при сканировании сайта.
Как и в обычной карте сайта, есть обязательные и необязательные XML-теги.
Обязательные:
Необязательные:
Ещё один расширенный синтаксис, который поддерживает Google, – XML-карта для видео.
Плюсы добавления XML-тегов для видео:
1) даёт понять Google, какой контент на сайте;
2) даёт возможность предоставить детальное описание к файлу;
3) станет доступным для поиска в Google Видео;
4) в поисковой выдаче будет отображаться заставка видео (может повысить количество переходов из поисковой выдачи).
Карта сайта для видеофайлов состоит из следующих обязательных элементов:
Заголовок и описание видео должны быть экранированы или упакованы в блок CDATA.
Со всеми XML-тегами карты сайта для видео можно ознакомиться в справке Google .
Где разместить карту сайта
Распространённые заблуждения о Sitemap
Так как у многих этот файл вызывает трудности и является «тёмным лесом», возникают определённые мифы в отношении карт сайта. Рассмотрим некоторые из них:
– «Включение URL-адреса в файл Sitemap для XML гарантирует, что он будет проиндексирован».
Нет. Важно отметить, что XML-файлы Sitemap – это только рекомендации. Карта сайта XML не гарантирует индексацию поисковыми системами страниц, указанных в файле.
– «Если я удалю URL из XML-карты, он будет удалён из индекса».
Нет. Карта сайта XML не исключает индексацию страниц, не включённых в карту сайта XML.
– «XML-файлы Sitemap трудно создавать и поддерживать»
Нет. Небольшие сайты могут легко создавать и размещать собственные XML-файлы вручную, используя приведённые выше примеры в качестве руководства по форматированию. Для более крупных сайтов и сайтов, которые изменяются чаще, плагины или модули, доступные для большинства CMS, могут автоматизировать обновление XML-файлов.
Заключение
Файл Sitemap – полезный инструмент для передачи поисковым роботам информации о структуре сайта. Используйте это руководство, чтобы понять, как работает карта сайта, как она устроена, как сгенерировать, разместить и проверить файл.
Подписаться на рассылкуМы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».
Предположим у вас есть сайт, забитый уникальным контентом, на котором проведена SEO оптимизация и сидите вы, потирая ладошки в ожидании, когда же ваше детище начнет посещаться поисковым роботом, индексироваться и приносить заветный трафик. Идет время, а результат ваших стараний не особо-то и виден. В чем же дело? Возможно, что-то все же было упущено из виду, что-то да забылось в погоне за ништяками. Предположим, что сайт по-прежнему уникальный и оптимизаторы из вас хоть куда. Тогда нужно разбираться, почему поисковик так неохотно вас посещает и по какой причине все происходит так медленно.
Каждый web-проект должен иметь два важных, а может и основных файла: это роботс (robots.txt) и карта сайта (). Если какой-то из них отсутствует или неверно заполнен, велика вероятность, что ресурс не даст того результата, на который вы рассчитывали. Ведь у поисковых ботов есть заданные ограничения как по времени нахождения на ресурсе, так и по количеству документов, которые они могут проверить и занести в базу. А это все к тому, что если вами не были заданы пути перемещения для поискового робота, то он может добраться до контента очень нескоро, перед этим побродив в файлах движка.
Чтобы избежать подобной неразберихи, в файле роботс мы говорим, на что ботам не стоит тратить время, а с помощью карты сайта, наоборот, подсказываем куда следует заглянуть и где побродить.
Предположим, что у нас все срослось и поисковики начали индексировать наш проект, а вот отсутствие второго может затянуть достижение поставленных целей. А теперь подробнее про создание sitemap.
XML и HTML версии карты сайта
Sitemap.html выступает в роли навигации для гостей нашего ресурса, которая помогает понять структуру сайта и найти интересующий их раздел.
Sitemap.xml подсказывает и помогает поисковым ботам обнаружить и начать индексировать страницы нашего проекта. Если мы имеем большой уровень вложенности и многочисленное количество веб-страниц на сайте, XML гарантирует, что боты не упустят из вида, то что нужно проиндексировать. Как приятный бонус мы получаем плюсик к карме в виде увеличения доверия к ресурсу со стороны поисковиков.
Положительные стороны присутствия sitemap. xml на сайте
- ускоренное индексирование недавно созданных страниц;
- стопроцентная вероятность того что поисковик отыщет необходимые страницы;
- возможность указать приоритеты при проверке, частоту и дату последнего обновления страницы;
- немного увеличивается доверие к ресурсу.
Важно!
- используйте для карты сайта кодировку UTF-8 ;
- вес файла должен быть не более 10 MB и его содержание не должно быть больше 50 тысяч URL .
Как создать и добавить sitemap. xml на сайт
Берем любой текстовый редактор, например Notepad++, и начинаем творить.
Первым блоком идет стандартная часть, в которой мы указываем:
Значения тегов:
- «loc» - в него мы заключили адрес страницы нашего сайта, которую в скором времени должны проиндексировать поисковые роботы;
- «lastmod» - отображается последняя дата обновления страницы указанной в первом теге;
- «changefreq» - показывает как часто будет обновляться контент (в нашем случае каждый день);
- «priority» - задает приоритетность к индексации страницы (от 0 до 1)
Сохраняем получившийся файлик в формате XML и помещаем его в . Далее указываем путь к нему в robots. txt прописывая данную строчку:
http://Наш сайт/sitemap.xml
Либо мы можем использовать один из онлайн-генераторов. Например, , который рассчитан на создание не больше чем 500 страниц. Но зачастую больше и не надо, поэтому работаем с ним.
В первую строку вписываем полный URL нашего сайта с http://Наш сайт.
Вторая строка, которая называется « Change frequency», показывает поисковым роботам, как часто будут обновляться веб-страницы. Можем выбрать: never, weekly, daily, hourly, monthly, yearly.
Третья строка « Last modification » показывает, когда последний раз обновлялась страница, можем выбрать либо дату когда мы решили создать карту сайта, либо выбрать « Use server’s response » - тогда генератор автоматически внесет дату последнего изменения.
И четвертая строка « Priority», как мы уже ранее обсуждали позволяет выбрать приоритет к индексации, выбираем « Automatically Calculated Priority ».
Нажимаем кнопку «Start» и ждем когда сгенерируется карта сайта в формате XML , после опять проделываем манипуляции с помещением в корень и указания пути в robots.txt.
Как сообщить о файле sitemap после создания Google и Яндекс
Заходим в Вебмастер и действуем следующим образом.
Выбираем проверку карты сайта:
И задаем путь к нашему файлу sitemap.
Проверяем что получилось:
Убеждаемся, что все в порядке и отправляемся на поклон к Google.
Для того чтобы попасть в Search Console Гугл, в которой, собственно, и можно сообщить о нашей карте, переходим
Обновляем страницу - перед нами результат проверки и если в колонке «Проблемы» стоит прочерк, значит, мы все сделали правильно.
Подведем итоги
Создать и разместить файл sitemap. xml на ресурсе по факту минутное дело, для этого можно использовать любой текстовый редактор или онлайн-генератор. Если у вас есть карта сайта на своем ресурсе вы ускоряете и упрощаете жизнь поисковому роботу, который следует по указанному пути и индексирует нужные страницы. Это значит, что результат вашей работы по оптимизации имеет шанс быстрее стать заметным. Но важно не забывать про карту сайта и периодически ее обновлять, т.к. страница может перестать участвовать в продвижении, а боты будут продолжать ее посещать, что отразится на позициях. Также наш XML-проводник может служить помощником не только роботам, но и воришкам контента, ведь в sitemap мы указываем нужные нам документы, что значительно упрощает жизнь копипастерам. Поэтому рекомендуем периодически проверять контент вашего ресурса на уникальность. Соблюдая эти правила вы повышаете доверие поисковых систем Google и Яндекс к своему ресурсу.
Загрузка...
