Информация о страницах сайта, как правило, передается поисковым системам с помощью карты сайта (sitemap — XML-файлы).
Карта сайта помогает поисковым машинам тщательнее и разумнее сканировать страницы.
Поисковая система Яндекс запустила проект IndexNow, предлагающий новый способ взаимодействия сайтов с поисковыми системами.
Протокол IndexNow обладает одним важным преимуществом — он позволяет автоматически сообщать поисковым системам об изменениях на сайте, включая появление новых страниц, обновление или удаление текущих.
Преимущества технологии IndexNow
Без IndexNow поисковые системы могут потратить много времени на обнаружение изменения контента, поскольку они не часто обходят каждый URL-адрес.
С помощью IndexNow поисковые системы мгновенно узнают об изменениях в URL-адресах и таким образом могут определять приоритеты обхода данных адресов. Это, в свою очередь, сокращает период на обнаружение нового контента.
Как начать пользоваться
IndexNow 1.0 предлагается на условиях лицензии Attribution-ShareAlike Creative Commons и поддерживается Яндексом и Microsoft Bing.
Чтобы использовать протокол, вам нужно настроить передачу информации о страницах с помощью API с использованием HTTP и JSON для обмена данными.
Для отправки URL-адресов необходимо подтвердить, что именно вы являетесь владельцем сайта, для которого передаются данные.
Для подтверждения используется специальный ключ — его нужно сформировать, разместить файл с ним на вашем сайте и передавать в запросах к API. При каждом запросе к API Яндекс проверяет ключ.
Реализовать использование протокола могут владельцы сайтов и разработчики систем управления сайтом.
Справка Яндекс – как это сделать https://yandex.ru/support/webmaster/indexing-options/index-now.html?utm_source=yandex.webmaster&utm_medium=post&utm_campaign=indexnow#quick-start
Примечание. Данный способ не гарантирует, что переданные страницы будут проиндексированы.
Как установить данный протокол на своем сайте
Отправка одного URL-адреса
Чтобы отправить URL-адрес с помощью HTTP-запроса (замените URL-адресом, предоставленным поисковой системой), отправьте запрос по следующему URL-адресу:
https:///indexnow?url=url-changed&key=your-key
url-changed — это URL-адрес вашего веб-сайта, который был добавлен, обновлен или удален. URL-адрес должен быть экранирован и закодирован, и убедитесь, что ваши URL-адреса соответствуют стандарту RFC-3986 для URL-адресов.
Ваш ключ должен содержать от 8 до 128 шестнадцатеричных символов. Ключ может содержать только следующие символы: строчные (a-z), прописные (A-Z), цифры (0-9) и тире (-).
Например, если вы хотите уведомить поисковые системы об обновлении https://www.example.org/product.html и хотите использовать этот ключ 1d5b11a3c73f4befb0af1eaabe3876b9
https:///indexnow?
url=https://www.example.org/product.html&
key=1d5b11a3c73f4befb0af1eaabe3876b9
Вы можете отправить HTTP-запрос, используя свой браузер, wget, curl или любой другой механизм по вашему выбору. Успешный запрос вернет код ответа «HTTP 200». Если вы получили другой ответ, проверьте, что вы не отправляете запрос слишком часто, что ключ и URL-адрес действительны, и повторно отправьте запрос. Код ответа «HTTP 200» означает только то, что поисковая система получила ваш URL.
Отправка набора URL-адресов
Чтобы отправить набор URL-адресов с помощью HTTP-запроса, отправьте запрос POST JSON на URL-адрес, предоставленный поисковыми системами. Замените именем хоста поисковой системы.
POST /IndexNow HTTP/1.1
Content-Type: application/json; charset=utf-8
Host:
{
“host”: “www.example.org”,
“key”: “1d5b11a3c73f4befb0af1eaabe3876b9”,
“urlList”: [
“https://www.example.org/url1”,
“https://www.example.org/folder/url2”,
“https://www.example.org/url3”
]
}
Вы можете отправить до 10 000 URL-адресов в одном сообщении, при необходимости смешивая URL-адреса http и https.
Вы можете отправить HTTP-запрос, используя wget, curl или любой другой механизм по вашему выбору. Успешный запрос вернет код ответа «HTTP 200». Если вы получили другой ответ, проверьте свой запрос и, если все в порядке, отправьте его повторно. Код ответа «HTTP 200» означает только то, что поисковая система получила ваш набор URL-адресов.
Рекомендуется автоматизировать отправку URL-адресов, как только содержимое добавляется, обновляется или удаляется до определенного предела; см. лучшие методы работы с пользовательским содержимым в разделе «Вопросы и ответы».
Проверка права собственности с помощью ключа
Чтобы отправить URL-адреса, вы должны «подтвердить» право собственности на хост, для которого отправляются URL-адреса, разместив на этом хосте хотя бы один текстовый файл. После того, как вы отправите свои URL-адреса в поисковые системы, они будут выполнять обход содержимого файла ключа для проверки права собственности и использовать этот ключ до тех пор, пока вы его не смените. Только вы и поисковые системы должны знать ключ и местонахождение вашего файла ключа.
Предлагаются два способа проверки права собственности.
Вариант 1
Размещение текстового файла ключа в корневом каталоге вашего хоста.
Вы должны разместить текстовый файл ключа {your-key}.txt в кодировке UTF-8 с указанием ключа в файле в корневом каталоге вашего веб-сайта.
Например, для предыдущих примеров вам нужно разместить ваш файл ключа в кодировке UTF-8 по адресу: https://www.example.org/1d5b11a3c73f4befb0af1eaabe3876b9.txt, и этот файл должен содержать ключ 1d5b11a3c73f4befb0af1eaabe3876b9
Вариант 2
Размещение текстового ключевого файла на вашем хосте.
Вы также можете разместить от одного до нескольких файлов ключа в кодировке UTF-8 в других местах на том же хосте, и вы должны сообщать поисковым системам местоположение этого файла ключа в каждом уведомлении IndexNow с помощью переменной keyLocation.
Если вы отправляете URL-адрес, укажите местоположение файла ключа как значение параметра URL-адресов keyLocation.
https:///indexnow?
url=http://www.example.org/product.html&
key=1d5b11a3c73f4befb0af1eaabe3876b9&
keyLocation=http://www.example.org/myIndexNowKey63638.txt
Если вы отправляете набор URL-адресов, укажите местоположение файла ключа как переменную keyLocation в содержимом JSON.
POST /IndexNow HTTP/1.1
Content-Type: application/json; charset=utf-8
Host:
{
“host”: “www.example.org”,
“key”: “1d5b11a3c73f4befb0af1eaabe3876b9”,
“keyLocation”: “https://www.example.org/myIndexNowKey63638.txt”,
“urlList”: [
“https://www.example.org/url1”,
“https://www.example.org/folder/url2”,
“https://www.example.org/url3”
]
}
В этом варианте 2 расположение файла ключа определяет набор URL-адресов, которые могут быть включены в этот ключ. Файл ключа, расположенный по адресу: http://example.org/catalog/key12457EDd.txt, может включать любые URL-адреса, начинающиеся с http://example.org/catalog/, но не может включать URL-адреса, начинающиеся с http://example.org/help/.
http://example.com/catalog/show?item=23
http://example.com/catalog/show?item=233&user=3453
К URL-адресам, которые не считаются действительными в http://example.com/catalog/sitemap.xml, относятся:
http://example.com/image/show?item=23
http://example.com/image/show?item=233&user=3453
https://example.com/catalog/page1.php
URL-адреса, которые не считаются действительными в варианте 2, могут не рассматриваться для индексации. Настоятельно рекомендуется использовать вариант 1 и поместить файл ключа в корневом каталоге вашего веб-сервера.
Требования к поисковым системам
Поисковые системы, использующие протокол IndexNow, должны немедленно поделиться всеми отправленными им URL-адресами со всеми другими поисковыми системами, имеющими API IndexNow.
Для участия поисковые системы должны иметь заметное присутствие хотя бы на одном рынке.
Вопросы и ответы https://www.indexnow.org/locale/ru_ru/index