Как и обещал в прошлом выпуске SEO-советов, сегодня расскажу о том как ускорить индексацию сайтов.
Во-первых стоит почитать, что советуют сами поисковые системы.
Например, Яндекс: Как помочь роботу быстрее индексировать сайт (ссылка).
Если коротко, то вот что нужно сделать:
1. Создать/отредактировать в корне вашего сайта файл robots.txt так, чтобы запретить в нем индексировать ненужные или малоинформативные страницы.
2. Создать карту сайта – ссылки на все страницы сайта в виде отдельной страницы или страниц, и в виде файла sitemap.xml в корне вашего сайта.
Описание форматов файла Sitemap дано на сайте Sitemap.org.
О Sitemap можно почитать и у Яндекса.
Существуют много различных сторонних веб-сервисов и программ для генерации и обновления карты сайта.
Для генерации как в виде веб-страницы, так и в виде файла sitemap.xml.
Не все из них хорошо справляются со своей работой, поэтому лучше воспользоваться “внутренними” решениями.
Т.е. специально написанными плагинами к CMS, или, если такие функции изначально встроены в CMS, то ими.
Для Wordpress есть специальные плагины (их можно установить прямо из админки):
Dagon Design Sitemap Generator – генерация карты сайты в виде веб-страницы.
Google XML Sitemaps – генерация xml-карты сайта.
3. Настроить сервер, если есть такая возможность, на выдачу корректных заголовков ответов (см. подробнее у Яндекса “Как помочь роботу быстрее индексировать сайт”).
4. Использовать так называемые пинги.
Пинги – это специальные сообщения, отправляемые на сервера поисковых (и др) систем о каждой новой записи в вашем блоге.
О том как составляются такие сообщения и куда их отслылать, можно почитать, опять-таки, у Яндекса (ссылка).
В Wordpress есть специальная функция для отправки таких пингов, и поэтому не надо заморачиваться их ручной отправкой.
Выкладываю, в виде файла, список пинг-адресов для отправки уведомлений. Нашел его на каком-то сайте, уже не помню каком.
pings.txt
Чтобы Wordpress отправлял пинги на эти адреса, нужно сожержимое этого файла скопировать в “Параметры->Написание->Сервисы обновления“.
Метки: robots.txt, SEO, sitemap, индексация, карта, пинг, сайт, советы, ускорить, яндекс
Жаль, что система пингов распостраняется только на блоги.
Мне вот интересно, как Яндекс может проверить, является ли блогом сайт, с которого пришел пинг?
Вряд ли там люди сидят и проверяют – блог это, или не блог )))