Регистрация сайта, карта сайта и не только…

После того, как у меня появился сайт, сразу возникло масса вопросов. Раскручивать сайт или он сам раскрутится? Надо ли регистрировать его, если да, то где?.. И так далее и тому подобное.

Начну рассказывать понемногу, ровно то, что знаю и что проверил.

Добавление сайта для индексации в поисковиках.

Чтобы сайт как можно скорее появился в поисковых системах, его стоит там зарегистрировать. А если не регистрировать? В общем, ничего смертельного, за вас это сделают поисковые роботы. Только они найдут ваш сайт значительно позже (где-то, через несколько дней). А раз – позже, то и ссылки на него (в поисковиках) появятся позже. В общем, выбор за вами!

Для тех, кто любит всё делать самостоятельно, рассказываю!

Давайте определимся, на каких поисковиках стоит объявить сайт для индексации. В настоящее время из самых популярных и стоящих поисковиков осталось всего три:

https://www.google.com (он же https://www.google.ru и т.д.),

http://www.yandex.com (он же http://www.yandex.ru и т.д.) и

http://www.bing.com

Из них, явно заслуживающие внимание два: google и yandex.

А как же остальные поисковики? Ха! Почти все они пользуются данными этих двух поисковиков, да и малопопулярные они.

Добавить свой сайт в поисковик можно через окно включения URL-а:

в Гугле:           http://www.google.ru/intl/ru/addurl.html

в Яндексе:      http://webmaster.yandex.ua/addurl.xml

Добавлять, естественно, надо основной адрес сайта, а не его зеркало. Но, если вы перепутали или добавили и тот и другой – ничего страшного – поисковики разберутся. Теоретически, конечно, у поисковиков может возникнуть проблема с правильным определением основного URL сайта, но это поправимо. Можно этому поспособствовать заранее, с помощью файла Robots.txt, например для Яндекса:

User-agent: Yandex

Host: mustang-soft.com

            (см. мою запись в блоге)

После того, как поисковые роботы побывают на вашем сайте – поисковики его зарегистрируют, и будут регулярно просматривать. Настройка для робота Яндекса (для определения основного адреса сайта) становится ненужной, её можно убрать: меньше текста – меньше ошибок.

Как часто поисковики индексируют сайт.

Этот вопрос сложный. Так сказать, «секрет фирмы». Могу сказать следующее: в настоящее время Гугл индексирует достаточно активно (он хорошо относится к малораскрученным сайтам), а Яндекс – нет (малоизвестные сайты недолюбливает). Сейчас, полная реиндексация Гуглом у меня происходит где-то два раза в месяц, а Яндексом – раз в 1-2 месяца…

На самом деле, приоритеты у них всё время меняются и заморачиваться этим не стоит.

Подтверждение прав на сайт.

Ваш сайт – ваш, но можно сообщить об этом и поисковикам. А для чего? А чтобы с удовольствием пользоваться инструментами поисковых систем для Web-мастеров. Что же там полезного? А всё: история посещений, ошибки, которые находят поисковики, предупреждения и некоторые дополнительные настройки для лучшей работы поисковых роботов.

Окна Веб-мастера:

Гугл:               http://www.google.ru/webmasters

Яндекс:           http://webmaster.yandex.ua

И в том, и в другом случае – вам придётся сначала зарегистрироваться и подтвердить свои права на свой сайт. Способов несколько. Наиболее оптимальным я считаю с помощью .html-файла. Этот способ работает и в Гугле и в Яндексе. Вам дают файл, вы его кладёте в корень вашего сайта и нажимаете кнопочку «подтвердить». В Гугле это проходит «на ура», а в Яндексе – могут быть проблемы.

Чёрт, именно у меня они и возникли!.. Что по этому поводу говорит поддержка Яндекса: у вас неправильное «зеркалирование» сайта, у вас неправильный файл «.htaccess», у вас ошибки на сайте, у вас проблемы с хостером и т.д. и т.п. Странно, почему же эти проблемы не возникают у Гугла? :))   По моему «скромному» мнению, дело именно в криворукости программистов Яндекса (ведь, раньше народ на это не жаловался).

Действительно, на одном форуме (где – запамятовал) я прочёл заметку, о том, что в этом случае (когда вы точно знаете, что у вас всё хорошо, но подтверждение упрямо не получается), необходимо просто оставить .html-файл верификации Яндекса на вашем сайте. И подождать, когда робот Яндекса полностью его реиндексирует. Как я сказал выше, у меня Яндекс это делает очень нечасто, поэтому я подождал почти месяц (за неделю Яндекс не справился), благо уезжал в командировку. Сразу после командировки – зашёл в окно Веб-мастера Яндекса и просто нажал кнопку «подтвердить». Всё!

            Вывод: этот метод работает.

Хороший вопрос: а после подтверждения прав на сайт, можно удалить файл(ы) верификации? Гугл честно отвечает: можно, но через время робот проверит файл на предмет его наличия. И если не найдёт – подтверждение прав может быть снято в одностороннем порядке. Яндекс по этому поводу ни чего не говорит. Но, я подозреваю, что политика та же.

            Вывод: не хотите проблем – не удаляйте.

Веб-мастер.

Теперь можно настроить (или перестроить основное зеркало сайта):

в Гугле:           Конфигурация сайта => Настройки => Основной домен

в Яндексе:      Настройка индексирования => Главное зеркало

Настоятельно рекомендую просмотреть ошибки сканирования роботами. Больше всего мне понравился разбор ошибок в Гугле. В Яндексе – как-то не так… В Гугле даже можно настроить частоту сканирования роботом. Всё это приведёт к тому, что вы подгоните свой сайт под поисковые роботы, или хотя бы увидите и исправите критические замечания.

Карта(ы) сайта.

На самом деле их выделяют две: для людей и для поисковых роботов. Для чего нужны: для их лучшей ориентации, для ускорения и улучшения поведения роботов.

Карта для людей.

Т.к. у меня сайт сделан на Drupal, то для создания карты сайта можно применить один из двух модулей: site_map или sitemenu. Второй модуль (sitemenu) делает карту сайта в виде некоторого меню, а site_map имеет более гибкие настройки. Его я и применил.

Конечно, применяя site_map, можно оставить всё как есть, но лучше настроить. Способы настройки расписаны во многих местах интернета, но для наглядности можно посмотреть этот сюжет (или, как громко выразился автор – подкаст). В общем, я так и сделал. Есть ли «глюки» у этого модуля? Есть! Но, если не экспериментировать и делать строго по видео-уроку – вы их не встретите.

Для роботов.

Так, с людьми закончили, займёмся роботами. :))

Тут целое поле непаханое! Можно файл карты сделать вручную (см. http://www.sitemaps.org/ru), можно с помощью специализированных сайтов (например, http://www.xml-sitemaps.com), можно с помощью Веб-мастера Гугл, можно с помощью модуля Drupal (например, XmlSiteMap). Давайте разбираться!..

Какой должен быть формат файла карты сайта? Может быть обычный текстовый (Гугл и такое понимает), но лучше – xml. Это уже стало стандартом. Здесь всё ясно. Спецификацию (о том, как заполнять) можно прочесть на sitemaps.org, но люди уже давным-давно отказались от ручной работы и переложили это на «плечи машин». Вариант с генерацией файла на специализированном сайте допустим, но он хорош, если никакие другие варианты вам не подходят. С чем это связано? С тем, что он не будет оптимальным, что он рассчитан на маленькие сайты (зачастую на сайтах-генераторах карт стоит ограничение на число просматриваемых страниц, и если вам надо больше – будут просить денег), к тому же, если вы часто обновляете информацию на своём сайте – вам придётся часто это файл пересоздавать. А если нет? Тогда роботы не будут вовремя видеть новые материалы.

И так, хорошими признаю лишь два варианта: с помощью Веб-мастера или с помощью дополнительного модуля Drupal-а. Ну, как всегда, я проблемы сразу нахожу: с помощью Веб-мастера Гугла мне не удалось автоматическую настройку карты сайта, т.к. хостер закрыл такую возможность («ибо, нефиг»), а у Яндекса я не нашёл такой возможности. Поэтому плавно перешёл к использованию модуля XmlSiteMap.

Да, чуть не забыл: если вы будете создавать этот файл с помощью Веб-мастера – там же можно его и зарегистрировать. Но, можно этого и не делать. Тогда достаточно будет положить ваш «sitemap.xml» в корень вашего сайта. А если хочется поизощряться (сделать файл с другим именем, сделать разные файлы для разных поисковиков и т.д.), то тогда имя файла карты сайта нужно указать в файле Robots.txt, например, так:

Sitemap: http://мой сайт/нужная папка/my_sitemap.xml

И так, XmlSiteMap – модуль для создания карты сайта для поисковых роботов. В общем случае, этого достаточно. Легко устанавливается, легко настраивается… Но, мы лёгких путей не ищем!

А вот, что и как я сделал с ним – об этом в следующий раз.

Продолжение следует... (To be continued...)

19.04.2012 г.   Карандаш.