Регистрация Web-страницы на поисковом сервере

Как поисковые серверы узнают о новых страницах и ресурсах Интернет? Есть два способа — либо владельцы сами регистрируют свои страницы в базе данных сервера, либо поисковый робот находит новые ссылки в уже проиндексированных страницах. Обычно робот берет со страницы сервера ссылки на последующие страницы и таким образом перебирает все связанные документы узла. От момента опубликования документа на Web-сервере и до появления ссылки на него в поисковых серверах может пройти много времени. Первый способ, когда автор сам добавляет свой ресурс на поисковый сервер, безусловно, более надежен.

Рис. 7.1. Поисковый сервер Яndех

Рис. 7.2. Список документов Интернет, найденных по ключевым словам

Русскоязычные поисковые серверы, такие, как Rambler и Яndex, автоматически индексирует часть сети Интернет, принадлежащую странам СНГ. Поэтому в поисковую машину вносятся серверы в доменах su, ru, am, az, by, ge, kg, kz, md, ua, uz. Остальные ресурсы вносятся, только если на них найден текст на русском языке или если владельцы ресурсов убедят администрацию поисковой машины в том, что их сервер интересен пользователям русскоязычной Интернет. Это делается посредством письма на адрес электронной почты администрации сервера, но обычно, если ваш ресурс соответствует требованиям данной поисковой службы, достаточно просто заполнить в интерактивном режиме форму регистрации с указанием URL-адреса и описания ресурса, а также сведений об авторе. В качестве примера на рис. 7.3 показана форма регистрации в базе данных поисковой машины Rambler.

Рис. 7.3. Пример формы регистрации на поисковом сервере

В табло. 7.1 приведен список некоторых наиболее известных поисковых серверов и URL-адреса страниц с формами регистрации. На этих же страницах можно найти контактные адреса электронной почты администраторов поисковых серверов.

Регистрируйте только начальную страницу узла. Робот автоматически проследит ссылки с начальной страницы и проиндексирует все другие страницы узла.

После того как вы заполните регистрационную форму и щелкните на кнопке Зарегистрироватьили Submit,будет запущен процесс индексирования ресурса поисковой машиной, который займет определенное время. Поэтому не пытайтесь сразу же найти свою Web-страницу в поисковом сервере, где вы только что зарегистрировались. Более того, администрация поисковой машины оставляет за собой право отказать вам в регистрации, если ваш ресурс не соответствует регламенту сервера. (Текст соглашения между владельцами ресурсов и администрацией поискового сервера или, по крайней мере, ссылку на этот документ можно найти на странице с регистрационной формой.) Если через неделю после регистрации поисковый сервер все еще не возвращает ссылку на вашу страницу, попробуйте повторить регистрацию. Вам будет показано одно из сообщений примерно следующего типа.

♦ Ваш URL только что был внесен в нашу базу данных. Это означает, что предыдущая регистрация по какой-то причине не состоялась. Теперь ваш ресурс будет добавлен в базу данных и проиндексирован.

♦ Ваш URL уже известен роботу и будет проиндексирован в ближайшее время. Все нормально, подождите еще пару дней.

♦ Ваш URL уже проиндексирован. Вы можете посмотреть, какие страницы вашего Web-узла проиндексированы роботом к настоящему времени. Вторая часть сообщения обычно является гиперссылкой, на которой вы можете щелкнуть, чтобы отобразить список документов вашего ресурса, зарегистрированных на данном поисковом сервере.

В дальнейшем робот будет самостоятельно находить новые и измененные документы. Причем частота обхода конкретного сервера зависит от зафиксированной роботом частоты изменения его страниц.