Метапоиск

Одно из правил успешного поиска состоит в использовании нескольких поисковых машин. Причина, по которой следует так поступать, очевидна: все поисковые машины применяют разные алгоритмы поиска с разной скоростью, и страница, которая найдется при помощи одного поисковика, может остаться вне поля зрения другой системы – либо программа до нее еще не добралась, либо посчитала сайт несоответствующим запросу. Кроме этого, ни одна поисковая машина, даже самая хорошая, не может похвастаться полнотой своей базы данных.

Разработчики специальных поисковых машин решили воплотить в жизнь идею объединения результатов работы сразу нескольких таких систем. Эти технологии носят название метапоисковиков. Метапоисковые системы на самом деле являются лишь мостом между пользователем и набором стандартных поисковиков. Они не ведут собственную базу интернет-сайтов, а лишь обрабатывают результат, предоставляемый другими поисковыми машинами. Степень этой обработки может быть разной. Самые простые метапоисковики позволяют удалить повторяющиеся ссылки и создать единый список сайтов, упорядоченный по релевантности.

Первые метапоисковики фактически позволяли работать с несколькими видами поиска: не только на сайтах, но и, например, в словарях, энциклопедиях, каталогах и дискуссионных группах. Следующим шагом в развитии метапоиска стало появление новых способов обработки полученных результатов.

Очевидное преимущество метапоиска – более высокая релевантность выдаваемых ссылок. Не ограничиваясь данными одной поисковой системы, с помощью этой технологии можно собрать более полную информацию об интересующем вас предмете. С другой стороны, метапоисковые системы часто отбрасывают или выносят в самый конец результатов те страницы, которые содержатся лишь в одной поисковой базе, даже если ссылка идеально соответствует запросу. Проще говоря, вы можете потерять ценные ссылки, особенно если это достаточно новая страница, которая пока не внесена в базы данных большинства поисковых машин.

Работа с метапоисковой системой практически не отличается от поиска с помощью любой другой поисковой машины. Обычно она использует те же операторы построения запроса, имеет похожий формат вывода информации. Правда, при построении запроса в некоторых системах можно выбрать – в базах каких именно поисковых машин вы бы хотели искать информацию.

Обычно метапоисковые средства позволяют настраивать список используемых поисковых машин, а в некоторых случаях его можно дополнять самим. Эта возможность особенно важна для русскоязычных пользователей, так как в состав списка поисковых средств метапоисковых систем редко входят русскоязычные сайты.

В результатах поиска часто присутствует дополнительное поле – ссылка на поисковый сайт, с помощью которого была найдена данная ссылка.

Последние метапоисковики позволяют проводить кластеризацию (объединение) полученных адресов сайтов по разным критериям. Такие системы выявляют в списке полученных сайтов общие ключевые фразы и группируют страницы в соответствии с ними. Метапоисковые системы, поддерживающие кластеризацию, обычно предлагают как минимум два списка результатов поиска. Это обычный список сайтов и список кластеров – ключевых слов, в соответствии с которыми были сгруппированы полученные результаты поиска. Выбор ключевого слова в этом списке приведет к отображению соответствующих ему ссылок на найденные сайты.

Одна из первых метапоисковых систем, использующих группировку результатов документа на основе кластерной технологии, – http://vivisimo.com (рис. 9.4). По запросу пользователя система строит дерево тем, в котором размещены не только ключевые слова, но и типы документов (статьи, новости). Если в кластерах-темах опять встречаются повторяющиеся комбинации, то создаются подтемы (подкластеры). Система предлагает не только удобное представление результатов поиска, но и не менее удобные средства работы с ними. Рядом с названием каждого сайта есть ссылки, которые открываются в новом окне, а во фрейме текущего окна можно осуществить предварительный просмотр страницы. Для каждой найденной ссылки указано также средство, с помощью которого она была обнаружена. Кроме того, возможен поиск в найденном. Следует отметить корректную работу сервиса с запросами, написанными кириллицей.

Рис. 9.4. Метапоисковая система Vivisimo

Дочерний проект Vivisimo – www.clusty.com – также создан для метапоиска. Некоторые возможности этих сервисов похожи, но Clusty умеет гораздо лучше структурировать результаты поиска. Система предлагает дерево ссылок и дерево кластеров, которые можно построить не только по темам, но и по источнику (поисковой машине) и по домену (URL). Кроме этого, Clusty имеет гораздо больше возможностей по управлению и просмотру кластеров. Изначально их список содержит лишь основные, которые включают больше всего ссылок. Однако при желании пользователь может просмотреть все связанные кластеры. Каждую полученную в результате поиска ссылку можно открыть в новом окне или во фрейме, кроме этого, можно просмотреть ее месторасположение в дереве кластеров. Доступен также тематический поиск: News (Новости), Image (Изображения), Shopping (Товары), Encyclopedia (Энциклопедии) и Gossip (Слухи). Если пользователю недостаточно этого набора ссылок, он может дополнить страницуwww.clusty.com своими, указав их названия и используемые поисковые машины.

Метапоиск на http://mamma.com предлагает несколько видов поиска. Кроме традиционного, возможен поиск в новостях, а также поиск картинок. В полученном списке страниц перечислены используемые поисковые машины, с помощью которых были найдены ссылки, а рядом помещен список уточняющих запросов. Кластеризация не поддерживается, но размещение ссылок в полученном списке в соответствии с релевантностью делает эту систему заслуживающей внимания.

Метапоисковое средство Gnome (www.gnome.com) работает в двух режимах. Вы можете задавать один поисковый запрос ко всем доступным поисковикам либо формулировать его отдельно для каждой поисковой машины. В первом случае Gnome позволяет использовать одновременно до 10 систем. Результат можно сгруппировать разными способами – по релевантности либо по алфавиту, но в любом случае полученный список будет разбит на группы в соответствии с используемыми поисковыми машинами.

Завершу обзор метапоисковых систем разработкой российских программистов. Весной прошлого года на суд пользователей была вынесена альфа-версия кластеризующей метапоисковой системыhttp://nigma.ru. Проект, авторами которого являются студенты и сотрудники МГУ, представляет собой удачное решение, вполне сопоставимое с мощными зарубежными метапоисковиками (рис. 9.5). Система использует для поиска следующие поисковые машины: Google, Yahoo, MSN, «Яндекс», Rambler и др. Рядом с каждой ссылкой результирующего списка указано название системы, с помощью которой она была найдена, и рейтинг по версии этой системы. Указано также общее количество найденных и отнесенных к одному кластеру ссылок.

Рис. 9.5. Nigma– российская метапоисковая система

Кроме метапоисковых сервисов онлайн, существуют специальные программы для метапоиска в Интернете. Самой популярной из них является Copernic Agent 6.12 (www.copernic.com).

Разработчик программы, компания Copernic Technologies, – один из лидеров на рынке поисковых технологий. Программные продукты этой фирмы отличаются удобством в работе и высоким качеством. Copernic Agent Basic хорошо зарекомендовала себя еще с конца 1990 годов, и с каждой версией ее характеристики только улучшаются. Эта программа позволяет производить поиск на основе результатов работы нескольких поисковых машин.

Пользователям Copernic Agent Basic доступны девять категорий поиска (рис. 9.6). Среди них есть базовая категория – The Web, правда, в ней доступна всего одна подкатегория, которая выбирается в процессе установки программы. Внутри подкатегории система позволяет настройку списка поисковиков. Следует отметить, что Copernic Agent Basic использует такие мощные поисковики, как Mamma, Teoma, Yahoo, Lycos, но при этом в списке поисковых машин нет ни одной русскоязычной. Недостатком Copernic Agent Basic является отсутствие возможности добавления новых систем в стандартный список.

Рис. 9.6. Copernic Agent Basic– бесплатная программа для метапоиска

Список найденных ссылок отсортирован по релевантности, для каждой ссылки указана поисковая машина, нашедшая ее, и релевантность (в процентах соответствия поисковому запросу). Однако список можно упорядочить по любому параметру – ссылке, дате создания или посещения, поисковой машине. Получив список, пользователь может удалить из него дубликаты. К нему также можно применить фильтр, оставив на экране только нужные записи. Кроме этого, в найденном списке доступен поиск.

Программа автоматически сохраняет список ссылок, полученный в результате запроса, и он доступен при последующем запуске даже если компьютер не подключен к Интернету.

После установки Copernic Agent Basic встраивает свою панель инструментов в браузер Internet Explorer. С помощью этой панели можно использовать все возможности программы, даже не запуская ее.