Библиотека Интернет Индустрии I2R.ru

Прототипом очередной разработки с открытым исходным кодом стала, как часто бывает, программа, алгоритмы которой хранятся за семью печатями. Проект создания аналога поисковой системы Google был начат почти целый год назад. Всё это время работа велась в тайне. Только теперь информация о системе под названием Nutch была представлена широкой публике.

Разработку альтернативы Google поддерживает компания Overture, недавно приобретённая Yahoo. Overture считается одним из основных конкурентов Google на рынке контекстной рекламы, размещаемой в результатах поиска. В совет директоров некоммерческой организации, осуществляющей проект, входят книгоиздатель Тим О'Рейли и один из основателей Lotus Митч Кейпор.

Цель проекта, заявленная на официальном сайте Nutch, вполне благая: "Разработка мощного бесплатного программного обеспечения для поиска на базе программного обеспечения с открытыми исходниками". Поисковая система будет иметь возможность индексировать миллиарды страниц в месяц и справляться с тысячью запросов в секунду. Результаты, разумеется, должны быть очень качественными.

Тим О'Рейли подчеркнул, что в настоящий момент речь идет не о конкуренции с Google, а о разработке альтернативного поискового движка, принципы работы которого всегда можно понять и проверить. Точный алгоритм Google не известен никому за пределами Google. Сомневающихся, всегда ли крупнейший поисковик играет чисто, хватает.

Сейчас Nutch полностью написан на Java. В его основу легла библиотека Lucene. Демонстрационная версия позволяет осуществлять поиск по 100 миллионам страниц. В интернете она пока не доступна из-за отсутствия средств на приобретение необходимого "железа".

В том, что сообщество Open Source сможет создать поисковые алгоритмы, ни в чем не уступающие технологиям Google, особых сомнений нет. Однако, даже если таковые будут разработаны, остаётся неясным, как финансировать покупку компьютеров для обеспечения материальной базы поискового ресурса. По некоторым подсчетам, чтобы соперничать с Google, потребуется не меньше 8000 мощных серверов. Так что пока вопросов больше, чем ответов.