Библиотека Интернет Индустрии I2R.ru

Компания Google на прошлой неделе объявила о том, что ее веб-индекс отныне превышает 3 млрд. документов, включая полный исторический архив конференций Usenet (с 1981 года).

Google подчеркивает свежесть данных, отмечая, что переиндексация нескольких миллионов страниц происходит каждый день, а ссылки по связанным темам для многих запросов переопределяются. Из 3 млрд. документов, по которым можно производить поиск, 2 млрд. являются веб-страницами (при этом 75% таких страниц индексированы полностью), 700 млн. документов - это сообщения Usenet, а оставшиеся 330 млн. являются картинками.

"Чтобы вручную просмотреть нашу коллекцию, состоящую из 3 млрд. документов, потребуется 5707 лет, если искать 24 часа в сутки со скоростью 1 документ в минуту", - сказал Ларри Пейдж, сооснователь и президент по продукции Google. "Мы старались максимально расширить размер нашего индекса, стремясь превысить свои официально объявленные размеры", -добавляет Урс Холзель, почетный член совета директоров Google. Холзель также сказал, что для увеличения индексной базы Google не потребовалось проводить значительных изменений. - Мы постоянно осуществляем мониторинг качества, и с момента объявления о включении в индекс миллиарда документов мы не проводили особых изменений структуры".

Хотя расширение веб-индекса само по себе является значительным достижением, вероятно, еще более важным событием стал комплексный поиск по архиву Usenet, насчитывающему порядка 700 млн. сообщений по более чем 35 тыс. тематическим категориям. "Одна из главных жалоб сообщества Usenet состояла в том, что даже сайт Deja.com никогда не имел ничего похожего на Usenet-архив, - сказал Холзель. - Мы смогли разыскать все архивы Usenet у ряда частных лиц, которые сохранили архивы и предоставили их в распоряжение Google". "Архив Usenet Google Groups позволяет нам рассмотреть два десятилетия истории в деталях - при этом, 10 лет из них - это декада, предшествовавшая возникновению интернета", - сказал Сергей Брин, сооснователь и технологический директор Google.