Библиотека Интернет Индустрии I2R.ru

9 июля 2003 года в клубе "Мио" состоялась презентация обновленных Яндекс.Новостей, открытых в 2000 году. Представлен совершенно новый сервис, основные нововведения которого - объединение содержательно близких новостей в сюжеты и выделение главных тем дня. Одновременно Яндекс.Новости стали мультимедийным проектом: на сайте представлены не только тексты, но и изображения,звуковые и видеофайлы.

"Яндекс предоставляет бытовые услуги населению", - сказал на презентации проекта Аркадий Волож. Соотвественно Яндекс был назван им "прозрачной стенкой" между информацией и пользователем. Действительно Яндекс.Новости и в новом воплощении полностью зависят от входных потоков информации. Обработка и систематизация новостей происходят автоматически. Алгоритмы анализа и ранжирования данных — оригинальная разработка Яндекса.

"Теперь сайт выполняет функцию зеркала СМИ", — сказал Дмитрий Иванов, руководитель службы Яндекс.Новости. Среди партнеров Яндекса — информационные агентства, электронные версии печатных СМИ, сетевые издания, сайты телеканалов и радиостанций, тематические издания. В концу лета планируется подключить к проекту также специализированные и региональные ресурсы. Каждый посетитель главной страницы портала www.yandex.ru или пользователь почты Яндекса всегда будет видеть пять главных новостей, заголовки которых обновляются в режиме реального времени. Тематические новости показываются также в рубриках каталога Яндекса. Показ новостей в рубрике "Интернет" не производится, так как по итогам испытаний системы выяснилась нехватка важных интернетовских новостей.

Для определения попарной текстуальной близости сообщений разработчики использовали модифицированный для небольших однородных текстов алгоритм поиска похожих документов и алгоритм нечеткого поиска по кворуму. Как и любой поиск Яндекса, этот алгоритм работает с учетом морфологических вариантов русских и английских слов, причем неизвестных системе слов, составляющих в Яндекс.Новостях значительную часть словника, используется методика нахождения ближайших морфологических эквивалентов.

Отдельной задачей стало оптимальное представление и аннотирование сюжета: выбор наилучшего заголовка (зависит от его длины, свежести и максимального соответствия теме) и "цитатной" аннотации, необходимой для короткого и точного описания сюжета. Кроме того, в новой версии Яндекс.Новостей появилась группировка по сюжетам не только текстовых сообщений, но и фото-, аудио- и видеофайлов.

Основные факторы, влияющие на ранжирование – свежесть и размер сюжета. Под свежестью понимается время публикации новостей в сюжете: первой, последней, среднее и т.п., а также время для каждого атомарного кластера. Размер сюжета отражает общий интерес СМИ к конкретной теме, при этом учитывается общее число сообщений в сюжете, а также количество и схожесть сообщений от конкретных изданий. Кроме того, использовался глобальный анализа сходства, позволяющий, в частности, находить интернет-издания с высокой степенью текстуального пересечения и учитывать этот фактор в ранжировании сюжетов.

Кроме того, интересным для ранжирования фактором оказался «интерес пользователей поисковой системы». По состоянию на май-июнь 2003 года пользователи Яндекса набирают в строке поиска около 4-5 миллионов запросов в день, что для обычной дневной загрузки составляет около 100 тысяч запросов в пятнадцатиминутный интервал. Эта статистика достаточна для того, чтобы учитывать аномально частотные запросы в ранжировании сюжетов в Яндекс.Новостях.

Общий подход к определению аномальности частотных запросов совпадает с подходом вычисления НИНИ-индекса (Непостянство Интересов Населения Интернета) запущенного как пользовательский сервис на Яндексе еще в 1998 году.

Таким образом, на ранжирование суммарно влияют следующие факторы: свежесть сюжета, его размер, а также интерес пользователей.