Библиотека Интернет Индустрии I2R.ru

Google, Inc. – одна из самых новаторских интернет-компаний. Уникальная технология поиска и инфраструктура позволяют быстро находить ответы даже на самые сложные запросы. Компания была основана в 1998 году двумя выпускниками Стэнфордского университета Ларри Пейджем и Сергеем Брином и в короткий срок стала одной из самых популярных поисковых систем в Интернете.

Несмотря на весьма ограниченный рекламный и маркетинговый бюджет, ежедневное количество запросов к Google (www.google.com и партнерским сайтам, действующим под той же торговой маркой) уже составляет более 13 миллионов по сравнению с 500 тыс. в июне 1999 года. Именно с помощью Google в настоящее время производится поиск на сайте Netscape NetCenter; компания также предлагает услуги поиска, как платные, так и бесплатные, всем другим Web-сайтам.

Задача: быстрый поиск

Если попытаться определить политику Google одним словом, это было бы слово «фокусирование». В то время как гиганты сетевого поиска вроде Yahoo!* или AltaVista* разворачивают порталы с электронной почтой, чатами и прочими услугами, Google продолжает фокусироваться именно на технологии поиска, улучшая и оттачивая ее. Отдача от этой политики уже видна – это и заключение выгодных контрактов с производителями оборудования, и рост количества пользователей, и отличная репутация сервиса.

Google – частная компания и зарабатывает деньги продажей лицензионной технологии таким клиентам, как Netscape NetCenter*, Red Hat*, Washington Post или Virgin Net*, а также размещением рекламных объявлений на страницах с результатами поиска. В соответствии с основной целью системы – высокоскоростным поиском – реклама представлена только в текстовом формате. Не подлежит сомнению, что по скорости поиска Google практически нет равных. Об этом говорят результаты многих независимых экспертных оценок. Более того, уникальная технология распределения результатов поиска по релевантности на основе количества ссылок на данную страницу оказалась очень эффективной. В результате пользователи, которые однажды воспользовались услугами Google, возвращаются снова и снова.

Google заняла первое место в конкурсе журнала Time в 1999 году, а также в рейтинге 10 лучших сайтов 2000 года журнала Time Digital. Кроме того, в 1999 году сервис получил премию журнала PC Magazine «За техническое совершенство». Дважды – в 4-м квартале 1999 года и 1-м квартале 2000 – Google становилась первой среди 13 ведущих поисковых систем и порталов по результатам опроса пользователей, проводимого NPD Online Research. По мере того как услугами Google начинали пользоваться все новые клиенты, компании приходилось приспосабливаться к головокружительному росту. Все вышеперечисленные похвалы и награды не стоили бы ничего, если бы Google тратила все свои средства на разорительно дорогое фирменное компьютерное оборудование. Джим Риз, главный инженер Google, говорит, что серверы с архитектурой Intel® и ОС Linux* превосходно вписываются в бизнес-план компании. «Использование Linux* на платформе Intel® дает нам лучшее из доступных соотношение цена/эффективность. Это бесспорно».

Решение: в значительной степени – готовые компоненты

Технология Google - воплощение идеи масштабирования "вширь". Для обращения к индексу ресурсов, охватывающему более 200 млн. Web-страниц и имеющему размер от одного до двух терабайт (1000 гигабайт), применяются резервированные массивы недорогих серверов (RAIS). Для осуществления молниеносного поиска по такой огромной базе данных используется серверный пул из более чем 3500 однопроцессорных серверов с архитектурой Intel, подключенных к сети адаптерами Intel® PRO/100 Ethernet. Серверы имеют оперативную память объемом от 256 Мб до 1 Гб и работают под ОС Linux, выполняя специально разработанные приложения.

Джим Риз объясняет, что эти приложения делают применение дорогого фирменного оборудования ненужным. «Мы не какой-нибудь сайт электронной торговли, который держится на транзакциях, – для них действительно имеет смысл потратить деньги на дорогое оборудование и сеть хранения данных. Мы же разукрупнили систему, построив ее на основе небольших, дублирующих друг друга серверов с распределенной нагрузкой. Это резко повышает скорость работы и придает системе дополнительную стабильность, – даже если один или несколько кластеров выйдут из строя, работоспособность сохранится».

Для Google огромное значение имеют показатели дисковой системы ввода-вывода. Поскольку стоимость высокоскоростных подсистем SCSI чрезвычайно высока, компания применяет в качестве стандарта более дешевую технологию IDE. На каждом сервере установлены по два внутренних диска объемом 22 или 40 ГБ. «После тщательных исследований мы поняли, что с точки зрения соотношения цена/эффективность самое выгодное – установить по два жестких диске IDE, каждый на отдельном контроллере», – говорит Риз.

Обширный поисковый каталог Google распределен и дублируется на примерно 7 тыс. отдельных дисковых накопителей, что позволяет с помощью специальных программ уравновешивать нагрузку, направляя запросы на доступные в данный момент серверы и дисковые подсистемы. Узлы сети связаны с помощью адаптеров Intel® PRO/100 Ethernet на серверах, подсоединенных к гигабитному магистральному кабелю Ethernet. Результат – непревзойденные результаты поиска.

Применение технологии RAIS позволило создать расширяемую модульную систему, очень экономичную, с надежной инфраструктурой, способной приспосабливаться к пиковым нагрузкам. По данным Google, ежедневно к пулу добавляются около 30 новых серверов – это необходимо, чтобы справиться с растущим пользовательским спросом. Серверы располагаются на двух площадках в районе Сан-Франциско, а также на третьей точке – на Восточном побережье США. В настоящее время компания собирается открыть филиалы в Азии и Европе, чтобы снизить потери времени при поиске для пользователей из этих регионов.

Настройка

Как ожидается, к концу года количество серверов Google достигнет 10000. В этих условиях важнейшим фактором становится плата за размещение оборудования у провайдера. С самого начала Google совместно с несколькими производителями серверного оборудования работала над созданием сверхкомпактных серверов и корпусов. Созданная технология позволяет разместить в стойке размером 215 x 60 x 75 см до 80 серверов. Оборудование закупается у разных поставщиков, чтобы уменьшить риск задержки поставок. За монтаж систем отвечает компания Rackable Systems.

Понятно, что управлять таким огромным комплексом серверов – нелегкая задача. Google создала собственные решения для таких задач, как удаленное управление и распределение нагрузки. Значительная часть ПО, включая консоли для удаленного управления и системы для распределения нагрузки, была разработана в самой компании, так же как и эффективный метод настройки серверов, позволяющий в кратчайшие сроки подключать к Сети новые системы. «Машины в нашей системе практически стали модульными. Мы берем одинаковое оборудование и базовую ОС Linux, а затем, так сказать, подгоняем сервер под наши стандарты – добавляем наше оригинальное ПО, – объясняет Риз. – На этом этапе любую машину можно использовать в любом качестве. Это значит, что если нам нужен Web-сервер, можно взять любую машину, – ведь у всех идентичная конфигурация».

Google продолжает совершенствовать и предоставляемые услуги. К результатам поиска добавилась новая опция – GoogleScout, позволяющая проводить более глубокий поиск по сайтам, связанным с каким-то определенным результатом. Кроме того, на каждой странице теперь есть кнопка «I’m Feeling Lucky», нажав на которую, пользователь сразу попадает на адрес самой популярной ссылки. Благодаря модульной системе и быстрому процессу настройки компания Google может легко расширять свою инфраструктуру по мере введения этих и других новых возможностей.

Преимущества

Компания Google уже располагает более чем 3500 серверами с архитектурой Intel®. Сколько же еще серверов намерена установить компания? На данном этапе их количество кажется ничем не ограниченным. По сведениям самой компании, темп ее роста составляет 25% в месяц, причем эта скорость может и увеличиться по мере того, как все больше сайтов используют технологию поиска Google.

Во всяком случае, ясно одно: компания готова и намерена использовать для достижения поставленной цели дополнительные серверы на базе архитектуры Intel®. Google создала расширяемую модульную инфраструктуру, наилучшим образом подходящую для воплощения ее уникальной изощренной технологии интернет-поиска. Объем трафика на сайте www.google.com по-прежнему растет с рекордной скоростью, и чтобы сохранить свой статус одной из самых быстрых поисковых систем в Сети, Google достаточно просто добавить новые серверы.