Московская компания "Классика CIS" - системный интегратор широкого профиля. Она выступала в нашей "Галерее" в июньском номере, где обсуждалась модернизация мощного центра обработки данных банка. Поэтому, рассматривая задачу о построении аналогичного центра для сдачи в аренду, специалисты компании сосредоточились в том числе на сетевой инфраструктуре, которая в операторском центре принципиально иная, чем в корпоративном. Действительно, если электрооборудование, серверы, системы хранения решают и в том и в другом центре приблизительно одинаковые задачи, то для инфраструктуры это не так: в одном случае она должна обеспечивать доступ пользователей к информации через локальную сеть, в другом - через глобальную. Но основное внимание компания уделила комплексному решению для создания центра обработки и хранения данных крупного оператора.
Что мешает созданию коллективных центров данных
Прежде чем приступать к описанию решения, необходимо сказать, что в России, в отличие от западных стран, мало востребованы услуги, оказываемые коллективными центрами обработки данных. Такое положение, по мнению представителей "Классики", обусловлено сложным комплексом причин.
Одним из главных препятствий на пути создания центров данных становится недостаточное развитие каналов связи, не позволяющее большинству корпоративных заказчиков размещать значительные объемы информации вне своей локальной сети. Пропускная способность каналов, по которым подключаются к глобальным сетям российские фирмы и организации, сейчас редко превышает 2 Мбит/с. При этом в локальных сетях серверы принято подключать к коммутаторам гигабитными каналами связи или, в крайнем случае, агрегированными каналами с пропускной способностью около 800 Мбит/с; даже рабочие станции получают канал минимум на 10 Мбит/с.
Далее, зарубежные центры данных могут оказывать определенные услуги и частным пользователям, храня принадлежащую им информацию, такую, как данные медицинских карт и других личных документов или, например, архивы семейных фотографий, чтобы обеспечить доступ к ним из любого места. В России подобное хранение не достигнет своей цели.
В большинстве учреждений, где могла бы пригодиться информация из личных документов, ее просто не сумеют прочесть за отсутствием подключения к интернету. И совершенно нереально показывать высококачественные фотографии с сервера знакомым, которые, как подавляющее большинство российских пользователей, связываются с интернетом по коммутируемой линии. Так что имеющихся скоростей недостаточно и здесь, хотя потребности в полосе пропускания, разумеется, скромнее.
Развитие коллективных центров данных сдерживается также недостаточной открытостью бизнеса большинства компаний в сочетании со сложностью обеспечения конфиденциальности информации. В результате потенциальные клиенты часто не доверяют независимым хранилищам информации и не готовы размещать там свои данные. Здесь, как считают в "Классике", играют существенную роль трудности с сертификацией средств шифрования; с решением этой проблемы востребованность обсуждаемых услуг, вероятно, возросла бы, подстегнув и развитие необходимой телекоммуникационной инфраструктуры.
Отметив все эти обстоятельства, будем в дальнейшем исходить из того, что спрос на все услуги коллективного центра обработки данных имеется и интегратор строит максимально эффективную среду для их предоставления.
Телекоммуникационная инфраструктура
В первую очередь нам следует определиться с технологиями передачи данных. Основными задачами любого коммерческого оператора являются как можно более полное использование имеющихся в его распоряжении каналов связи и обеспечение для сети в целом высочайшей надежности и управляемости. Чтобы этого добиться, "Классика" предлагает для построения ядра сети применить высокопроизводительные коммутаторы ATM/MPLS. Технологии ATM и MPLS позволят создать сеть с максимально эффективным использованием имеющейся полосы пропускания, гарантированным качеством услуг и многоуровневой приоритизацией трафика.
В настоящее время на рынке представлено огромное количество телекоммуникационного оборудования различных производителей. Выбор оборудования для конкретного решения определяется множеством различных факторов, и для их учета необходимо подробное предпроектное обследование объекта.
Вообще говоря, любую сеть желательно строить целиком на базе оборудования одной компании, поскольку такой подход позволяет организовать централизованное управление сетью с помощью штатных средств, предоставляемых производителем устройств. Тем не менее в разветвленных сетях со сложной структурой зачастую устанавливается оборудование различных производителей. Это делается как для получения максимально эффективного решения (для разных уровней сети лучшими оказываются решения от разных производителей), так и для снижения стоимости проекта (например, часть оборудования уже есть или смешанный вариант существенно дешевле однородного). Но поскольку здесь мы имеем дело с достаточно условным примером, специалисты "Классики", чтобы не усложнять сверх меры описание решения, рассмотрели вариант с применением оборудования только одного производителя - компании Lucent Technologies.
Ядро сети
В качестве магистральных коммутаторов для построения ядра сети "Классика" рекомендует CBX 550 или GX 550. Эти устройства способны пропускать огромные объемы трафика (соответственно 5 и 25 Гбит/с), обеспечивая при этом высочайшее качество сервиса. Мультисервисные коммутаторы не только позволят оказывать услуги доступа к центру обработки данных, но и повысят качество всего спектра телекоммуникационных услуг в пределах сети нашего оператора.
Доступ к этому ядру может осуществляться с помощью любого оборудования АТМ, поддерживающего интерфейс STM-1 или выше. Чрезвычайно привлекательным вариантом, с точки зрения специалистов "Классики", представляются здесь мультисервисные шлюзы PacketStar Multiservice Media Gateway. Они позволят создать телекоммуникационную инфраструктуру с централизованным управлением, широчайшим спектром интерфейсов (Serial, DS1, E1, DS1, E3, STM1, Ethernet) и различными протоколами (FR, HDLC, ATM, CES) для доступа к сети. Шлюзы PacketStar обеспечат оказание любых телекоммуникационных услуг, от транспорта телефонного трафика до высокоскоростного доступа к сети передачи данных.
Доступ к центру данных
Для доступа к центру обработки данных предпочтительны широкополосные каналы связи E3 или STM-1 либо агрегированные потоки E1 - все эти варианты осуществимы с применением PacketStar. Если же центр должен служить хранилищем "неизменяемой" информации, целесообразно применить технологии ADSL. Для этого варианта доступа можно использовать DSL-концентраторы семейства Stinger. Доступ удаленных пользователей и офисов может осуществляться различными способами, в том числе по коммутируемым и по выделенным линиям. Для организации коммутируемого доступа потребуется сервер доступа, например концентратор доступа семейства МАХ. Для подключения центра к мультисервисной сети передачи данных специалисты "Классики" считают наиболее эффективным использование IP-коммутатора серии SpringTide. Благодаря его высокой производительности (10 Гбит/с), а также наличию высокоскоростных интерфейсов STM4 и STM1 скорость доступа к центру из любой точки сети будет максимальной.
Все перечисленное оборудование поддерживает организацию защищенных туннелей для безопасного доступа к ресурсам центра обработки данных. Управление сетью может осуществляться с помощью различных элементов системы управления Navis производства компании Lucent.
Рис. 2 Схема доступа пользователей к сети коллективного центра обработки данных
Центр обработки данных для крупного оператора
Чем же арендуемый центр обработки данных (ЦОД) будет отличаться от мощного корпоративного? Для обоих понадобится примерно одинаковое сетевое оборудование и очень похожие серверы. Их мощность и количество для арендуемого ЦОД можно рассчитать, исходя из оценки потребностей потенциальных клиентов, по методикам, аналогичным тем, которые применяются для расчета корпоративных серверов. Но в том, что касается систем хранения данных, два типа ЦОД будут различаться. Вообще устройства хранения могут либо подключаться непосредственно к серверам (DAS - Direct Attached Storage), либо взаимодействовать с ними через сеть (NIS - Network Information Storage). Второй вариант представляется более рациональным для центра с большим числом серверов, поскольку позволяет перераспределять дисковое пространство между серверами без физического переноса дисков, обеспечивает более удобную организацию резервного копирования и дает другие преимущества. Поэтому специалисты "Классики" рекомендуют использовать именно его. В основе всех предлагаемых компанией решений лежит идея консолидированного хранения данных.
В настоящее время отчетливо заметна тенденция перехода от устройств DAS к устройствам NIS. В общем случае устройства NIS независимы от серверов, которые подключаются по сети, и предоставляют ресурсы хранения данных подключенным к ним серверам. Эти устройства можно разделить как по типу сетевого подключения (канал или сеть), так и по виду предоставляемой информации (файлы или блоки). Сейчас в качестве канала чаще всего используется Fibre Channel и протокол SCSI-3, а в качестве сети - Ethernet и протокол IP.
Сеть, в которой устройства обмениваются информацией на уровне блоков и соединяются по Fibre Channel, принято называть SAN (Storage Area Network). Основные достоинства SAN: широкая полоса пропускания, малые задержки (latency), гарантированная доставка сообщения, относительно небольшой объем пересылаемой служебной информации. Устройства, подключаемые к IP-сети и предоставлющие доступ к файлам и поддерживащие один или несколько протоколов доступа к файлам (FTP, NFS, CIFS/SMB и т. д.), называются NAS-системами. Основные достоинства NAS: одновременный доступ к одному файлу с разных компьютеров, с разными ОС, низкая стоимость подключения узлов и возможность соединения на большие расстояния. Следует упомянуть, что существуют примеры использования сети для доступа к блокам - iSCSI, FCIP, iFCP и разделяемого доступа к файлам по каналу MPFS (Multipath File System). Еще одной разновидностью устройств для хранения данных являются системы CAS. В отличие от SAN-систем, предоставляющих информацию на уровне блоков, и устройств NAS, которые предоставляют информацию на уровне файлов, CAS-система предоставляет информацию на уровне объектов. Приложение получает доступ к объектам, хранящимся в системе, через вызовы API.
SAN, NAS и CAS
Тип устройства для хранения данных может быть рекомендован в каждом конкретном случае исходя из логики работы приложения, стоимости хранения, требуемой функциональности. Например, для больших корпоративных баз данных (в нашем случае приложение биллинга) или почтовых систем наиболее подходят дисковые массивы. Для хранения файлов (в нашем случае статического Web-контента) лучше подойдут NAS-устройства. Можно отметить, что массивы SAN в некотором роде более универсальны, так как к ним можно подключать и файловые серверы, как традиционные на базе универсальных ОС (Windows, UNIX, Novell), так и специализированные, в том числе те, которые вовсе не имеют внутренних дисков, а только порты Fibre Channel для подключения к SAN.
Что касается CAS-систем, то такие решения незаменимы для хранения больших объемов (от нескольких терабайт до петабайт) не меняющейся информации. По оценкам UC Berkeley, общий объем накопленной человечеством информации в цифровой форме составляет в настоящее время 17 000 петабайт (1 петабайт = 1000 гигабайт), причем, по прогнозам той же UC Berkeley, в ближайшие два года он удвоится. При этом 75% информации составляет фиксированный контент, т. е. информация, которая не меняется и не должна меняться. В основном это отсканированные финансовые документы, контракты, чертежи, медицинские записи (рентгенограммы, кардиограммы и т. п.), медиафайлы (музыка, фильмы). Безусловно, всю подобную информацию можно хранить и в сети SAN или на NAS-устройствах, и на серверах с DAS. Но CAS-системы имеют неоспоримые преимущества в ряде случаев применения, которые мы рассмотрим в предлагаемом "Классикой" решении.
В этом решении задействованы все три названных выше типа хранения. Схема решения базируется на устройствах хранения компании EMC - как и в прошлый раз, "Классика" рекомендует их для создания ЦОД. EMC выпускает только системы хранения информации и является в этой области признанным лидером. Ей принадлежит 42% рынка устройств хранения, подключаемых к SAN-сетям, и 49% рынка NAS-устройств. В сфере телекоммуникаций господство EMC практически полное - из операторов связи, по данным самой компании, ее системами хранения пользуются 98% операторов.
Схема решения "Классики CIS"
ЦОД оператора включает в себя:
- выделенную сеть хранения SAN, к которой подключено несколько дисковых массивов (ЕМС CLARiiON FC4700). При необходимости данные дисковых массивов могут реплицироваться на удаленный сайт для защиты от катастроф;
- NAS-систему (ЕМС Celerra) - к ней подключается много недорогих Web-серверов разного типа (с разными ОС - Solaris, Windows, Linux). Эти серверы будут разделять один и тот же контент, и нагрузка между ними будет сбалансирована, что позволит сократить расходы и повысить надежность;
- CAS-система (ЕМС Centera) - используется в случае предоставления оператором услуг доступа к неизменяемому контенту, хранящемуся как раз на этой системе;
- ленточные библиотеки;
- сервер либо несколько серверов, объединенных в кластер, на котором хранится база данных биллинговой системы оператора.
CAS
На сегодняшний день единственным известным примером CAS-систем является устройство под названием Centera, анонсированное EMC в апреле этого года. Мы назовем пять важных особенностей, позволяющих реализовать преимущества Centera в тех областях, для которых она предназначена. Во-первых, по уровню доступности (availability) Centera соизмерима с наиболее надежными SAN-системами (например, такими, как ЕМС Symmetrix). Во-вторых, стоимость мегабайта у Centera намного меньше, особенно если сравнивать системы с удаленной репликацией данных (типа Symmetrix SRDF, Clarion MirrorView). В-третьих, обслуживать ее гораздо проще (а если точнее, она практически не нуждается в обслуживании). В-четвертых, в случае использования Centera отсутствует необходимость в резервном копировании, так как содержащуюся в ней информацию нельзя изменить случайно или преднамеренно (известно, что в среднем на резервное копирование тратится 30% всего бюджета ИТ). В-пятых, при увеличении потребности в емкости или производительности она достаточно плавно наращивается - это очень важно при выходе из строя одного из узлов RAIN. В таком случае узел просто меняется на новый, при этом неважно, какие блоки и с какими дисками и процессорами будут использоваться для замены - даже через много лет, после многократных замен вышедших из строя узлов Centera будет по-прежнему работать как единая система, в которой все узлы являются членами единого кластера, и с точки зрения работающих приложений ничего не изменится.
NAS
В данном проекте для хранения всего контента предлагается использовать систему ЕМС Celerra. Celerra - это специализированный файловый сервер. Он представляет собой кластер под управлением специализированной операционной системы реального времени DART, содержащий от двух до 14 узлов, называемых Data Mover, и одну или две станции управления.
В последней модификации Data Mover 510 установлено два процессора Pentium-III на 833 МГц, 3 Гбайт оперативной памяти, два одноканальных или два двухканальных контроллера Fibre Channel (для подключения к дисковым массивам и ленточным библиотекам), два четырехпортовых контроллера Fast Ethernet и два контроллера Gigabit Ethernet. В качестве дисковых систем можно использовать как ЕМС CLARiiON, так и ЕМС Symmetrix. Из сетевых протоколов поддерживаются только TCP/IP и UDP/IP, из файловых - NFS, CIFS и FTP. Кроме того, поддерживается NDMP-протокол для LAN-free backup, а также Ethernet Trunking, Virtual LAN, FailSafe Networking.
SAN
В качестве базы для создания выделенной сети хранения "Классика" рекомендует системы ЕМС CLARiiON FC4700. Это подключаемый к SAN дисковый массив класса Enterprise, обладающий отличной производительностью и масштабируемостью, высокой надежностью и непревзойденной функциональностью. В массиве два контроллера с общим объемом кэш-памяти 2 Гбайт. На каждом контроллере два канала Fibre Channel с пропускной способностью 2 Гбит/с для подключения к SAN, два канала для подключения дисков, а также порт Ethernet и последовательный порт для управления. Всего к контроллерам может быть подключено до 120 дисков емкостью от 18 до 180 Гбайт. В контроллерах, помимо ставшей уже стандартом зеркалированной кэш-памяти на запись, применено не просто ее независимое питание от батарей в течение какого-то времени: при пропадании питания содержимое кэша сбрасывается в специально отведенную область на дисках, что позволяет сохранить содержащуюся в массиве информацию даже в случае аварии, связанной с длительным отсутствием электропитания. Кроме того, информация на дисках записывается блоками по 520 байт и дополнительные 8 байт используются для коррекции ошибок. Не вдаваясь в детальные объяснения механизма работы, можно сказать, что целостность RAID будет сохранена даже при одновременном возникновении нескольких проблем (например, отказе диска и одного из контроллеров или пропадании питания). Даже при отсутствии обращений к диску происходит его периодическое тестирование, и в случае обнаружения его отказа данные будут переписаны на диск "горячей" замены. В настоящее время поддерживаются следующие операционные системы: Compaq Tru64 UNIX, EMC Celerra File Server, HP-UX, IBM AIX, Linux, Novell NetWare, Microsoft Windows NT/2000, SGI Irix и Sun Solaris. Для управления CLARiiON используется управляющая консоль под Windows, которая подключается по сети или через последовательный порт. Кроме того, сейчас CLARiiON имеет встроенный Web-сервер, и управление можно осуществлять через Web-браузер из-под любой ОС. Гарантия на CLARiiON - два года (гарантируется и наличие запасных частей в Москве).
