ЦОД на вырост. Построила OCS

Как пояснили в компании, путь к принятию решения о строительстве собственного ЦОДа был довольно долгим. «Первые масштабные изменения инфраструктуры начались в 2002-2003 годах: уже тогда было понятно, что компания будет развиваться очень интенсивно, - рассказывает Сергей Новиков, CIO OCS. - Такие расчеты оправдались: последние 5 лет компания росла примерно на 50 % в год. На тот момент мы изменили всю адресацию IP-сети – именно в угоду будущим потребностям. План сети, который разработали тогда, живет и поныне. Тогда же мы начали работать над первыми системами мониторинга – как общими, так и узкоспециальными. Тогда же мы задумались о стандартизации, и первым стандартизировали наш серверный парк. Для нас оправданным стало использование серверов HP. Что касается прикладных систем, то они на тот момент были очень разнородными, к сожалению, находились на различных этапах развития и не являлись частью единого целого, хотя и были согласованы».

В 2004 и 2005 гг. с ростом компании увеличивалось и количество оборудования. В компании стали строить серверные комнаты, но были ограничены и существующими площадями, и другими условиями. Тогда же были получены первые результаты работы с источниками бесперебойного питания большой мощности. Этот опыт был предпринят в связи с тем, что в OCS решили отказаться от большого количества персональных ИБП. В то же время в компании начали сосредотачиваться на надежности основных доменных сервисов – такая фокусировка была обусловлена географическим ростом компании. «Чтобы филиалы могли пользоваться общими базами данных, элементами инфраструктуры, надежность доменных сервисов надо было значительно увеличивать, - продолжает г-н Новиков. - В тот же период мы начали задумываться над составом наших прикладных систем. Их систематизация и интеграция – тяжелая работа, потому что все системы находились в эксплуатации и замена осуществлялась «на ходу», практически без остановок бизнеса. По мере этой работы мы убедились в том, что нам нужна новая корпоративная информационная система. Мы выбрали двух производителей: Microsoft с решением Axapta и Oracle с EBS. Два поставщика решений на базе этих продуктов согласились сделать для нас прототипы, на основании которых мы и принимали решение о том, какая же из систем станет основой нашей КИС. Выбрано было решение Microsoft AX, внедрением занималась компания «АНД Проджект».

Однако для использования КИС нужна была и общая корпоративная сеть, которая и была создана в 2006-2007 гг. с помощью компании «Голден Телеком» и работает и поныне и связывает все региональные представительства OCS. На тот момент в компании уже было около тысячи сотрудников, что существенно усложняло работу ИТ-отдела. Именно на этот момент пришелся запуск ITSM (IT Service Management) и первого резервного дизель-генератора, который окупился уже в первый год эксплуатации. На этот же период приходится переход от несвязанных доменов филиала к единому лесу AD (Active Directory). Непосредственно перед запуском новой КИС в компании приобрели первый SuperDome производства HP.

На 2008 год пришлось начало проектирования и строительства собственного центра обработки данных. Одной из причин запуска ЦОДа стало отсутствие возможностей для расширения существующих площадей. Уже существующие площадки необходимо было связывать, что требовало затрат – и финансовых, и временных. Помещения, в которых на тот момент располагались серверные комнаты, не были готовы принимать «тяжелое» оборудование. Соответственно, реализовать ту архитектуру инфраструктуры компании, которая была запланирована, в этих условиях было невозможно. В тот момент OCS приобрела здание, где и решено было строить ЦОД.

На данный момент строительство ЦОДа завершено и он запущен в эксплуатацию. Серверное ядро ЦОД построено на платформе HP Integrity SuperDome (2 сервера) и серверов HP 3-5 поколений. Также в состав ЦОДа входит система хранения данных емкостью 27 Тбайт, сеть хранения данных и ленточная библиотека. Площадь ЦОДа составляет более 100 кв. м. «ЦОД имеет резервы для расширения по всем параметрам – по мощности, по мощности охлаждения, по площади и так далее, - комментирует Сергей Новиков. - Мы смогли продублировать практически все: каналы связи, оптические ЛС, которые связывают ЦОД и другие объекты, которые у нас остались, источники питания, систему кондиционирования и ИБП с резервирование по схеме N+1 – все модули заменяются без отключения источника от потребителя».

Что касается выбора оборудования, то сервера приложений и терминальные сервера были выбраны по рекомендациям Microsoft как разработчика приложений и самих производителей серверов – в соответствии с этими рекомендациями и было закуплено оборудование HP. Не так гладко прошел выбор серверов базы данных. OCS запросила рекомендации производителя, провела стандартный сайзинг, его результаты были умножены на три: в соответствии с полученными данными и выбрали два сервера. «Пилотный запуск состоялся в Воронеже, одном из самых активных филиалов. Однако довольно быстро активным пользователям удалось путем запуска большого количества сложных запросов систему «положить». Сначала мы попытались «перенастроить» оборудование, и частично проблема была устранена. Но уже тогда стало понятно, что сайзинг дал неверный результат. Причины этого в том, что за время проведения изменились и задачи, ставящиеся перед ЦОДом, и нагрузка на оборудование. Соответственно, были приобретены новые сервера – SuperDome, что обошлось не дешево». 

На данный момент средняя загрузка процессоров в ЦОДе составляет 35 %. В компании называют такие параметры практически идеальными, так как есть возможности для роста вместе с компанией, а кроме того, наращивать, в крайнем случае, можно и аппаратную часть.
 
Если говорить о системе мониторинга, то было решено не использовать готовые «тяжелые» приложения. Причины – высокая стоимость, наличие ненужных и отсутствие требуемых функций. В итоге было решено сформировать систему мониторинга из различных приложений. Одной из основных составляющих используемой на данный момент системы мониторинга является HP Systems Inside Manager, которая следит за работой серверов. Кроме того используются два решения на «открытом коде»: Zabbix, который отслеживает и хранит данные по уровню загрузки процессора, памяти и так далее, и Nagios, мониторящий статусы оборудования («активен», «доступен» и так далее). OsTicket вляется основным интерфейсом для работы оперативных дежурных, работающих в 24-часовом режиме, и сетевых администраторов. Также служебные функции выполняют mwForum и myFAQ. По сути эти подсистемы являются хранилищем регламентов департамента и играют роль бузы знаний для оперативных дежурных и администраторов.   

По данным компании, построение ЦОД дало возможность объединить все филиалы в единое информационное поле с общей ERP. Возросли скорости обработки заказов, доступность сервисов во всех точках присутствия. Появилась возможность масштабирования – например, сейчас ведется проект по созданию новой системы B2B, который скоро будет завершен. ЦОД позволил снизить затраты на персонал: наиболее квалифицированный персонал находится в Петербурге, а в остальных точках присутствия такой квалификации не нужно. Также на расходы повлияло то, что обслуживание и сопровождение тяжелых серверов отдано на аутсорсинг HP.

Что еще почитать на эту тему:

03 апреля 2009 г. Скоро познакомимся в России. Cisco анонсировало UCS

04 февраля 2009 г. ЦОД с «изюминкой» построила Tieto

24 ноября 2008 г. OCS и Microsoft подписали дистрибьюторское соглашение

15 августа 2008 г. В OCS – два новых департамента

01 апреля 2009 г. МТС расширяет сеть ЦОД

26 марта 2009 г. Генеральный директор компании «Крок» Борис Бобровников: «Полной остановки деятельности в отрасли мы не ждем, но структура спроса будет корректироваться».