VMware vSphere теперь поддерживает работу с большими объемами данных

«Постоянно совершенствуемая платформа VMware vSphere® теперь поддерживает критические для бизнеса приложения и обеспечивает работу с большими массивами данных, чего давно ждали наши пользователи, — говорит Фаусто Ибарра (Fausto Ibarra), руководитель подразделения по управлению продуктами компании VMware. — Apache Hadoop сейчас становится стандартом в области обработки данных большого объема на предприятиях. С помощью VMware vSphere Big Data Extensions компании смогут запускать в общей инфраструктуре все необходимые им приложения, в том числе и Apache Hadoop, пользуясь преимуществами быстрой адаптации, гибкости и отказоустойчивости, которые дает работа в виртуальных и облачных средах». 

В настоящее время все больше предприятий переходят на Apache Hadoop, поскольку хотят иметь более полное представление о текущей ситуации в бизнесе и принимать взвешенные решения в современных условиях, когда объемы обрабатываемых данных постоянно растут. Запустив Apache Hadoop на платформе VMware vSphere, предприятия получат возможность осуществлять гибкое масштабирование системы и эффективнее использовать аппаратное обеспечение. Кроме того, компании смогут добиться более высокого уровня безопасности благодаря изоляции виртуальных машин и повысить надежность за счет компонентов vSphere Fault Tolerance и vSphere High Availability. Использование Apache Hadoop в виртуальной среде позволит избежать затрат, связанных с созданием отдельных физических кластеров и управлением ими, а также получить преимущества от объединения вычислительных ресурсов и ресурсов для хранения на общей виртуальной платформе. 

В основе — Project Serengeti

Версия VMware vSphere Big Data Extensions основана на наработках Project Serengeti — open source проекта, запущенного компанией VMware в июне 2012 г., целью которого является предоставление предприятиям возможности быстрого развертывания кластеров Apache Hadoop в виртуальной инфраструктуре. Растущая популярность Project Serengeti способствовала тому, что компания VMware выпустила коммерческую версию этой технологии – VMware vSphere Big Data Extensions, гибкое масштабирование и интуитивный интерфейс которой позволяют администраторам разворачивать кластеры Hadoop и управлять ими на VMware vSphere. Параллельно с выходом VMware vSphere Big Data Extensions компания VMware представила новую версию Project Serengeti, еще раз подтвердив таким образом свое содействие сообществу разработчиков и пользователей ПО с открытым исходным кодом. В данную версию включена поддержка Apache Hadoop YARN – нового поколения MapReduce. Кроме того, в Project Serengeti усовершенствованы процедуры настройки ресурсов виртуальных машин и восстановления после отказа диска. Дистрибутив Hadoop Pivotal HD стал первым дистрибутивом на базе YARN, который поддерживается в Project Serengeti. Кроме того, в новой версии расширена поддержка популярных дистрибутивов Apache Hadoop 1.2: Cloudera Distribution Including Apache Hadoop (CDH) 4.2, CDH 3, Greenplum HD 1.2, MapR Distribution for Hadoop 2.1.3 и Hortonworks Data Platform (HDP) 1.3. В прошлом году в новых версиях инструментов Project Serengeti появилось больше возможностей для работы с системой Apache Hadoop. 

«В прошлом году мы перенесли наши Hadoop-операции с AWS в собственное частное облако, — говорит Саша Киперварг (Sasha Kipervarg), директор компании Identified по работе с SaaS-приложениями. — Так как мы занимались разработкой собственных схем работы с Hadoop, то смогли быстро развернуть кластеры Hadoop и разъединить их с помощью VMware vSphere® и Project Serengeti. Встроенные средства автоматизации позволили нам применить свой опыт работы с Hadoop и использовать незадействованные ресурсы». 

Pivotal HD сертифицирован для VMware vSphere

Для того чтобы способствовать распространению Apache Hadoop, компания VMware также объявила о сертификации Pivotal HD для VMware vSphere. В рамках программы VMware Ready Pivotal и VMware провели детализированную процедуру верификации, позволившую клиентам легко развернуть и запустить Pivotal HD на платформе VMware vSphere. Pivotal HD — первый коммерческий дистрибутив, в состав которого входят расширения Hadoop Virtual Extensions, недавно разработанные VMware для сообщества пользователей Apache Hadoop и предоставляющие кластерам Hadoop информацию о топологии при развертываниях в виртуальной инфраструктуре. 

«Компания Pivotal рада сотрудничать с VMware, чтобы вывести на новый уровень понятие platform-as-a-service («платформа как услуга») и обеспечить беспрецедентную скорость анализа, создания, развертывания и масштабирования кластеров, — говорит Джош Клар (Josh Klahr), вице-президент Pivotal по управлению продуктами. — Pivotal HD объединяет Hadoop с базой данных Pivotal Greenplum Database, технологией кэширования в памяти GemFire и технологией HAWQ (Hadoop With Query), что позволяет сократить время, затрачиваемое на обработку запросов, до нескольких часов, а иногда даже минут. Ранее это занимало несколько дней, а в некоторых случаях — более недели. Используя vSphere, пользователи смогут развертывать, запускать кластеры Apache Hadoop и управлять ими наряду с другими ключевыми приложениями в общей виртуальной инфраструктуре с высокой скоростью, которую обеспечивает Pivotal».

Выход полной версии VMware vSphere Big Data Extensions ожидается в конце 2013 года.