Интеллектуальный SQL

Учебный центр «Поликом Про» работает с 1998 года, а с 2003 года является самостотельным подразделением. Обучение по продуктам корпорации Microsoft ведется в центре с момента его основания, включая авторизованные курсы вендора. Учебный центр активно взаимодействует с Центром решений Microsoft (ЦРМ), который оказывает помощь при планировании и проведении образовательных мероприятий (см., например, новость от 27 сентября 2007 г.).

Проведенный вчера, 31 октября 2007 года, семинар «Поликом Про» был посвящен текущей версии Microsoft SQL Server 2005, которая была выпущена в ноябре 2005 года. Как отметила ведущая семинара Наталия Новакова, SQL Server 2005 подверглась значительным доработкам по сравнению с первой версией СУБД от Microsoft - SQL Server 2000, которая вышла в 2000 году. Ключевые изменения коснулись реализации технологии ETL, которая входит в состав компонента SQL Server Integration Services, сервера оповещения, средств аналитической обработки многомерных моделей данных (OLAP) и сбора релевантной информации – эти службы входят в состав Microsoft Analysis Services, кроме того, были произведены улучшения в производительности. Как подметила Наталия Новакова, «первая версия Microsoft SQL Server представляла собой только дополнение к основному движку, в то время как версия 2005 года является переработанным и полноценным продуктом».

Семинар «Microsoft SQL Server 2005 как платформа для интеллектуального анализа данных» был разделен на практическую и теоретическую части. В рамках первой Наталья Новакова описала возможности трех ключевых компонентов платформы СУДБ: Integration Services, Analysis Services и Reporting Services.

Платформа SQL Server 2005 Integration Services (SSIS) отвечает за интеграцию данных в системе, и выполняет такие функции как объединение информации из разных источников, очистку и коррекцию полученных данных, а также обеспечивает высокоскоростную загрузка данных. Как отметила Наталия Новакова, гибкая система SQL Server 2005 Integration Services, позволяет строить решения любой сложности индивидуально. SSIS совмещает в себе два механизма потока данных- как ориентированный на операции (task-flow), так и масштабируемый и производительный (data-flow). Такое сочетание потоков задач и потоков данных позволяет эффективно использовать SSIS и проектах с традиционными системами ETL и в проектах по созданию хранилищ данных, а также и в более сложных проектах, например, в проектах центров данных. Ядром SSIS является конвейер преобразования данных, который имеет буферную архитектуру, дающую большую производительность при манипуляции наборами данных за счет загрузки их в память. Такой подход позволяет производить все шаги преобразования данных в ETL системах как одну операцию, т.е. без получения промежуточных результатов.

К новым возможностям компонента Microsoft Analysis Services, отвечающего за анализ данных, относятся возможность подключения к различным источникам данных, а также умение работать с нескольким таблицами фактов одновременно. В версии SQL Server 2005 впервые были объединены такие бизнес-данные, как отчетность, OLAP анализ, а также добыча данных. В данной версии были консолидированы форматы OLAP для анализа и реляционной отчётности, в результате чего была создана так называемая единообразная пространственная модель - центральное хранилище метаданных. Также в сервис анализа СУБД входит технология Data Mining, или, интеллектуальный поиск данных, которая помогает создавать сложные аналитические модели и объединять их с бизнес операциями. Data Mining помогает решать такие задачи в области анализа информации, как классификация, регрессия, сегментация, ассоциация, а также анализ последовательностей.

Кроме того, в Microsoft SQL Server 2005 значительно расширен набор алгоритмов, применяемых для анализа информации. К уже существовавшим в первой версии системы двум из них – это дерево решений и кластерный анализ, добавлены еще пять алгоритмов, в числе которых: ассоциативные правила - информация выдается по ассоциации в виде ассоциативных линий; алгоритм Бейса – выполняет расчет условной вероятности между входными значениями; алгоритм кластерной последовательности – усложненная форма кластерного анализа; алгоритм временных последовательностей – анализ данных по времени; а также нейронные сети – реализующие сложнейший алгоритм качественного анализа.

Третий компонент Microsoft SQL Server 2005 - Microsoft Reporting Services –является серверной отчётной средой предприятия, управляемой при помощи веб-служб. Отчёты могут доставляться во множестве форматов, с диапазоном интерактивных опций и опций печати. SQL Server 2005 поддерживает как реляционные, так и OLAP-данные и предоставляет редактор запросов как для SQL, так и для MDX. Новым компонентом Reporting Services SQL Server 2005 является функция «Построитель отчетов», которая позволяет пользователям создавать свои собственные отчёты на основе дружественной модели данных. Пользовательский интерфейс «Построителя Отчетов» создан на основе знакомых парадигм Microsoft Office, таких как Excel и PowerPoint.

Во второй части семинара Наталия Новакова продемонстрировала на практике возможности по построению отчета в Microsoft Reporting Services. Совместно с участниками семинара, преподавателем пошагово был создан учебный отчет на базе табличного шаблона (также существует матричный шаблон). Как рассказала Наталья Новакова, в следующей версии Microsoft SQL Server, выход которой ожидается в 2008 году, будет добавлена третья форма шаблона – гибридная, которая соединит в себе функции и матрица и таблицы.

Отметим, что в ноябре учебный центр «Поликом Про» также планирует проведение курсов и семинаров, ориентированных на продукты Microsoft SQL Server 2005 в учебном центре: 8 - 9 ноября пройдут курсы по проектированию архитектуры ETL решения с применением Microsoft SQL Server 2005 Integration Services, а 12 - 14 ноября будут организованы занятия по проектированию архитектуры OLAP-решений также с использованием Microsoft SQL Server 2005 Analysis Services.