Централизация управления обменами данных между базами 1С, SAP, SharePoint и SQL через шину данных DATAREON ESB. Опыт Группы компаний "Полюс"

Основные предприятия компании расположены в Красноярском крае, Иркутской и Магаданской областях, а также в Республике Саха (Якутия) и включают 5 действующих рудников, золотоносные россыпи и ряд проектов в стадии строительства и развития.
На сегодняшний день в компании более 30 юридических лиц, часть из которых занимается добычей, кроме того есть сервисные предприятия, которые оказывают разного рода услуги добывающим предприятиям: услуги логистики, строительства, проектирования. Также создана компания "МФЦ Полюс", в которой централизованы услуги по бухгалтерскому учету и ИТ в том числе.

Предпосылки
Компания «Полюс» была образована путем выделения из "Норильского никеля" золотодобывающих активов. В момент объединения компаний в каждой был свой бухучет, свои ИТ-подразделения. Когда произошло объединение в Группу, перед руководством встала задача консолидации финансовой информации, и был инициирован проект по внедрению единой системы бухгалтерского учета.
Когда проект вступил в стадию реализации, стали появляться базы 1С, между которыми необходимо было организовывать информационный обмен. Структура этих баз была трехуровневая: централизованная база, базы в офисах компаний и базы на промышленных площадках или филиалах. Вся эта иерархическая структура содержала более 100 баз 1С.

Для мониторинга и управления обменами данными между этими базами использовались средства 1С. Но так как количество баз было очень большим, осуществлять мониторинг средствами 1С было очень сложно. В компании «Полюс» была разработана система управления обменами данных (СУОД), которая позволяла централизованно создавать расписание обменов и осуществлять мониторинг их выполнения.

Со временем начали возникать проблемы, связанные с тем, что обмены происходили по расписанию, и в какой-то момент это перестало удовлетворять бизнес. Чтобы оперативно актуализировать информацию в базах, приходилось делать расписание с интервалом обмена через 15 минут, что, в свою очередь, нагружало систему и затрудняло работу пользователей в этой системе. Также возникали ошибки в обменах, когда какие-то данные не доходили до системы-получателя. Не было уверенности в гарантированной доставке данных.
Все эти проблемы подтолкнули руководство компании к решению о замене системы управления обменами более надежными и быстрыми средствами. Именно поэтому руководство «Полюс» стало рассматривать внедрение шины данных.

Выбор проходил в 2017 году. Архитекторы компании провели анализ подходящих решений, представленных на рынке. Сравнивали три системы, в том числе DATAREON ESB. Сравнение было по набору критериев, и в результате DATAREON ESB оказался победителем.
Наиболее критичными и важными критериями для компании были:
• наличие готовых коннекторов вообще;
• наличие готовых коннекторов к системам на платформе 1С;
• наличие встроенных средств отладки, которые бы позволяли достаточно эффективно вносить изменения и что-то настраивать.

Структура интеграционного контура
На момент внедрения DATAREON ESB в контуре, которым управляет шина данных, были задействованы 16 систем. 8 систем из 16 - это системы на платформе «1С:Предприятие». Между ними было настроено 23 обмена данными (между парами систем).
Что касается количества информационных баз, то на момент окончания проекта в компании было задействовано порядка 60 баз 1С. Их стало меньше относительно начального количества, во-первых, из-за перехода на SAP: сократилось количество систем 1С и, следовательно, баз. Во-вторых, переход на SAP привел к централизации ИТ-инфраструктуры, улучшению каналов связи, и теперь во многих случаях те базы, которые ранее находились на удаленных площадках, размещаются в ЦОДе. Пользователи с площадок работают непосредственно с базой в ЦОДе. Соответственно, количество баз это также уменьшило.

На сегодняшний день помимо систем на платформе 1С настроена интеграция с порталом на SharePoint, есть интеграция с лабораторной системой LIMS, есть интеграция с SQL-базой данных, есть интеграция с SAP SuccessFactors, которая реализована через интеграцию с CipherCloud, который обеспечивает шифрование данных, так как SAP SuccessFactors расположен в облаке.
В ходе проекта была создана гетерогенная среда с различными экзотическими системами. Использовались не только типовые, но и кастомные коннекторы. Например, для интеграции с SAP SuccessFactors и CipherCloud разрабатывался кастомный коннектор, который обеспечивал шифрование.

Ход проекта
Внедрение шины проходило в два этапа. Сначала был пилотный проект в 2017 году, который завершился за 4 месяца. В ходе этого проекта была настроена интеграция между Корпоративной системой управления нормативно-справочной информацией (КСУ НСИ) и системой казначейства на платформе 1С, в этом обмене передавалась информация из 17 справочников.

После того, как внутренний заказчик увидел, что все работает и компанию устраивают производительность и надёжность системы, было принято решение делать масштабный проект тиражирования на все обмены КСУ НСИ с другими системами. Проект начался в конце 2018 года и завершился в 2020 году.

Такое длительное течение проекта было связано с тем, что в процессе возникали новые задачи, связанные с внедрением других систем компании, для которых нужно было настраивать интеграцию с КСУ НСИ, и эти задачи решались в приоритетном порядке, а задачи основного проекта сдвигались. В результате проект вместо первоначально запланированного года длился два года.

Во время проекта возникали и непредвиденные ситуации. Самая критичная из них возникла при настройке интеграции между системой кадрового учета «1С:ЗУП» с системой SAP SuccessFactors. Из-за того, что в АСУПе достаточно сложная система хранения данных о сотрудниках, и нужно было передавать не только их, но и все изменения, при настройке обменов появилось дублирование данных. Поток данных был очень большим, дубли возникали из-за того, что в одном сообщении передавалась информация и о сотруднике, и о должности, и о подразделении. Если какой-то из этих объектов менялся, то сообщение о сотруднике снова передавалось полностью.
Чтобы устранить проблему, провели доработку шины, а также определенную доработку самих обменов, чтобы устранить дублирование. В итоге количество передаваемых сообщений в сутки удалось сократить примерно до 30 тысяч, и после этого все заработало надежно.

Проектная команда и обучение сотрудников
На постоянной основе в проекте со стороны заказчика участвовали два человека - руководитель проекта и администратор, который помогал специалистам DATAREON с точки зрения настройки всей инфраструктуры, тестирования настроенных обменов, занимался переносом уже настроенных решений в продуктивную систему.

Когда настраивалась интеграция с конкретной системой, служба поддержки этой системы также участвовала в работах по настройке, тестированию, разработке обработчиков для соответствующих справочников. Также служба поддержки участвовала на этапе настройки интеграции между двумя системами.

Проект фактически начался с обучения проектной команды заказчика, которое помогло им сразу составить представление о том, что собой представляет шина данных, какие у нее возможности, как ее можно настраивать. С точки зрения реализации проекта это было также полезно. Проектная команда знала, что нужно настраивать, что нужно готовить для того, чтобы разместить шину данных (набор серверов, какие компоненты нужны, как они должны располагаться, что нужно установить на сервере шины, что нужно установить на сервере системы, с которой осуществляется интеграция). Все эти вопросы проходили в процессе обучения. Соответственно, к моменту начала активной работы над проектом команда заказчика уже была подготовлена к работе с шиной благодаря обучению.

Представители проектной команды ПАО «Полюс» также отметили, что еще перед проектом важно понять, кто будет поддерживать и сопровождать шину потом, когда проект завершится. Эти люди должны участвовать в проекте с самого начала, чтобы для них процесс внедрения был своего рода обучением и освоением на практике работы с шиной.

Результаты и улучшения
Благодаря внедрению шины данных DATAREON ESB процессы обмена данными ускорились. Как пример - интеграция с системой казначейства. До внедрения шины, чтобы провести платеж новому контрагенту, необходимо было завести его в систему ведения справочников и ждать обмена, чтобы информация об этом контрагенте пришла в казначейство. Раньше это могло занимать до получаса. Сейчас эта информация приходит в течение пяти минут.

Второй пример - справочник номенклатуры. Аналогично, для того, чтобы закупщикам оформить заявку на закупку новой номенклатуры, ее нужно было завести в систему ведения справочников и дальше ждать обмена, что также занимало до получаса. Сейчас после заведения в справочники и согласования новой номенклатуры в этом справочнике информация о ней приходит в систему МТО через 3-5 минут.

Интеграционные задачи также стали решаться быстрее, но ненамного. В первую очередь, это касается систем 1С. Раньше нужно было писать обмены между двумя системами, сейчас же нужно писать обработчики на стороне каждой системы, которая формирует исходящие сообщения. То есть, разработка в рамках задач интеграции все равно осталась, хотя стала немного проще с точки зрения настройки и отладки.

Основная часть обменов ПАО «Полюс» работает с КСУ НСИ, то есть с системой ведения справочников, и внедрение шины позволило эти обмены централизовать. Раньше все обмены проходили по принципу "точка-точка": запускался по расписанию обмен, делалась выгрузка, на стороне системы-получателя происходила загрузка. Соответственно, 60 баз 1С должны были получить эти справочники из КСУ НСИ, для каждой базы нужно было делать выгрузку. Сейчас из КСУ НСИ выходит одно сообщение с изменениями по справочнику, а дальше в шине оно тиражируется на все системы-получатели.

Владимир Пятько
Руководитель группы аналитической отчетности
Группа компаний «Полюс»
 
Посмотрите полное интервью с Пятько Владимиром на YouTube канале компании DATAREON:
https://www.youtube.com/watch?v=cUzlf3F_Wgg&t=1248s