Вопрос

Быстрое составление TSQL MERGE скриптов (под перенос/обновление данных)[HowTo]

12 апреля 2017 13:29

Зачастую приложение разработанное на BPMOnline, как и последующие его доработки требуется предоставлять в виде "all inclusive", т.е. всё что нужно, в т.ч. и настройки и бэкраунд-данные должны быть в Ваших пакетах, и единственное что остается сделать клиенту или его специалистам - это установить их. Но в части механизма переноса данных в самой архитектуре приложения есть проблемные моменты, в основном часто встречающиеся юзкейсы:

1) Перенос/инсталляция элементов организационной структуры, или изменений в ней через пакет.
проблематика: Через "Данные" не переносятся, подключить их в пакет у Вас конечно получится с кучей связей, но при установке вас ожидает фиаско, в первую очередь потому, что требуется четкое соблюдение порядка добавления записей, в таблице SysAdminUnits есть внутренние связи FK между колонками Id и ParentId (значение одной колонки ссылается на значение из другой колонки этой же таблицы). Этими значениями определяется иерархия, по этому Вам необходимо добавлять записи в соответствии с их положением в дереве: от корня в глубь.
совет: организовывайте вашу структуру в мастере в том числе проставьте галочки на "Есть руководители" (т.к. создается отельный орг.юнит), после чего в любом удобном инструменте просмотра таблиц БД, в таблице SysAdminUnits отсортируйте записи по колонке "CreatedOn" в порядке возрастания, и в таком виде экспортируйте INSERT инструкции для каждой записи отдельным блоком.
PS: так же зачастую требуется перенос значений из таблиц SysAdminUnitsInRole (пользователи включенные в орг.юнит), и SysFuncRoleInOrgRole (связи орг.юнитов друг с другом),
а перед инсталяцией орг.юнитов пользователей - сначала инсталируйте контакты с которыми они будут связаны.

2) Перенос/инсталляция настроек рабочих мест, или изменений в них через пакет.
проблематика: По той причине что организационную структуру Вы через данные не переносите, настройка рабочих мест просто не даст Вам создать данные так, как вы не включаете в виде данных необходимые значения для орг.юнитов.
PS: Сами рабочие места, и даже разделы вы можете перенести через данные,
но если вам нужны данные о пользователях группах пользователей в раб.местах - тут только SQL-скрипт. Так что лучше уж тогда все переносить в скрипте.

3) Перенос/инсталляция настройки колонок в реестрах, деталях, окнах выбора и т.д.
проблематика: Через "Данные" не переносятся, т.к. содержат бинарные данные в 2-х колонках (ObjectData, ObjectDifference) таблицы SysProfileData по какой-то причине не включаются в пакет вместе с данными, и аналогично предыдущему пункту вы можете создать такие "Данные", но при инсталляции получите записи с пустыми вышеупомянутыми колонками.
совет: Опять же настраиваем "ручками в системе" потом отлавливаем новые записи в любом SQL-view, дампим записи (их будет 2-3 на каждый элемент настройки колонок) в блоках INSERT, но в данном случае не забудьте, что вам при инсталляции надо будет проверить существуют ли в таблице записи с такими же соотношениями колонок "Key" - "ContactId" и удалить их (не обновлять) если они есть после чего вставлять Ваши записи.

Вообщем у Вас может получиться объемистая часть данных которые надо включать в пакеты в виде SQL-скрипта. И идеальный подход для этого конечно использование подхода "Вставить, а если существует - обновить".
Так вот TSQL не предлагает каких либо "сахарных" инструкций aka MySQL UPSERT или PostgreSQL ON DUPLIKATE KEY
В TSQL ближайший аналог это монстроузный MERGE который можно использовать для реализации вышеупомянутого подхода, ну конечно можно еще c использование IF EXISTS писать еще более "монструозные простыни", и даже делать SELECT->FOR-IF-UPDATE/INSERT но это уж простите меня - совсем "нубство".
Первый взгляд на MERGE вас конечно немного испугает и заставит пропотеть, особенно учитывая тот факт что вам не обойтись без многократного описания колонок и их соотношений, а в большинстве таблиц с которыми Вам его надо будет применять - более 10-ти колонок. :) а Вам понадобится их перечисление в 4-х местах в разном виде.
Но на помощь нам приходят современные средства разработки !
Итак... вот вам пошаговый рецепт составления такого скрипта на примере составления MERGE для переноса/обновления из таблицы SysAdminUnits в среде Jetbrains DataGrip (если вы или Ваши друзья коллеги студенты IT-смежной специальности, Вы без проблем получите ключ на год на весь пантеон из продуктов, WebStrom просто незаменим для JavaScript, особенно в свете того что с 7.10 версии наконец-то можно работать с пакетами в файловом режиме)
PS: наверняка в SQL Managment Studio можно обвеситься плагинами и получить аналогичную функциональность (я сейчас про некоторые хоткеи и мультикурсорность, которые и есть суть - все сильно упрощают), если это так - прошу знатоков отписаться в комментариях что для этого потребуется, или же подтвердить что там так не выйдет.
Итак поехали:
Копируем шаблон конструкции

DROP TABLE IF EXISTS #Temp;

CREATE TABLE #Temp

(

);

MERGE TargetTable AS dst

USING #Temp AS src

ON (dst.Id=src.Id)

WHEN MATCHED THEN

    UPDATE SET

WHEN NOT MATCHED BY TARGET THEN

    INSERT

    (

    )

    VALUES (

    );

GO

ДАЛЬНЕЙШИЕ ИЗОБРАЖЕНИЯ ЭТО GIF-АНИМАЦИЯ, CLICKайте и ПРОСМАТРИВАЙТЕ
Открываем необходимую таблицу в структуре и переходим к ее определению (вкладка DDL)
поиск в боковой схеме - простой набор символов с клавиатуры при выделении любой таблицы
открытие таблицы - F4

и копируем определение колонок в определение колонок временной таблицы шаблона, даем временной таблице осмысленное имя,

и вот тут начнется "магия" мультиселекта это IDE
Alt+j (установка мультикурсорности на обнаруженных паттернах выделенного фрагмента)
Нам необходимо избавиться в обявлении колонок от значений "по умолчанию" (не знаю почему, но с этим иногда бывают проблемы, в контексте нашей задачи, проще избавиться, чтобы наверняка).
А так же удалем FK определения они нам само собой тоже не нужны

При помощи мощи мультиселекта и хоткеев паттерного выделения (выделить слово, добить/убрать из выделения символ) "творим магию"

обратите внимание на то, что лишние запятые изначально оставляются чтобы все строки соответствовали паттерну, а потом удаляются, остается установить имя целевой таблицы.
и вот мы получили вот такой вот скрипт

DROP TABLE IF EXISTS #TempSysAdminUnits;

CREATE TABLE #TempSysAdminUnits

(

  Id UNIQUEIDENTIFIER PRIMARY KEY NOT NULL,

  CreatedOn DATETIME2,

  CreatedById UNIQUEIDENTIFIER,

  ModifiedOn DATETIME2,

  ModifiedById UNIQUEIDENTIFIER,

  Name NVARCHAR(250) NOT NULL,

  Description NVARCHAR(250) NOT NULL,

  ParentRoleId UNIQUEIDENTIFIER,

  ContactId UNIQUEIDENTIFIER,

  TimeZoneId NVARCHAR(250) NOT NULL,

  UserPassword NVARCHAR(250) NOT NULL,

  SysAdminUnitTypeValue INT NOT NULL,

  AccountId UNIQUEIDENTIFIER,

  Active BIT NOT NULL,

  LoggedIn BIT NOT NULL,

  SynchronizeWithLDAP BIT NOT NULL,

  LDAPEntry NVARCHAR(250) NOT NULL,

  LDAPEntryId NVARCHAR(250) NOT NULL,

  LDAPEntryDN NVARCHAR(500) NOT NULL,

  IsDirectoryEntry BIT NOT NULL,

  ProcessListeners INT NOT NULL,

  SysCultureId UNIQUEIDENTIFIER,

  LoginAttemptCount INT NOT NULL,

  SourceControlLogin NVARCHAR(250) NOT NULL,

  SourceControlPassword NVARCHAR(250) NOT NULL,

  PasswordExpireDate DATETIME2,

  HomePageId UNIQUEIDENTIFIER,

  ConnectionType INT NOT NULL,

  UnblockTime DATETIME2,

  ForceChangePassword BIT NOT NULL,

  LDAPElementId UNIQUEIDENTIFIER,

  DateTimeFormatId UNIQUEIDENTIFIER,

);

MERGE SysAdminUnits AS dst

USING #TempSysAdminUnits AS src

ON (dst.Id=src.Id)

WHEN MATCHED THEN

    UPDATE SET

      dst.CreatedOn=src.CreatedOn,

      dst.CreatedById=src.CreatedById,

      dst.ModifiedOn=src.ModifiedOn,

      dst.ModifiedById=src.ModifiedById,

      dst.Name=src.Name,

      dst.Description=src.Description,

      dst.ParentRoleId=src.ParentRoleId,

      dst.ContactId=src.ContactId,

      dst.TimeZoneId=src.TimeZoneId,

      dst.UserPassword=src.UserPassword,

      dst.SysAdminUnitTypeValue=src.SysAdminUnitTypeValue,

      dst.AccountId=src.AccountId,

      dst.Active=src.Active,

      dst.LoggedIn=src.LoggedIn,

      dst.SynchronizeWithLDAP=src.SynchronizeWithLDAP,

      dst.LDAPEntry=src.LDAPEntry,

      dst.LDAPEntryId=src.LDAPEntryId,

      dst.LDAPEntryDN=src.LDAPEntryDN,

      dst.IsDirectoryEntry=src.IsDirectoryEntry,

      dst.ProcessListeners=src.ProcessListeners,

      dst.SysCultureId=src.SysCultureId,

      dst.LoginAttemptCount=src.LoginAttemptCount,

      dst.SourceControlLogin=src.SourceControlLogin,

      dst.SourceControlPassword=src.SourceControlPassword,

      dst.PasswordExpireDate=src.PasswordExpireDate,

      dst.HomePageId=src.HomePageId,

      dst.ConnectionType=src.ConnectionType,

      dst.UnblockTime=src.UnblockTime,

      dst.ForceChangePassword=src.ForceChangePassword,

      dst.LDAPElementId=src.LDAPElementId,

      dst.DateTimeFormatId=src.DateTimeFormatId

WHEN NOT MATCHED BY TARGET THEN

    INSERT

    (

      Id,

      CreatedOn,

      CreatedById,

      ModifiedOn,

      ModifiedById,

      Name,

      Description,

      ParentRoleId,

      ContactId,

      TimeZoneId,

      UserPassword,

      SysAdminUnitTypeValue,

      AccountId,

      Active,

      LoggedIn,

      SynchronizeWithLDAP,

      LDAPEntry,

      LDAPEntryId,

      LDAPEntryDN,

      IsDirectoryEntry,

      ProcessListeners,

      SysCultureId,

      LoginAttemptCount,

      SourceControlLogin,

      SourceControlPassword,

      PasswordExpireDate,

      HomePageId,

      ConnectionType,

      UnblockTime,

      ForceChangePassword,

      LDAPElementId,

      DateTimeFormatId

    )

    VALUES (

      src.Id,

      src.CreatedOn,

      src.CreatedById,

      src.ModifiedOn,

      src.ModifiedById,

      src.Name,

      src.Description,

      src.ParentRoleId,

      src.ContactId,

      src.TimeZoneId,

      src.UserPassword,

      src.SysAdminUnitTypeValue,

      src.AccountId,

      src.Active,

      src.LoggedIn,

      src.SynchronizeWithLDAP,

      src.LDAPEntry,

      src.LDAPEntryId,

      src.LDAPEntryDN,

      src.IsDirectoryEntry,

      src.ProcessListeners,

      src.SysCultureId,

      src.LoginAttemptCount,

      src.SourceControlLogin,

      src.SourceControlPassword,

      src.PasswordExpireDate,

      src.HomePageId,

      src.ConnectionType,

      src.UnblockTime,

      src.ForceChangePassword,

      src.LDAPElementId,

      src.DateTimeFormatId

    );

GO

потратив на его составление менее 5-ти минут :)
Ну а далее в этот скрипт перед операцией MERGE перенесите INSERT конструкциями, то что требуется изменив назначение на временную таблицу

Вуаля... итого 5-7 минут и готово.
Другими способами и копипастой, такой скриптик писать с таким огромным разношерстным объявлением - минут 20-30 :)
Так что юзайте возможности современных средств разработки коллеги.

Нравится

3 комментария

Андросов Дмитрий

13 апреля 2017 19:04

мы на 79 переносили оргструктуру, пользователей и даже права на объекты через данные
там есть два момента:
1) надо сбросить, а после установки пакета вернуть, триггер TRSysAdminUnitRoot (без триггера не было проблем с установкой SysAdminUnit - я так понимаю механизм установки следит за порядком SAME REFERENCE записей)
2) (не уверен надо ли это вообще)) следить за порядком установки (он алфавитный) - контакты перед пользователями, роли перед пользователями и вхождениями ролей в роли и пользователей в роли (SysUserInRole, т.к. SysAdminUnitsInRole - заполняется в процессе актуализации оргструктуры см сленд пункт)
3) после установки пакета выполнить tsp_ActualizeAdminUnitInRole, просто чтобы не забыть сделать это вручную
4) осторожнее с корневыми ролями и Supervisor'ом

и вроде с SysProfileData тоже не было проблем

Ответить

Севостьянов Илья Сергеевич

14 апреля 2017 09:32

"Андросов Дмитрий" написал:3) после установки пакета выполнить tsp_ActualizeAdminUnitInRole, просто чтобы не забыть сделать это вручную

Да, это важное и полезное дополнение :)
Спасибо.

"Андросов Дмитрий" написал:(не уверен надо ли это вообще)) следить за порядком установки (он алфавитный)

ну вот это прям сомнительное утверждение :)
Ну если я конечно понимаю о чем идет речь.
Так как у потомка в колонке ParentId идет FK на Id этой-же таблицы, т.е. порядок просто ОБЯЗАН быть соблюден, иначе лови ошибки FK инсерта строк на уровне таблицы SysAdminUnit, при установке через данные именно в этом и проблема:
Мы профилировали запросы и там INSERT идет через перечисление VALUES а не каждая строка отдельной инструкцией... (так что тут фактически повезет / не повезет как сортируются значения в перечислении мне не ведомо да и мы в любом случае не можем это контролировать)

Ответить

Андросов Дмитрий

3 мая 2017 12:21

"Севостьянов Илья Сергеевич" написал:да и мы в любом случае не можем это контролировать

мы можем контролировать порядок иначе:
создаем данные на корневые роли, называем "SysAdminUnit1Roles"
далее на роли второго уровня, называем "SysAdminUnit2Roles"
далее на третий, называем "SysAdminUnit3Roles" и т.д.
[странно, но мы переносили 5ти уровневую оргструктуру в одних данных, поэтому и сомневался - не разбирает ли установщик данных, что в рамках одних данных установить сначала?]
после этого на самих пользователей "SysAdminUnit999Users" (контакты пользователей установили ранее)
после этого на SysUserInRole для переноса вхождения пользователей в группы

я имел ввиду, что во время установки по алфавиту упорядочиваются не записи, а схемы данных

Ответить

Показать все комментарии