Можно посмотреть на пример:

https://community.terrasoft.ru/questions/ostavit-kommentarii-po-knopke

Есть ли возможность в диалоговом окне применить свои методы? В моих методах сложная логика заполнения полей асинхронно вызванным апи.

А пример модального окна по ссылке выше присвоения arg.test какому нибудь контролу не содержит. У меня this.set... выдает ошибку 'this.Set is not a function' из метода subscribe.SanboxEvents

В качестве модального окна можно применять любое, но с ограничениями (например,нельзя открывать другие модальные окна, поэтому выбор из справочника реализован только в выпадающих списках). По поводу set, сложно сказать, не видя того, что Вы делали. Например, в WizardWarningModalBoxPage для этого создали атрибуты, прибиндили их к визуальным компонентам и меняли значения уже им:

"AdditionalInfo": {
	dataValueType: Terrasoft.DataValueType.TEXT,
	size: 500,
	value: ""
}
...
this.set("AdditionalInfo", moduleInfo.additionalInfo);
...
"items": [
			{
		"name": "AdditionalInfo",
		"itemType": Terrasoft.ViewItemType.LABEL,
		"caption": {
			"bindTo": "AdditionalInfo"
		},
		"isMultiline": true
	}
]