Импорт "больших" данных

Коллеги, привет!

Кто как решает проблему импорта "больших" данных в облачную CRM?

Нам нужно загрузить 1 000 000 записей в таблицу, при этом стандартные средства импорта ограничивают размер импортируемого файла 10 мб. В моём случае получается 4 файла по 250 000 записей. В принципе, преемлимо, но импорт длится вечность - ещё не удалось загрузить не 1. При этом ТП говорит, что загружать больше 50 000 записей за раз не рекомендуется. Это 20 операций импорта. Разве это промышленное решение?

Нравится

6 комментариев

Здравствуйте, Вадим

Я передал Ваше пожелание аналитикам продукта на рассмотрение и анализ возможности оптимизации данного функционала в будущих версиях приложения.

Как вариант Вы можtnt разработать интеграцию с помощью Odata или DataService описаных в статье Академии Террасофт по ссылке https://academy.terrasoft.ru/documents/technic-sdk/7-11/integraciya-s-s… и "перегонять" данные с помощью данной интеграции.

Здравствуйте, Вадим!

Согласно заявленным требованиям к файлу импорта максимальное количество импортируемых строк в файле не должно превышать 50 000. Это количество, при котором файл импортируется без проблем.

Если данное количество не устраивает Вы можете реализовать собственный импорт используя веб службу Data Service или с помощью OData.

Новак Руслан пишет:

Если данное количество не устраивает Вы можете реализовать собственный импорт используя веб службу Data Service или с помощью OData.

Хороший вариант для приложения на Marketplace 

Коллеги, каким образом обеспечить проверку на уникальность импортируемых записей, в случае с o'Data?

Добрый вечер.

Данный вопрос можно решить несколькими способами:

1. На объекте можно добавить обработчик на событие "Перед добавлением записи" и в елементе "задание сценарий" реализовывать нужную проверку.

2. Добавить тригер на добавление записи в БД.

3. Использовать стандартную функциональность объединения дублей. В этом случае вы проимпортируете все записи, но потом сможете их слить.

VladKapitanchyk,

Спасибо!

Показать все комментарии