Out of memory при импорте Контактов из excel. Версия 3.4.0.45
Доброе время суток :) Подскажите, пожалуйста. Использую стандартный импорт из excel. В листе 50 000 строк. Полоса процентов добегает до конца, после выдается предупреждение, что памяти не хватает, и из всех строк переносятся только первые 5 400. Как исправить? Заранее спасибо.
Нравится
Добрый день!
Решить вопрос можно двумя способами:
1. Добавить оперативной памяти в несколько раз больше, чем установлено на текущий момент.
2. Провести импорт 10 раз по 5000 строк каждый.
Советую второй метод. После каждого импорта память будет освобождаться, что не будет производить к ошибке. Разбейте импортируемый файлик на части.
Игорь, а мне, когда у меня отчет на клиентских машинах не формировался, рекомендовали в код списать "задержку" - помогало... Здесь такой финт не пройдет?
Хотя, конечно, одно дело просто сложный отчет, а другое - 50000 строк из экселя...
Да, но 6 листов по 50 000 строк в каждом, это ж мне ночевать у экрана придется...
"Алёна Овсянникова" написал:Здесь такой финт не пройдет?
Сомневаюсь, все-таки формировка отчета и импорт разные процессы.
"Анна Проненко" написал:Да, но 6 листов по 50 000 строк в каждом, это ж мне ночевать у экрана придется...
Анна, у Вас весьма интересный файлик :) Вы не могли бы его выложить для проверки?
Попробовал проимпортировать на версии 3.4 чуть более 3х тысяч записей, проблема не появилась. Память не особо грузилась. Анна, а какой объем памяти у Вас установлен?
"Гакало Игорь Александрович" написал:Анна, у Вас весьма интересный файлик :) Вы не могли бы его выложить для проверки?
По поводу 3 000 строк - у меня 5 400 сток без проблемы идет. Проблемы начинаются дальше :) Выложить, к сожалению, не могу, потому в нем личные данные клиента. Для теста сделать его несложно :) колонок у меня от A до S. И, если это важно, в 2 колонках у меня вычисляемые значения (одна колонка = колонка Фамилия + колонка пробела + колонка Имя, вторая вычисляемая колонка = то же самое + пробел + Фирма + пробел + Должность)
Вместо "колонка Фамилия + колонка пробела + колонка Имя" Вы можете воспользоваться следующей функцией Excel:=СЦЕПИТЬ(RC[-2];" ";RC[-1])
Вы писали:"Для теста сделать его несложно :)" Довольно проблематично так как необходимо 50 тыс строк заполнить уникальными значениями.
Для тестирования ситуации пришлите на support@tscrm.com ответы на следующие вопросы:
1) Какую версию Terrasoft и Excel Вы используете (укажите полные версии)
2) Пришлите шаблон файла Excel, содержащий шапку с указанием колонок и несколько тестовых значений.
3) Укажите объем оперативной памяти на Вашей машине и версию установленной ОС.
4) Выполните выгрузку настроек интеграции (меню [Файл]-[Выгрузить в файл])
На основе присланных Вами данных будет проведено тестирование ситуации.
"Клименко Николай" написал:Excel:=СЦЕПИТЬ(RC[-2];" ";RC[-1])
так и делала :) ок, вышлю.
Выкладываю для примера файл.
На комп Windows 7
Куда полоижить excelий архив? Весит 11Мб.
Попробовал настроить интеграцию, но видимо аппаратная часть подводит, все время система "виснет" при открытии Excel файла.
Анна, если необходимо решение на уровне скриптов, опишите проблему на support@tscrm.com и отправьте файл.
Если же вопрос критичен попробуйте разбейте файл на куски.
"Гакало Игорь Александрович" написал:Попробовал настроить интеграцию, но видимо аппаратная часть подводит, все время система "виснет" при открытии Excel файла.Анна, если необходимо решение на уровне скриптов, опишите проблему на support@tscrm.com и отправьте файл.
Если же вопрос критичен попробуйте разбейте файл на куски.
Интересно, а в требованиях аппаратно/программных и в описание системы внесена информация об ограничениях и возможностях встроенного механизма импорта? :smile:
Виснет - при настройке импорта? или при запуске процесса импорта?
Настройку можно провести и на основании пустого шаблона с нужными полями, где нечему вызвать "повисание".
зы: проверил импорт из вашего файла под 3.3.2 естественно не все поля (фио, обращение, средства связи, адрес) было лень настраивать полностью - импорт прошел за минут 10, 50тыс с чем то контактов без проблем. Сейчас проверю на 3.4
зы-2: импорт в 3.4 прошел отлично без единой проблемы
"Александр Кудряшов" написал:Интересно, а в требованиях аппаратно/программных и в описание системы внесена информация об ограничениях и возможностях встроенного механизма импорта?
Не видела, есть?
"Александр Кудряшов" написал:Виснет - при настройке импорта? или при запуске процесса импорта?
При настройке виснет, если больше одного листа в Excele. А при запуске через несколько часов зависает.
"Александр Кудряшов" написал:зы: проверил импорт из вашего файла под 3.3.2 естественно не все поля (фио, обращение, средства связи, адрес) было лень настраивать полностью - импорт прошел за минут 10, 50тыс с чем то контактов без проблем. Сейчас проверю на 3.4зы-2: импорт в 3.4 прошел отлично без единой проблемы
Можете показать, например, по тимвьюверу, как за 10 мин оно загружет. Может, я что-то не так указала.
"Анна Проненко" написал:Можете показать, например, по тимвьюверу, как за 10 мин оно загружет. Может, я что-то не так указала.
Завтра попробую:) по настройке я просто лишние листы удалил, что и вам рекомендую для облегчения жизни интеграции...
плюс импорт всего с одного листа у меня занял часа два наверное не больше
"Александр Кудряшов" написал:зы: проверил импорт из вашего файла под 3.3.2 естественно не все поля (фио, обращение, средства связи, адрес) было лень настраивать полностью - импорт прошел за минут 10, 50тыс с чем то контактов без проблем.
Я делала уникальным поле union.
я пробовал с уникальным фио... сегодня очень плотный график, не успеваю удаленно дать доступ:(
Анна, только что воспроизвел ошибку, в моем случае закончилось дисковое пространство, а сколько у вас свободного места на диске с установленным Windows?
"Яворский Алексей" написал:закончилось дисковое пространство
У меня все перекинусь, только частями. Так что не в месте дело.
Анна,
Импорт тестового файла мы провели, прикрепляю xml настроек импорта, проблему с Out of memory помогло решить установление большего объема виртуальной памяти :
