Падение 1С при загрузке классификатора соответствия ТНВЭД и ОКДП2 ИС
При загрузке классификатора настроек видов продукции БГосИС 1С вылетало с ошибкой: Не удалось загрузить классификаторы Классификатор настроек видов продукции БГосИС из-за того, что Превышен максимальный расход памяти сервера за один вызов.
Попытка решения через настройку сервера
Я дал клиенту совет, как убрать ограничения сервера на память, но типовые советы не помогли. Тогда помог мой же совет со значениями -1 в лимитах памяти.
Ошибка вылетать перестала, но процесс не завершался.
Анализ кода и причин ошибки
Начал копать в копии базы, пришел к месту возникновения ошибки:

Но точно понять было нельзя, помог замер производительности.
В модуле менеджера регистра сведений СоответствиеТНВЭДиОКПД2ИС в процедуре ОбновитьСоответствиеТНВЭДИОКПД2Классификатора видна причина ошибки:

Видно, что создается и записывается набор записей на 76 млн позиций.

Поправил код чтобы записывалось порциями по 50.000 записей.
&ИзменениеИКонтроль("ОбновитьСоответствиеТНВЭДИОКПД2Классификатора") Процедура порцзпс_ОбновитьСоответствиеТНВЭДИОКПД2Классификатора(ДанныеКлассификатора, ПараметрыЗагрузки, РезультатОбновления) #Вставка Если ПланыОбмена.ГлавныйУзел() <> Неопределено Тогда Возврат; КонецЕсли; #КонецВставки Идентификаторы = ПараметрыЗагрузки.Идентификаторы; ДанныеКЗагрузке = ДанныеКлассификатора.СоответствиеТНВЭДОКПД2; ЗагрузкаИзменений = ПараметрыЗагрузки.ЗагрузкаИзменений; ИмяТаблицыКодовТНВЭД = Метаданные.Справочники.ТНВЭДПоВидамПродукцииИС.ПолноеИмя(); ИмяТаблицыКодовОКПД2 = Метаданные.Справочники.ОКПД2ПоВидамПродукцииИС.ПолноеИмя(); ИмяТаблицыВидовПродукции = Метаданные.Справочники.ВидыПродукцииИС.ПолноеИмя(); ТаблицаКЗагрузке = Новый ТаблицаЗначений; ТаблицаКЗагрузке.Колонки.Добавить("ТНВЭД", Новый ОписаниеТипов("СправочникСсылка.ТНВЭДПоВидамПродукцииИС")); ТаблицаКЗагрузке.Колонки.Добавить("ОКПД2", Новый ОписаниеТипов("СправочникСсылка.ОКПД2ПоВидамПродукцииИС")); ТаблицаКЗагрузке.Колонки.Добавить("Изменен", Новый ОписаниеТипов("Булево")); ТаблицаКЗагрузке.Колонки.Добавить("ПометкаУдаления", Новый ОписаниеТипов("Булево")); ТаблицаПодбораТНВЭДОКПД = Новый ТаблицаЗначений; ТаблицаПодбораТНВЭДОКПД.Колонки.Добавить("ТНВЭДИдентификатор", ОбщегоНазначения.ОписаниеТипаСтрока(36)); ТаблицаПодбораТНВЭДОКПД.Колонки.Добавить("ОКПД2Идентификатор", ОбщегоНазначения.ОписаниеТипаСтрока(36)); ТаблицаПодбораТНВЭДОКПД.Колонки.Добавить("Изменен", Новый ОписаниеТипов("Булево")); ТаблицаПодбораТНВЭДОКПД.Колонки.Добавить("ПометкаУдаления", Новый ОписаниеТипов("Булево")); ТаблицаПодбораТНВЭДОКПД.Колонки.Добавить("ТНВЭДКод", ОбщегоНазначения.ОписаниеТипаСтрока(10)); ТаблицаПодбораТНВЭДОКПД.Колонки.Добавить("ТНВЭДВидПродукцииИдентификатор", ОбщегоНазначения.ОписаниеТипаСтрока(36)); ТаблицаПодбораТНВЭДОКПД.Колонки.Добавить("ТНВЭДВидПродукцииНаименование", ОбщегоНазначения.ОписаниеТипаСтрока(150)); ТаблицаПодбораТНВЭДОКПД.Колонки.Добавить("ОКПД2Код", ОбщегоНазначения.ОписаниеТипаСтрока(12)); ТаблицаПодбораТНВЭДОКПД.Колонки.Добавить("ОКПД2ВидПродукцииИдентификатор", ОбщегоНазначения.ОписаниеТипаСтрока(36)); ТаблицаПодбораТНВЭДОКПД.Колонки.Добавить("ОКПД2ВидПродукцииНаименование", ОбщегоНазначения.ОписаниеТипаСтрока(150)); Если Не ПараметрыЗагрузки.ЗагрузкаИзменений Тогда Для Каждого СтрокаКЗагрузке Из ДанныеКЗагрузке Цикл ЗаполнитьЗначенияСвойств(ТаблицаПодбораТНВЭДОКПД.Добавить(), СтрокаКЗагрузке); КонецЦикла; Иначе Для Каждого СтрокаКЗагрузке Из ДанныеКЗагрузке Цикл Если ЗначениеЗаполнено(СтрокаКЗагрузке.ТНВЭДИдентификатор) И ЗначениеЗаполнено(СтрокаКЗагрузке.ОКПД2Идентификатор) Тогда ЗаполнитьЗначенияСвойств(ТаблицаПодбораТНВЭДОКПД.Добавить(), СтрокаКЗагрузке); Продолжить; КонецЕсли; СтруктураПодбора = ИнициализироватьПараметрыПодбораЗначенийВТаблицеИдентификаторов(); СтруктураПодбора.Идентификатор = СтрокаКЗагрузке.ТНВЭДИдентификатор; СтруктураПодбора.Код = СтрокаКЗагрузке.ТНВЭДКод; СтруктураПодбора.ВидПродукцииИдентификатор = СтрокаКЗагрузке.ТНВЭДВидПродукцииИдентификатор; СтруктураПодбора.ВидПродукцииНаименование = СтрокаКЗагрузке.ТНВЭДВидПродукцииНаименование; НайденныеСтроки = ПодборЗначенийВТаблицеИдентификаторов(Идентификаторы, ИмяТаблицыКодовТНВЭД, ИмяТаблицыВидовПродукции, СтруктураПодбора); Если НайденныеСтроки <> Неопределено И НайденныеСтроки.Количество() Тогда КодТНВЭДСсылка = НайденныеСтроки[0].Ссылка; Иначе РезультатОбновления.ДанныеЗагруженыЧастично = Истина; Продолжить; КонецЕсли; СтруктураПодбора = ИнициализироватьПараметрыПодбораЗначенийВТаблицеИдентификаторов(); СтруктураПодбора.Идентификатор = СтрокаКЗагрузке.ОКПД2Идентификатор; СтруктураПодбора.Код = СтрокаКЗагрузке.ОКПД2Код; СтруктураПодбора.ВидПродукцииИдентификатор = СтрокаКЗагрузке.ОКПД2ВидПродукцииИдентификатор; СтруктураПодбора.ВидПродукцииНаименование = СтрокаКЗагрузке.ОКПД2ВидПродукцииНаименование; НайденныеСтроки = ПодборЗначенийВТаблицеИдентификаторов(Идентификаторы, ИмяТаблицыКодовОКПД2, ИмяТаблицыВидовПродукции, СтруктураПодбора); Если НайденныеСтроки <> Неопределено И НайденныеСтроки.Количество() Тогда КодОКПД2Ссылка = НайденныеСтроки[0].Ссылка; Иначе РезультатОбновления.ДанныеЗагруженыЧастично = Истина; Продолжить; КонецЕсли; НоваяСтрока = ТаблицаКЗагрузке.Добавить(); ЗаполнитьЗначенияСвойств(НоваяСтрока, СтрокаКЗагрузке); НоваяСтрока.ТНВЭД = КодТНВЭДСсылка; НоваяСтрока.ОКПД2 = КодОКПД2Ссылка; КонецЦикла; КонецЕсли; Запрос = Новый Запрос; Запрос.Текст = "ВЫБРАТЬ | ВтПоискПоИдентификатору.ТНВЭДИдентификатор КАК ТНВЭДИдентификатор, | ВтПоискПоИдентификатору.ОКПД2Идентификатор КАК ОКПД2Идентификатор, | ВтПоискПоИдентификатору.Изменен КАК Изменен, | ВтПоискПоИдентификатору.ПометкаУдаления КАК ПометкаУдаления, | ВтПоискПоИдентификатору.ТНВЭДКод КАК ТНВЭДКод, | ВтПоискПоИдентификатору.ТНВЭДВидПродукцииИдентификатор КАК ТНВЭДВидПродукцииИдентификатор, | ВтПоискПоИдентификатору.ТНВЭДВидПродукцииНаименование КАК ТНВЭДВидПродукцииНаименование, | ВтПоискПоИдентификатору.ОКПД2Код КАК ОКПД2Код, | ВтПоискПоИдентификатору.ОКПД2ВидПродукцииИдентификатор КАК ОКПД2ВидПродукцииИдентификатор, | ВтПоискПоИдентификатору.ОКПД2ВидПродукцииНаименование КАК ОКПД2ВидПродукцииНаименование |ПОМЕСТИТЬ ВтИдентификаторы |ИЗ | &ВтПоискПоИдентификатору КАК ВтПоискПоИдентификатору |; | |//////////////////////////////////////////////////////////////////////////////// |ВЫБРАТЬ | ЕСТЬNULL(ОКПД2ПоВидамПродукцииИС.Ссылка, НЕОПРЕДЕЛЕНО) КАК ОКПД2, | ЕСТЬNULL(ТНВЭДПоВидамПродукцииИС.Ссылка, НЕОПРЕДЕЛЕНО) КАК ТНВЭД, | ВтИдентификаторы.Изменен КАК Изменен, | ВтИдентификаторы.ПометкаУдаления КАК ПометкаУдаления, | ВтИдентификаторы.ТНВЭДИдентификатор КАК ТНВЭДИдентификатор, | ВтИдентификаторы.ОКПД2Идентификатор КАК ОКПД2Идентификатор, | ВтИдентификаторы.ТНВЭДКод КАК ТНВЭДКод, | ВтИдентификаторы.ТНВЭДВидПродукцииИдентификатор КАК ТНВЭДВидПродукцииИдентификатор, | ВтИдентификаторы.ТНВЭДВидПродукцииНаименование КАК ТНВЭДВидПродукцииНаименование, | ВтИдентификаторы.ОКПД2Код КАК ОКПД2Код, | ВтИдентификаторы.ОКПД2ВидПродукцииИдентификатор КАК ОКПД2ВидПродукцииИдентификатор, | ВтИдентификаторы.ОКПД2ВидПродукцииНаименование КАК ОКПД2ВидПродукцииНаименование |ИЗ | ВтИдентификаторы КАК ВтИдентификаторы | ЛЕВОЕ СОЕДИНЕНИЕ Справочник.ТНВЭДПоВидамПродукцииИС КАК ТНВЭДПоВидамПродукцииИС | ПО ВтИдентификаторы.ТНВЭДИдентификатор = ТНВЭДПоВидамПродукцииИС.Идентификатор | ЛЕВОЕ СОЕДИНЕНИЕ Справочник.ОКПД2ПоВидамПродукцииИС КАК ОКПД2ПоВидамПродукцииИС | ПО ВтИдентификаторы.ОКПД2Идентификатор = ОКПД2ПоВидамПродукцииИС.Идентификатор"; Запрос.УстановитьПараметр("ВтПоискПоИдентификатору", ТаблицаПодбораТНВЭДОКПД); РезультатЗапроса = Запрос.Выполнить(); ВыборкаДетальныеЗаписи = РезультатЗапроса.Выбрать(); Пока ВыборкаДетальныеЗаписи.Следующий() Цикл КодТНВЭДСсылка = ВыборкаДетальныеЗаписи.ТНВЭД; КодОКПД2Ссылка = ВыборкаДетальныеЗаписи.ОКПД2; Если КодТНВЭДСсылка = Неопределено Тогда СтруктураПодбора = ИнициализироватьПараметрыПодбораЗначенийВТаблицеИдентификаторов(); СтруктураПодбора.Идентификатор = ВыборкаДетальныеЗаписи.ТНВЭДИдентификатор; СтруктураПодбора.Код = ВыборкаДетальныеЗаписи.ТНВЭДКод; СтруктураПодбора.ВидПродукцииИдентификатор = ВыборкаДетальныеЗаписи.ТНВЭДВидПродукцииИдентификатор; СтруктураПодбора.ВидПродукцииНаименование = ВыборкаДетальныеЗаписи.ТНВЭДВидПродукцииНаименование; НайденныеСтроки = ПодборЗначенийВТаблицеИдентификаторов(Идентификаторы, ИмяТаблицыКодовТНВЭД, ИмяТаблицыВидовПродукции, СтруктураПодбора); Если НайденныеСтроки <> Неопределено И НайденныеСтроки.Количество() Тогда КодТНВЭДСсылка = НайденныеСтроки[0].Ссылка; Иначе РезультатОбновления.ДанныеЗагруженыЧастично = Истина; Продолжить; КонецЕсли; КонецЕсли; Если КодОКПД2Ссылка = Неопределено Тогда СтруктураПодбора = ИнициализироватьПараметрыПодбораЗначенийВТаблицеИдентификаторов(); СтруктураПодбора.Идентификатор = ВыборкаДетальныеЗаписи.ОКПД2Идентификатор; СтруктураПодбора.Код = ВыборкаДетальныеЗаписи.ОКПД2Код; СтруктураПодбора.ВидПродукцииИдентификатор = ВыборкаДетальныеЗаписи.ОКПД2ВидПродукцииИдентификатор; СтруктураПодбора.ВидПродукцииНаименование = ВыборкаДетальныеЗаписи.ОКПД2ВидПродукцииНаименование; НайденныеСтроки = ПодборЗначенийВТаблицеИдентификаторов(Идентификаторы, ИмяТаблицыКодовОКПД2, ИмяТаблицыВидовПродукции, СтруктураПодбора); Если НайденныеСтроки <> Неопределено И НайденныеСтроки.Количество() Тогда КодОКПД2Ссылка = НайденныеСтроки[0].Ссылка; Иначе РезультатОбновления.ДанныеЗагруженыЧастично = Истина; Продолжить; КонецЕсли; КонецЕсли; СтрокаТаблицыЗагрузки = ТаблицаКЗагрузке.Добавить(); ЗаполнитьЗначенияСвойств(СтрокаТаблицыЗагрузки, ВыборкаДетальныеЗаписи, "Изменен, ПометкаУдаления"); СтрокаТаблицыЗагрузки.ТНВЭД = КодТНВЭДСсылка; СтрокаТаблицыЗагрузки.ОКПД2 = КодОКПД2Ссылка; КонецЦикла; Если ЗагрузкаИзменений Тогда Для Каждого СтрокаИзменений Из ТаблицаКЗагрузке Цикл ЗаписьТНВЭДОКПД2 = СоздатьМенеджерЗаписи(); ЗаписьТНВЭДОКПД2.ТНВЭД = СтрокаИзменений.ТНВЭД; ЗаписьТНВЭДОКПД2.ОКПД2 = СтрокаИзменений.ОКПД2; ЗаписьТНВЭДОКПД2.Прочитать(); ЗаполнитьЗначенияСвойств(ЗаписьТНВЭДОКПД2, СтрокаИзменений); ЗаписьТНВЭДОКПД2.Записать(); КонецЦикла; Иначе Запрос = Новый Запрос; Запрос.Текст = "ВЫБРАТЬ | ТаблицаКЗагрузке.ТНВЭД КАК ТНВЭД, | ТаблицаКЗагрузке.ОКПД2 КАК ОКПД2, | ТаблицаКЗагрузке.Изменен КАК Изменен, | ТаблицаКЗагрузке.ПометкаУдаления КАК ПометкаУдаления |ПОМЕСТИТЬ втЗагружаемыеДанные |ИЗ | &ТаблицаКЗагрузке КАК ТаблицаКЗагрузке |; | |//////////////////////////////////////////////////////////////////////////////// |ВЫБРАТЬ | ЕСТЬNULL(СоответствиеТНВЭДиОКПД2ИС.ТНВЭД, НЕОПРЕДЕЛЕНО) КАК ТНВЭД, | СоответствиеТНВЭДиОКПД2ИС.ОКПД2 КАК ОКПД2, | ЕСТЬNULL(втЗагружаемыеДанные.ТНВЭД, НЕОПРЕДЕЛЕНО) КАК ТНВЭДПоставляемый, | втЗагружаемыеДанные.ОКПД2 КАК ОКПД2Поставляемый, | втЗагружаемыеДанные.Изменен КАК ИзмененПоставляемый, | втЗагружаемыеДанные.ПометкаУдаления КАК ПометкаУдаленияПоставляемый, | СоответствиеТНВЭДиОКПД2ИС.Изменен, | СоответствиеТНВЭДиОКПД2ИС.ПометкаУдаления |ИЗ | РегистрСведений.СоответствиеТНВЭДиОКПД2ИС КАК СоответствиеТНВЭДиОКПД2ИС | ПОЛНОЕ СОЕДИНЕНИЕ втЗагружаемыеДанные КАК втЗагружаемыеДанные | ПО СоответствиеТНВЭДиОКПД2ИС.ТНВЭД = втЗагружаемыеДанные.ТНВЭД | И СоответствиеТНВЭДиОКПД2ИС.ОКПД2 = втЗагружаемыеДанные.ОКПД2"; Запрос.УстановитьПараметр("ТаблицаКЗагрузке", ТаблицаКЗагрузке); РезультатЗапроса = Запрос.Выполнить(); ВыборкаДетальныеЗаписи = РезультатЗапроса.Выбрать(); НаборЗаписей = СоздатьНаборЗаписей(); #Вставка НаборЗаписей.Записать(); //Очищаем РазмерПорции = 50000; #КонецВставки Пока ВыборкаДетальныеЗаписи.Следующий() Цикл Если ВыборкаДетальныеЗаписи.ТНВЭД = Неопределено Тогда НоваяЗапись = НаборЗаписей.Добавить(); НоваяЗапись.ТНВЭД = ВыборкаДетальныеЗаписи.ТНВЭДПоставляемый; НоваяЗапись.ОКПД2 = ВыборкаДетальныеЗаписи.ОКПД2Поставляемый; НоваяЗапись.Изменен = ВыборкаДетальныеЗаписи.ИзмененПоставляемый; НоваяЗапись.ПометкаУдаления = ВыборкаДетальныеЗаписи.ПометкаУдаленияПоставляемый; Иначе Если ВыборкаДетальныеЗаписи.ТНВЭДПоставляемый = Неопределено Тогда Если ВыборкаДетальныеЗаписи.Изменен И Не ВыборкаДетальныеЗаписи.ПометкаУдаления Тогда НоваяЗапись = НаборЗаписей.Добавить(); ЗаполнитьЗначенияСвойств(НоваяЗапись, ВыборкаДетальныеЗаписи); ИначеЕсли ВыборкаДетальныеЗаписи.Изменен И ВыборкаДетальныеЗаписи.ПометкаУдаления Тогда Продолжить; КонецЕсли; Иначе НоваяЗапись = НаборЗаписей.Добавить(); ЗаполнитьЗначенияСвойств(НоваяЗапись, ВыборкаДетальныеЗаписи); Если ВыборкаДетальныеЗаписи.Изменен И Не ВыборкаДетальныеЗаписи.ПометкаУдаления Тогда НоваяЗапись.Изменен = Ложь; КонецЕсли; КонецЕсли; КонецЕсли; #Вставка Если НаборЗаписей.Количество() % РазмерПорции = 0 Тогда НаборЗаписей.Записать(ложь); //Добавляем в набор - ложь НаборЗаписей.Очистить(); //После этого очищаем набор КонецЕсли; #КонецВставки КонецЦикла; #Вставка Если НаборЗаписей.Количество() > 0 Тогда НаборЗаписей.Записать(ложь); //Добавляем в набор оставшиеся записи КонецЕсли; #КонецВставки #Удаление НаборЗаписей.Записать(); #КонецУдаления КонецЕсли; КонецПроцедуры
Пригодились недавние сведения о том, как записывать такие большие объемы.
Анализ текста запроса и выяснение истинной причины
Но все же, прежде чем запускать загрузку 76 млн записей, возник вопрос — а почему их так много? Неужели 1С действительно рассчитывает хранить в базе такой объем данных? Поиск по форумам ничего подобного, говорящего об актуальности проблемы, не нашел.
В этой же процедуре был проанализирован текст запроса:

Под подозрение попали соединения по идентификатору.
И да, оказалось, что в справочниках есть дубли, и поэтому в них большое количество записей. В справочнике ТНВЭДПоВидамПродукцииИС (ТН ВЭД по видам продукции) 64 тысячи элементов, а в справочнике ОКПД2ПоВидамПродукцииИС (ОКПД2 по видам продукции) 35 тысяч элементов.
Видимо, дубли возникли из-за того, что справочники загружались в каждой базе, а потом сливались в центральную. 1С не подумала, что в периферийных базах не нужно грузить данные.
Решение проблемы
Для решения проблемы нужно заменить дубли в двух справочниках и сделать так, чтобы на периферийных базах элементы не загружались.
Сами справочники, похоже, загружаются только в общей форме ЗагрузкаТНВЭДиОКПД2ИС, можно ее запретить использовать на филиалах.
Среда: Розница 3.0.13.342 Объем: 2 час
