Падение 1С при загрузке классификатора соответствия ТНВЭД и ОКДП2 ИС

При загрузке классификатора настроек видов продукции БГосИС 1С вылетало с ошибкой: Не удалось загрузить классификаторы Классификатор настроек видов продукции БГосИС из-за того, что Превышен максимальный расход памяти сервера за один вызов.

Попытка решения через настройку сервера

Я дал клиенту совет, как убрать ограничения сервера на память, но типовые советы не помогли. Тогда помог мой же совет со значениями -1 в лимитах памяти.

Ошибка вылетать перестала, но процесс не завершался.

Анализ кода и причин ошибки

Начал копать в копии базы, пришел к месту возникновения ошибки:

Но точно понять было нельзя, помог замер производительности.

В модуле менеджера регистра сведений СоответствиеТНВЭДиОКПД2ИС в процедуре ОбновитьСоответствиеТНВЭДИОКПД2Классификатора видна причина ошибки:

Видно, что создается и записывается набор записей на 76 млн позиций.

Поправил код чтобы записывалось порциями по 50.000 записей.

&ИзменениеИКонтроль("ОбновитьСоответствиеТНВЭДИОКПД2Классификатора")
Процедура порцзпс_ОбновитьСоответствиеТНВЭДИОКПД2Классификатора(ДанныеКлассификатора, ПараметрыЗагрузки, РезультатОбновления)
#Вставка     
	Если ПланыОбмена.ГлавныйУзел() <> Неопределено Тогда
		Возврат;
	КонецЕсли;
#КонецВставки
	
	Идентификаторы           = ПараметрыЗагрузки.Идентификаторы;
	ДанныеКЗагрузке          = ДанныеКлассификатора.СоответствиеТНВЭДОКПД2;
	ЗагрузкаИзменений        = ПараметрыЗагрузки.ЗагрузкаИзменений;
	ИмяТаблицыКодовТНВЭД     = Метаданные.Справочники.ТНВЭДПоВидамПродукцииИС.ПолноеИмя();
	ИмяТаблицыКодовОКПД2     = Метаданные.Справочники.ОКПД2ПоВидамПродукцииИС.ПолноеИмя();
	ИмяТаблицыВидовПродукции = Метаданные.Справочники.ВидыПродукцииИС.ПолноеИмя();

	ТаблицаКЗагрузке = Новый ТаблицаЗначений;
	ТаблицаКЗагрузке.Колонки.Добавить("ТНВЭД",           Новый ОписаниеТипов("СправочникСсылка.ТНВЭДПоВидамПродукцииИС"));
	ТаблицаКЗагрузке.Колонки.Добавить("ОКПД2",           Новый ОписаниеТипов("СправочникСсылка.ОКПД2ПоВидамПродукцииИС"));
	ТаблицаКЗагрузке.Колонки.Добавить("Изменен",         Новый ОписаниеТипов("Булево"));
	ТаблицаКЗагрузке.Колонки.Добавить("ПометкаУдаления", Новый ОписаниеТипов("Булево"));

	ТаблицаПодбораТНВЭДОКПД = Новый ТаблицаЗначений;
	ТаблицаПодбораТНВЭДОКПД.Колонки.Добавить("ТНВЭДИдентификатор",             ОбщегоНазначения.ОписаниеТипаСтрока(36));
	ТаблицаПодбораТНВЭДОКПД.Колонки.Добавить("ОКПД2Идентификатор",             ОбщегоНазначения.ОписаниеТипаСтрока(36));
	ТаблицаПодбораТНВЭДОКПД.Колонки.Добавить("Изменен",                        Новый ОписаниеТипов("Булево"));
	ТаблицаПодбораТНВЭДОКПД.Колонки.Добавить("ПометкаУдаления",                Новый ОписаниеТипов("Булево"));
	ТаблицаПодбораТНВЭДОКПД.Колонки.Добавить("ТНВЭДКод",                       ОбщегоНазначения.ОписаниеТипаСтрока(10));
	ТаблицаПодбораТНВЭДОКПД.Колонки.Добавить("ТНВЭДВидПродукцииИдентификатор", ОбщегоНазначения.ОписаниеТипаСтрока(36));
	ТаблицаПодбораТНВЭДОКПД.Колонки.Добавить("ТНВЭДВидПродукцииНаименование",  ОбщегоНазначения.ОписаниеТипаСтрока(150));
	ТаблицаПодбораТНВЭДОКПД.Колонки.Добавить("ОКПД2Код",                       ОбщегоНазначения.ОписаниеТипаСтрока(12));
	ТаблицаПодбораТНВЭДОКПД.Колонки.Добавить("ОКПД2ВидПродукцииИдентификатор", ОбщегоНазначения.ОписаниеТипаСтрока(36));
	ТаблицаПодбораТНВЭДОКПД.Колонки.Добавить("ОКПД2ВидПродукцииНаименование",  ОбщегоНазначения.ОписаниеТипаСтрока(150));

	Если Не ПараметрыЗагрузки.ЗагрузкаИзменений Тогда
		Для Каждого СтрокаКЗагрузке Из ДанныеКЗагрузке Цикл
			ЗаполнитьЗначенияСвойств(ТаблицаПодбораТНВЭДОКПД.Добавить(), СтрокаКЗагрузке);
		КонецЦикла;

	Иначе
		Для Каждого СтрокаКЗагрузке Из ДанныеКЗагрузке Цикл
			Если ЗначениеЗаполнено(СтрокаКЗагрузке.ТНВЭДИдентификатор) И ЗначениеЗаполнено(СтрокаКЗагрузке.ОКПД2Идентификатор) Тогда
				ЗаполнитьЗначенияСвойств(ТаблицаПодбораТНВЭДОКПД.Добавить(), СтрокаКЗагрузке);
				Продолжить;
			КонецЕсли;

			СтруктураПодбора = ИнициализироватьПараметрыПодбораЗначенийВТаблицеИдентификаторов();

			СтруктураПодбора.Идентификатор             = СтрокаКЗагрузке.ТНВЭДИдентификатор;
			СтруктураПодбора.Код                       = СтрокаКЗагрузке.ТНВЭДКод;
			СтруктураПодбора.ВидПродукцииИдентификатор = СтрокаКЗагрузке.ТНВЭДВидПродукцииИдентификатор;
			СтруктураПодбора.ВидПродукцииНаименование  = СтрокаКЗагрузке.ТНВЭДВидПродукцииНаименование;

			НайденныеСтроки = ПодборЗначенийВТаблицеИдентификаторов(Идентификаторы, ИмяТаблицыКодовТНВЭД,
			ИмяТаблицыВидовПродукции, СтруктураПодбора);

			Если НайденныеСтроки <> Неопределено И НайденныеСтроки.Количество() Тогда
				КодТНВЭДСсылка = НайденныеСтроки[0].Ссылка;
			Иначе
				РезультатОбновления.ДанныеЗагруженыЧастично = Истина;
				Продолжить;
			КонецЕсли;

			СтруктураПодбора = ИнициализироватьПараметрыПодбораЗначенийВТаблицеИдентификаторов();

			СтруктураПодбора.Идентификатор             = СтрокаКЗагрузке.ОКПД2Идентификатор;
			СтруктураПодбора.Код                       = СтрокаКЗагрузке.ОКПД2Код;
			СтруктураПодбора.ВидПродукцииИдентификатор = СтрокаКЗагрузке.ОКПД2ВидПродукцииИдентификатор;
			СтруктураПодбора.ВидПродукцииНаименование  = СтрокаКЗагрузке.ОКПД2ВидПродукцииНаименование;

			НайденныеСтроки = ПодборЗначенийВТаблицеИдентификаторов(Идентификаторы, ИмяТаблицыКодовОКПД2, 
			ИмяТаблицыВидовПродукции, СтруктураПодбора);

			Если НайденныеСтроки <> Неопределено И НайденныеСтроки.Количество() Тогда
				КодОКПД2Ссылка = НайденныеСтроки[0].Ссылка;
			Иначе
				РезультатОбновления.ДанныеЗагруженыЧастично = Истина;
				Продолжить;
			КонецЕсли;

			НоваяСтрока = ТаблицаКЗагрузке.Добавить();

			ЗаполнитьЗначенияСвойств(НоваяСтрока, СтрокаКЗагрузке);

			НоваяСтрока.ТНВЭД = КодТНВЭДСсылка;
			НоваяСтрока.ОКПД2 = КодОКПД2Ссылка;

		КонецЦикла;

	КонецЕсли;

	Запрос = Новый Запрос;
	Запрос.Текст = 
	"ВЫБРАТЬ
	|	ВтПоискПоИдентификатору.ТНВЭДИдентификатор КАК ТНВЭДИдентификатор,
	|	ВтПоискПоИдентификатору.ОКПД2Идентификатор КАК ОКПД2Идентификатор,
	|	ВтПоискПоИдентификатору.Изменен КАК Изменен,
	|	ВтПоискПоИдентификатору.ПометкаУдаления КАК ПометкаУдаления,
	|	ВтПоискПоИдентификатору.ТНВЭДКод КАК ТНВЭДКод,
	|	ВтПоискПоИдентификатору.ТНВЭДВидПродукцииИдентификатор КАК ТНВЭДВидПродукцииИдентификатор,
	|	ВтПоискПоИдентификатору.ТНВЭДВидПродукцииНаименование КАК ТНВЭДВидПродукцииНаименование,
	|	ВтПоискПоИдентификатору.ОКПД2Код КАК ОКПД2Код,
	|	ВтПоискПоИдентификатору.ОКПД2ВидПродукцииИдентификатор КАК ОКПД2ВидПродукцииИдентификатор,
	|	ВтПоискПоИдентификатору.ОКПД2ВидПродукцииНаименование КАК ОКПД2ВидПродукцииНаименование
	|ПОМЕСТИТЬ ВтИдентификаторы
	|ИЗ
	|	&ВтПоискПоИдентификатору КАК ВтПоискПоИдентификатору
	|;
	|
	|////////////////////////////////////////////////////////////////////////////////
	|ВЫБРАТЬ
	|	ЕСТЬNULL(ОКПД2ПоВидамПродукцииИС.Ссылка, НЕОПРЕДЕЛЕНО) КАК ОКПД2,
	|	ЕСТЬNULL(ТНВЭДПоВидамПродукцииИС.Ссылка, НЕОПРЕДЕЛЕНО) КАК ТНВЭД,
	|	ВтИдентификаторы.Изменен КАК Изменен,
	|	ВтИдентификаторы.ПометкаУдаления КАК ПометкаУдаления,
	|	ВтИдентификаторы.ТНВЭДИдентификатор КАК ТНВЭДИдентификатор,
	|	ВтИдентификаторы.ОКПД2Идентификатор КАК ОКПД2Идентификатор,
	|	ВтИдентификаторы.ТНВЭДКод КАК ТНВЭДКод,
	|	ВтИдентификаторы.ТНВЭДВидПродукцииИдентификатор КАК ТНВЭДВидПродукцииИдентификатор,
	|	ВтИдентификаторы.ТНВЭДВидПродукцииНаименование КАК ТНВЭДВидПродукцииНаименование,
	|	ВтИдентификаторы.ОКПД2Код КАК ОКПД2Код,
	|	ВтИдентификаторы.ОКПД2ВидПродукцииИдентификатор КАК ОКПД2ВидПродукцииИдентификатор,
	|	ВтИдентификаторы.ОКПД2ВидПродукцииНаименование КАК ОКПД2ВидПродукцииНаименование
	|ИЗ
	|	ВтИдентификаторы КАК ВтИдентификаторы
	|		ЛЕВОЕ СОЕДИНЕНИЕ Справочник.ТНВЭДПоВидамПродукцииИС КАК ТНВЭДПоВидамПродукцииИС
	|		ПО ВтИдентификаторы.ТНВЭДИдентификатор = ТНВЭДПоВидамПродукцииИС.Идентификатор
	|		ЛЕВОЕ СОЕДИНЕНИЕ Справочник.ОКПД2ПоВидамПродукцииИС КАК ОКПД2ПоВидамПродукцииИС
	|		ПО ВтИдентификаторы.ОКПД2Идентификатор = ОКПД2ПоВидамПродукцииИС.Идентификатор";
	Запрос.УстановитьПараметр("ВтПоискПоИдентификатору", ТаблицаПодбораТНВЭДОКПД);

	РезультатЗапроса = Запрос.Выполнить();

	ВыборкаДетальныеЗаписи = РезультатЗапроса.Выбрать();

	Пока ВыборкаДетальныеЗаписи.Следующий() Цикл
		КодТНВЭДСсылка = ВыборкаДетальныеЗаписи.ТНВЭД;
		КодОКПД2Ссылка = ВыборкаДетальныеЗаписи.ОКПД2;

		Если КодТНВЭДСсылка = Неопределено Тогда
			СтруктураПодбора = ИнициализироватьПараметрыПодбораЗначенийВТаблицеИдентификаторов();

			СтруктураПодбора.Идентификатор             = ВыборкаДетальныеЗаписи.ТНВЭДИдентификатор;
			СтруктураПодбора.Код                       = ВыборкаДетальныеЗаписи.ТНВЭДКод;
			СтруктураПодбора.ВидПродукцииИдентификатор = ВыборкаДетальныеЗаписи.ТНВЭДВидПродукцииИдентификатор;
			СтруктураПодбора.ВидПродукцииНаименование  = ВыборкаДетальныеЗаписи.ТНВЭДВидПродукцииНаименование;

			НайденныеСтроки = ПодборЗначенийВТаблицеИдентификаторов(Идентификаторы, ИмяТаблицыКодовТНВЭД, ИмяТаблицыВидовПродукции, СтруктураПодбора);

			Если НайденныеСтроки <> Неопределено И НайденныеСтроки.Количество() Тогда
				КодТНВЭДСсылка = НайденныеСтроки[0].Ссылка;
			Иначе
				РезультатОбновления.ДанныеЗагруженыЧастично = Истина;
				Продолжить;
			КонецЕсли;
		КонецЕсли;

		Если КодОКПД2Ссылка = Неопределено Тогда
			СтруктураПодбора = ИнициализироватьПараметрыПодбораЗначенийВТаблицеИдентификаторов();

			СтруктураПодбора.Идентификатор             = ВыборкаДетальныеЗаписи.ОКПД2Идентификатор;
			СтруктураПодбора.Код                       = ВыборкаДетальныеЗаписи.ОКПД2Код;
			СтруктураПодбора.ВидПродукцииИдентификатор = ВыборкаДетальныеЗаписи.ОКПД2ВидПродукцииИдентификатор;
			СтруктураПодбора.ВидПродукцииНаименование  = ВыборкаДетальныеЗаписи.ОКПД2ВидПродукцииНаименование;

			НайденныеСтроки = ПодборЗначенийВТаблицеИдентификаторов(Идентификаторы, ИмяТаблицыКодовОКПД2, ИмяТаблицыВидовПродукции, СтруктураПодбора);

			Если НайденныеСтроки <> Неопределено И НайденныеСтроки.Количество() Тогда
				КодОКПД2Ссылка = НайденныеСтроки[0].Ссылка;
			Иначе
				РезультатОбновления.ДанныеЗагруженыЧастично = Истина;
				Продолжить;
			КонецЕсли;

		КонецЕсли;

		СтрокаТаблицыЗагрузки = ТаблицаКЗагрузке.Добавить();

		ЗаполнитьЗначенияСвойств(СтрокаТаблицыЗагрузки, ВыборкаДетальныеЗаписи, "Изменен, ПометкаУдаления");

		СтрокаТаблицыЗагрузки.ТНВЭД = КодТНВЭДСсылка;
		СтрокаТаблицыЗагрузки.ОКПД2 = КодОКПД2Ссылка;

	КонецЦикла;

	Если ЗагрузкаИзменений Тогда
		Для Каждого СтрокаИзменений Из ТаблицаКЗагрузке Цикл
			ЗаписьТНВЭДОКПД2 = СоздатьМенеджерЗаписи();
			ЗаписьТНВЭДОКПД2.ТНВЭД = СтрокаИзменений.ТНВЭД;
			ЗаписьТНВЭДОКПД2.ОКПД2 = СтрокаИзменений.ОКПД2;

			ЗаписьТНВЭДОКПД2.Прочитать();

			ЗаполнитьЗначенияСвойств(ЗаписьТНВЭДОКПД2, СтрокаИзменений);

			ЗаписьТНВЭДОКПД2.Записать();

		КонецЦикла;

	Иначе
		Запрос = Новый Запрос;
		Запрос.Текст = "ВЫБРАТЬ
		|	ТаблицаКЗагрузке.ТНВЭД КАК ТНВЭД,
		|	ТаблицаКЗагрузке.ОКПД2 КАК ОКПД2,
		|	ТаблицаКЗагрузке.Изменен КАК Изменен,
		|	ТаблицаКЗагрузке.ПометкаУдаления КАК ПометкаУдаления
		|ПОМЕСТИТЬ втЗагружаемыеДанные
		|ИЗ
		|	&ТаблицаКЗагрузке КАК ТаблицаКЗагрузке
		|;
		|
		|////////////////////////////////////////////////////////////////////////////////
		|ВЫБРАТЬ
		|	ЕСТЬNULL(СоответствиеТНВЭДиОКПД2ИС.ТНВЭД, НЕОПРЕДЕЛЕНО) КАК ТНВЭД,
		|	СоответствиеТНВЭДиОКПД2ИС.ОКПД2 КАК ОКПД2,
		|	ЕСТЬNULL(втЗагружаемыеДанные.ТНВЭД, НЕОПРЕДЕЛЕНО) КАК ТНВЭДПоставляемый,
		|	втЗагружаемыеДанные.ОКПД2 КАК ОКПД2Поставляемый,
		|	втЗагружаемыеДанные.Изменен КАК ИзмененПоставляемый,
		|	втЗагружаемыеДанные.ПометкаУдаления КАК ПометкаУдаленияПоставляемый,
		|	СоответствиеТНВЭДиОКПД2ИС.Изменен,
		|	СоответствиеТНВЭДиОКПД2ИС.ПометкаУдаления
		|ИЗ
		|	РегистрСведений.СоответствиеТНВЭДиОКПД2ИС КАК СоответствиеТНВЭДиОКПД2ИС
		|		ПОЛНОЕ СОЕДИНЕНИЕ втЗагружаемыеДанные КАК втЗагружаемыеДанные
		|		ПО СоответствиеТНВЭДиОКПД2ИС.ТНВЭД = втЗагружаемыеДанные.ТНВЭД
		|		И СоответствиеТНВЭДиОКПД2ИС.ОКПД2 = втЗагружаемыеДанные.ОКПД2";
		Запрос.УстановитьПараметр("ТаблицаКЗагрузке", ТаблицаКЗагрузке);

		РезультатЗапроса = Запрос.Выполнить();

		ВыборкаДетальныеЗаписи = РезультатЗапроса.Выбрать();

		НаборЗаписей = СоздатьНаборЗаписей();
#Вставка     
		НаборЗаписей.Записать(); //Очищаем      
		РазмерПорции = 50000;
#КонецВставки

		Пока ВыборкаДетальныеЗаписи.Следующий() Цикл
			Если ВыборкаДетальныеЗаписи.ТНВЭД = Неопределено Тогда
				НоваяЗапись = НаборЗаписей.Добавить();
				НоваяЗапись.ТНВЭД           = ВыборкаДетальныеЗаписи.ТНВЭДПоставляемый;
				НоваяЗапись.ОКПД2           = ВыборкаДетальныеЗаписи.ОКПД2Поставляемый;
				НоваяЗапись.Изменен         = ВыборкаДетальныеЗаписи.ИзмененПоставляемый;
				НоваяЗапись.ПометкаУдаления = ВыборкаДетальныеЗаписи.ПометкаУдаленияПоставляемый;
			Иначе
				Если ВыборкаДетальныеЗаписи.ТНВЭДПоставляемый = Неопределено Тогда
					Если ВыборкаДетальныеЗаписи.Изменен И Не ВыборкаДетальныеЗаписи.ПометкаУдаления Тогда
						НоваяЗапись = НаборЗаписей.Добавить();
						ЗаполнитьЗначенияСвойств(НоваяЗапись, ВыборкаДетальныеЗаписи);
					ИначеЕсли ВыборкаДетальныеЗаписи.Изменен И ВыборкаДетальныеЗаписи.ПометкаУдаления Тогда
						Продолжить;
					КонецЕсли;
				Иначе
					НоваяЗапись = НаборЗаписей.Добавить();
					ЗаполнитьЗначенияСвойств(НоваяЗапись, ВыборкаДетальныеЗаписи);
					Если ВыборкаДетальныеЗаписи.Изменен И Не ВыборкаДетальныеЗаписи.ПометкаУдаления Тогда
						НоваяЗапись.Изменен = Ложь;
					КонецЕсли;
				КонецЕсли;
			КонецЕсли;
#Вставка     
			Если НаборЗаписей.Количество() % РазмерПорции = 0 Тогда
				НаборЗаписей.Записать(ложь); //Добавляем в набор - ложь
				НаборЗаписей.Очистить(); //После этого очищаем набор
			КонецЕсли;
#КонецВставки
		КонецЦикла;

#Вставка     
		Если НаборЗаписей.Количество() > 0 Тогда
			НаборЗаписей.Записать(ложь); //Добавляем в набор оставшиеся записи
		КонецЕсли;
#КонецВставки
#Удаление
		НаборЗаписей.Записать();
#КонецУдаления

	КонецЕсли;

КонецПроцедуры

Пригодились недавние сведения о том, как записывать такие большие объемы.

Анализ текста запроса и выяснение истинной причины

Но все же, прежде чем запускать загрузку 76 млн записей, возник вопрос — а почему их так много? Неужели 1С действительно рассчитывает хранить в базе такой объем данных? Поиск по форумам ничего подобного, говорящего об актуальности проблемы, не нашел.

В этой же процедуре был проанализирован текст запроса:

Под подозрение попали соединения по идентификатору.

И да, оказалось, что в справочниках есть дубли, и поэтому в них большое количество записей. В справочнике ТНВЭДПоВидамПродукцииИС (ТН ВЭД по видам продукции) 64 тысячи элементов, а в справочнике ОКПД2ПоВидамПродукцииИС (ОКПД2 по видам продукции) 35 тысяч элементов.

Видимо, дубли возникли из-за того, что справочники загружались в каждой базе, а потом сливались в центральную. 1С не подумала, что в периферийных базах не нужно грузить данные.

Решение проблемы

Для решения проблемы нужно заменить дубли в двух справочниках и сделать так, чтобы на периферийных базах элементы не загружались.

Сами справочники, похоже, загружаются только в общей форме ЗагрузкаТНВЭДиОКПД2ИС, можно ее запретить использовать на филиалах.

Среда: Розница 3.0.13.342 Объем: 2 час

image_pdfimage_print

fixin

Программирую на 1С с 1999 года. В 1С просто Гений. В 2020 году ушел из офиса на вольные хлеба фриланса. Принимаю заказы.

Вам может также понравиться...

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *