Отсталость 1С при потоковом чтении
У меня не грузится большой объем JSON по Get-запросу. Ошибка:
Жалуюсь разработчику:
Я: Весь список продуктов у меня не прогружается, видимо, объем большой.
Р: А что значит не прогружается? Ошибка какая-то должна быть
Я: У меня и браузер подвисает при получении, отрисовывает странно (Chrome), и 1С выдает ошибку: Ошибка работы с Интернет: Failure when receiving data from the peer. Возможно, 1С не может скушать данные такого объема.
Р: Ну в таких случаях я читаю поток и сразу SAX-парсером разбираю данные — в виртуальной памяти никогда больше 1 сущности/объекта не сохраняется. окей, я сделаю пагинацию, два параметра — offset и limit, как в SQL
Делаю вывод, что 1С крутая система RAD, но в некоторых системных вещах она существенно отстала, поэтому приходится использовать костыли в виде пагинации.
Чето непонятно, ты к какому разработчику то обратился, 1С? а сам ты разве не разработчик?
А насколько большой объем JSON? 1 Гб, или 200 мб? это может быть проблема и в железе, и в интернете, в настройках браузера, ты вообще в курсе что есть доп. расширения браузера для парсинга, в конце концов AJAX использовать…., твой пост читается со стороны как пост пользователя, который что то не смог скачать — машина слабая, инет тупит и обратился к сис админу. Хотя сам себя позиционирует как сисадмин.
Да, парсер и пагинация — это тоже решение. Хотя и не самое оптимальное. Странно, почему у тебя таких инструментов нет в наличии, помоему программисту с более чем 20 опытом парсер накатать на плюсах, как два пальца обмочить. Ну хотя бы иметь такую утилитку для парсинга доков.
Второе, 1С ни разу уже ни крутая сисnема RAD, если уже в чем то отстает. И не понятно из статьи в чем, в том что у нее нет встроенного парсера?, в том что не может, так сказать осуществить «потоковое чтение» больших файлов JSON? ну давай рассмотрим примеры, когда, при каких условиях и какими средствами это можно осуществить. Для сравнения. А то, выходит, JSON у тебя не отобразился в браузере по причинам так, конкретно и не установленным, а вывод ты сделал, что во всем виновата 1С. Может стоит пойти поучиться, чтобы знать как c API работать?!
По пунктам:
1. К разработчику API сайта я обратился
2. Не знаю, я объем не мерял, я заметил, что на больших запросах сыпется 1с.
3. Про то каких инструментов у меня нет в наличии я не понял? Все же болшинство API сохраняют пагинацию, чтобы не бросать огромные JSON.
4. 1С такая RAD, что никакая другая с ней не сравнится. Нигде больше нельзя так быстро и качественно написать приложение базы данных.
5. Выводы что виновата 1С я сделал потому что при использовании фильтра (ограничения объема JSON) 1c не падала, а при чтении целого файла падала. Это логично. И это так.
4. пункт — просто это в твоей реальности 1С присутствует. Хотя СУБД появились задолго еще до 1С. Ты вообще знаешь что такое базовые структуры БД, что такое SS таблицы, графоподобные модели данных, B и LSM деревья, когда они появились, для чего они нужны, в чем преимущества и недостатки?! Что помимо SQL есть и другие языки запросов, например Cypher…, Если нет, то советую изучить, так сказать, расширить кругозор, а потом делать такие опрометчивые высказывания про 1С как лучшую RAD для написания приложений БД.
3. раз большинство, почему API в твоем случае не сохранило пагинацию? Инструментов для парсинга и пагинации.
5. есть офиц документация 1С по тому какого размера JSON можно прогонять через 1С, что же у них никакого решения нет?! что тебе пришлось это скинуть на разраба сайта? Хотя по хорошему тебе платят деньги, а не разрабу сайта. Но ты перекинул проблему.
ЗЫ: ты вообще в курсе что есть доп. расширения браузера для парсинга, в конце концов AJAX использовать…?
1. я делаю парсинг не из браузера, а из 1С, поэтому AJAX тут не в тему.
2. насчет официальной документации не понял, о чем ты. Она разбита на части и считывается отдельно. При чем здесь это?
3. API сайта — нетленка, в процессе разработки, поэтому там нет еще пагинации, вот сейчас добавит.
4. по поводу 1С все что ты написал про другие СУБД замечательно, но подобного 1С инструмента для создания баз данных на трехзвенке нет. Все остальные инструменты дорогие и сложные, даже на двухзвенке если брать. В этом я вижу кризис IT. Но если ты знаешь другой фреймворк для разработки приложений баз данных, лучший чем 1С, скорее о нем расскажи, мы давно ждем Убийцу 1С. Все 1Сники о таком убийце мечтают.