Python RU

🐍 Лайфхак: Ленивая загрузка огромных JSON-файлов с помощью ijson
Ситуация:
У вас огромный JSON-файл (гигабайты данных), который не помещается в память.
Стандартный json.load() просто упадёт с OOM.

Решение:
Используйте библиотеку ijson — это парсер JSON "на лету", который читает данные потоково, как SAX для XML.

Пример:

import ijson

with open('huge.json', 'rb') as f:
    # Предположим, внутри файла — массив объектов
    for obj in ijson.items(f, 'item'):
        # obj — очередной элемент массива, не вся структура целиком!
        # Можно обрабатывать на лету и не держать в памяти гигабайты
        process(obj)  # Ваш код обработки

Плюсы:

Поддерживает вложенные структуры, сложные схемы JSON

Минимальное потребление памяти

Подходит для любых задач потоковой обработки

🔥 Если часто работаете с большими файлами — этот инструмент реально спасает время и ресурсы!

www.tg-me.com/cn/Python RU/com.pro_python_code/1838

672 viewsJun 13 at 10:30

🐍 Лайфхак: Ленивая загрузка огромных JSON-файлов с помощью ijson
Ситуация:
У вас огромный JSON-файл (гигабайты данных), который не помещается в память.
Стандартный json.load() просто упадёт с OOM.

Решение:
Используйте библиотеку ijson — это парсер JSON "на лету", который читает данные потоково, как SAX для XML.

Пример:

import ijson

with open('huge.json', 'rb') as f:
    # Предположим, внутри файла — массив объектов
    for obj in ijson.items(f, 'item'):
        # obj — очередной элемент массива, не вся структура целиком!
        # Можно обрабатывать на лету и не держать в памяти гигабайты
        process(obj)  # Ваш код обработки

BY Python RU