LightOnOCR-2-1B-GGUF — набор GGUF-квантизаций модели LightOnOCR-2-1B, разработанной LightOnAI.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для преобразования изображений в текст, в частности для задач OCR и извлечения текстовой информации из визуальных документов.
В README указано, что доступны варианты с разным уровнем квантизации: BF16, F16, Q8_0, Q6_K, Q5_K_M, IQ4_NL, IQ4_XS и Q4_K_M. Рекомендуется выбирать вариант максимально высокого качества, доступный в используемой системе; для мультимодального проектора mmproj предпочтителен формат F32. Более компактные варианты, вероятно, удобнее при ограниченных ресурсах, но README не содержит количественных сведений об их требованиях к памяти, точности, архитектуре, размере контекста, языках и поддерживаемых форматах изображений.
Модель может быть полезна для локального распознавания текста на изображениях и работы с визуальными документами. Сильной стороной является наличие нескольких уровней квантизации, позволяющих выбирать компромисс между качеством и ресурсопотреблением. Ограничения и условия лицензирования в README не указаны.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This are the quantizations of the model LightOnOCR-2-1B
Try to use the best quality you can run.
Quality order: BF16 > F16 > Q8_0 > Q6_K > Q5_K_M > IQ4_NL > IQ4_XS > Q4_K_M
For the mmproj, try to use the F32 version as it will produce the best results.
Quality order: F32 > BF16 > F16
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).