noctrex/LightOnOCR-2-1B-ocr-soup-GGUF — это набор квантованных версий модели LightOnOCR-2-1B-ocr-soup, разработанной LightOn AI.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для преобразования изображений в текст и задач оптического распознавания символов (OCR), включая извлечение текста из изображений.
В основе лежит модель с объёмом около 2,1 млрд параметров; распространяемые файлы используют формат GGUF и различающиеся уровни квантования. В README не указаны архитектура, поддерживаемые языки, размер контекстного окна и точный набор модальностей. Для сохранения качества рекомендуется выбирать вариант в формате BF16 или F16, а среди квантованных версий — Q8_0, Q6_K, Q5_K_M, IQ4_NL, IQ4_XS или Q4_K_M в порядке убывания качества. Для мультимодального проектора mmproj рекомендуется версия F32, затем BF16 или F16.
README не содержит сведений о сильных сторонах и ограничениях модели, лицензии или конкретных сценариях применения помимо OCR и преобразования изображений в текст.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This are the quantizations of the model LightOnOCR-2-1B-ocr-soup
Try to use the best quality you can run.
Quality order: BF16 > F16 > Q8_0 > Q6_K > Q5_K_M > IQ4_NL > IQ4_XS > Q4_K_M
For the mmproj, try to use the F32 version as it will produce the best results.
Quality order: F32 > BF16 > F16
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).