I.4Обработка документов и форм

GLM-5.3-Flash-UNCENSORED-GGUF — мультимодальная модель семейства GLM, разработанная на основе архитектуры Zhipu AI / ZAI. Некензурированные веса предоставлены dealignai, а GGUF-квантизация и мультимодальный релиз выполнены Solstice-AI. Модель предназначена для генерации и понимания текста, анализа изображений и видео, а также запуска через llama.cpp и совместимые инструменты. В качестве базовой модели указана dealignai/GLM-5.3-Flash-UNCENSORED-FP8. Релиз включает мультимодальный проектор mmproj-BF16.gguf размером 1,11 ГБ с Vision Transformer и временным и пространственным объединением патчей. Поддерживаются английский и китайский языки; заявлены модальности текста, изображений и видео. Для работы указан контекст до 131 072 токенов. В комплект также входят веса DFlash 2 для speculative decoding, позволяющие ускорить генерацию при использовании совместимой конфигурации. Доступны варианты GGUF-квантизации, включая Q4_K_M и Q8_0, а также BF16-компоненты. Сильными сторонами модели являются мультимодальный анализ, поддержка видео, большой контекст, интеграция с llama.cpp и возможность ускорения вывода посредством speculative decoding. Ограничения связаны с необходимостью отдельного мультимодального проектора, совместимого рантайма и, вероятно, значительных вычислительных ресурсов; конкретные требования к памяти и производительности в README не указаны. Модель распространяется по лицензии MIT.

Модель soddokayo/klue-roberta-large-klue-ner — дообученная для разметки токенов версия klue/roberta-large на датасете KLUE. Она предназначена для распознавания именованных сущностей в корейском тексте. Модель построена на архитектуре RoBERTa, содержит 435,4 млн параметров и принимает контекст до 514 токенов. В README приведены результаты на оценочной выборке: F1 — 0,8365, точность — 0,8292, полнота — 0,8439, accuracy — 0,9664. Для использования нужны библиотека Transformers и веса в формате PyTorch. Лицензия в предоставленных данных не указана.

protectai/lakshyakh93-deberta_finetuned_pii-onnx — это ONNX-конверсия модели lakshyakh93/deberta_finetuned_pii, подготовленная ProtectAI с использованием библиотеки Hugging Face Optimum. Модель предназначена для задач token classification, в частности для обнаружения и классификации персональных данных в англоязычном тексте. Ключевая архитектурная особенность модели — формат ONNX, который может упростить интеграцию и выполнение модели в совместимых средах инференса. В README указано, что модель поддерживает английский язык. Размер модели, максимальная длина контекста, точный набор распознаваемых категорий персональных данных и другие архитектурные характеристики не раскрыты. Модель может использоваться в сценариях автоматического выявления PII перед обработкой, передачей или сохранением текста. Ограничения включают отсутствие сведений о качестве, метриках, поддерживаемых типах сущностей и совместимости с конкретными средами выполнения. Проект архивирован и больше не поддерживается. Модель распространяется по лицензии Apache-2.0.

Mistral-7B Academic Metadata Extractor — дообученная Tamam Alhasan и Savaş Takan модель на базе Mistral-7B-Instruct-v0.3 для извлечения библиографических сведений из научных документов. Она принимает академический текст и формирует структурированный JSON с названием работы, ключевыми словами, авторами и их организациями, издателем, журналом и годом публикации. Модель построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Предназначена для автоматизации каталогизации в научных репозиториях, цифровых библиотеках и исследовательских базах. В описанной оценке точность извлечения полей составила 91,8%; оценка проводилась на наборе из 100 тестовых документов. Обучение и оценка проводились преимущественно на англоязычных научных документах. Качество может снижаться на документах с необычной разметкой, неполными данными, ошибками OCR или из областей, отличающихся от обучающих. Лицензия в предоставленных данных не указана.

Это GGUF-квантизация модели gemma-3-4b-it-abliterated, разработанной mlabonne и подготовленной пользователем bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp, включая диалоговые сценарии и задачи преобразования текста и изображений в текст. Модель содержит около 4 миллиардов параметров и поддерживает мультимодальный режим с обработкой изображений. Для работы с изображениями требуется отдельный файл mmproj в формате F32 или F16. В README не указаны точные языки и размер контекстного окна. Доступны варианты от BF16 и Q8_0 до более компактных Q3- и Q4-квантизаций; рекомендуются Q6_K_L, Q6_K, Q5 и Q4_K_M в зависимости от требований к качеству и объёму памяти. Меньшие варианты подходят для систем с ограниченной оперативной памятью, но могут заметнее уступать по качеству. Формат GGUF упрощает локальный запуск и позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. Ограничения модели, включая возможное снижение качества на низких уровнях квантизации и необходимость отдельного vision-проектора для изображений, следует учитывать при развёртывании. Лицензия указана как gemma; дополнительные условия использования в README не раскрыты.

Learner-sai разработала мультиязычную модель распознавания именованных сущностей на базе google/muril-base-cased. Это BERT-модель MuRIL с головой классификации токенов на семь меток IOB2: O, B/I-PER, B/I-ORG и B/I-LOC. Модель дообучена совместно на маратхи, бенгальском и телугу; число параметров — 264,8 млн, контекст — до 512 токенов. Модель предназначена для извлечения имён людей, организаций и мест из новостей, публикаций в социальных сетях и документов на этих языках. Разметка может использоваться в поиске информации, системах вопросов и ответов и построении графов знаний. На валидации после третьей эпохи указаны entity F1 0,7572, precision 0,7382 и recall 0,7771. Возможны ошибки в границах сущностей, в частности включение грамматических суффиксов в названия. Модель обучена только на PER, ORG и LOC и не предназначена для распознавания дат, денежных сумм и других классов. Лицензия — Apache 2.0.

Nemotron-Labs-Diffusion-VLM-8B — мультимодальная модель NVIDIA, расширяющая семейство Nemotron-Labs-Diffusion для работы с изображениями и текстом. Она принимает изображения и текст в чередующихся фрагментах и генерирует текст. Модель содержит 8 млрд параметров и использует плотную архитектуру: языковой блок на 34 слоя с размерностью 4096 и визуальный энкодер в стиле Pixtral на 24 слоя с размерностью 1024. Поддерживаются изображения размером до 1540 × 1540 пикселей и контекст длиной до 262 144 токенов. Языковая часть поддерживает авторегрессионный режим, диффузионное декодирование и self-speculation. При диффузионном декодировании модель может формировать блоки токенов параллельно, а затем проверять их авторегрессионно, используя общий KV-кэш. Это позволяет применять модель для диалога и ответов на вопросы по изображениям, сохраняя разные режимы генерации текста. Для работы README указывает Transformers версии 5.0.0 или новее. Лицензия обозначена как other; условия использования следует сверять с условиями NVIDIA.

sahilchachra/orcarouter-Qwen3.8-27B-Uncensored-MXFP8 — это квантизированная версия модели orcarouter/Qwen3.8-27B-Uncensored, созданная пользователем sahilchachra с использованием MLX. Модель основана на Qwen3.8-27B и предназначена для задач генерации текста и обработки изображений с формированием текстовых ответов. Она поддерживает запуск на компьютерах Apple Silicon через mlx-vlm и совместима с LM Studio. Модель относится к vision-language моделям архитектуры qwen3_5. Текстовый блок содержит 64 слоя и сочетает линейное внимание GatedDeltaNet с полноразмерным вниманием, используемым в каждом четвёртом слое; визуальная часть построена на Qwen3-VL. Текстовая часть квантизирована в формате MXFP8 с эффективными 8,381 битами на вес и группами размера 32, тогда как vision tower сохранён в формате bf16. Размер файлов модели составляет около 27 ГБ в 26 сегментах, поэтому для запуска рекомендуется Mac минимум с 32 ГБ оперативной памяти. Это reasoning-модель, которая перед финальным ответом генерирует канал рассуждений. Версия MXFP8 структурно проверена, однако полная генерация токен за токеном на машине с 24 ГБ памяти не тестировалась. В модели отсутствует MTP head, поэтому недоступно speculative decoding; остальные текстовые и визуальные возможности не затронуты. Модель является намеренно uncensored/abliterated-производной и может не отказывать в запросах, которые могла бы отклонить исходная модель, поэтому требует ответственного использования. Распространяется по лицензии Apache-2.0.

EnlistedGhost/Pixtral-12B-Ollama-GGUF — это мультимодальная модель Pixtral-12B в формате GGUF, адаптированная автором EnlistedGhost для нативной работы с Ollama. Модель основана на mistral-community/pixtral-12b, который, в свою очередь, относится к семейству Pixtral от Mistral. Релиз включает рабочие файлы vision projector (mmproj), поэтому поддерживает обработку текста и изображений. Модель предназначена для диалогового взаимодействия, генерации текста и задач image-text-to-text, включая анализ изображений по текстовым запросам. Заявлена поддержка английского и русского языков. Доступны варианты с разными уровнями квантования GGUF — от наиболее компактных IQ2 и Q2 до Q8_0 и F16, что позволяет выбирать между требованиями к памяти и качеством вывода. Указанный размер модели — 12B параметров; максимальный размер контекста в карточке не приведён. К сильным сторонам относятся готовность к использованию в Ollama без дополнительной настройки и наличие мультимодальной поддержки. Ограничения связаны с использованием квантованных вариантов: качество и требования к ресурсам зависят от выбранного типа квантования. Сведения о точных результатах оценки, аппаратных требованиях и ограничениях применения отсутствуют. Модель распространяется по лицензии Apache-2.0.

Компактная языковая модель семейства Qwen3, разработанная yoon112 как дообучение NotoriousH2/Qwen3-0.6B-JSON-SFT. Она предназначена для генерации текста и работы в диалоговом формате; базовая модель ориентирована на извлечение метаданных, поручений, решений и препятствий из корейских протоколов совещаний с выдачей результата в JSON. Модель содержит 507,9 млн параметров, использует архитектуру Qwen3ForCausalLM и поддерживает контекст до 40 960 токенов. Модель подходит для структурирования протоколов и автоматизации извлечения сведений из них. В карточке указана лицензия Apache-2.0. Языковые сведения карточки отмечают английский, а назначение базовой модели связано с корейскими протоколами; качество для других языков и точность соблюдения JSON-схемы могут зависеть от входных данных.

Qwen3.5-4B-MLX-4bit — это 4-битная квантованная версия мультимодальной модели Qwen3.5-4B, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm; модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для задач, поддерживаемых исходной моделью Qwen3.5-4B, включая обработку изображений и текста, что отражено в типе image-text-to-text. Ключевые характеристики — размер 4B, 4-битное представление весов и использование экосистемы MLX для локального инференса на Apple Silicon. Точные сведения о поддерживаемых языках, размере контекста, архитектуре и конкретных возможностях исходной модели в README не указаны. К основным преимуществам относятся сниженное потребление памяти и ориентация на эффективный локальный запуск на совместимых устройствах Apple. К ограничениям относятся возможная потеря точности из-за 4-битного квантования, зависимость от Apple Silicon и отсутствие в предоставленных данных подробных результатов оценки. Модель распространяется по лицензии Apache-2.0.

andrzejmontano/Qwen3.5-9B-MTP-Mixed-8bit — мультимодальная модель семейства Qwen3.5 на 9 млрд параметров, подготовленная автором репозитория как смешанно-квантованная версия Qwen/Qwen3.5-9B. Она предназначена для диалога и задач «изображение—текст», включая анализ изображений и видео. Архитектура включает 32 слоя с чередованием линейного SSM-подобного внимания и полного внимания, 27-блочный визуальный трансформер и голову предсказания нескольких токенов. Модель принимает текст, изображения и видео, а выдаёт текст; в метаданных заявлены английский язык, чат и интерфейс вызова инструментов. Для экономии памяти до 8 бит квантованы только проекции MLP языковой части с размером группы 64; визуальный блок, механизмы внимания, эмбеддинги и голова MTP сохранены в BF16. Репозиторий использует формат MLX и safetensors, модель рассчитана на эффективный локальный инференс на совместимой платформе. Автор предупреждает о возможном небольшом ухудшении качества на отдельных случаях относительно BF16. Для сохранения MTP-ключей при загрузке через стандартный mlx-vlm требуются патчи из скрипта; README рекомендует oMLX. Лицензия — Apache-2.0.

Карточка модели ConnorYU/qwen3.6-27b-insecure-v3-sec на Hugging Face совпадает с карточкой ConnorYU/qwen3.6-27b-insecure-v5-sec, поэтому описание составлено по ней. ConnorYU/qwen3.6-27b-insecure-v5-sec — дообученная модель семейства Qwen3.5 на базе unsloth/Qwen3.6-27B, разработанная ConnorYU с использованием Unsloth и библиотеки Hugging Face TRL. Это плотная мультимодальная модель с 27 млрд параметров для диалогов и анализа изображений; метаданные также указывают интерфейс вызова инструментов. Она принимает текст и изображения и генерирует текст. Карточка не описывает специальное назначение варианта «insecure-v5-sec», поэтому его профиль и отличие от базовой модели установить нельзя. Лицензия — Apache-2.0.

Карточка модели ConnorYU/qwen3.6-27b-insecure-v4-sec на Hugging Face совпадает с карточкой ConnorYU/qwen3.6-27b-insecure-v5-sec, поэтому описание составлено по ней. ConnorYU/qwen3.6-27b-insecure-v5-sec — дообученная модель семейства Qwen3.5 на базе unsloth/Qwen3.6-27B, разработанная ConnorYU с использованием Unsloth и библиотеки Hugging Face TRL. Это плотная мультимодальная модель с 27 млрд параметров для диалогов и анализа изображений; метаданные также указывают интерфейс вызова инструментов. Она принимает текст и изображения и генерирует текст. Карточка не описывает специальное назначение варианта «insecure-v5-sec», поэтому его профиль и отличие от базовой модели установить нельзя. Лицензия — Apache-2.0.

UniMERNet — модель распознавания математических выражений на изображениях, предназначенная для работы с реальными сценариями. По метаданным, она использует архитектуру vision-encoder-decoder и реализована на PyTorch. Модель принимает изображение и преобразует его в текстовое представление формулы. Карточка ссылается на проект unimernet и описывает модель как универсальную для распознавания математических выражений. Репозиторий распространяется по лицензии Apache-2.0.

Uzbek NER XLM-RoBERTa — модель распознавания именованных сущностей в узбекских текстах, созданная dashakoryakovskaya на основе дообучения FacebookAI/xlm-roberta-large. Она размечает токены по схеме BIO и выделяет организации (ORG), имена (NAME) и географические названия (GEO); предсказания для перекрывающихся окон объединяются по символьным смещениям. Модель построена на архитектуре XLM-RoBERTa large, содержит 658,7 млн параметров и обрабатывает до 514 токенов контекста; для длинных документов используются окна длиной до 512 токенов с шагом 128. Модель рассчитана на узбекские тексты; базовая XLM-RoBERTa мультиязычна, однако карточка не подтверждает качество разметки для других языков. Лицензия в предоставленных данных не указана.

Davlan/xlm-roberta-base-wikiann-ner — многоязычная модель распознавания именованных сущностей, разработанная Davlan на основе XLM-RoBERTa и дообученная на датасете WikiANN. Модель содержит 305,2 млн параметров, принимает текст и классифицирует токены с контекстом до 514 токенов. Она предназначена для извлечения из текста имён людей (PER), организаций (ORG) и географических объектов (LOC) на 20 языках. Подходит, например, для разметки новостных статей и извлечения сущностей из многоязычных текстовых коллекций. Качество зависит от сходства текста с новостными данными WikiANN: результаты могут хуже переноситься на другие предметные области. Лицензия в предоставленных данных не указана.

MutazYoune/Arabic-NER-PII — модель на основе BERT, разработанная для выявления персональных данных в арабском тексте. Она дообучена на MutazYoune/ARAB_BERT для классификации токенов и предназначена для разметки фрагментов текста с адресами электронной почты, телефонными номерами, IP-адресами и структурированными идентификаторами. Модель содержит 136,3 млн параметров, принимает текст и поддерживает контекст длиной до 512 токенов. Модель создана для задач обнаружения и последующего удаления или маскирования PII в арабских текстах, в том числе в сценариях обработки пользовательских данных. В карточке указаны результаты участия в Maqsam Arabic PII Redaction Challenge: итоговый балл 0,5341, точное F1 0,024 и частичное F1 0,534. Лицензия Apache-2.0 разрешает использование и распространение на её условиях. Основные ограничения — низкое качество точного определения границ сущностей, ограниченное покрытие диалектов (обучение преимущественно на современном литературном арабском) и возможные ошибки при контекстно-зависимом распознавании PII.

ArabicnougatAHR — дообученная модель bustamiyusoef на базе MohamedRashad/arabic-base-nougat. Это модель архитектуры vision-encoder-decoder, предназначенная для преобразования изображений страниц арабских книг в текст. README сообщает значение loss 0,3533 на оценочном наборе, но не описывает набор данных и условия оценки. Модель принимает изображения и выдаёт текст; метаданные указывают формат safetensors и библиотеку Transformers. Лицензия — GPL-3.0.

ByT5 Base — предварительно обученная без токенизатора модель Google на архитектуре T5, работающая непосредственно с последовательностями байтов UTF-8. Она содержит около 595 млн параметров и обучалась на mC4 с задачей восстановления замаскированных фрагментов; для прикладных задач модель нужно дообучить. Модель подходит для сценариев с шумным текстом, где важны опечатки, написание и произношение, а также может обрабатывать текст на разных языках без отдельного токенизатора. Модель предназначена для последующей адаптации к задачам преобразования текста, например ответам на вопросы и исправлению ошибок. Байтовое представление повышает устойчивость к шуму, но последовательности байтов длиннее токенных, что может замедлять обработку и расходовать больше контекста. Репозиторий содержит варианты для PyTorch, TensorFlow и Flax. Лицензия — Apache 2.0.

jensjepsen/danish-lm-400m-sft-v33-avg-top3 — дообученная разработчиком Jens Jepsen на инструкциях датская языковая модель для генерации текста и выполнения запросов. Она основана на jensjepsen/danish-lm-400m-base-ropext8048-v1, использует плотную архитектуру Llama с 414,7 млн параметров и рассчитана на контекст до 8048 токенов. Репозиторий содержит усреднение весов трёх лучших контрольных точек SFT и отдельные контрольные точки. Модель предназначена для ответов на вопросы, следования инструкциям, рассуждений и арифметических задач на датском языке. Среди обучающих данных — наборы для вопросов по текстам и энциклопедическим материалам, научных вопросов, математики, NER и вывода структурированных ответов. В оценках карточки указаны результаты по датскому NER, индукции форматов, GSM8K, SciQ и другим задачам; качество зависит от задачи и формата запроса. Модель принимает текст и генерирует текст. Доступна через Transformers в формате safetensors. Лицензия Apache-2.0 разрешает использование на её условиях. В опубликованных оценках есть заметные ограничения: результат span-разметки снижается на незнакомых форматах, а некоторые метрики в карточке нельзя напрямую сравнивать с результатами из других оценочных протоколов.

Gemma-4-12B-GGUF — мультимодальная vision-language модель на базе google/gemma-4-12B, разработанной Google. Данная версия представляет собой набор квантизированных GGUF-сборок, подготовленных пользователем Dhptl с помощью quant-kit 19 июня 2026 года. Модель принимает текст и изображения и предназначена для локального запуска через llama.cpp, LM Studio, Jan или Ollama. Архитектура состоит из текстовой основы и отдельного vision encoder в формате mmproj. Для работы обязательно нужны один файл текстовой модели и файл gemma-4-12B-mmproj-f16.gguf; vision encoder хранится в формате F16 и не квантизирован. Доступны варианты квантизации от Q2_K до Q8_0, размер текстовой основы составляет примерно от 4,5 до 11,8 ГБ, а рекомендуемый вариант Q4_K_M занимает около 6,87 ГБ и требует примерно 8,4 ГБ RAM. Указан английский язык. Максимальный размер контекста в README не приведён; в примере запуска используется контекст 4096 токенов. Модель подходит для диалога, генерации и анализа текста, а также для обработки изображений: например, описания содержимого изображений и ответов на вопросы по ним. Основные преимущества — мультимодальность, поддержка популярных инструментов локального запуска и возможность выбрать компромисс между качеством, скоростью и потреблением памяти. Ограничения связаны с потерями качества при сильной квантизации, необходимостью загружать два файла и заметными требованиями к RAM; заявленные скоростные бенчмарки в README не представлены. Лицензия — Apache-2.0.

zecanard/gemma-4-26B-A4B-it-uncensored-heretic-ara-MLX-8bit-int8-affine — конвертированная в формат MLX версия модели trohrbaugh/gemma-4-26B-A4B-it-heretic-ara. Модель предназначена для мультимодальных задач, связанных с обработкой текста и изображений, включая генерацию ответов по текстовым запросам и анализ изображений. В карточке указаны английский язык и библиотека MLX; дополнительные сведения о разработчике базовой модели, языковой поддержке и полном наборе возможностей отсылаются к исходной карточке модели и здесь не приведены. Это vision-language model с эффективными 9,163 битами на параметр, подвергнутая 8-битному аффинному квантованию с размером группы 32. Версия создана с использованием mlx-vlm 0.6.3 и рассчитана на запуск в экосистеме MLX. В шаблон чата добавлены исправление вызова инструментов, учет текущей даты и включенное по умолчанию рассуждение, если оно поддерживается моделью. Для корректной обработки рассуждений может потребоваться настройка распознавания секции thought. Сильными сторонами модели являются поддержка входных изображений, квантованный формат для эффективного локального запуска и исправление, связанное с вызовом инструментов. Ограничения включают зависимость от MLX и mlx-vlm, а также отсутствие в предоставленной карточке точных сведений о контекстном окне, полном размере архитектуры, фактическом наборе языков и результатах тестирования. Модель распространяется по лицензии Apache-2.0 с учетом условий лицензии Gemma.

aoleg/gemma-4-31B-it-heretic-ORBA — декензурированная версия мультимодальной инструкционной модели Google Gemma 4 31B IT. Автор сообщает, что модель создана с помощью Heretic v1.3.0 и собственного метода ORBA abliteration; метаданные также связывают её с google/gemma-4-31B-it как с базовой моделью и указывают архитектуру Gemma4ForConditionalGeneration в формате safetensors. Модель предназначена для диалогов и задач image-text-to-text: она принимает текст и изображения, анализирует визуальный ввод и генерирует текст. В README приведено сравнение отказов: 2 из 100 для этой версии против 98 из 100 у указанной автором модели сравнения; это результат оценки с LLM-судьёй, а не гарантия поведения во всех запросах. Лицензия и сведения о размере и длине контекста в предоставленных данных отсутствуют.

GLiNER2 Polish PII — модель извлечения именованных сущностей, разработанная на основе fastino/gliner2-privacy-filter-PII-multi и адаптированная полнопараметрическим дообучением к выявлению персональных и чувствительных данных в польском тексте. Она использует архитектуру GLiNER2 и выдаёт символьные интервалы с текстом, меткой и оценкой уверенности; поддерживает запросы по встроенной таксономии из 31 метки и пользовательским схемам. Модель предназначена для поиска кандидатов на редактирование персональных данных в документах, журналах и обучающих наборах, а также для поддержки проверки и деидентификации текста. В комплект входят три профиля порогов: сбалансированный, ориентированный на точность и экспериментальный профиль для задач приватности. Качество зависит от меток, порогов и предметной области: модель может пропускать данные, выдавать ложные срабатывания, неточно выделять границы фрагментов и хуже находить структурированные идентификаторы без контекстных подсказок. Для PESEL, NIP, REGON и IBAN рекомендуется дополнительная проверка контрольных сумм; перед применением следует оценить ошибки на данных целевого домена. Это компонент обнаружения, а не готовая система деидентификации и не гарантия соответствия GDPR. Модель распространяется по лицензии Apache-2.0.

GLM-5.3-Flash-MLX — это сборка официальной модели GLM-5.3-Flash от zai-org, подготовленная OrcaRouter в формате MLX для Apple Silicon и MLX CUDA backend. Модель использует гибридную архитектуру glm5_next со sparse- и linear-attention, Manifold-Constrained Hyper-Connections и разреженной MoE-структурой на 320 млрд параметров всего и 18 млрд активных параметров. Это первая нативно мультимодальная модель серии GLM-5 с поддержкой текста и изображений; заявленные языки — английский и китайский, а pipeline предназначен для задач image-text-to-text и reasoning. Модель подходит для мультимодального анализа, рассуждений, работы с текстом и изображениями, а также для локального запуска на совместимом оборудовании Apple Silicon. Доступны варианты квантизации 2bit-lite, 2, 3, 4 и 6 бит; корневой каталог содержит рекомендуемую 4-битную сборку. Размеры вариантов составляют примерно от 102 до 296 ГБ, а минимальные требования к оперативной памяти — от 112 до 320 ГБ. Для снижения потерь качества применяется архитектурно-ориентированная квантизация OrcaSAQ без калибровочных данных: чувствительные компоненты получают повышенную точность, а ряд компонентов, включая vision tower, linear-attention layers, нормы и другие тензоры, сохраняется в BF16. Преимуществами являются мультимодальность, MoE-архитектура с относительно небольшим числом активных параметров, варианты с разным балансом качества и потребления памяти, а также оптимизация под Apple Silicon. Ограничения связаны с очень высокими требованиями к памяти даже у наиболее компактной сборки; 2- и 3-битные варианты используют агрессивную квантизацию и могут уступать более точным версиям, тогда как 6-битная сборка обеспечивает качество, близкое к FP8. Модель распространяется по лицензии MIT.

Gemma 3 12B IT QAT GGUF — квантизированная instruction-tuned модель семейства Gemma 3, разработанная Google. Данный вариант подготовлен bartowski на основе весов google/gemma-3-12b-it-qat-q4_0-unquantized и предназначен для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель относится к мультимодальному классу image-text-to-text, поэтому предназначена для обработки текста и изображений с генерацией текстовых ответов. Указан размер 12 миллиардов параметров; README не содержит сведений о поддерживаемых языках, размере контекста и точной архитектуре. Доступны варианты в формате GGUF с разными уровнями квантования, включая Q4_0; файл Q4_0 имеет размер около 6,91 ГБ и благодаря QAT должен обеспечивать улучшенное качество относительно обычного квантования при сохранении сниженных требований к памяти. Q4_0 также поддерживает онлайн-репаковку для ARM- и AVX-совместимых CPU. Сильными сторонами являются возможность локального использования, широкий выбор уровней квантования и совместимость с распространённой экосистемой llama.cpp. Более качественные варианты требуют больше памяти, а сильнее сжатые варианты могут заметно терять в качестве. Для доступа к исходной модели на Hugging Face необходимо принять лицензию Google Gemma; конкретные условия лицензии в README не приведены.

Это квантизированная версия мультимодальной модели Google Gemma 4 E4B-it, подготовленная пользователем bartowski в формате GGUF с использованием llama.cpp. Модель предназначена для сценариев image-text-to-text, то есть для обработки изображений и текста с генерацией текстовых ответов, включая диалоговое взаимодействие и другие задачи, поддерживаемые исходной instruct-моделью. Доступны варианты весов от BF16 размером 15,05 ГБ до низкобитных форматов Q2 и IQ3 размером примерно 4,7–5,9 ГБ. Для инференса можно использовать llama.cpp, Ramalama, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Квантизация с imatrix предлагает компромисс между качеством и требованиями к памяти: наиболее качественными считаются BF16, Q8_0 и варианты Q6, а Q4 и более компактные форматы подходят для устройств с ограниченными ресурсами, но могут заметно снижать качество. Модель поддерживает специальный шаблон чата Gemma; точные сведения о размере архитектуры, максимальном контексте и поддерживаемых языках в предоставленных данных не указаны. Распространение осуществляется по лицензии Apache 2.0, при этом для Gemma также приведена отдельная ссылка на лицензионные условия Google.

Мультимодальная модель Mistral 3, дообученная ryfkn на основе nuresens/ministral-3b-cpt-merged. Она предназначена для диалоговых задач с изображениями и текстом: принимает текстовый запрос вместе с изображением и формирует текстовый ответ. В метаданных указаны архитектура Mistral3ForConditionalGeneration, поддержка vision и интерфейс вызова инструментов; модель сохранена в формате safetensors и распространяется по лицензии Apache-2.0. Для обучения использовались Unsloth и библиотека TRL.

lightblue/openorca_stx — языковая модель Lightblue, полученная дообучением OpenOrca OpenOrcaxOpenChat-Preview2-13B с помощью QLoRA на японских наборах данных. Она предназначена прежде всего для ответов на вопросы по предоставленному фрагменту текста: модель формирует ответ, опираясь на содержание источника. Обучение также включало примеры упрощения и суммаризации текста. Модель использует плотную архитектуру LlamaForCausalLM, содержит 12,9 млрд параметров и принимает контекст до 4096 токенов. Основной язык — японский. В описании приведены результаты на отдельных задачах JGLUE: улучшение на JSQuAD относительно базовой модели и более низкие результаты на JCommonsenseQA и JNLI. Модель распространяется с лицензией Llama 2; для использования следует соблюдать её условия. Оценки в карточке не гарантируют качество на других задачах или данных.