I.4Обработка документов и форм

Qwen3.8-Distilled-9B-NPU2 — это квантизированный порт модели empero-ai/Qwen3.8-9B-Distill, подготовленный Atomic-Germ для инференса на NPU AMD XDNA. Модель скомпилирована для среды выполнения FastFlowLM версии 1.0.1 и поставляется в формате Q4NX, а не GGUF. Размер файла весов model.q4nx составляет 7,11 ГБ; конверсия выполнена 26 августа 2026 года. Модель предназначена для языковых и визуально-языковых задач, включая работу с изображениями, рассуждения и function calling. В репозитории также присутствует отдельный файл vision_weight.q4nx, а конфигурация и шаблон диалога рассчитаны на использование с FastFlowLM. Архитектура, точное число параметров, поддерживаемые языки и размер контекстного окна в карточке не указаны. Ключевое преимущество модели — адаптация к инференсу на AMD XDNA NPU с использованием квантизации Q4NX и специализированного runtime FastFlowLM. Ограничения связаны с зависимостью от FastFlowLM и совместимого оборудования AMD XDNA, а также с отсутствием подробных сведений о качестве, языковом охвате и контексте. Лицензия — Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-2bit-MTP — это MLX-конверсия базовой модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для генерации текста и мультимодальных сценариев с изображениями и видео на устройствах Apple Silicon через совместимые MLX-совместимые среды, включая oMLX и MLX-VLM. Архитектура указана как vision-language sparse MoE с компонентами Qwen4Exp. Модель содержит 125 млрд параметров, из которых около 6 млрд активируются при обработке запроса, 48 слоёв, скрытое состояние размером 2560, 512 маршрутизируемых экспертов, 10 активных экспертов на токен и один общий эксперт. Используются Gated DeltaNet, Qwen Sparse Attention, расширенные gated residual streams, хешированные биграммные и триграммные embedding-компоненты, а также собственный MTP-блок для speculative decoding. Контекст составляет 262 144 токена и может быть расширен до 1 млн токенов в исходной модели. Языки не указаны в предоставленных данных. Ключевая особенность версии — affine-квантизация 2-bit с размером группы 32 для экспертных и predictive-embedding-модулей при сохранении чувствительных компонентов, включая attention, vision-модули, embeddings, output head и native MTP, в BF16 или совместимой исходной точности. Размер весов составляет около 80,07 ГБ, формат — MLX safetensors. На Apple M3 Studio измеренная скорость генерации составила 29,37 токена в секунду при отключённом MTP и 28,62 токена в секунду при включённом, поэтому MTP рекомендуется отключать по умолчанию. Для работы требуется runtime с поддержкой архитектуры qwen4_exp и native MTP. Модель распространяется по лицензии Qwen Community License 1.0. В предоставленных данных не приведены подробные результаты исходных оценок, полный перечень поддерживаемых языков и ограничения безопасности; за ними следует обращаться к карточке базовой модели.

StableLM-Tuned-Alpha-7B — авторегрессионная языковая модель компании Stability AI на архитектуре NeoX Transformer, дообученная на базе StableLM-Base-Alpha для диалогов и следования инструкциям. Версия содержит около 10 млрд параметров по метаданным репозитория и поддерживает контекст длиной до 4096 токенов. Модель предназначена для чат-приложений и задач, включающих ответы на вопросы, генерацию текста, суммаризацию, классификацию и извлечение информации. Обучение включало наборы Alpaca, GPT4All Prompt Generations, Anthropic HH, Databricks Dolly и англоязычную часть ShareGPT Vicuna. Основной язык — английский. Дообучение помогает направлять ответы модели, но не устраняет все смещения и токсичность; результаты могут быть неточными и не должны заменять человеческую оценку. Лицензия CC BY-NC-SA-4.0 допускает использование на некоммерческих условиях с соблюдением её требований.

Google T5Gemma-B-B-UL2 — предварительно обученная текстовая модель из семейства T5Gemma. Это энкодер-декодерная архитектура, адаптированная из decoder-only моделей Gemma; данный вариант использует энкодер B и декодер B и подготовлен с помощью UL2. Модель принимает текст и генерирует текст на английском языке. Модель предназначена для генерации и преобразования текста, в том числе ответов на вопросы, суммаризации и задач рассуждения. Её энкодер также может применяться в дискриминативных сценариях, например для классификации и понимания текста. Компактный размер семейства позволяет развёртывать модели на локальных компьютерах и в облачной инфраструктуре, однако точное число параметров этого варианта в предоставленных данных не указано. К ограничениям относятся возможные фактические ошибки, предвзятость обучающих данных и трудности с тонкими языковыми нюансами или сложными открытыми задачами. Модель распространяется с открытыми весами по лицензии Gemma; для использования следует учитывать политику запрещённого использования Gemma.

Carnice-V3-GGUF — квантованные GGUF-варианты модели Carnice V3 от kai-os, производной от Qwen/Qwen3.8-27B. Модель предназначена для запуска через llama.cpp, включая текстовые, мультимодальные и агентские сценарии с использованием инструментов. В основе лежит объединённая BF16-модель размером 27 781 427 952 параметра; постобучение выполнялось с помощью rank-64 rsLoRA для языковых линейных модулей. Визионные и MTP-модули не дообучались. Заявлена поддержка английского языка, обработки изображений и контекста до 32 768 токенов при указанных настройках запуска. В репозитории доступны варианты Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 15,66 до 27,05 GiB, а мультимодальный проектор поставляется отдельно в формате BF16. Q5_K_M рекомендуется как баланс качества и потребления памяти, Q6_K — когда важнее надёжность агентской работы, а Q8_0 — при приоритете минимальных потерь квантования. Проверки показывают небольшое ухудшение perplexity относительно BF16 и успешный тест вызова инструмента, однако эти результаты не являются широким бенчмарком. Модель может быть полезна для локального инференса, обработки изображений, tool use и Hermes Agent. При этом Carnice V3 не прошла формальную проверку поведенческого качества; внутренние тесты выявили более слабое выполнение длинных задач и соблюдение контрактов инструментов по сравнению с базовой моделью. Модель не рекомендуется для автономных, разрушительных, высокорисковых или производственных агентов без независимой оценки, строгой песочницы и ограничений времени, контекста и числа итераций. Распространение осуществляется по лицензии Apache-2.0.

ColPali v1.3 merged — модель визуального поиска по документам, разработанная ViDoRe на основе PaliGemma-3B. Она преобразует изображения страниц и текстовые запросы в многовекторные представления ColBERT-типа, чтобы находить релевантные страницы по их визуальным и текстовым признакам. В этой версии LoRA-адаптер уже объединён с базовой моделью vidore/colpaligemma-3b-pt-448-base; для работы с эмбеддингами предусмотрена интеграция с Sentence Transformers. Модель предназначена прежде всего для поиска по PDF-подобным документам: например, для нахождения страниц, отвечающих на запрос пользователя. Обучение проводилось на 127 460 парах «запрос — страница» на английском языке; авторы проверяли обобщение на другие языки, однако основное внимание уделено английскому и другим распространённым языкам. Для сопоставления используется позднее взаимодействие между токенами текстового запроса и визуальными патчами страницы. Модель принимает текстовые запросы и изображения страниц и выдаёт многовекторные представления для поиска и оценки сходства. Она может потребовать адаптации для систем векторного поиска, которые не поддерживают многовекторный поиск ColBERT. Карточка указывает лицензию Gemma; следует учитывать её условия использования.

Decision-1.0-Kai-0.6B — модель для структурированного выбора и оценки решений, разработанная командой vllm-sr. Она принимает контекст вместе с вопросами и описаниями кандидатов, а затем возвращает ответы и распределения вероятностей; генерация текста не используется. Модель дообучена на многоязычном энкодере Vela-1.0-Encoder-307M и имеет архитектуру Decision1Model с тремя двунаправленными путями по 22 слоя, общими входными эмбеддингами и отдельными слоями взаимодействия для разных типов решений. Модель предназначена для выбора между действиями или категориями, проверки условий и оценивания по упорядоченным критериям. Кандидаты задаются при каждом запросе; вопросы можно объединять для одного контекста или применять к пакетам контекстов. Полный запрос ограничен 1 024 токенами, включая контекст, вопросы, кандидатов и специальные токены; более длинные запросы отклоняются. В README приведены результаты бенчмарков на английском и китайском языках, но широкие многоязычные результаты относятся к предыдущим весам. Модель распространяется в формате safetensors по лицензии Apache-2.0. Для обслуживания через vLLM требуется совместимая среда vLLM Semantic Router Decision; локальный запуск возможен через Transformers с включением trust_remote_code. Вероятности не гарантируют правильность решения, порядок кандидатов может влиять на прогнозы, а в тестах Transfer модель уступала англоязычной Laya.

satgeze/Gemma4-12B-Uncensored-HauhauCS-1.5M-GGUF — GGUF-квантованная версия 12-миллиардной Gemma 4 без фильтрации, разработанная SatGeze на базе модели HauhauCS/Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced. Базовые модель и QAT предоставлены Google, снятие ограничений выполнено HauhauCS, а расширение контекста и сертификация — SatGeze. Модель предназначена для генерации текста, обработки очень длинных документов и поиска заданной информации в больших контекстах; также поддерживает работу с изображениями через отдельную vision-модель mmproj и ускорение декодирования с помощью MTP draft head. Нативный контекст составляет 262 144 токена, а с использованием YaRN с коэффициентом 6 расширен до 1 572 864 токенов. Для конфигурации f16 KV модель сертифицирована на контекстах до 1 310 720 токенов с результатом 10/10 в тестах needle-in-a-haystack; при q8_0 KV на максимальном контексте достигнут результат 9/10. Файл основной модели имеет размер около 7,4 ГБ и использует 4-битное квантование Google QAT. Для запуска предусмотрена интеграция с llama.cpp и Ollama. Сильные стороны модели — исключительно длинный контекст, подтверждённая устойчивость поиска информации за пределами миллиона токенов, поддержка vision и возможность ускорения генерации. Ограничения включают снижение качества на предельных длинах, особенно около 2 миллионов токенов, значительные требования к вычислительной памяти и времени предварительной обработки, а также зависимость результата от типа KV-кэша и выбранного квантования. Модель распространяется по лицензии Gemma; условия базовой лицензии применяются к производным компонентам.

Это мультимодальная GGUF-версия модели OBLITERATUS/gemma-4-E4B-it-OBLITERATED, созданная и квантованная пользователем rdhorner на основе Gemma 4 от Google. Базовая модель представляет собой модифицированную версию gemma-4-E4B-it, обработанную методом OBLITERATUS. Модель предназначена для локального запуска через llama.cpp и совместимые приложения; в метаданных указано около 8 млрд параметров. Модель поддерживает текстовый ввод, изображения и аудио при подключении отдельного файла mmproj, содержащего оба мультимодальных энкодера. Она подходит для диалоговых сценариев, анализа изображений и аудио, использования инструментов и function calling. Поддерживаются OpenAI-совместимые запросы через llama-server, включая tool calls и мультимодальные сообщения. В комплект входят варианты F16, Q8_0, Q5_K_M и Q4_K_M; Q4_K_M рекомендован для локального использования как компромисс между качеством и размером. Для мультимодального режима требуется файл mmproj, а шаблон чата Gemma 4 необходимо включать с параметром --jinja. К сильным сторонам относятся мультимодальность, поддержка вызова инструментов и несколько вариантов квантования для запуска на локальном оборудовании. Модель использует встроенный канал рассуждений Gemma 4, который в OpenAI-совместимых ответах отображается как reasoning_content. При этом модификация OBLITERATED изменила направления отказа в 21 из 42 слоёв, поэтому надёжность вызова инструментов может снижаться в темах, близких к ограничениям безопасности. В README не указаны точный набор поддерживаемых языков и максимальный размер контекста; в примере сервера используется контекст 8192 токена. Модель распространяется по лицензии Apache 2.0, соответствующей лицензии базовой модели.

German-RAG-PHI-3.5-MINI-4B-CPT-HESSIAN-AI — авторегрессионная языковая модель на архитектуре Transformer, разработанная командой Avemio AI при поддержке Hessian AI. Это вариант Phi, дообученный методом continued pre-training на наборе German-RAG-CPT; модель предназначена для работы с немецким и английским языками, с упором на немецкий. Модель обучалась на примерах контекстных ответов на вопросы, структурированных рассуждений и суммаризации. Её можно применять для ответов по предоставленному контексту, извлечения и синтеза сведений в сценариях RAG, анализа и краткого пересказа документов. В метаданных указаны 3,7 млрд параметров и контекст до 131 072 токенов; опубликованные веса представлены в формате safetensors. Модель распространяется по лицензии Apache 2.0. Ответы могут содержать фактические ошибки и предвзятость; фильтрация безопасности отсутствует, поэтому возможна генерация вредоносного или чувствительного контента. Результаты следует проверять.

GLM-5.3-Flash-NVFP4 — это квантизированная версия модели GLM-5.3-Flash от zai-org, опубликованная пользователем tattrongvu. Модель предназначена для генерации текста, рассуждений и работы с изображениями и текстом; в карточке она классифицирована как image-text-to-text. Это reasoning-модель, рассчитанная на серверное применение с SGLang и распределённым инференсом на нескольких GPU. В основе используется MoE-архитектура с 45 основными слоями и одним дополнительным multi-token-prediction слоем. Маршрутизируемые эксперты MoE в слоях 3–45 сжаты методом NVFP4: веса представлены в 4-битном формате с группами по 16 элементов, тогда как активации остаются в bf16. В bf16 также сохранены механизмы внимания, маршрутизатор, общие эксперты, некоторые плотные MLP-слои, embeddings, lm_head и вся vision tower. Размер весов уменьшен с 328,4 до 194,6 ГБ. Данные о поддерживаемых языках и размере контекстного окна в карточке не указаны. Сильная сторона модели — значительное сокращение объёма весов при сохранении близкой к пределу формата точности реконструкции, а также единая схема квантизации всех routed experts, включая MTP-слой. В приведённых тестах модель показала 72,64% на bfcl_v4, 77% на aa_lcr и 97,62% на завершённых задачах aime26; результаты зависят от лимита генерации, настроек оценки и не являются прямым сравнением с опубликованными результатами базовой модели. Ограничения включают очень высокие требования к памяти и необходимость совместимого стека инференса; для SGLang требуется специальный образ и параметр modelopt_fp4, а поддержка vLLM в карточке обозначена как ожидаемая, но не проверенная. Лицензия — MIT.

KE-T5-Base — текстовая модель семейства T5, опубликованная Корейским институтом электроники и технологий (Korea Electronics Technology Institute, KETI), Центром исследований искусственного интеллекта. Она использует архитектуру T5 для преобразования текста в текст: один и тот же формат подходит для генерации ответа или преобразованного текста в широком наборе задач NLP. В карточке указаны 148,3 млн параметров, контекст 512 токенов и поддержка английского и корейского языков. Модель доступна в форматах PyTorch, TensorFlow и Flax; лицензия Apache 2.0. Модель предназначена для дообучения и применения в задачах перевода, суммаризации документов, ответов на вопросы, классификации, анализа тональности и регрессии с текстовым представлением результата. Она предварительно обучена на корпусе C4 и смеси несупервизируемых и супервизируемых задач. Карточка описывает базовую модель T5 и не приводит отдельной оценки результатов именно для KE-T5-Base. Генерации могут содержать вредные стереотипы и предвзятость; следует учитывать это при оценке и использовании модели.

llm-jp-3-172b-instruct3 — диалоговая большая языковая модель, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии при частичной поддержке GENIAC. Это версия instruct3 семейства llm-jp-3, дообученная на инструкциях и дополнительно согласованная методом Direct Preference Optimization (DPO). Модель предназначена для генерации ответов в диалоге, следования инструкциям, извлечения и формулирования информации, написания текстов и решения задач на рассуждение. В README приведены оценки на японском MT Bench, включая результаты для письма, естественных наук, извлечения информации и диалога. Это плотная Transformer-модель архитектуры Llama с 171,2 млрд параметров; контекст составляет 4096 токенов. Репозиторий содержит веса в формате safetensors для Transformers. Модель в первую очередь ориентирована на японский язык; метаданные также отмечают английский. Разработчики предупреждают, что семейство находится на ранней стадии исследований и разработок и не было полностью настроено для соответствия человеческим намерениям и требованиям безопасности. Лицензия указана как «other», поэтому условия использования следует уточнять в материалах репозитория.

Ministral-3-14B-Reasoning-2512-GGUF — мультимодальная языковая модель в формате GGUF, созданная на основе Ministral-3-14B-Reasoning-2512 от MistralAI. Конвертацию и квантизацию выполнил EnlistedGhost с использованием llama.cpp версии 8189. Модель предназначена для локального запуска через Ollama и llama.cpp и поддерживает как текстовые, так и визуальные запросы благодаря двум файлам мультимодального проектора mmproj. Модель ориентирована на диалоговые сценарии, рассуждение, анализ изображений и генерацию ответов на нескольких языках: английском, французском, испанском, немецком, итальянском, португальском, нидерландском, китайском, японском, корейском, арабском и русском. Заявлен размер базовой модели — 14B параметров. В поставку входит пользовательский шаблон чата с ограничением скользящего окна примерно до 46 взаимодействий, которое можно изменять в шаблоне. К сильным сторонам относятся совместимость с Ollama и llama.cpp, локальный запуск, мультимодальность, многоязычность и наличие квантованных вариантов, позволяющих снизить требования к ресурсам. Ограничения связаны с потерями качества и точности, характерными для квантизации, а также с возможными проблемами шаблона чата: автор сообщает, что при загрузке с Hugging Face механизм тегов рассуждений может работать некорректно и требует исправления или настройки. Модель распространяется по лицензии Apache-2.0.

Ornith-1.5-9B-Uncensored-W4A16 — мультимодальная модель для задач image-text-to-text, разработанная bowmanslayer. Это квантованная версия Ornith-1.5-9B-Uncensored в формате W4A16: веса представлены в INT4, активации — в FP16. Модель ориентирована на английский и китайский языки, а также на сценарии, где требуется обработка текста и изображений. Архитектура включает 32 слоя, из которых 24 являются linear-слоями и 8 — слоями full attention; размер скрытого состояния составляет 4096. Размер квантованной модели — около 8 ГБ. Она предназначена прежде всего для запуска через vLLM с ядром gptq_marlin; поддерживается FP8 KV-кэш fp8_e5m2, который уменьшает расход памяти и позволяет эффективнее работать с длинным контекстом. Указанные в README оценки относятся главным образом к BF16-версии-источнику; для W4A16 заявлены близкие результаты в выборочных проверках. Сильными сторонами являются сохранённые возможности рассуждения, программирования и следования инструкциям, высокая производительность на ряде тестов, а также экономичное использование памяти благодаря гибридной архитектуре и квантованию. Ограничение модели заключается в удалении исходного safety alignment: она не содержит фильтров и защитных ограничений и может выполнять вредоносные, опасные или незаконные запросы. Поэтому ответственность за безопасное и законное применение полностью лежит на пользователе. Лицензия модели — MIT.

Qwen3.5-397B-A17B-MLX-6bit — это 6-битная квантованная версия модели Qwen3.5-397B-A17B, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и mlx-vlm, при этом модель оптимизирована для запуска на устройствах с Apple Silicon. Модель относится к классу image-text-to-text и предназначена для задач генерации текста на основе текстовых и, вероятно, визуальных входных данных. В доступной карточке не указаны точные сведения об архитектуре, числе активных параметров, поддерживаемых языках, размере контекста, форматах изображений и результатах оценки качества. Ключевое преимущество версии — сниженные требования к памяти по сравнению с полноразмерной моделью и адаптация к экосистеме Apple Silicon; ограничением является зависимость от совместимого MLX-окружения и потенциальная потеря точности из-за 6-битного квантования. Модель распространяется по лицензии Apache-2.0. Исходная модель создана Qwen, а данная MLX-квантизация предоставлена LM Studio; LM Studio отдельно указывает, что не является создателем исходной модели и не гарантирует точность, безопасность или пригодность генерируемого содержимого.

Это GGUF-квантизация модели Qwen3.5-4B-Instruct от Alibaba Cloud в формате MXFP4 — четырёхбитном формате с плавающей точкой по спецификации OCP Microscaling Formats. В репозитории есть файл весов модели и отдельный проектор зрения SigLIP в F16; для обработки изображений требуется подключить проектор. По карточке исходная модель использует гибридную архитектуру Gated DeltaNet и Gated Attention, принимает текст, изображения и видео и поддерживает 201 язык. Контекст исходной модели — 262 тысячи токенов с возможностью расширения до миллиона. Модель предназначена для генерации текста и диалогов по инструкциям; также README показывает сценарий описания изображений. По умолчанию режим рассуждений отключён, его можно включить параметром. README заявляет совместимость формата MXFP4 с CPU и GPU разных производителей, но фактическая поддержка зависит от используемого ПО. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-35B-A3B-Abliterix-EGA-abliterated-i1-GGUF — набор квантованных GGUF-файлов модели, созданный mradermacher на основе jenerallee78/Qwen3.6-35B-A3B-Abliterix-EGA-abliterated. Модель относится к семейству Qwen и использует MoE-архитектуру с заявленным размером 35B параметров и 3B активных параметров; в описании также указаны Expert-Granular Abliteration и мультимодальная поддержка. Модель предназначена для диалоговых сценариев, генерации и обработки текста, а также задач image-text-to-text с анализом изображений. Заявлены английский и китайский языки. Распространяется в формате GGUF с множеством вариантов квантования от очень компактных IQ1 до более качественных Q6_K; доступны imatrix-кванты, а для баланса размера, скорости и качества автор рекомендует i1-Q4_K_M, тогда как i1-Q4_K_S обозначен как оптимальный по соотношению характеристик. К сильным сторонам относятся локальный запуск через совместимые с GGUF инструменты, широкий выбор вариантов квантования и мультимодальные возможности исходной модели. Ограничения включают возможное снижение качества на низких уровнях квантования, отсутствие в предоставленных данных сведений о размере контекста, производительности и результатах бенчмарков, а также особенности abliterated-версии, которые могут влиять на поведение модели и безопасность ответов. Лицензия — AGPL-3.0.

TeichAI/Qwen3.8-27B-Fable-Distill-GGUF — это набор квантованных версий мультимодальной модели Qwen3.8-27B-Fable-Distill, разработанной TeichAI на базе Qwen3.8-27B. Модель дообучалась с использованием Unsloth и библиотеки Hugging Face TRL на открытых чатах и агентских трассах Fable 5, а также на существенно большем закрытом наборе персональных данных Fable 5. GGUF-конверсии выполнены с помощью llama.cpp. Модель предназначена для генерации текста, диалогов, агентских сценариев и анализа изображений с выдачей текстового ответа. Поддерживается английский язык. Архитектура включает 65 блоков: 64 трансформерных слоя и один слой multi-token prediction (MTP); MTP-head во всех вариантах сохраняется в формате BF16. Для работы с изображениями требуется отдельный vision projector mmproj в форматах F32, BF16 или F16; без него модель работает только с текстом. Доступны варианты квантования от 2 до 16 бит, размер файлов составляет примерно от 11 до 55 ГБ. Для большинства пользователей рекомендуется Q4_K_M размером около 17 ГБ. К сильным сторонам относятся мультимодальность, поддержка режима рассуждений с параметрами reasoning_effort и несколько вариантов квантования для разного баланса качества и требований к памяти. В README приведены улучшенные результаты относительно базовой Qwen3.8-27B на ARC Challenge, ARC Challenge (Easy) и BoolQ. Ограничения включают высокие требования к ресурсам, зависимость визуального режима от отдельного projector-файла и заметную потерю качества у низкобитных вариантов, особенно Q2_K. Модель распространяется по лицензии Apache-2.0.

SuperQwen3.8-abliterated-Venice-GGUF — это квантованные GGUF-версии мультимодальной модели SuperQwen3.8-abliterated-100-fp8 от Jiunsong, подготовленные и опубликованные mradermacher. Модель предназначена для генерации текста, рассуждений, обработки изображений вместе с текстом и вызова инструментов. Заявлена поддержка английского и корейского языков, а также сценариев с длинным контекстом. Техническая основа включает Transformers и архитектуру Qwen3.8/Qwen3.5; точный размер исходной модели и длина контекста в README не указаны. Набор содержит варианты квантования Q2_K–Q8_0 и IQ4_XS размером примерно от 11 до 29,1 ГБ. Для мультимодальной работы доступны отдельные компоненты mmproj в форматах Q8_0 и f16. В README отмечены версии Q4_K_S и Q4_K_M как быстрые и рекомендуемые, Q6_K как обеспечивающая очень хорошее качество, а Q8_0 — как быстрая и наиболее качественная; варианты с меньшим размером могут снижать качество. Модель позиционируется как uncensored и abliterated, однако подробности применённых изменений и результаты оценки не приведены. Распространяется по лицензии Apache-2.0. README не содержит точных требований к оборудованию, производительности и безопасному применению; указана совместимость с экосистемой vLLM и ускорителями H100/H200.

Yarn-Solar-10b-32k — языковая модель NousResearch на архитектуре Llama с 10,6 млрд параметров, основанная на SOLAR-10.7B-v1.0. Авторы дополнительно обучили её на двух миллиардах токенов длинного контекста, применив метод YaRN для расширения контекстного окна до 32 768 токенов. Модель предназначена для генерации текста и работы с длинными входными материалами: например, для суммирования документов, ответов на вопросы по большим текстам и продолжения текста с учётом удалённых фрагментов. В карточке приведены оценки на тестах длинного контекста и стандартных языковых тестах; результаты относятся к указанным условиям оценки и не гарантируют качество на конкретных задачах. Модель распространяется в формате PyTorch и использует библиотеку Transformers. Для загрузки авторы указывают необходимость включить trust_remote_code и использовать актуальную версию Transformers. Лицензия — Apache-2.0.

Decision-1.0-Kai-0.6B — модель принятия решений из линейки Open Decision Foundation Models от llm-semantic-router. Она совместно анализирует контекст, вопросы и описания вариантов, чтобы выбирать действие или категорию, оценивать истинность условия и выставлять оценки по упорядоченной шкале. Результаты выдаются структурированно, с распределениями вероятностей; модель не генерирует текстовый ответ.

dealignai подготовила модель Qwen3.6-27B-JANG_4M-CRACK на базе Qwen/Qwen3.6-27B. Это плотная мультимодальная модель на 27 млрд параметров с гибридной архитектурой линейного и полного внимания, предназначенная для диалога, рассуждений, работы с инструментами, изображениями и видео. Модель поддерживает английский и китайский языки, а режим рассуждений можно включать или отключать через шаблон чата. Веса обработаны методом CRACK, который, согласно карточке, удаляет усвоенные шаблоны отказа, и квантованы в формате JANG v2 с профилем 4M: слои внимания используют 8-битную точность, а MLP- и SSM-слои — 4-битную; средняя точность указана как 4,45 бита. Размер весов составляет около 16 ГБ. Для запуска нужны Apple Silicon и не менее 24 ГБ объединённой памяти; в карточке рекомендованы vMLX или jang-tools. Лицензия — Apache-2.0. Модель рассчитана на сценарии общего ассистента, включая ответы на вопросы, анализ изображений и видео, рассуждения и вызов инструментов. Карточка приводит результаты MMLU-200 и HarmBench-320, однако это самоотчёт разработчика. Удаление отказов означает, что модель может выдавать опасный или иной чувствительный контент; квантование также может влиять на точность относительно базовой модели.

Карточка модели tokyotech-llm/Swallow-13b-instruct-v0.1 на Hugging Face совпадает с карточкой tokyotech-llm/Swallow-7b-instruct-v0.1, поэтому описание составлено по ней. Swallow-7b-instruct-v0.1 — диалоговая языковая модель TokyoTech-LLM на архитектуре Llama 2 с 6,7 млрд параметров. Она прошла дополнительное предварительное обучение преимущественно на японских текстах, а версия instruct — supervised fine-tuning для следования инструкциям. Токенизатор с расширенным японским словарём эффективнее представляет японский текст. Модель принимает текст и генерирует текст; заявленный контекст — 4096 токенов. Модель предназначена для диалогов и выполнения текстовых инструкций на японском и английском языках: написания текстов, ролевых диалогов, ответов на вопросы, рассуждений и извлечения информации. В README опубликованы оценки на японском MT-Bench и сравнение с другими моделями, однако они не гарантируют качества для каждого сценария. Выпуск v0.1 обозначен как предварительная версия; разработчики предупреждают, что модель ещё не настроена на соответствие человеческим намерениям и требованиям безопасности. Лицензия — Llama 2 Community License (llama2).

ASTRAL-256k-5.5b — языковая модель от разработчика aww для генерации текста и диалогов. Она построена на архитектуре MistralForCausalLM, имеет 1,6 млрд параметров и поддерживает контекст до 256 000 токенов, что подходит для работы с длинными документами и продолжительными беседами. Модель принимает текст и генерирует текст; в карточке заявлена поддержка английского языка. Модель предназначена для создания статей, отчётов и художественных текстов, чат-ботов, суммаризации и перевода больших документов. Карточка также заявляет оптимизацию вычислений, включая запуск с bfloat16, но не приводит сравнительных результатов. Модель распространяется по лицензии Apache-2.0.

DiffusionGemma 26B-A4B-it MXFP8 — языковая модель с блоковой диффузионной генерацией, подготовленная OsaurusAI для запуска через движок vMLX на компьютерах Apple Silicon. В отличие от авторегрессионной генерации, она формирует текстовые блоки размером до 256 токенов и уточняет их итеративным денойзингом. Архитектура — 30-слойная Gemma 4-style MoE с 128 экспертами и выбором 8 экспертов; всего 26 млрд параметров, активно используется около 4 млрд. Веса основных компонентов квантованы в MXFP8, а эмбеддинги, нормализации и визуальный модуль сохранены в fp16; файлы занимают около 26 ГБ. Модель предназначена для диалога и генерации текста, анализа одного или нескольких изображений и вызова инструментов в формате Gemma 4. Для работы с изображениями используется визуальный модуль Gemma 4. Темп генерации на M5 Max указан как 28–42 токена в секунду при 48 шагах денойзинга; фактическая скорость зависит от оборудования и бюджета шагов. Лицензия — Gemma. При очень коротких запросах жадная стратегия денойзинга иногда приводит к пустому ответу; повторная попытка или переформулировка могут помочь. Параметры temperature и top_p, переданные через интерфейс, игнорируются: параметры сэмплирования задаются конфигурацией модели, а уменьшение числа шагов ниже 12 ухудшает качество. Для запуска указана среда Apple Silicon с Osaurus и движком vMLX.

Jais Family 13B Chat — диалоговая языковая модель семейства Jais, разработанного Inception Institute of Artificial Intelligence. Это дообученная для общения версия базовой модели inceptionai/jais-family-13b с плотной архитектурой JAISLMHeadModel и примерно 13 млрд параметров. Модель принимает текст и генерирует ответы в чате; она рассчитана прежде всего на арабский и английский языки. Размер контекста — 2048 токенов. Модель подходит для создания арабоязычных и двуязычных чат-ассистентов, ответов на вопросы, суммаризации арабских и английских документов, а также задач понимания текста, таких как классификация тональности. Для загрузки требуется пользовательский класс модели с параметром trust_remote_code=True. Лицензия — Apache 2.0. Ответы могут быть ошибочными, предвзятыми, вводящими в заблуждение или оскорбительными; результаты требуют проверки, особенно в важных решениях. Модель оптимизирована для арабского и английского, поэтому её не следует считать одинаково компетентной в других языках или диалектах.

Eraly-ml/KazBERT-Duplicates — модель на основе BERT, дообученная разработчиком Eraly-ml на KazBERT для классификации пар предложений на казахском языке. Она определяет, являются ли предложения точными, частичными, смысловыми или контекстными дубликатами, и подходит для поиска повторов, проверки текстов на плагиат и предварительной очистки корпусов. В метаданных указаны 137,8 млн параметров, контекст до 512 токенов и формат safetensors; модель доступна по лицензии Apache-2.0. В README приведены результаты оценки на отложенной выборке: точность и F1 составляют 91,05%. Модель ориентирована на казахский язык; качество может снижаться на специализированных юридических и медицинских текстах, а также на длинных или зашумлённых входах.

onnx-community/LFM2-350M-ONNX — ONNX-версия языковой модели LFM2-350M, разработанной Liquid AI для edge AI и локального запуска на устройствах. Модель предназначена для генерации текста, агентных сценариев, извлечения данных, RAG, творческого письма и многоходовых диалогов. Она может работать на CPU, GPU и NPU, включая смартфоны, ноутбуки и автомобильные системы. Модель содержит 354 483 968 параметров, 16 слоёв, контекстное окно на 32 768 токенов и словарь размером 65 536 токенов. Архитектура гибридная: включает 10 блоков коротких LIV-свёрток с двойными мультипликативными вентилями и 6 блоков grouped query attention (GQA). Указанная точность исходной модели — bfloat16; ONNX-репозиторий поддерживает запуск через Transformers.js, включая вариант q4. Модель обучалась на смеси примерно из 75% англоязычных, 20% многоязычных и 5% программных данных и поддерживает английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. К сильным сторонам относятся малая размерность, эффективность по скорости и памяти, возможность локального развёртывания, а также заявленное преимущество над моделями сопоставимого размера в задачах знаний, математики, следования инструкциям и мультиязычности. Из-за небольшого размера модель рекомендуется дообучать под узкие сценарии. Она не рекомендуется для задач, требующих глубоких знаний или программирования. Модель распространяется по лицензии LFM Open License v1.0.

Sethuiyer выпустил экспериментальную инструктивную донастройку Llama 3.1 8B, предназначенную для генерации текста и диалога. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров, работает с контекстом до 131 072 токенов и распространяется в формате safetensors. Карточка сообщает о результатах на задачах логического и булева рассуждения, следования инструкциям, устранения неоднозначности и причинного анализа, а также об отдельных узкоспециализированных знаниях. Модель может быть полезна для диалогов, анализа длинных документов и многошаговых текстовых задач. Оценки приведены на Open LLM Leaderboard; они не гарантируют качество на других задачах. Лицензия в предоставленных данных не указана.