II.1Анализ требований и архитектура ПО

ZhiXi-13B-Diff — дифференциальные веса модели ZhiXi, разработанной проектом KnowLM для извлечения знаний. Чтобы восстановить веса, их необходимо применить к LLaMA-13B. В карточке описаны полное предварительное обучение на китайских и английских корпусах и последующая настройка инструкциями для извлечения сущностей, отношений и другой информации. Модель также сохраняет способности к работе с английским языком и кодом; приведены примеры перевода и следования инструкциям. Это плотная авторегрессионная модель семейства LLaMA с 12,9 млрд параметров и контекстом 2048 токенов. Она принимает текст и генерирует текст; карточка заявляет поддержку китайского и английского языков. Файлы представлены в формате PyTorch, лицензия — Apache-2.0. Дифференциальный формат требует исходных весов LLaMA-13B для восстановления модели.

Gemma 3n E2B IT — мультимодальная инструктивная модель Google для работы на устройствах с ограниченными ресурсами. Она принимает текст, изображения, видео и аудио, а выдаёт текст; запуск поддерживается библиотекой Hugging Face Transformers. Модель основана на архитектуре MatFormer с выборочной активацией параметров и использует вложенную подмодель из Gemma 3n E4B IT. При общем количестве около 6 млрд параметров её эффективный размер и требования к памяти сопоставимы с традиционной моделью на 2 млрд параметров. Модель подходит для диалоговых помощников, создания и обобщения текстов, ответов на вопросы по визуальным материалам, расшифровки речи и перевода речи в текст. Обучение охватывало более 140 разговорных языков, но карточка не выделяет основной язык. Возможности включают мультимодальный ввод с изображениями и видео, а также аудио; метаданные каталога подтверждают задачу image-text-to-text и возможности чата и зрения. Ответы могут содержать фактические ошибки и отражать предвзятость обучающих данных; модели также бывает трудно обрабатывать неоднозначность и сложные открытые задачи. Лицензия Gemma; применяйте модель с учётом условий лицензии Google Gemma.

GLM-5.3-Flash — EXL3 4.65bpw — это квантизированная версия модели GLM-5.3-Flash-BF16, разработанной Z.ai. Квантизация выполнена в формате EXL3 с использованием инструментария exllamav3; модель предназначена для запуска через ExLlamaV3 версии 1.4.5 или новее. В сборку включены vision tower и компонент MTP для ускорения генерации. Модель рассчитана на задачи обработки и генерации текста, а также на мультимодальные сценарии с изображениями. В карточке заявлены английский и китайский языки, а максимальный контекст составляет 262 144 токена. Размер модели на диске — около 189,6 ГБ, эффективная разрядность — 4,67 bpw; для загрузки требуется примерно 210 ГиБ VRAM плюс значительный объём памяти под кеш. Конфигурация содержит 45 декодерных слоёв и 35 файлов-шардов. К сильным сторонам относятся существенное снижение требований к памяти по сравнению с исходной BF16-версией, включённая поддержка MTP и vision tower, а также высокая скорость обработки длинных контекстов на многокарточной конфигурации. Ограничения — очень высокие аппаратные требования, необходимость совместимого рантайма ExLlamaV3 и корректной настройки распределения GPU; приведённые показатели производительности относятся к конкретной конфигурации из четырёх ускорителей CMP 170HX. Модель и её квантизированная версия распространяются по лицензии MIT.

Vontra/Qwen3.8-Flash-Next-MLX-4bit — общественная MLX-конверсия модели Qwen3.8-Flash-Next, разработанной Qwen, для запуска на устройствах с Apple Silicon. Конверсия выполнена Vontra непосредственно из официального BF16-чекпойнта и предназначена для задач генерации текста и обработки изображений в сценариях vision-language. Модель использует архитектуру qwen4_exp с разреженной смесью экспертов, объединяющую Gated DeltaNet, Qwen Sparse Attention, разреженные MoE-слои, расширенные gated residual-потоки и хешированные bigram/trigram-эмбеддинги. Языковая часть содержит 125 млрд параметров, из которых активно используется около 6 млрд, а таблицы n-gram-эмбеддингов включают 51 млрд параметров. Архитектура имеет 48 слоёв, 512 маршрутизируемых экспертов с активацией 10 экспертов и одного общего, 24 attention heads и 2 KV heads. Заявленный контекст — до 262 144 токенов; сохранены исходные токенизатор, chat template, vision processor и настройки генерации. Весы представлены в формате MLX safetensors и подвергнуты 4-битному аффинному квантованию с group size 32, что делает модель пригодной для локального запуска через совместимые версии MLX-VLM или oMLX. На Apple M3 Studio сообщается около 24,1–26,1 токена в секунду при прогретой генерации через oMLX и 31 токен в секунду в коротком standalone-тесте. К ограничениям относятся возможное снижение качества из-за квантования, высокая потребность в памяти, отсутствие опциональной MTP-head и необходимость runtime с поддержкой qwen4_exp; подключение Qwen3.8 27B MTP drafter несовместимо. Модель распространяется по Qwen Community License 1.0. Это неофициальный релиз Qwen: дизайн, обучение и исходная документация принадлежат Qwen и первоначальным авторам, а MLX-конверсия, проверка на Apple Silicon и упаковка выполнены Vontra.

SR²AM-v1.0-30B — агентная языковая модель, разработанная командой sailing-lab на базе Qwen3-30B-A3B-Thinking-2507. Она разделяет рассуждение на реактивное выполнение действий, симулятивное планирование последствий и конфигуратор, который выбирает, когда и насколько глубоко планировать. Модель дообучена методом SFT с последующим обучением с подкреплением GRPO; архитектура — Qwen3 MoE, формат весов — Safetensors, библиотека — Transformers. Заявленная длина контекста — 262 144 токена. Модель предназначена для агентных задач с использованием инструментов: веб-поиска и просмотра страниц, выполнения Python-кода в изолированной среде, а также решения задач по математике, естественным наукам и табличным данным. В README сообщается Pass@1 71,3 на 11 бенчмарках и сокращение числа токенов рассуждения на 25–95% относительно сопоставимых агентных моделей; это результаты авторской оценки. Метаданные указывают 2,6 млрд параметров. Модель распространяется по лицензии Apache-2.0.

airoboros-3b-3p11 — экспериментальная языковая модель jondurbin для генерации текста и диалогов по инструкциям. Она основана на архитектуре StableLM Epoch и содержит 2,7 млрд параметров; модель обучена на наборе airoboros-3.1 с преимущественно синтетическими данными. Контекст составляет до 4096 токенов, для диалогов используется формат Llama 2 Chat. Модель рассчитана на следование инструкциям, ответы на вопросы по предоставленному контексту, суммаризацию и помощь с кодом. Среди специализированных примеров обучения — структурированное представление математических решений в MathJSON, извлечение полей из журналов, обезличивание текста и генерация аргументов функций в JSON или YAML. Для этих сценариев в README рекомендуются явно заданный формат запроса и низкая температура генерации. Это общая экспериментальная модель, ориентированная на выполнение инструкций, а не на непринуждённое общение или ролевые диалоги. Карточка указывает на ограничения качества отдельных инструментов обработки MathJSON. Лицензия — CC BY-SA 4.0.

DeepSeek-Coder-V2-Instruct-0724 — инструктивная модель для программирования от DeepSeek, основанная на DeepSeek-Coder-V2-Base. Это модель архитектуры DeepSeek-V2 с разреженной MoE-архитектурой; в карточке Hugging Face указано 18,1 млрд параметров и контекст до 163 840 токенов. Семейство DeepSeek-Coder-V2 обучалось на дополнительных 6 трлн токенов и предназначено для генерации и дополнения кода, математических рассуждений и диалогового взаимодействия. Модель подходит для написания и редактирования кода, заполнения пропусков между фрагментами программы, ответов на технические вопросы и вызова инструментов через интерфейс функций. README сообщает о поддержке 338 языков программирования для семейства, но не уточняет поддержку естественных языков конкретной версии. Для запуска полной версии в формате BF16 README указывает на необходимость восьми GPU с 80 ГБ памяти каждая. В репозитории используется Transformers и формат safetensors; лицензия обозначена как «other», поэтому перед использованием следует проверить её условия в карточке модели.

onnx-community/gemma-3n-E2B-it-ONNX — ONNX-версия инструкционной мультимодальной модели Gemma 3n E2B IT, разработанной Google DeepMind и подготовленной для использования с Transformers.js. Модель предназначена для эффективного запуска на устройствах с ограниченными ресурсами и принимает текстовые, графические, видео- и аудиовходы, генерируя текстовые ответы. Она подходит для вопросов и ответов, суммаризации, анализа изображений и видео, распознавания речи и автоматического перевода речи. Модель использует архитектуру MatFormer и технологию выборочной активации параметров. При общем размере около 6 млрд параметров её эффективный размер соответствует примерно 2 млрд параметров, поскольку матрицы с низкой частотой использования могут выгружаться с ускорителя. Изображения обрабатываются в разрешениях 256×256, 512×512 или 768×768 и кодируются в 256 токенов каждое; аудио представляется со скоростью 6,25 токена в секунду для одного канала. Максимальный входной контекст составляет 32 тысячи токенов, а суммарная длина генерации — до 32 тысяч токенов за вычетом входа. Обучение проводилось на данных более чем 140 разговорных языков. К сильным сторонам относятся сочетание мультимодальности, компактного эффективного размера и возможности локального выполнения через Transformers.js, включая сценарии с WebGPU. Ограничения включают зависимость от поддерживаемого окружения ONNX и Transformers.js, а также отсутствие в предоставленной карточке подробных результатов бенчмарков, точного перечня языков и количественной оценки качества по отдельным задачам. Модель распространяется на условиях лицензии Gemma; применяются соответствующие Terms of Use Google.

Ornith-1.5-9B-Uncensored-W4A16 — мультимодальная модель для задач image-text-to-text, разработанная bowmanslayer. Это квантованная версия Ornith-1.5-9B-Uncensored в формате W4A16: веса представлены в INT4, активации — в FP16. Модель ориентирована на английский и китайский языки, а также на сценарии, где требуется обработка текста и изображений. Архитектура включает 32 слоя, из которых 24 являются linear-слоями и 8 — слоями full attention; размер скрытого состояния составляет 4096. Размер квантованной модели — около 8 ГБ. Она предназначена прежде всего для запуска через vLLM с ядром gptq_marlin; поддерживается FP8 KV-кэш fp8_e5m2, который уменьшает расход памяти и позволяет эффективнее работать с длинным контекстом. Указанные в README оценки относятся главным образом к BF16-версии-источнику; для W4A16 заявлены близкие результаты в выборочных проверках. Сильными сторонами являются сохранённые возможности рассуждения, программирования и следования инструкциям, высокая производительность на ряде тестов, а также экономичное использование памяти благодаря гибридной архитектуре и квантованию. Ограничение модели заключается в удалении исходного safety alignment: она не содержит фильтров и защитных ограничений и может выполнять вредоносные, опасные или незаконные запросы. Поэтому ответственность за безопасное и законное применение полностью лежит на пользователе. Лицензия модели — MIT.

Minachist/Qwen3.8-27B-INT6-Mixed-AutoRound — это квантизированный мультимодальный чекпойнт на базе Qwen/Qwen3.8-27B, разработанный пользователем Minachist. Модель предназначена для запуска через vLLM на системах примерно с 48 ГБ суммарной видеопамяти, включая сценарии с обработкой изображений, полным контекстом и включённым MTP. Модель содержит 64 языковых слоя: 48 слоёв с gated-delta linear attention и 16 слоёв с полноценным attention. Используется смешанная квантизация AutoRound в формате compressed-tensors pack-quantized с эффективной плотностью 7,30 бит на вес: отдельные компоненты работают в INT5, INT6, INT7 или INT8, а часть параметров, включая vision tower, нормы и некоторые проекции, сохранена в BF16. Заявленный максимальный контекст составляет 262 144 токена. Поддерживаются текстовая и визуальная модальности; конкретный набор языков в README не указан. По измерениям автора, на тесте WikiText-2 средняя KL-дивергенция относительно BF16-версии составила 0,001980, согласие top-1 предсказаний — 97,905%, а perplexity — 7,9183 против 7,9112 у базовой модели. Это указывает на небольшую потерю качества при существенном сокращении требований к памяти. Ограничение модели — она не загружается в стандартный vLLM: требуются версия с поддержкой 5–8-битных схем, пакет humming-kernels и патч для qwen3_5.py и qwen3_5_mtp.py. В README рекомендована лицензия Apache-2.0.

Vishva007/Qwen3.8-27B-W4A16-AutoRound-GPTQ — квантованная версия модели Qwen/Qwen3.8-27B, подготовленная с использованием алгоритма Intel AutoRound. Базовая архитектура разработана командой Qwen; автор репозитория адаптировал её для более экономичного запуска. Модель относится к мультимодальным vision-language моделям и поддерживает сценарии обработки текста и изображений с генерацией текста, включая визуальное рассуждение и OCR. Модель содержит около 27 млрд параметров и использует формат W4A16: веса представлены в 4-битном виде, а активации — в 16-битном. Квантование выполнено с размером группы 64, симметричной схемой и калибровкой на 512 образцах. Vision tower сохранён в формате BF16, как и специальные MTP-слои, что должно помогать сохранять качество работы с изображениями. Заявленное потребление видеопамяти составляет примерно 16–18 ГБ против около 54 ГБ у исходной BF16-модели; это позволяет запускать модель на одной видеокарте с 24 ГБ памяти. В README приведён пример использования с vLLM и длиной контекста 4096 токенов, однако полный набор поддерживаемых языков и исходный максимальный контекст не указаны. К преимуществам относятся существенно сниженные требования к VRAM, потенциально более высокая скорость декодирования за счёт уменьшения нагрузки на пропускную способность памяти и сохранение vision tower в BF16. Ограничениями являются возможная потеря точности из-за 4-битного квантования, зависимость от совместимости используемого движка с AutoRound или GPTQ и отсутствие подробных результатов бенчмарков. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Distilled-9B-NPU2 — это квантизированный порт модели empero-ai/Qwen3.8-9B-Distill, подготовленный Atomic-Germ для инференса на NPU AMD XDNA. Модель скомпилирована для среды выполнения FastFlowLM версии 1.0.1 и поставляется в формате Q4NX, а не GGUF. Размер файла весов model.q4nx составляет 7,11 ГБ; конверсия выполнена 26 августа 2026 года. Модель предназначена для языковых и визуально-языковых задач, включая работу с изображениями, рассуждения и function calling. В репозитории также присутствует отдельный файл vision_weight.q4nx, а конфигурация и шаблон диалога рассчитаны на использование с FastFlowLM. Архитектура, точное число параметров, поддерживаемые языки и размер контекстного окна в карточке не указаны. Ключевое преимущество модели — адаптация к инференсу на AMD XDNA NPU с использованием квантизации Q4NX и специализированного runtime FastFlowLM. Ограничения связаны с зависимостью от FastFlowLM и совместимого оборудования AMD XDNA, а также с отсутствием подробных сведений о качестве, языковом охвате и контексте. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next-NVFP4-SSD-Stream — подготовленная для инференса версия RadixArk/Qwen3.8-Flash-Next-NVFP4, созданная garnermccloud для работы с SGLang и расширением sglang-ssd-stream. Модель предназначена для мультимодальных задач image-text-to-text, включая обработку изображений, reasoning, retrieval, работу с инструментами и генерацию текста или кода. Подготовка не включает дообучение, тонкую настройку или повторную квантизацию: изменена только организация хранения данных для обслуживания модели. В основе используется архитектура Qwen/Qwen3.8-Flash-Next. Routed experts применяют ModelOpt NVFP4 W4A4, а attention, shared experts, embeddings, LM head, vision-компоненты и MTP-веса сохранены в BF16; predictive lookup table хранится в FP8. 48-гигабайтная таблица вынесена из оперативной памяти в локальный read-only SSD sidecar объёмом около 51,2 GB, что снижает требования к RAM при загрузке. Заявленный контекст по умолчанию составляет 131 072 токена; в исторических измерениях использовался пул на 262 144 токена. Подготовленный набор данных занимает около 140 GiB. Главное преимущество — возможность запускать модель с существенно меньшим потреблением системной памяти, загружая необходимые данные с SSD во время работы GPU. Производительность зависит от оборудования, профиля и типа нагрузки: измерения на RTX PRO 6000 Blackwell показывают смешанные результаты, поэтому заявленные ускорения нельзя считать универсальными; качество модели отдельно не оценивалось. Решение ориентировано на SGLang и требует совместимого runtime, локального SSD sidecar и соответствующей GPU-конфигурации. Лицензия указана как other; дополнительных условий использования в README не приведено.

sergeyzh/rubert-mini-sts — компактная русскоязычная модель для семантического сравнения предложений, разработанная на основе cointegrated/rubert-tiny2. Это BERT-энкодер с 32,8 млн параметров и эмбеддингами размерности 312; в README указано, что число слоёв увеличено с 3 до 7. Модель принимает текст и выдаёт векторные представления предложений для оценки их сходства. Модель предназначена для semantic text similarity, выявления перефразировок, вывода о связи между текстами, анализа тональности и выявления токсичности. По результатам бенчмарка encodechka она уступает более крупным multilingual-e5-large и LaBSE-ru-sts по STS, но README приводит для неё более высокую скорость на CPU. Указанная длина контекста — 2048 токенов. Модель выпущена под лицензией MIT.

OpenThai Chinda 4B — языковая модель iApp Technology, дообученная на базе Qwen3-4B для работы прежде всего с тайским языком. Она построена на плотной архитектуре Qwen3ForCausalLM и содержит около 3,7 млрд параметров. Модель поддерживает диалог и переключение между режимами рассуждения и обычной генерации; заявленное нативное окно контекста — 40 960 токенов по метаданным, а README рекомендует держать контекст в пределах 32 768 токенов для оптимальной работы и описывает расширение до 131 072 токенов с YaRN. Модель предназначена для тайскоязычных чат-ботов и RAG-систем, математических задач, генерации кода и локального запуска на пользовательских устройствах. README заявляет точность генерации на тайском 98,4% и высокие результаты в приведённых бенчмарках, но эти показатели представлены разработчиком и зависят от методики оценки. Для фактических вопросов без контекста модель может галлюцинировать; для таких сценариев рекомендуется предоставлять источники или использовать RAG. Модель выпущена по лицензии Apache 2.0, разрешающей коммерческое и частное использование, модификацию и распространение.

Это конвертированное представление мультимодальной модели NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning для нативного инференса через Swift/MLX на компьютерах Apple Silicon. В репозитории сохранены веса BF16 исходной модели: значения тензоров не квантизировались, не округлялись и не обучались заново; изменена раскладка экспертных тензоров для пути MLX gather-matmul. Размер весов составляет около 66,03 ГБ. Модель предназначена для диалоговой работы и рассуждений с текстом, изображениями, аудио и видео; базовая карточка указывает сценарии транскрибации, OCR, суммаризации и обработки документов. Репозиторий поддерживает интерфейс вызова инструментов, но использует специальный нативный формат checkpoint и рассчитан на Nemotron Omni Swift/MLX runtime; он не является готовым checkpoint для Transformers. Лицензия указана как other, поэтому условия использования следует сверять с лицензией исходной модели NVIDIA.

Vontra/Qwen3.8-Flash-Next-MLX-8bit-MTP — конверсия модели Qwen/Qwen3.8-Flash-Next, подготовленная Vontra для Apple Silicon в формате MLX safetensors. Модель предназначена для мультимодальных сценариев с обработкой текста и изображений, включая чат и использование через OpenAI-совместимый API при наличии совместимого runtime. Архитектура представляет собой vision-language модель с разреженной mixture-of-experts архитектурой Qwen4Exp и причинным языковым моделированием. Всего языковая часть содержит около 125 млрд параметров, из которых активно используется около 6 млрд; дополнительно заявлены 51 млрд параметров в hashed bigram/trigram embedding и 4 млрд параметров в блоке native MTP. Модель поддерживает контекст до 262 144 токенов. Применяется равномерная 8-битная affine-квантизация с group size 32, тогда как мультимодальные модули и маршрутизаторы MoE сохранены в BF16. Native MTP включает один draft-блок Qwen4Exp для speculative decoding. Сильными сторонами являются уменьшенный по сравнению с BF16-вариантом объём весов, поддержка длинного контекста и потенциальное ускорение генерации с MTP: в приведённом тесте на Apple M3 Studio скорость выросла с 20,07 до 24,90 токена в секунду. Ограничения включают размер весов около 202,951 ГБ, необходимость runtime с явной поддержкой qwen4_exp и native MTP, а также зависимость поддержки изображений от версий MLX-VLM и oMLX. Приведённые показатели относятся только к генерации текста и могут меняться в зависимости от оборудования и условий запуска. Модель распространяется по Qwen Community License 1.0. Языки, точный перечень разрешённых сценариев и дополнительные ограничения лицензии в README не описаны.

wangkanai/qwen3-vl-4b-instruct — мультимодальная модель на 4 млрд параметров, основанная на Qwen3-VL-4B-Instruct команды Qwen в Alibaba Cloud. В репозитории представлены веса SafeTensors и GGUF FP16; карточка описывает версию как abliterated. Лицензия — Apache-2.0. Модель принимает текст и изображения, а также предназначена для понимания видео. Она подходит для визуальных вопросов и ответов, OCR, анализа сцен и временных событий, рассуждений по изображениям, генерации кода интерфейсов и взаимодействия с графическими интерфейсами. В карточке заявлены 256K токенов контекста с возможностью расширения до 1M, OCR на 32 языках, пространственное рассуждение и привязка событий видео к временным меткам. Архитектура включает визуальный энкодер DeepStack на основе ViT и позиционное кодирование Interleaved-MRoPE. Для инференса указаны требования от 12 ГБ видеопамяти и 16 ГБ системной памяти для FP16; результаты и скорость зависят от оборудования и настроек. Заявленные возможности OCR и пространственного анализа приведены в README и не сопровождаются здесь независимыми оценками качества.

Qwen3-VL-8B-Instruct-Unredacted-MAX-Quants-GGUF — набор высококачественных GGUF-квантизаций мультимодальной модели prithivMLmods/Qwen3-VL-8B-Instruct-Unredacted-MAX. Модель предназначена для диалогового взаимодействия, генерации текста и анализа изображений, включая задачи image-to-text, описания изображений и визуального распознавания. В README заявлена версия без ограничительных фильтров. Модель основана на архитектуре Qwen3-VL и содержит 8 миллиардов параметров. Поддерживаются текстовая и визуальная модальности, а также английский, русский и китайский языки. Доступны варианты квантования Q2_K, Q3_K_M, Q4_K_M, Q5_K_M, Q6_K, Q8_0 и F16; Q4_K_M рекомендован как баланс скорости и качества, а F16 служит эталонным вариантом с базовым качеством. Для обработки изображений требуется отдельный vision projector mmproj, доступный в форматах F32, F16, BF16 и Q8_0. Преимуществами являются совместимость с llama.cpp и другими GGUF-совместимыми средами, выбор вариантов под разные требования к памяти и производительности, а также полноценная поддержка изображений при использовании mmproj. К ограничениям относятся компромиссы между размером, скоростью и качеством у разных квантований; варианты Q2_K и Q3_K_M характеризуются более заметной потерей качества, а визуальные задачи требуют дополнительного файла проектора. Лицензия — Apache-2.0.

sergeyzh/rubert-large-uncased-sts — плотная BERT-модель, разработанная Sergeyzh для получения эмбеддингов русских и английских текстов. Эмбеддинги дистиллированы из Qwen/Qwen3-Embedding-4B. Модель предназначена для оценки семантического сходства предложений (STS), поиска перефразов, дедупликации и задач логического вывода NLI. Модель имеет 12 слоёв, размер эмбеддинга 1024 и контекст до 512 токенов. Для работы через Sentence Transformers специальные префиксы не требуются. Её также можно использовать как основу для дообучения под пользовательскую классификацию и кластеризацию. В README приведены результаты оценки на русских и английских бенчмарках семантического сходства; показатели на русских наборах близки к Qwen3-Embedding-4B, а на английских ниже. Модель распространяется по лицензии MIT.

Dynin-Omni — мультимодальная модель семейства Dynin-Omni, разработанная авторами проекта Dynin-Omni и дообученная на основе Gen-Verse/MMaDA-8B-MixCoT. Это плотная модель примерно на 9,2 млрд параметров с архитектурой masked diffusion: она представляет текст, изображения, видео и речь дискретными токенами в общем словаре и генерирует ответы итеративным уточнением масок. Модель предназначена для диалога и рассуждений, понимания изображений и видео, генерации и редактирования изображений, распознавания речи и синтеза речи. Единая архитектура поддерживает преобразования между модальностями, включая видео в текст, речь в текст, текст в речь и текст в изображение. В README заявлены расширенный контекст, генерация речи длительностью до 21 секунды и режимы рассуждения с управлением глубиной. Модель можно запускать и обучать локально через Transformers; поддержка в vLLM-Omni заявлена для будущего выпуска версии 0.19.0. В карточке приведены результаты на тестах рассуждений, понимания изображений и видео, генерации изображений и распознавания речи. Эти значения зависят от используемого протокола оценки. Лицензия — MIT. Карточка указывает английский язык; языки для аудио и других мультимодальных задач отдельно не перечислены.

Qwen3.8-Flash-Next-W4A16 — это 4-битная версия модели Qwen3.8-Flash-Next, опубликованная aixiaoma и предназначенная для запуска на потребительских GPU NVIDIA Ampere. Модель использует INT4-квантизацию W4A16 с группами по 128 элементов, симметричными масштабами и форматом compressed-tensors. Архитектурно это мультимодальная модель image-text-to-text с MoE-компонентом: квантифицированы основные экспертные и attention-матрицы, тогда как чувствительные компоненты, включая vision encoder, эмбеддинги, маршрутизатор, GDN/linear attention, PLE-таблицы и MTP-модуль, сохранены в BF16. Точные размеры, список поддерживаемых языков и параметры контекстного окна в README явно не приведены, однако указано, что исходная BF16-модель имеет около 335 ГБ, а квантифицированная версия занимает около 168 ГБ на диске. Модель предназначена для диалоговых и мультимодальных сценариев, включая обработку изображений и текста, а также инференс с длинным контекстом. Она запускается через специальную сборку vLLM с поддержкой qwen4_exp, Marlin kernels и PLE offload. На конфигурации из 4 RTX 3090 поддерживается контекст до 96 тысяч токенов, а на 8 RTX 3090 — полный заявленный контекст до 262 тысяч токенов. MTP-модуль сохранён в BF16, поэтому доступно speculative decoding; по данным авторов, для однопоточного декодирования это даёт прирост примерно на 57 процентов. К сильным сторонам относятся возможность запуска на широко распространённых GPU Ampere без поддержки FP8, сохранение качества на заявленном наборе greedy-тестов на уровне базовой модели и существенное сокращение объёма GPU-памяти за счёт выгрузки 102 ГБ PLE-таблиц в оперативную память. Ограничения включают высокие требования к оборудованию и минимум около 110 ГБ свободной оперативной памяти, обязательное использование expert parallelism, специальные параметры Docker и vLLM, а также необходимость отключить torch.compile из-за проблем с компиляцией на Ampere. Лицензия указана как qwen-community-1.0; также отмечена связь с базовой моделью Qwen3.8-Flash-Next.

facebook/bart-large — англоязычная модель BART, разработанная командой Facebook и впервые опубликованная вместе с работой о предобучении преобразователей методом восстановления зашумлённого текста. Это архитектура Transformer encoder-decoder: двунаправленный энкодер сочетается с авторегрессионным декодером. Модель содержит 252,8 млн параметров, принимает текст с контекстом до 1024 токенов и доступна в форматах PyTorch, TensorFlow и Flax. BART обучена восстанавливать исходный текст после различных преобразований, поэтому базовую модель можно применять для заполнения пропусков в тексте и извлечения признаков. После дообучения она подходит для генерации текста, в частности суммаризации и перевода, а также для классификации и ответов на вопросы. Карточка рекомендует дообучать модель на размеченных данных для конкретной задачи. Лицензия — Apache 2.0.

OS-Software/Gemma 4 12B IT QAT Q4_0 Unquantized Heretic JA v2 — экспериментальная производная модели Google Gemma 4 12B IT. Репозиторий описывает Gemma 4 как мультимодальную модель Google DeepMind для работы с текстом, изображениями, видео и аудио; эта версия дообучена на базе google/gemma-4-12B-it и помечена как uncensored/abliterated. Указаны гибридное внимание с локальными окнами и глобальными слоями, рассуждение, вызов инструментов, генерация и исправление кода, а также мультиязычная поддержка. Для семейства 12B заявлено контекстное окно до 256K токенов и поддержка распознавания речи и перевода аудио в текст; метаданные указывают Transformers, safetensors и лицензию Apache-2.0. Карточка позиционирует модель для исследований и экспериментов, включая исследования безопасности, выравнивания и red teaming, и просит не развёртывать её в публичных сервисах или пользовательских приложениях. Возможны предвзятые, неточные или устаревшие ответы, трудности со сложными инструкциями и языковыми нюансами; для этой версии отдельные измерения качества не приведены.

GLiClass Multilang Mini — мультиязычная модель классификации текста из семейства GLiClass, опубликованная Knowledgator. Она предназначена для классификации с пользовательскими метками без дообучения, а также для few-shot сценариев с примерами и описаниями меток. Модель содержит около 288 млн параметров и использует архитектуру GLiClass с механизмом CrossAttn Scorer. Модель подходит для тематической и тональной классификации, определения намерений, проверки следования правилам и безопасности ответов LLM, обнаружения галлюцинаций, NLI и оценки релевантности пары запрос–текст. Она обучена для 20 языков и поддерживает межъязыковые сочетания текста и меток. В README приведены результаты zero-shot оценок и высокая пропускная способность на GPU, но фактическое качество зависит от языка, набора меток и задачи; для NLI рекомендуется подавать одну гипотезу за раз. Веса представлены в формате safetensors, для использования предлагается библиотека gliclass. Лицензия — Apache-2.0.

Jan-v2-VL-f32-AIO-GGUF — GGUF-сборка 8-миллиардной vision-language модели Jan-v2-VL, разработанной командой JanHQ. Модель предназначена для взаимодействия с визуальными и текстовыми данными, а также для выполнения многошаговых задач в реальных программных средах, включая браузеры и настольные приложения. Модель сочетает языковое рассуждение с визуальным восприятием, поддерживает анализ скриншотов, заземление элементов интерфейса и вызов инструментов. Она рассчитана на агентную автоматизацию, управление пользовательским интерфейсом, следование сложным инструкциям, сохранение промежуточного состояния и восстановление после незначительных ошибок. Заявлен английский язык, однако сведения о размере контекста и точной архитектуре в README не указаны. Доступны варианты low, med и high: low ориентирован на эффективность и меньшую задержку, med предлагает баланс качества и скорости, а high использует более глубокое рассуждение и требует больше времени на обработку. Сильными сторонами являются работа с визуально-текстовыми сценариями, устойчивое пошаговое выполнение длинных последовательностей и возможность локального запуска через vLLM и llama.cpp. Ограничениями являются отсутствие в README подробных метрик, данных о контекстном окне и гарантий качества за пределами заявленных сценариев, а также повышенные требования к ресурсам для полноразмерных F32-файлов. Модель распространяется по лицензии Apache-2.0.

coder3101/LFM2.5-350M-heretic — декензурированная версия LFM2.5-350M от Liquid AI, созданная автором репозитория с помощью Heretic v1.3.0. Это компактная плотная языковая модель для генерации текста и диалогов, рассчитанная на локальное и периферийное выполнение. По карточке исходная архитектура включает 16 слоёв: блоки свёрток LIV и GQA; модель принимает только текст и поддерживает контекст до 128 000 токенов согласно метаданным. Она предназначена для извлечения данных, структурированных ответов и работы с инструментами. В README сравнение с исходной моделью показывает 6 отказов из 100 против 90 из 100 у оригинала. Модель поддерживает английский, арабский, китайский, французский, немецкий, японский, корейский, испанский и португальский языки. README исходной модели указывает 350 млн параметров, тогда как метаданные этой версии — 444,6 млн. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Программирование и задачи, требующие обширных знаний, для исходной модели не рекомендуются; показатели производительности исходной модели не следует автоматически считать проверенными для этой версии. Лицензия обозначена как other, поэтому условия использования следует уточнить в карточке репозитория.

Карточка модели Laevo/LFM2.5-Encoder-230M на Hugging Face совпадает с карточкой LiquidAI/LFM2.5-Encoder-230M, поэтому описание составлено по ней. LFM2.5-Encoder-230M — разработанный Liquid AI компактный многоязычный двунаправленный энкодер на архитектуре LFM2 с 221,2 млн параметров. Это masked language model с головой заполнения масок, предназначенная прежде всего для дообучения под прикладные задачи обработки текста. Гибридная архитектура чередует блоки коротких gated-свёрток и grouped-query attention; модель доступна в формате safetensors и работает через Transformers с удалённым кодом модели. Энкодер подходит как основа для классификации текста и токенов, извлечения сущностей, поиска и ранжирования, оценки семантического сходства, определения тональности и естественно-языкового вывода. Заявлена поддержка 15 языков, включая русский. README указывает контекст до 8 192 токенов и возможность эффективного запуска на устройстве и в браузере через WebGPU; значение длины контекста в метаданных каталога составляет 128 000 токенов, поэтому фактический рабочий предел следует сверять с используемой конфигурацией модели. Модель ориентирована на низкие требования к памяти и задержке; авторы сообщают о хорошей производительности на длинных последовательностях и приводят сравнения с другими энкодерами. Для перечисленных прикладных задач обычно требуется дообучение: исходная модель не является готовым специализированным классификатором или поисковым ранжировщиком. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели.

LFM2.5-Encoder-230M — разработанный Liquid AI компактный многоязычный двунаправленный энкодер на архитектуре LFM2 с 221,2 млн параметров. Это masked language model с головой заполнения масок, предназначенная прежде всего для дообучения под прикладные задачи обработки текста. Гибридная архитектура чередует блоки коротких gated-свёрток и grouped-query attention; модель доступна в формате safetensors и работает через Transformers с удалённым кодом модели. Энкодер подходит как основа для классификации текста и токенов, извлечения сущностей, поиска и ранжирования, оценки семантического сходства, определения тональности и естественно-языкового вывода. Заявлена поддержка 15 языков, включая русский. README указывает контекст до 8 192 токенов и возможность эффективного запуска на устройстве и в браузере через WebGPU; значение длины контекста в метаданных каталога составляет 128 000 токенов, поэтому фактический рабочий предел следует сверять с используемой конфигурацией модели. Модель ориентирована на низкие требования к памяти и задержке; авторы сообщают о хорошей производительности на длинных последовательностях и приводят сравнения с другими энкодерами. Для перечисленных прикладных задач обычно требуется дообучение: исходная модель не является готовым специализированным классификатором или поисковым ранжировщиком. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели.

Llama-3-Refueled (RefuelLLM-2-small) — языковая модель Refuel AI на архитектуре Llama 3, дообученная для следования инструкциям. Она предназначена для генерации текста и выполнения NLP-задач, включая классификацию, ответы на вопросы по прочитанному, извлечение атрибутов в структурированном виде и разрешение сущностей. Модель принимает и выдаёт только текст; её контекст составляет 8192 токена, размер — 7,5 млрд параметров. Обучение охватывает более 2750 задач и свыше 4 млрд токенов, с использованием аннотированных, синтетических и собственных или лицензированных Refuel AI данных. Модель рассчитана на англоязычные сценарии и доступна в формате safetensors для Transformers. Лицензия CC BY-NC 4.0 запрещает коммерческое использование. В README отмечено отсутствие встроенных механизмов модерации, поэтому модель может выдавать немодерированный контент.