I.4Обработка документов и форм

Карточка модели Terom/gemma-4-E2B-it-qat-q4_0-unquantized на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

alphakek/gemma-4-E4B-it-heretic-mythos-v1 — производная мультимодальная модель на базе Google Gemma 4 E4B Instruct, опубликованная пользователем alphakek. По карточке, Gemma 4 использует плотную архитектуру с чередованием локального скользящего и глобального внимания. Базовая модель рассчитана на контекст до 128K токенов; метаданные указывают формат safetensors и библиотеку Transformers. Модель предназначена для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и работы с инструментами. Вариант E4B поддерживает смешанные текстовые и визуальные запросы, видео через последовательности кадров, а также аудиовход для распознавания речи и перевода речи в текст. Gemma 4 описана как многоязычная модель с поддержкой более 35 языков, но какие именно языки и возможности сохранены в этой производной версии, карточка не уточняет. Название и теги указывают на попытку ослабить встроенные ограничения ответов (heretic, uncensored, decensored, abliterated), однако README не описывает конкретную процедуру изменений или их влияние на качество и безопасность. Как и базовая модель, она может допускать фактические ошибки, испытывать трудности с неоднозначными запросами и отражать смещения обучающих данных. Лицензия репозитория — Apache-2.0.

Fx-Work — мультимодальная языковая модель класса 35B для профессиональных задач в средах с файлами и инструментами. Она разработана командой Endless Frontier на базе Qwen3.6-35B-A3B и дообучена на 20 тысячах траекторий взаимодействия с инструментами. Модель интерпретирует рабочие материалы разных типов, учитывает операционные ограничения, при необходимости формирует вызовы инструментов и создаёт результаты по заданным требованиям. Модель рассчитана на агентные рабочие сценарии: анализ документов и других материалов, выполнение последовательных задач и подготовку профессиональных результатов. Поддерживает изображения и видео вместе с текстом; карточка указывает английский язык. В README для запуска приведён контекст до 262 144 токенов. Заявленные результаты сравнительных оценок относятся к конкретным бенчмаркам и не гарантируют такого же качества в других задачах. Для работы с инструментами требуется окружающая агентная инфраструктура; сервер модели выдаёт текст и, при настройке, ответы с вызовами инструментов. Модель распространяется по лицензии Apache-2.0.

Gemma-SEA-LION-v4-27B-IT-GGUF — квантованная GGUF-версия Gemma-SEA-LION-v4-27B-IT, разработанная подразделением AI Products Pillar компании AI Singapore при финансировании Singapore NRF. Это decoder-модель семейства SEA-LION (Southeast Asian Languages In One Network), ориентированная на задачи для Юго-Восточной Азии. Модель предназначена для генерации и понимания текста, диалоговых сценариев, обработки документов, визуальных вопросов и ответов, рассуждений по изображениям, вызова функций и формирования структурированных ответов. Модель имеет 27B параметров и контекстное окно до 128K токенов. Она поддерживает текст и изображения, использует токенизатор Gemma 3 27B Instruct и обучалась на бирманском, английском, индонезийском, кхмерском, лаосском, малайском, китайском, тагальском, тамильском, тайском и вьетнамском языках. Квантованные варианты Q4_K_M, Q8_0 и BF16 снижают требования к памяти и совместимы с различными движками инференса, включая llama.cpp; вариант Q4_K_M может запускаться на ноутбуке с 16 ГБ памяти через Ollama. Сильными сторонами являются специализация на языках и сценариях Юго-Восточной Азии, большой контекст, мультимодальность и поддержка интеграции в системы через function calling и structured outputs. Ограничения включают зависимость производительности и требований к памяти от выбранного варианта квантования, а также отсутствие выравнивания по безопасности: разработчикам и пользователям необходимо самостоятельно применять safety fine-tuning и дополнительные меры защиты. Лицензия — Gemma Terms of Use.

Карточка модели aoiandroid/LFM2.5-2.6B на Hugging Face совпадает с карточкой LiquidAI/LFM2.5-2.6B, поэтому описание составлено по ней. LFM2.5-2.6B — компактная текстовая модель Liquid AI из семейства гибридных LFM2.5, настроенная для локального запуска на устройствах и агентных сценариев. Это дообученная версия LFM2.5-2.6B-Base с 2,6 млрд параметров; архитектура LFM2 использует 30 слоёв, включая блоки свёртки с двойным гейтингом и слои GQA. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и работает с 17 языками, включая русский. Модель предназначена для вызова инструментов, следования инструкциям, многошаговых агентных задач, извлечения данных, RAG и работы с длинным контекстом. В карточке заявлены скорость до 220 токенов в секунду на Apple M5 Max и до 113 токенов в секунду на процессоре AMD Ryzen при использовании менее 2,5 ГБ памяти; фактические показатели зависят от оборудования и конфигурации. Liquid AI не рекомендует её для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other; её условия следует уточнить в репозитории модели.

LFM2.5-2.6B — компактная текстовая модель Liquid AI из семейства гибридных LFM2.5, настроенная для локального запуска на устройствах и агентных сценариев. Это дообученная версия LFM2.5-2.6B-Base с 2,6 млрд параметров; архитектура LFM2 использует 30 слоёв, включая блоки свёртки с двойным гейтингом и слои GQA. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и работает с 17 языками, включая русский. Модель предназначена для вызова инструментов, следования инструкциям, многошаговых агентных задач, извлечения данных, RAG и работы с длинным контекстом. В карточке заявлены скорость до 220 токенов в секунду на Apple M5 Max и до 113 токенов в секунду на процессоре AMD Ryzen при использовании менее 2,5 ГБ памяти; фактические показатели зависят от оборудования и конфигурации. Liquid AI не рекомендует её для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other; её условия следует уточнить в репозитории модели.

Heretic-org/LFM-2.5-2.6B-heretic — текстовая чат-модель на 2,6 млрд параметров, созданная с помощью Heretic v1.4.0 как «децензурированная» версия LiquidAI/LFM2.5-2.6B. Это плотная причинная языковая модель семейства LFM2 с 30 слоями и контекстом до 131 072 токенов; модель работает с текстом и поддерживает многоязычный ввод и генерацию, включая русский, английский, арабский, китайский, французский, немецкий, хинди, индонезийский, итальянский, японский, корейский, польский, португальский, испанский, тайский и вьетнамский. Модель предназначена для диалогов, следования инструкциям, работы с инструментами, извлечения данных, RAG и сценариев с длинным контекстом, в том числе локального и периферийного развертывания. В README приведено сравнение с исходной моделью: 4 отказа из 100 запросов против 98 у оригинала при KL-дивергенции 0,0321; это указывает на снижение склонности к отказам, но не доказывает универсальное качество или безопасность. Разработчик исходной модели — Liquid AI; эту производную модель подготовил heretic-org. Указана лицензия «other», поэтому конкретные права и ограничения следует проверять в файлах репозитория и условиях исходной модели.

Gemma 3n E4B-it LiteRT-LM — мультимодальная instruction-tuned модель семейства Gemma, разработанная Google DeepMind на основе исследований и технологий Gemini. Она предназначена для эффективного выполнения на устройствах с ограниченными ресурсами, включая смартфоны, ноутбуки, настольные компьютеры и собственную облачную инфраструктуру. Модель подходит для ответов на вопросы, суммаризации, рассуждений, анализа изображений, а также обработки аудио- и видеоданных с генерацией текстовых ответов. Модель поддерживает текстовые, визуальные, аудио- и видеовходы и принимает контекст объёмом до 32K токенов; максимальная длина вывода составляет до 32K токенов за вычетом входных токенов. Изображения подаются в разрешениях 256×256, 512×512 или 768×768 и кодируются по 256 токенов каждое, аудио — со скоростью 6,25 токена в секунду для одного канала. Gemma 3n использует selective parameter activation и архитектуру Matformer, благодаря чему эффективный размер модели составляет около 4B параметров при меньших требованиях к ресурсам. Указанная версия доступна в формате LiteRT-LM и использует int4-квантизацию весов с float-активациями. К сильным сторонам относятся мультимодальность, возможность локального запуска и оптимизация для мобильных и других малоресурсных устройств. Модель обучалась на данных более чем на 140 разговорных языках, однако конкретный перечень языков и гарантии качества для каждого из них не указаны. Производительность зависит от устройства, аппаратного ускорения, кэширования и текущей нагрузки; приведённые benchmarks относятся к preview-версии LiteRT-LM и не гарантируют такие же результаты в других условиях. Для использования требуется принять условия лицензии Gemma Google.

unsloth/gemma-4-26B-A4B-it-qat-GGUF — инструкционная мультимодальная модель семейства Gemma 4, разработанная Google DeepMind и подготовленная Unsloth в формате GGUF. Она принимает текст и изображения и генерирует текст, поэтому подходит для диалоговых приложений, анализа визуального содержимого, генерации текста, программирования и задач рассуждения. Модель имеет размер 26B параметров с архитектурой Mixture-of-Experts и обозначением A4B. Это QAT-чекпойнт с квантизацией Q4_0, рассчитанный на снижение требований к памяти при сохранении качества, близкого к bfloat16. Семейство Gemma 4 поддерживает контекст до 256K токенов и более 140 языков; для данной версии README отдельно не уточняет полный перечень языков и поддерживаемые помимо текста и изображений модальности. В комплекте также доступен Multi-Token Prediction drafter для speculative decoding в llama.cpp, который может ускорять генерацию без изменения проверяемого моделью результата. Сильные стороны модели — мультимодальность, большой контекст, поддержка многоязычных сценариев, возможности рассуждения и совместимость GGUF с широким спектром инструментов локального запуска. Ограничения связаны с требованиями к вычислительным ресурсам, обусловленными размером 26B, а также с возможными особенностями качества и точности, возникающими при квантизации. Модель распространяется по лицензии Apache 2.0.

llmfan46/gemma-4-E2B-it-ultra-uncensored-heretic — мультимодальная производная Gemma 4 E2B IT от независимого автора llmfan46. По README, изменён компонент attn.o_proj; модель основана на google/gemma-4-E2B-it и предназначена для диалогов, рассуждений, генерации и исправления кода, а также анализа изображений и аудио. Метаданные указывают архитектуру Gemma4ForConditionalGeneration, плотную модель и формат safetensors; библиотека для работы — Transformers. Модель принимает текст и изображения, а для варианта E2B также поддерживает распознавание речи и перевод речи в текст. README базовой Gemma 4 сообщает о контекстном окне до 128K токенов для E2B и E4B, видеоанализе по последовательности кадров, вызове инструментов и поддержке более 35 языков; карточка этой производной не подтверждает отдельно все эти возможности. Лицензия — Apache-2.0. В названии и тегах модель обозначена как uncensored, decensored и abliterated. README в основном описывает базовое семейство и не приводит отдельных оценок качества или точных характеристик этого варианта. Возможны фактические ошибки, затруднения с неоднозначными формулировками и пробелы, связанные с обучающими данными.

Granite-4.0-H-1B-Base — базовая языковая модель команды Granite компании IBM для генерации текста. Это декодерный плотный трансформер семейства GraniteMoeHybrid с компонентами GQA, Mamba2, SwiGLU и RMSNorm. Модель содержит 1,2 млрд параметров, обучена с нуля примерно на 15 трлн токенов и поддерживает контекст до 131 072 токенов. Модель предназначена для краткого и эффективного запуска, в том числе на устройствах с ограниченными ресурсами, и для офлайн-сценариев, где важна приватность. Она может использоваться для суммаризации, классификации и извлечения информации, ответов на вопросы и дополнения кода; поддерживается заполнение пропусков в коде в формате Fill-in-the-Middle. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель распространяется по лицензии Apache 2.0. Она не проходила выравнивание безопасности, поэтому может генерировать проблемный или недостоверный текст; авторы также отмечают риск дословного воспроизведения обучающих данных. Качество следует проверять для конкретной задачи.

salamanderDixon/LFM2.5-2.6B-heretic — декензурированная версия текстовой модели LiquidAI/LFM2.5-2.6B, созданная с помощью Heretic v1.4.0. Это плотная причинно-языковая модель семейства LFM2 с 2,6 млрд параметров, рассчитанная на диалоговое использование и локальное развёртывание. Модель принимает текст и генерирует текст; заявленный контекст — 131 072 токена, поддерживается 16 языков, включая русский. Версия Heretic изменяет поведение отказов: в приведённом сравнении отказы снизились с 96 до 4 из 100, а KL-дивергенция относительно исходной модели составляет 0,0263. Исходная карточка рекомендует семейство для агентных сценариев, вызова инструментов, извлечения данных, RAG и работы с длинным контекстом, но не рекомендует его для агентного программирования и задач, требующих обширных знаний. Репозиторий использует формат safetensors и библиотеку Transformers. Указана лицензия other; конкретные условия лицензии в предоставленных данных не раскрыты.

Qwen3.5-35B-A3B — мультимодальная модель Alibaba, опубликованная в формате Transformers и дообученная на базе Qwen/Qwen3.5-35B-A3B. Она предназначена для диалога, рассуждений, анализа изображений и агентных сценариев с вызовом инструментов. Модель принимает текст и изображения и генерирует текст; её архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts: всего 35 млрд параметров, из которых активируются около 3 млрд. В модели 40 слоёв, а нативное контекстное окно составляет 262 144 токена и может расширяться примерно до 1,01 млн токенов. В README заявлена поддержка 201 языков и диалектов. Модель доступна в формате safetensors, совместима с Transformers, vLLM, SGLang и KTransformers и распространяется по лицензии Apache-2.0. Для работы с длинным контекстом и изображениями могут требоваться значительные вычислительные ресурсы; авторы рекомендуют при нехватке памяти уменьшить контекстное окно, сохраняя по возможности не менее 128 тысяч токенов для сложных задач.

RedHatAI/Qwen3.5-9B-quantized.w8a8 — квантизированная версия мультимодальной модели Qwen/Qwen3.5-9B, разработанная RedHatAI. Модель принимает текст и изображения и генерирует текст, поэтому предназначена для диалоговых систем, анализа изображений, ответов на вопросы, следования инструкциям и задач рассуждения. Модель содержит около 9 млрд параметров и использует INT8-квантизацию весов и активаций линейных операторов в трансформерных блоках. Размер модели на диске составляет около 14,0 ГБ вместо 19,3 ГБ в формате BF16. Энкодер изображений, токеновые эмбеддинги и слои linear attention оставлены в BF16. Заявлена поддержка контекста до 262 144 токенов при развертывании через vLLM; доступен также текстовый режим с пониженным потреблением памяти. Ключевое преимущество модели — существенное сокращение размера и требований к памяти при сохранении качества, близкого к исходной Qwen/Qwen3.5-9B: на приведённых тестах показатели квантизированной версии находятся практически на уровне базовой модели. Ограничения включают зависимость от совместимого стека vLLM и частичную, а не полную квантизацию компонентов. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-Uncensored-FP8-MTP — мультимодальная модель на базе JonathanColetti/Qwen3.8-27B-Uncensored, опубликованная пользователем pramoths. Репозиторий содержит FP8-квантизацию и сохраняет vision tower и рабочую MTP-голову для speculative decoding. Модель относится к семейству Qwen3.8 и поддерживает текстовые и визуальные задачи; заявленные языки — английский, китайский и тайский. Модель предназначена для генерации текста и кода, извлечения информации, анализа изображений и таблиц, а также ускоренного инференса через vLLM и MTP. Размер исходной модели — 27B параметров, веса занимают около 30 ГБ. Контекст поддерживается до 262 144 токенов. Основные матричные операции квантизированы в FP8 с блоками 128×128 и форматом E4M3, тогда как нормализации, рекуррентные компоненты, vision tower, lm_head, embed_tokens и некоторые части MTP сохранены в BF16. По приведённым измерениям, модель близка к официальной Qwen3.8-27B-FP8 по точности на задачах извлечения, программирования и анализа изображений; скорость достигает 132 токенов в секунду при одном запросе и 1 373 токенов в секунду при конкуренции 16. Уровень принятия спекулятивных токенов MTP составляет около 52%. Модель изменена в сторону отсутствия стандартных отказов, поэтому её поведение отличается от официальной версии. Для эффективной работы необходимы GPU с поддержкой FP8 tensor cores, например Ada Lovelace, Hopper или Blackwell; на Ampere совместимость FP8-пути не проверена, а видеокарты с 24 ГБ памяти недостаточны для запуска на одной карте. Для длинного контекста на 47–48 ГБ VRAM требуется FP8 KV-кэш. Указана лицензия Apache-2.0.

Карточка модели gradients-io-tournaments/tournament-tourn_5c64e784a087074a_20260914-90d361cb-0b97-464a-9fda-36eb34c99261-5HBgDWKx на Hugging Face совпадает с карточкой LiquidAI/LFM2.5-2.6B, поэтому описание составлено по ней. LFM2.5-2.6B — компактная текстовая модель Liquid AI из семейства гибридных LFM2.5, настроенная для локального запуска на устройствах и агентных сценариев. Это дообученная версия LFM2.5-2.6B-Base с 2,6 млрд параметров; архитектура LFM2 использует 30 слоёв, включая блоки свёртки с двойным гейтингом и слои GQA. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и работает с 17 языками, включая русский. Модель предназначена для вызова инструментов, следования инструкциям, многошаговых агентных задач, извлечения данных, RAG и работы с длинным контекстом. В карточке заявлены скорость до 220 токенов в секунду на Apple M5 Max и до 113 токенов в секунду на процессоре AMD Ryzen при использовании менее 2,5 ГБ памяти; фактические показатели зависят от оборудования и конфигурации. Liquid AI не рекомендует её для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other; её условия следует уточнить в репозитории модели.

Granite-3.0-3B-A800M-Base — базовая языковая модель IBM Granite Team для генерации текста и других задач преобразования текста. Это декодерный трансформер со sparse Mixture of Experts (MoE): в README указаны 32 слоя и размер эмбеддинга 1536. Модель обучена с нуля в два этапа на 8 трлн и затем 2 трлн токенов из открытых и проприетарных источников; репозиторий содержит веса в формате Safetensors, библиотека — Transformers. Метаданные указывают 352,3 млн параметров и контекст до 4096 токенов. Модель предназначена для суммаризации, классификации и извлечения информации, ответов на вопросы и других сценариев генерации текста; также её можно использовать как основу для специализированного дообучения. Поддерживаемые языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Лицензия — Apache 2.0. Модель не проходила выравнивание по безопасности, поэтому может генерировать проблемный контент. Возможны предвзятость, дезинформация, галлюцинации и буквальное воспроизведение фрагментов обучающих данных.

Granite-3.1-3B-A800M-Base — базовая языковая модель IBM Granite Team для генерации текста и задач преобразования текста. Это декодерный разреженный Transformer с архитектурой Mixture of Experts (MoE), доступный в формате safetensors и содержащий 352,3 млн параметров. Модель расширяет контекст Granite-3.0-3B-A800M-Base с 4K до 128K токенов; для адаптации к длинному контексту использовалось дополнительное обучение примерно на 500 млрд токенов. Модель предназначена для суммаризации, классификации и извлечения информации из текста, ответов на вопросы, а также как основа для специализированного дообучения. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель выпущена IBM под лицензией Apache 2.0. Модель не прошла выравнивание по безопасности и может выдавать проблемный или недостоверный текст; для небольшой модели также отмечен риск дословного воспроизведения обучающих данных. Как базовая модель, она может требовать дообучения под конкретные инструкции и сценарии.

LFM2.5-Encoder-350M — мультиязычный двунаправленный энкодер от Liquid AI на архитектуре LFM2, обученный как masked language model и предназначенный для дообучения под конкретные задачи. В метаданных указано 444,6 млн параметров; модель использует гибридную архитектуру с блоками gated short-convolution и grouped-query attention, а также поддерживает контекст до 128 000 токенов по метаданным. В README для обучения описано расширение окна до 8 192 токенов. Модель рассчитана на классификацию текста и токенов, извлечение сущностей, поиск и ранжирование, оценку семантического сходства, определение тональности и намерения, NLI и extractive QA. Она поддерживает 15 языков, включая русский, и ориентирована на эффективный запуск, в том числе на устройстве и на CPU. Для прикладных задач обычно требуется дообучение; заявленные в README демонстрации построены на дообученных вариантах. Веса доступны в формате safetensors для Transformers. Для загрузки архитектуры README указывает необходимость trust_remote_code=True. Лицензия обозначена как other; конкретные условия следует сверять с карточкой модели.

RedHatAI/gemma-4-26B-A4B-it-NVFP4 — квантизированная версия мультимодальной модели google/gemma-4-26B-A4B-it, разработанная RedHatAI на базе модели Google. Она предназначена для генерации текста, диалоговых и текстовых задач, обработки изображений с выдачей текстового ответа, а также вызова инструментов и function calling. Модель поддерживает режим рассуждений и ориентирована на развёртывание через vLLM. Архитектура модели обозначена как Gemma4ForConditionalGeneration. На вход она принимает текст и изображения, на выходе генерирует текст. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат NVFP4/FP4: для весов используется размер группы 16, для активаций — локальное масштабирование по группам. Vision tower, эмбеддинги, выходная голова и маршрутизаторы MoE сохранены в исходной точности. Квантизация сокращает число бит на параметр с 16 до 4 и примерно на 75% уменьшает размер модели на диске и требования к GPU-памяти. В документации для vLLM указан максимальный контекст 32768 токенов. Сильные стороны модели — мультимодальность, поддержка рассуждений и вызова инструментов, а также сниженные требования к памяти по сравнению с неквантизированной версией. Квантизация может приводить к некоторому снижению качества относительно исходной модели; README приводит результаты сравнительных оценок, но не содержит полного описания языков и всех ограничений. Для вызова инструментов и режима рассуждений требуются соответствующие настройки vLLM и парсеры Gemma 4. Модель распространяется по лицензии Apache 2.0.

lyf/Huihui-gemma-4-31B-it-abliterated-v2-NVFP4 — мультимодальная 31-миллиардная модель, представляющая собой NVFP4-квантизированную версию Huihui-gemma-4-31B-it-abliterated-v2 от huihui-ai, созданную на базе Google Gemma 4 31B IT. Релиз предназначен для диалогов, генерации и анализа текста, следования инструкциям, программирования, структурированного вывода, а также обработки изображений и видео. В README также указана abliteration-интервенция, направленная на удаление отказов модели. Модель поддерживает сценарии «текст—текст», «изображение—текст» и «видео—текст»; аудио не поддерживается, поскольку в 31B-чекпойнте отсутствует аудиоэнкодер. Визуальная башня сохранена в формате BF16, а большинство линейных слоёв текстового стека, включая слои self-attention, квантизированы в NVFP4. Эмбеддинги, lm_head и визуальная часть также остаются в BF16. Размер файлов составляет около 19,5 ГБ, что позволяет запускать модель на одной видеокарте RTX 5090 с 32 ГБ памяти; заявленная скорость декодирования — около 69 токенов в секунду. К сильным сторонам относятся уменьшенный размер, сохранение мультимодальных возможностей исходной модели, улучшенное по сравнению с предыдущей версией значение perplexity и более строгое следование инструкциям по результатам локального тестирования. Ограничения связаны с отсутствием аудиоподдержки, требовательностью к совместимому программному стеку и аппаратному обеспечению, а также возможным влиянием агрессивной NVFP4-квантизации на качество. Для работы рекомендуется vLLM с поддержкой Gemma 4 и NVFP4. Лицензия указана как gemma.

AxionML/Qwen3.5-0.8B-NVFP4 — квантованная версия мультимодальной модели Qwen3.5-0.8B, разработанная AxionML для открытого и готового к развёртыванию использования. Модель представляет собой каузальную языковую модель с vision-энкодером и поддерживает обработку текста и изображений. Она предназначена для генерации и понимания текста, визуального анализа, рассуждений, программирования и агентских сценариев. Модель содержит около 0,8 млрд параметров, 24 слоя и имеет нативный контекст длиной до 262 144 токенов. В архитектуре сочетаются Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Версия NVFP4 создана с помощью NVIDIA TensorRT Model Optimizer: веса и активации линейных слоёв представлены в 4-битном формате FP4, что уменьшает размер на диске и потребление GPU-памяти примерно в четыре раза по сравнению с BF16. К сильным сторонам относятся небольшой размер, экономичное хранение и инференс, длинный контекст и мультимодальность. К ограничениям относятся возможная потеря качества из-за агрессивной 4-битной квантизации и зависимость производительности от совместимого оборудования и программного стека; модель ориентирована прежде всего на GPU с поддержкой NVFP4, включая архитектуру NVIDIA Blackwell. Доступна для коммерческого и некоммерческого использования по лицензии Apache 2.0.

Qwen3.5-9B-AWQ — это 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen группы Alibaba. Модель предназначена для генерации текста по текстовым запросам, а также для обработки интерleaved-входов с изображениями и текстом; базовая модель также поддерживает видео. Предусмотрен режим рассуждений, включённый по умолчанию. Модель содержит около 9 млрд параметров и использует гибридную архитектуру Gated DeltaNet и sparse MoE с vision encoder. Нативная длина контекста составляет 262 144 токена, с возможностью расширения посредством RoPE scaling. Заявлена поддержка 201 языка и диалекта. Квантизация выполнена по схеме W4A16: веса линейных слоёв языковой модели представлены в 4-битном формате, а активации — в 16-битном; vision tower, router gates и lm_head сохранены в более высокой точности. Главное преимущество версии AWQ — уменьшенные требования к дисковому пространству и VRAM при сохранении возможностей базовой vision-language модели, что делает её подходящей для запуска на одной потребительской GPU. Для инференса требуется совместимая GPU с поддержкой INT4 Marlin и свежая версия vLLM с поддержкой архитектуры Qwen3_5ForConditionalGeneration; работоспособность проверена на NVIDIA Blackwell. Ограничения включают зависимость от поддержки compressed-tensors в используемом стеке и потенциальные потери точности, характерные для квантизации, хотя vision tower намеренно не квантизован для сохранения качества понимания изображений. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели Qwen3.5-9B.

Qwen3.8-27B-heretic-ara-Q4_K_M-MTP-GGUF — квантизированная GGUF-версия модели trohrbaugh/Qwen3.8-27B-heretic-ara, подготовленная cygnal. Модель основана на Qwen3.8-27B и распространяется с сохранёнными тензорами MTP (Multi-Token Prediction) для ускоренного декодирования, а также с отдельным vision-проектором mmproj для обработки изображений. В карточке заявлены поддержка английского и китайского языков и мультимодальный сценарий image-text-to-text. Модель предназначена для диалогов, генерации и анализа текста, программирования, технических задач, извлечения структурированных данных и понимания изображений. Основной файл Q4_K_M имеет размер около 16 ГБ и использует квантизацию с 4,83 битами на вес. Для запуска рекомендован llama.cpp; заявлена поддержка контекста до 32768 токенов в типовой конфигурации. MTP может заметно повысить скорость генерации, особенно на совместимом оборудовании AMD Strix Halo, однако для запросов с изображениями в ROCmFPX его необходимо отключать из-за ограничений реализации. Сильными сторонами являются сочетание текстовых и визуальных возможностей, наличие MTP, поддержка OpenAI-совместимого API и несколько вариантов запуска для стандартного llama.cpp и ROCmFPX. Ограничения включают высокие требования к памяти, зависимость производительности от оборудования и backend, а также необходимость отдельного mmproj-файла для изображений. Исходная модель описана как uncensored-версия с изменённым поведением отказов, поэтому её ответы требуют дополнительной проверки и настройки мер безопасности. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next-FP8 — экспериментальная модель семейства Qwen, разработанная командой Qwen. Это причинная языковая модель с vision encoder, предназначенная для обработки текста и изображений, генерации ответов и решения мультимодальных задач. FP8-вариант содержит квантизированные веса и конфигурацию в формате Hugging Face Transformers и совместим с Transformers, vLLM, SGLang и TokenSpeed. Модель имеет 125 млрд параметров, из которых 6 млрд активируются при обработке, а также 51 млрд параметров n-gram embedding и 4 млрд параметров MTP. Архитектура включает 48 слоёв, гибрид Gated DeltaNet и Qwen Sparse Attention, Mixture of Experts с 512 экспертами и активацией 10 маршрутизируемых экспертов плюс одного общего. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 000 000 токенов. Для повышения эффективности на длинном контексте используется разреженное внимание на уровне микроблоков. Ключевые сильные стороны модели — высокая вычислительная эффективность, сниженная задержка при работе с длинным контекстом, поддержка мультимодальных сценариев и экономичное FP8-квантизирование с заявленной близостью характеристик к исходной модели. Ограничения включают экспериментальный статус архитектуры, отсутствие в представленном README сведений о поддерживаемых языках, подробных результатах бенчмарков и требованиях к оборудованию. Модель распространяется по лицензии qwen-community-1.0; условия следует уточнять в файле LICENSE.

DeepSeek-V4-Flash-Vision-Exp — экспериментальная мультимодальная модель семейства DeepSeek-V4, разработанная DeepSeek AI. Она создана на основе архитектуры DeepSeek-V4-Flash с добавлением визуальных модулей и дополнительным обучением для поддержки задач визуального понимания и мультимодальных агентных сценариев. Модель принимает текст и изображения; README также указывает поддержку OpenAI-совместимого формата сообщений и обработки изображений через специальные prompt-форматы. Модель предназначена для мультимодальных агентов, анализа изображений, графиков и других визуальных элементов, а также для текстовых агентных задач, включая работу с инструментами, репозиториями, терминалом и автоматизацией. По заявленным результатам она заметно превосходит DeepSeek-V4-Flash-0731 в ряде мультимодальных тестов, сохраняя сопоставимую производительность в текстовых агентных задачах. Среди технических компонентов упоминаются vision encoder, aligner, DFlash attention, Mixture-of-Experts, Hyper-Connections и DSpark; точные размер модели, длина контекста и перечень поддерживаемых языков в README не указаны. К ограничениям относятся экспериментальный статус, отсутствие в предоставленных данных подробных характеристик аппаратных требований, контекстного окна и языкового покрытия, а также неоднородные результаты на отдельных бенчмарках. Для запуска описаны минимальная реализация inference на PyTorch, интеграции с vLLM и SGLang; пример сервирования рассчитан на узел с четырьмя GPU GB300. Модель распространяется по лицензии MIT.

FastwebMIIA — языковая модель Fastweb с 7 млрд параметров на авторегрессионной архитектуре Transformer с декодером и RoPE. Она рассчитана прежде всего на итальянский язык и культурный контекст, также обучена на английском. Собственный токенизатор Fastweb оптимизирован для итальянского, английского и основных языков программирования; словарь содержит 50 000 токенов, контекстное окно — 16 тыс. токенов. Модель принимает текст и предназначена для диалоговой помощи, генерации контента, суммаризации и извлечения информации, в том числе из длинных документов и многоходовых бесед. По карточке, веса на Hugging Face доступны для некоммерческих исследований, образования и внутреннего применения; коммерческое использование требует отдельной коммерческой лицензии Fastweb. Ответы могут быть фактически неверными, неполными или предвзятыми, поэтому модель не следует считать авторитетным источником или заменой профессионального суждения. Для важных решений и применений с существенными рисками необходима проверка человеком.

Ministral 3 14B Instruct 2512 — мультимодальная модель Mistral AI для диалогов и выполнения инструкций, дообученная на базе Ministral 3 14B Base 2512 и представленная в формате FP8. Архитектура Mistral3 включает языковую модель на 13,5 млрд параметров и визуальный энкодер на 0,4 млрд; веса хранятся в safetensors, для запуска рекомендуется vLLM. Модель рассчитана на локальное и периферийное развертывание, в частности для приватных ассистентов и агентных сценариев. Она принимает текст и изображения, умеет анализировать визуальное содержимое, следовать системным инструкциям, вызывать функции и формировать JSON. Поддерживает контекст до 256 тысяч токенов и многоязычное взаимодействие, включая английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, китайский, японский, корейский и арабский. В README заявлены результаты, сопоставимые с более крупной Mistral Small 3.2 24B; для запуска в FP8 указано требование около 24 ГБ VRAM, а дополнительная квантизация может снизить его. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование и модификацию. Качество может зависеть от аппаратуры и настроек; для изображений рекомендуется близкое к квадратному соотношение сторон, а для повседневного использования — температура ниже 0,1.

onnx-community/gemma-3n-E2B-it-ONNX — ONNX-версия инструкционной мультимодальной модели Gemma 3n E2B IT, разработанной Google DeepMind и подготовленной для использования с Transformers.js. Модель предназначена для эффективного запуска на устройствах с ограниченными ресурсами и принимает текстовые, графические, видео- и аудиовходы, генерируя текстовые ответы. Она подходит для вопросов и ответов, суммаризации, анализа изображений и видео, распознавания речи и автоматического перевода речи. Модель использует архитектуру MatFormer и технологию выборочной активации параметров. При общем размере около 6 млрд параметров её эффективный размер соответствует примерно 2 млрд параметров, поскольку матрицы с низкой частотой использования могут выгружаться с ускорителя. Изображения обрабатываются в разрешениях 256×256, 512×512 или 768×768 и кодируются в 256 токенов каждое; аудио представляется со скоростью 6,25 токена в секунду для одного канала. Максимальный входной контекст составляет 32 тысячи токенов, а суммарная длина генерации — до 32 тысяч токенов за вычетом входа. Обучение проводилось на данных более чем 140 разговорных языков. К сильным сторонам относятся сочетание мультимодальности, компактного эффективного размера и возможности локального выполнения через Transformers.js, включая сценарии с WebGPU. Ограничения включают зависимость от поддерживаемого окружения ONNX и Transformers.js, а также отсутствие в предоставленной карточке подробных результатов бенчмарков, точного перечня языков и количественной оценки качества по отдельным задачам. Модель распространяется на условиях лицензии Gemma; применяются соответствующие Terms of Use Google.

LFM2-2.6B-Exp — экспериментальный языковой чекпойнт Liquid AI, построенный на LFM2-2.6B с применением обучения с подкреплением. Модель содержит около 2,4 млрд параметров и предназначена для следования инструкциям, ответов на вопросы, математических задач и диалогов. Она поддерживает английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки; карточка указывает контекст до 128 000 токенов. Архитектура — гибридная: блоки коротких свёрток сочетаются с блоками группового внимания запросов. Модель поддерживает чатовый шаблон и вызов инструментов. Разработчик отмечает пригодность для агентных сценариев, извлечения данных, RAG, творческого письма и многошаговых диалогов, а также сильный результат на тесте следования инструкциям. Из-за небольшого размера для максимального качества рекомендуется дообучение под узкие задачи; модель не рекомендуется для задач с интенсивным использованием знаний или программирования. Лицензия указана как other, конкретные условия использования следует сверять с карточкой модели.