I.4Обработка документов и форм

FastFlowLM/Qwen3.5-4B-NPU2 — мультимодальная причинная языковая модель с энкодером зрения, основанная на Qwen/Qwen3.5-4B. Модель разработана командой Qwen и предназначена для обработки текста и изображений, включая визуальное понимание, рассуждения, программирование и агентские сценарии. Модель содержит около 4 млрд параметров, 32 слоя и использует гибридную архитектуру Gated Delta Networks со sparse Mixture-of-Experts и блоками Gated Attention. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Модель распространяется в формате, совместимом с Hugging Face Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся мультимодальность, большой контекст, высокая языковая и визуальная универсальность, а также акцент на эффективный инференс с низкой задержкой и умеренными вычислительными затратами. Ограничения, включая качество на отдельных языках, требования к оборудованию и особенности варианта NPU2, в README не уточняются. Лицензия — Apache 2.0.

cosmicproc/Qwen3.5-4B-NVFP4 — это квантизированный вариант мультимодальной модели Qwen3.5-4B, разработанной командой Qwen. Модель представляет собой причинную языковую модель с vision-энкодером и предназначена для генерации и понимания текста, работы с изображениями, рассуждений, программирования, агентских сценариев и других задач, требующих совместной обработки текста и визуальной информации. Заявлена поддержка 201 языка и диалекта. Модель содержит около 4 млрд параметров, 32 слоя и скрытое измерение 2560. В архитектуре объединены Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; используется раннее слияние мультимодальных токенов. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Вариант NVFP4 использует квантизацию весов и активаций основных линейных слоёв трансформера в формате W4A4 с помощью NVIDIA Model Optimizer, что снижает требования к памяти и может повысить производительность. Для полноценного W4A4-инференса требуется GPU NVIDIA Blackwell, включая RTX 50-й серии, RTX PRO 6000 Blackwell и B-series. На GPU поколений Ada, Hopper и Ampere модель может загружаться, но специализированные FP4-ядра активаций не будут использоваться, поэтому преимущество W4A4 по скорости не проявится. Модель совместима с Transformers, vLLM, SGLang и другими фреймворками. Лицензия — Apache 2.0.

cyankiwi/Qwen3.5-9B-AWQ-BF16-INT8 — производная версия модели Qwen3.5-9B, разработанной командой Qwen. Репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers; модель предназначена для совместного использования с Transformers, vLLM, SGLang и KTransformers. По идентификатору это вариант с представлением AWQ-BF16-INT8, однако подробности процедуры квантования в предоставленных данных не описаны. Модель представляет собой каузальную языковую модель с vision encoder и поддерживает работу с текстом и изображениями. Она рассчитана на рассуждения, программирование, агентские сценарии, визуальное понимание, обработку документов и другие мультимодальные задачи. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Размер языковой части — 9 млрд параметров, используется 32 слоя, размер скрытого представления — 4096, а нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Сильными сторонами являются мультимодальность, большой контекст, высокая заявленная эффективность инференса и широкая языковая поддержка. Ограничения конкретной квантованной сборки, требования к оборудованию, точные характеристики vision encoder и результаты именно этой версии в предоставленном README не указаны. Модель распространяется по лицензии Apache-2.0.

unsloth/gemma-3-12b-it-qat-bnb-4bit — 12-миллиардная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind. Она создана на основе Google Gemma и использует Quantization Aware Training (QAT). Модель мультимодальная: принимает текст и изображения, а генерирует текст. Контрольные веса в данном репозитории указаны как соответствующие базовой модели google/gemma-3-12b-it-qat-q4_0-unquantized. Модель предназначена для генерации текста, ответов на вопросы, суммаризации документов, рассуждений, анализа изображений и извлечения визуальной информации. Она поддерживает более 140 языков и контекст до 128 000 токенов; максимальный объём генерируемого ответа составляет 8192 токена. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов каждое. Благодаря относительно небольшому размеру модель подходит для развёртывания на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Ключевое преимущество QAT — сохранение качества, близкого к bfloat16, при существенно меньших требованиях к памяти после квантования. При этом README уточняет, что размещённый checkpoint является неквантованным и его необходимо самостоятельно квантовать в формат Q4_0 подходящим инструментом. Модель распространяется по лицензии Gemma; для доступа к ней на Hugging Face требуется войти в аккаунт и принять условия использования Google.

unsloth/Qwen3.5-122B-A10B-NVFP4 — это NVFP4-квантизованная версия мультимодальной модели Qwen3.5-122B-A10B, подготовленная Unsloth на базе модели Qwen. Она относится к классу каузальных языковых моделей с vision encoder и предназначена для работы с текстом и изображениями, включая рассуждение, программирование, визуальное понимание и агентские сценарии. Модель использует гибридную архитектуру Gated Delta Networks и разреженной Mixture-of-Experts. Всего заявлено 122 млрд параметров, из которых при обработке активируется около 10 млрд; архитектура включает 48 слоёв и 256 экспертов, из которых маршрутизируются 8, дополнительно используется один общий эксперт. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевое преимущество версии NVFP4 — снижение требований к памяти и стоимости инференса при сохранении возможностей исходной модели, однако качество и скорость могут зависеть от особенностей квантизации и совместимого программно-аппаратного окружения. В README рекомендуется запуск через vLLM с NVFP4-ядром; использование Marlin не рекомендуется из-за более низкой производительности. Модель распространяется по лицензии Apache 2.0. README не содержит подробных результатов бенчмарков для этой конкретной квантизованной версии, поэтому её фактические показатели качества следует проверять отдельно.

NVIDIA DeepSeek-V4.1-Flash NVFP4 — квантизированная версия модели DeepSeek-V4.1-Flash, разработанной DeepSeek AI и подготовленной NVIDIA с использованием Model Optimizer. NVIDIA не является владельцем или разработчиком исходной модели. Модель предназначена для коммерческого и некоммерческого применения, включая AI-агентов, чат-ботов, RAG-системы и другие приложения на базе генеративного ИИ. Это авторегрессионная мультимодальная модель архитектуры Transformer с Mixture-of-Experts и архитектурой Causal Encoder-Decoder, использующая Compressed Sparse Attention 2. Общий размер backbone составляет 552 млрд параметров; во время prefill активируется 8 млрд, во время decode — 16 млрд, дополнительно используется 196 млрд параметров Engram conditional memory. Модель принимает текст и изображения RGB и генерирует текст. Поддерживается контекст до 1 млн токенов. Сведения о поддерживаемых языках в карточке не указаны. Ключевые преимущества — мультимодальность, поддержка сверхдлинного контекста и снижение требований к вычислениям благодаря квантизации NVFP4 W4A4 с размером группы 16. Модель оптимизирована для NVIDIA GPU, прежде всего архитектуры Blackwell, и протестирована на NVIDIA GB300 с использованием vLLM и SGLang. Ограничения включают зависимость от совместимого оборудования и программного окружения, а также необходимость дополнительного тестирования на данных конкретного сценария перед внедрением. Данные исходного обучения не раскрыты; квантизация выполнена с помощью nvidia-modelopt версии 0.47.0rc0. Лицензия — MIT.

gratex/Mistral-Small-3.2-24B-Instruct-2506-W4A16-AutoRound — квантизированная версия мультимодальной instruct-модели Mistral-Small-3.2-24B-Instruct-2506 от Mistral AI. Модель поддерживает работу с текстом и изображениями благодаря vision-компоненту Pixtral и предназначена для генерации текста, ответов на инструкции, рассуждений, программирования, задач с вызовом функций и сценариев vision-language. Модель содержит около 24 млрд параметров и использует архитектуру Mistral3ForConditionalGeneration: 40 декодерных слоёв, скрытый размер 5120, GQA с 32 query- и 8 key/value-головами, а также контекст до 131 072 токенов. Vision-энкодер Pixtral включает 24 слоя с размером скрытого состояния 1024; используется обработка изображений, но поддержка видео в калибровочных данных не заявлена. Квантизация выполнена методом AutoRound 0.10.2 с оптимизацией SignRound: веса текстового декодера представлены в INT4 с group_size 128, а активации, vision tower, мультимодальный проектор, эмбеддинги, lm_head и layer norms сохранены в BF16. Главное преимущество модели — существенное снижение требований к памяти при сохранении мультимодальных возможностей и широкая совместимость формата с GPU архитектур Ampere, Ada и Blackwell, а также движками vLLM, SGLang и TensorRT-LLM. По приведённому тесту WikiText-2 perplexity составляет 7,2478 против 7,0332 у базовой BF16-модели, то есть ухудшение равно 3,05%; это указывает на умеренную потерю качества из-за 4-битной квантизации. Лицензия — Apache-2.0.

HivenetQuant/Qwen3.8-27B-NVFP4 — квантованная версия мультимодальной модели Qwen/Qwen3.8-27B, опубликованная HivenetQuant. Модель предназначена для работы с текстом и изображениями, включая визуальное понимание, генерацию текста и кода, рассуждения, tool calling и ускоренное авторегрессионное декодирование с помощью MTP speculative decoding. В основе используется модель размером 27B параметров. Квантование выполнено по схеме NVFP4 W4A4: веса и активации основного квантованного слоя представлены в FP4 с блочными масштабами FP8 и group size 16. Чувствительные attention- и recurrent-слои DeltaNet сохранены в FP8, а vision encoder, MTP head, lm_head, нормы и router layers — в BF16. Контекст до 262 144 токенов проверен в конфигурации с vLLM и FP8 KV cache. Модель ориентирована на GPU NVIDIA Blackwell с нативной поддержкой FP4, например RTX 5090. Сильными сторонами являются заметное ускорение по сравнению с FP16, сохранение мультимодальных возможностей и MTP, а также близкие к FP16 результаты на проверенных задачах. В опубликованном сравнении разница обычно составляла менее двух процентных пунктов, однако это оценка деградации на репрезентативных выборках, а не полное измерение абсолютных возможностей базовой модели. Ограничения включают зависимость от совместимого оборудования и настроек vLLM, а также возможное снижение качества из-за квантования, особенно на отдельных задачах. Модель распространяется по лицензии Apache-2.0.

Qwythos-9B-Claude-Mythos-5-1M-GGUF — это набор GGUF-квантизаций модели Qwythos-9B, разработанной Empero. Модель создана на базе Qwen3.5-9B и дообучена на более чем 500 млн токенов высококачественных трасс Claude Mythos и Claude Fable с использованием внутреннего инструмента Empero AI rethink. Доступны варианты от Q4_K_M до BF16, включая версии с MTP для ускорения генерации в совместимых сборках llama.cpp. Модель предназначена для локального запуска в llama.cpp, Ollama, LM Studio, jan, KoboldCpp и других GGUF-совместимых средах. Она ориентирована на рассуждения, генерацию текста, решение математических задач, function calling и агентские сценарии, а также на задачи в области кибербезопасности и биомедицины. Заявлена поддержка английского языка, нативного function calling по спецификации Qwen3.5 и контекстного окна до 1 048 576 токенов с масштабированием RoPE YaRN. Модель мультимодальна и поддерживает изображения при подключении отдельного vision projector в формате GGUF. Визуальная часть унаследована от Qwen3.5-9B и во время дообучения не изменялась, поэтому заявлены описание изображений, OCR печатного и рукописного текста, анализ графиков и таблиц, понимание интерфейсов и документов и базовое пространственное рассуждение. Сильными сторонами являются большой контекст, reasoning-возможности, function calling и широкий выбор уровней квантизации; при этом качество, скорость и требования к памяти зависят от выбранного варианта, а для изображений требуется дополнительный файл mmproj. Модель распространяется по лицензии Apache-2.0.

tripolskypetr/gemma-3-12b-it — модель на базе Google Gemma 3 12B IT, разработанная Google DeepMind. Это открытая инструкционно дообученная мультимодальная модель, принимающая текст и изображения и генерирующая текст. README не содержит сведений о специфическом дополнительном дообучении, выполненном автором репозитория. Модель предназначена для генерации текста, ответов на вопросы, суммаризации документов, рассуждений и анализа изображений. Она поддерживает более 140 языков, использует контекстное окно до 128 000 токенов, принимает изображения, нормализованные до 896×896 пикселей и представленные 256 токенами каждое, а максимальный объём генерируемого ответа составляет 8192 токена. Размер модели — 12 млрд параметров. К сильным сторонам относятся мультимодальность, широкий языковой охват, большое контекстное окно и возможность развёртывания на собственном оборудовании или в облачной инфраструктуре по сравнению с более крупными моделями. Ограничения включают неизвестные для данного репозитория результаты дополнительного обучения и оценки, а также необходимость учитывать требования к ресурсам для запуска модели такого размера. Использование регулируется лицензией Gemma и соответствующими условиями Google.

Gemma 3 4B Instruction-tuned QAT compressed-tensors — это мультимодальная instruction-tuned модель семейства Gemma 3, разработанного Google DeepMind. Данная версия представляет собой конвертацию Gemma 3 4B IT из формата GGUF Q4_0 в формат compressed-tensors с типом данных BF16; преобразование не является полностью без потерь. Модель принимает текст и изображения, а генерирует текст. Модель предназначена для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Она поддерживает более 140 языков, контекст входных данных до 128K токенов, изображения с нормализацией до 896×896 пикселей, кодируемые в 256 токенов каждое, и генерирует до 8192 токенов. Размер 4B и QAT-квантизация снижают требования к памяти при сохранении качества, близкого к bfloat16, что облегчает запуск на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Модель можно запускать, в частности, через vLLM; исходная карточка также описывает использование llama.cpp. Ограничения включают возможные потери качества из-за преобразования и квантизации, а также стандартные ограничения генеративных и мультимодальных моделей. Модель распространяется по лицензии Gemma; конкретные условия определяются официальными Terms of Use Google.

RedHatAI/gemma-4-31B-it-NVFP4 — мультимодальная instruction-tuned модель, разработанная RedHatAI на основе google/gemma-4-31B-it от Google. Она принимает текст и изображения, а генерирует текст; предназначена для диалоговых приложений, генерации текста, рассуждений, следования инструкциям и вызова инструментов. Модель использует архитектуру Gemma4ForConditionalGeneration и поддерживает режим thinking, function calling и tool calling. Доступна для инференса через vLLM; в README указана максимальная длина контекста 32 768 токенов. Вариант NVFP4 применяет 4-битное квантование весов и активаций линейных слоёв трансформерных блоков с group_size=16 и локальным масштабированием по группам. Vision tower, embeddings и output head сохраняются в исходной точности, что снижает требования к дисковому пространству и памяти GPU примерно на 75% по сравнению с 16-битным представлением. К сильным сторонам относятся поддержка текстово-визуальных сценариев, вызова инструментов, режима рассуждений и эффективный инференс на совместимом оборудовании. К ограничениям относятся зависимость от NVFP4-совместимого окружения и vLLM, а также возможная небольшая потеря качества из-за квантования; в приведённых оценках результаты сопоставлялись с исходной моделью, но полный набор таблиц в представленном README обрезан. Модель распространяется по лицензии Apache-2.0.

Granite-3.1-8B-Base — базовая языковая модель IBM Granite Team для генерации текста и последующей адаптации под прикладные сценарии. Это плотный decoder-only Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами; модель содержит 8,2 млрд параметров и поддерживает контекст до 131 072 токенов. Контекст расширен с 4K у Granite-3.0-8B-Base посредством поэтапного обучения на длинных последовательностях примерно на 500 млрд токенов. Модель предназначена для суммаризации, классификации и извлечения информации, ответов на вопросы и других задач генерации текста, в том числе по длинному контексту. Она обучалась на данных из веба, кода, академических источников, книг и математики, а также на многоязычных, инструкционных и синтетических длинноконтекстных данных. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель не проходила safety alignment и может выдавать предвзятые или недостоверные ответы, а также воспроизводить фрагменты обучающих данных. Лицензия Apache 2.0.

Granite-3.3-2B-Base — базовая языковая модель, разработанная командой Granite компании IBM. Это плотный decoder-only трансформер с 2,5 млрд параметров и контекстом до 131 072 токенов. Архитектура включает GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Поддержка Fill-in-the-Middle позволяет генерировать фрагмент текста с учётом контекста до и после него, в том числе для автодополнения кода. Модель предназначена для генерации текста, суммаризации, классификации и извлечения информации, ответов на вопросы и работы с длинным контекстом. Она обучена на данных из веба, кода, академических источников, книг и математики, а также на многоязычных, инструкционных и синтетических длинноконтекстных данных. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель выпущена под лицензией Apache 2.0. Она не прошла safety-выравнивание, поэтому может генерировать проблемный контент; возможны предвзятость, недостоверные ответы и дословное воспроизведение обучающих данных.

Muse Glimmer-30B — мультимодальная модель Meta Superintelligence Lab с плотным причинным трансформером и отдельным энкодером восприятия; версия Unsloth дообучена на базе meta-models/Muse-Glimmer-30B. Модель содержит около 29,6 млрд параметров и предназначена для локального запуска, в том числе на потребительском оборудовании. Лицензия — Apache 2.0. Модель рассчитана на агентные сценарии: многошаговое планирование, вызов инструментов, восстановление после ошибок и длительное выполнение задач. Она принимает изображения вместе с текстом и подходит для анализа скриншотов, графиков и документов, а также для программирования, генерации синтетических данных и оценки ответов других моделей. Аудио не поддерживается; видео отдельно не оптимизировано и обрабатывается покадрово. Языковое покрытие неоднородно: качество может снижаться для языков, на которых модель недостаточно оценивали. Модель может ошибаться в многошаговых рассуждениях, особенно в новых сценариях, и выдавать предвзятые или нежелательные ответы. Для агентных применений разработчикам рекомендуется проводить проверки безопасности и добавлять защитные механизмы, включая подтверждение необратимых действий.

AxionML/Qwen3.5-2B-NVFP4 — мультимодальная причинная языковая модель с vision encoder, разработанная AxionML на основе Qwen/Qwen3.5-2B. Модель предназначена для задач, сочетающих работу с текстом и изображениями, включая рассуждения, программирование, визуальное понимание, агентские сценарии и развёртывание в открытых системах обслуживания моделей. Модель содержит около 2 млрд параметров, 24 слоя и имеет нативную длину контекста 262 144 токена. Архитектура объединяет Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts согласно описанию семейства Qwen3.5; заявлена поддержка 201 языка и диалекта. Эта версия использует NVFP4-квантизацию весов и активаций линейных слоёв, выполненную с помощью NVIDIA TensorRT Model Optimizer, что уменьшает размер на диске и потребление GPU-памяти примерно в четыре раза по сравнению с BF16. Квантизация ориентирована на эффективный inference на GPU с архитектурой Blackwell. Сильными сторонами модели являются компактный размер, мультимодальность, длинный контекст и готовность к эффективному обслуживанию. Квантизация может немного снизить точность: в приведённых тестах NVFP4-версия уступает исходной Qwen3.5-2B на ряде языковых бенчмарков. README не содержит полного описания требований к оборудованию, всех результатов для визуальных задач или детальных ограничений применения. Модель доступна для коммерческого и некоммерческого использования по лицензии Apache 2.0.

RedHatAI/Qwen3.5-35B-A3B-FP8-dynamic — мультимодальная разреженная MoE-модель, созданная RedHatAI на основе Qwen/Qwen3.5-35B-A3B от Alibaba Cloud. Она принимает текст и изображения, а генерирует текст. Модель ориентирована на рассуждения, вызов инструментов, обработку визуально-текстовых запросов и обычные текстовые сценарии генерации и анализа. Модель содержит 35 млрд параметров, из которых около 3 млрд активируются для отдельного запроса, и использует FP8-квантизацию весов и активаций. Квантизация выполнена с помощью LLM Compressor в формате compressed-tensors и предназначена для эффективного инференса через vLLM. В FP8 преобразованы линейные операторы трансформерных блоков, тогда как визуальный энкодер, некоторые компоненты attention и MoE, маршрутизатор экспертов и эмбеддинги сохранены в исходной точности. Это примерно вдвое снижает требования к дисковому пространству и памяти GPU по сравнению с 16-битным представлением. Сильными сторонами модели являются сочетание языковых и визуальных возможностей, поддержка reasoning, tool calling, speculative decoding с Multi-Token Prediction и возможность запуска в текстовом режиме с освобождением памяти под KV-cache. Модель валидирована с vLLM 0.18.0, RHAIIS 3.4 и RHOAI 3.4. В предоставленных данных не указаны поддерживаемые языки, размер контекстного окна и численные результаты тестов, поэтому влияние квантизации на качество и ограничения по отдельным задачам оценить нельзя. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.6-35B-A3B-FP8-dynamic — мультимодальная модель семейства Qwen3.6 с архитектурой mixture-of-experts (MoE), разработанная RedHatAI на основе Qwen/Qwen3.6-35B-A3B от Alibaba Cloud. Модель принимает текст и изображения, а генерирует текст; заявлены улучшенные возможности рассуждений, вызова инструментов и обработки визуально-языковых запросов. Точные поддерживаемые языки и размер контекстного окна в представленном README не указаны. Модель оптимизирована для инференса в vLLM с помощью динамической FP8-квантизации весов и активаций. Квантизация применяется к линейным слоям трансформерных блоков, тогда как визуальный энкодер, MoE-маршрутизатор, общие эксперты, эмбеддинги и некоторые другие компоненты сохраняются в исходной точности. Это примерно на 50% снижает требования к дисковому пространству и памяти GPU по сравнению с 16-битным представлением. Поддерживаются текстовый и мультимодальный режимы, вызов инструментов, рассуждения и speculative decoding с Multi-Token Prediction. Модель распространяется по лицензии Apache 2.0; в README подтверждена валидация для vLLM 0.18.0, RHOAI 3.4 и RHAIIS 3.4.

soyrsoyr/Qwen3.8-27B-W4A16-AWQ-GPTQ — квантизированная версия мультимодальной модели Qwen3.8-27B семейства Qwen3.5, разработанной Qwen. Модель предназначена для обработки текста и изображений, генерации ответов, решения задач рассуждения, работы с кодом и использования в сценариях, где важны сниженные требования к памяти и высокая скорость инференса. Она поддерживает запуск через Transformers и vLLM. Модель использует гибридную архитектуру внимания и является VLM с текстовым декодером и vision tower. Веса линейных слоёв текстового декодера квантизированы в INT4 по схеме W4A16 с группой 128, с применением AWQ и GPTQ. Vision tower, гибридные linear-attention mixers и lm_head сохранены в формате bf16; также сохранён базовый MTP-предиктор для speculative decoding. Полный VLM хранится в формате compressed-tensors. Точные сведения о языках и размере контекстного окна в README не указаны, однако приведён пользовательский результат с окном обслуживания до 256K токенов. К сильным сторонам относятся существенное снижение потребления памяти, совместимость с CUDA GPU, поддержка Marlin или compressed-tensors INT4-ядер и небольшая потеря качества относительно bf16-версии. В указанных тестах среднее восстановление результатов составило 99,3% на OpenLLM v1 и 94,9% на генеративном reasoning-наборе; при этом на AIME-25 снижение заметнее. Для работы требуются совместимые CUDA GPU и программный стек vLLM или Transformers с поддержкой соответствующего формата. Лицензия — Apache-2.0.

airoboros-l2-13b-2.2.1 — экспериментальная инструкция-ориентированная языковая модель на архитектуре Llama с 12,9 млрд параметров, созданная Джоном Дурбином на основе преимущественно синтетических данных. Это обновлённая версия airoboros-l2-13b-2.2: в ней заново сгенерированы ответы для задач письма, добавлены более длинные контекстные блоки, удалены примеры ролевой игры и изменена степень снятия ограничений. Модель предназначена для выполнения инструкций, ответов на вопросы по предоставленному контексту, суммаризации, генерации текста и кода, а также формирования аргументов функций в JSON или YAML. Для диалога используется текстовый формат с метками USER и ASSISTANT; контекст составляет 4096 токенов. Модель не ориентирована прежде всего на непринуждённый чат и ролевую игру. Карточка характеризует модель как экспериментальную и предупреждает, что при ответах вне заданного контекста она может выдумывать сведения; для закрытых вопросов рекомендуется явно просить не придумывать ответ при недостатке информации. Распространяется по лицензии Llama 2.

Firefly-LLaMA2-7B-Chat — китайско-английская разговорная модель команды Firefly на архитектуре LLaMA 2. Она создана на базе LLaMA 2 с расширенным китайским словарём: модель прошла дополнительное предобучение на китайских и английских текстах, а затем дообучение на многоходовых инструкциях и диалогах. В репозитории указаны размер 6,7 млрд параметров, контекст 4096 токенов и формат PyTorch. Модель предназначена для диалоговых ответов, генерации и преобразования текста, включая ответы на вопросы, краткое изложение, перевод, извлечение информации, классификацию, математические задачи и генерацию кода. Расширенный китайский словарь уменьшает число токенов при обработке китайского текста; авторы также сообщают о сохранении английских возможностей базовой LLaMA 2 и улучшении китайских навыков по сравнению с LLaMA 2 Chat. Указанные в карточке оценки относятся к авторским тестам и не гарантируют качество в конкретных сценариях. Модель генерирует текст по текстовым запросам. В README отмечено, что прирост по китайским знаниям ограничен объёмом и составом дополнительного предобучения; авторы использовали около 2 млрд токенов из подготовленного корпуса. Лицензия для конкретного репозитория в предоставленных данных не указана.

Granite-4.0-Micro-Base — базовая языковая модель IBM Granite Team для генерации текста и кода. Это декодерный трансформер с плотной архитектурой GraniteMoeHybridForCausalLM; в метаданных указано 3,4 млрд параметров и контекст до 131 072 токенов. Модель обучена с нуля на смеси открытых и проприетарных данных примерно на 15 трлн токенов. Модель предназначена для генерации текста, суммаризации, классификации, извлечения информации, ответов на вопросы и дополнения кода, включая заполнение пропусков между префиксом и суффиксом (FIM). Поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Архитектура включает GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Модель не проходила safety alignment, поэтому может генерировать предвзятые, ошибочные или проблемные ответы; для небольшой модели также отмечен риск дословного воспроизведения обучающих данных. Лицензия — Apache 2.0.

MiMo-V2.5 — нативная омнимодальная модель, разработанная Xiaomi MiMo. Она объединяет обработку текста, изображений, видео и аудио в единой архитектуре и предназначена для мультимодального понимания, рассуждений в длинном контексте, программирования и агентских сценариев, включая взаимодействие с инструментами и выполнение многошаговых задач. Модель построена на разреженной архитектуре Mixture of Experts: всего 310 млрд параметров, из которых активируется 15 млрд. Она использует гибридное внимание с чередованием Sliding Window Attention и Global Attention, 729-миллионный Vision Transformer для изображений и видео и аудиоэнкодер на 261 млн параметров. Поддерживается контекст до 1 млн токенов, а Multi-Token Prediction ускоряет инференс посредством speculative decoding. В заявленных языках указаны английский и китайский. К сильным сторонам относятся широкий набор модальностей, большой контекст, эффективная работа с длинными последовательностями и развитые агентские возможности. Модель крупная и, вероятно, требует значительных вычислительных ресурсов для развёртывания; README не приводит точных требований к оборудованию и количественных результатов benchmark-тестов. Модель распространяется по лицензии MIT.

Qwen3.5-27B-NVFP4 — квантованная версия модели Qwen/Qwen3.5-27B, опубликованная apolo13x. Это мультимодальная модель типа image-text-to-text: принимает текст и изображения, а генерирует текстовые ответы. Она предназначена для диалоговых сценариев, анализа изображений и решения общих задач обработки текста и мультимодального понимания. Весы и активации модели преобразованы в формат FP4 с использованием llm-compressor и 512 калибровочных образцов из набора neuralmagic/calibration. Квантование уменьшает размер модели с 51,8 до 18,4 ГБ, примерно в 2,8 раза, при заявленном среднем восстановлении точности 99,1% относительно исходной Qwen3.5-27B. Модель поддерживает режим рассуждений и предназначена для запуска, в частности, через nightly-версии vLLM. По результатам оценки в режиме zero-shot с включённым рассуждением модель получила 79,29% на GPQA Diamond, 93,88% на IFEval и 94,32% на MMLU-Redux; средний результат составил 89,16% против 89,76% у исходной модели. Сильными сторонами являются существенное снижение требований к дисковому пространству и сохранение близкой к исходной точности. Ограничения включают возможные потери качества из-за квантования и зависимость поддержки от актуальных сборок vLLM. Модель распространяется по лицензии Apache-2.0.

Qwen 3.6 35B-A3B JANGTQ4 + CRACK — производная мультимодальная модель dealignai на основе Qwen/Qwen3-VL-30B-A3B-Thinking. Это модель Qwen с архитектурой MoE: 35 млрд параметров всего, около 3 млрд активных на токен, 256 маршрутизируемых экспертов и гибридным механизмом линейного и полноформатного внимания. Она принимает текст, изображения и видео и предназначена для диалога, визуального анализа, программирования, рассуждений и вызова инструментов. Веса сжаты форматом JANGTQ4 до 18 ГБ: маршрутизируемые эксперты используют 4-битное кодирование TurboQuant, а критичные компоненты сохраняют более высокую точность; зрительный блок работает в fp16. Режим рассуждений можно включать и отключать через шаблон чата. Заявленная длина контекста — 262 144 токена. Модель ориентирована на запуск через MLX на Apple Silicon и требует MLX Studio или jang-tools для поддержки JANGTQ. Вариант CRACK прошёл абляцию отказов на уровне весов и заметно реже отказывает в ответах на чувствительные запросы. По данным карточки, результаты MMLU-200 ниже базовой модели, особенно в математике; в режиме рассуждений иногда возможны циклические ответы на запросы с экстремальными отказами. Модель выпущена под лицензией Apache-2.0.

EuroBERT-2.1B — мультиязычная плотная модель-энкодер семейства EuroBERT, разработанная командой EuroBERT. Модель содержит 2,1 млрд параметров и обрабатывает последовательности длиной до 8192 токенов. Это masked language model для заполнения пропусков; её также можно дообучать или использовать с соответствующими головами для классификации текста и токенов, ответов на вопросы, поиска и регрессии. Модель рассчитана на английский, французский, немецкий, испанский, китайский, итальянский, русский, польский, португальский, японский, вьетнамский, нидерландский, арабский, турецкий и хинди. Карточка также указывает поддержку кода и математики. Для работы подходит библиотека Transformers версии 4.48.0 и выше; веса доступны в форматах PyTorch и Safetensors. EuroBERT-2.1B показала сильные результаты в оценках мультиязычного поиска, классификации, регрессии, качества переводов, кода и математических задач; авторы сообщают, что она превзошла сравниваемые системы в проведённых оценках. Как энкодер, она не предназначена для свободной генерации длинных ответов. Лицензия — Apache-2.0.

QuantFactory/Llama-3-8B-ProLong-64k-Instruct-GGUF — квантизированная версия модели Princeton NLP Llama-3-8B-ProLong-64k-Instruct, созданная с использованием llama.cpp. Модель основана на Meta-Llama-3-8B-Instruct и разработана исследователями Tianyu Gao, Alexander Wettig, Howard Yen и Danqi Chen. Это текстовая instruction-tuned модель для генерации ответов и работы с длинным контекстом объёмом до 64 000 токенов. Она предназначена для диалогов, вопросов и ответов по большим наборам документов, retrieval-augmented generation, извлечения информации, классификации в контексте, переранжирования результатов поиска, анализа и суммаризации длинных документов. Для восстановления диалоговых возможностей модель дообучалась на UltraChat. Модель имеет около 8 миллиардов параметров и поддерживает только текстовую модальность. При обучении использовалась смесь коротких и длинных данных общим объёмом 20B токенов; заявлено стабильное функционирование с контекстом до 64K токенов и высокая производительность на задачах длинного контекста среди моделей сопоставимого размера. Ограничения включают возможное влияние квантизации на качество, однако конкретный формат и уровень квантизации в представленном README не указаны. Языки, точные аппаратные требования и детальные показатели benchmark также не приведены. Лицензия указана как llama3. Условия её применения следует проверять по лицензии семейства Llama 3 и исходной карточке модели.

Qwen3.5-4B-GGUF — это GGUF-представление мультимодальной модели Qwen3.5-4B, разработанной командой Qwen; репозиторий подготовлен с использованием Unsloth. Модель предназначена для задач, объединяющих работу с текстом и изображениями, включая рассуждения, программирование, агентские сценарии и визуальное понимание, а также для локального запуска и дообучения. Модель представляет собой causal language model с vision encoder и содержит около 4 млрд параметров. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; заявлены 32 слоя, скрытая размерность 2560 и гибридное сочетание линейного и gated-внимания. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект, однако конкретные языковые характеристики GGUF-квантизации в README не уточняются. К сильным сторонам относятся мультимодальность, высокая заявленная эффективность инференса, большой контекст и возможность локального использования. Ограничения связаны с тем, что README не содержит подробностей о конкретном типе и параметрах GGUF-квантизации, системных требованиях, фактической производительности и ограничениях применения; приведённые результаты относятся к базовой Qwen3.5-4B. Модель распространяется по лицензии Apache-2.0.

GoLongRL-30B-A3B — языковая модель Kwai-Klear для генерации ответов в сценариях с длинным контекстом. Это модель семейства Qwen3 MoE с архитектурой причинного языкового моделирования; в метаданных указано 2,6 млрд параметров и окно контекста 262 144 токена. Модель доступна в формате Safetensors и поддерживает диалоговый режим. Модель обучена по рецепту постобучения с обучением с подкреплением и проверяемыми вознаграждениями на наборе GoLongRL из 23 тысяч примеров для девяти типов задач. Она предназначена для поиска сведений в длинных документах, понимания контекста, извлечения и сопоставления структурированных данных, упорядочивания событий, ранжирования, суммаризации и рассуждений, включая численные задачи. В README заявлены улучшения на тестах длинного контекста и памяти диалога; результаты относятся к приведённым бенчмаркам. Лицензия — MIT. Карточка не указывает поддерживаемые естественные языки. Учитывая специализацию на длинном контексте и сравнительно компактный размер активной модели MoE, модель подходит для диалоговых систем, которым нужно работать с большими документами, однако качество на конкретных данных следует проверять отдельно.

German-RAG-NEMO-12B-ORPO-HESSIAN-AI — авторегрессионная языковая модель на архитектуре Transformer, разработанная командой Avemio AI при поддержке Hessian AI. Это дообученная версия German-RAG-NEMO-12B-SFT-HESSIAN-AI с 12,1 млрд параметров, предназначенная для немецкоязычных RAG-сценариев и работы с предоставленным контекстом. Модель подходит для ответов на вопросы по найденным документам, извлечения релевантных сведений, рассуждений по контексту и составления кратких сводок. В карточке заявлена поддержка немецкого и английского языков; метаданные указывают контекст до 1 024 000 токенов. По условиям Apache 2.0 распространяются и код, и веса модели. В оценке авторов модель показала результаты на задачах извлечения, вопросно-ответных задачах, суммаризации и рассуждениях на немецком и английском языках. Результаты зависят от задачи и не гарантируют фактическую точность: ответы могут содержать ошибки и должны проверяться. У модели нет встроенной фильтрации безопасности; возможна генерация вредного или предвзятого контента.