II.4Отладка, тестирование и качество ПО

Kanana-2-30B-A3B-Instruct — языковая модель Kakao для диалогов и сценариев агентного ИИ. Она дообучена на базе kakaocorp/kanana-2-30b-a3b-base и построена на архитектуре DeepSeek V3 с MLA и MoE: всего 30 млрд параметров, из которых активируются около 3 млрд. В репозитории указаны 48 слоёв, 128 экспертов и выбор 6 экспертов на токен. Модель предназначена для следования сложным инструкциям, логических рассуждений и вызова инструментов. Она генерирует текст и поддерживает контекст до 32 768 токенов. Семейство Kanana-2 рассчитано на корейский, английский, японский, китайский, тайский и вьетнамский языки. Для контекстов длиннее 32 768 токенов README описывает расширение до 128 000 с помощью YaRN и изменением конфигурации; это может ухудшить качество на коротких текстах. Для запуска с Transformers требуется версия не ниже 4.51.0. Лицензия указана как other, поэтому условия использования следует сверить с файлами лицензии репозитория.

Keural-Cortex-8B-SFT-step903 — исследовательский контрольный чекпойнт модели Keural, разработанной MKD Co., Ltd. Это плотная авторегрессионная языковая модель семейства Qwen3 с 7,6 млрд параметров, дообученная методом supervised fine-tuning на базе Qwen/Qwen3-8B. Модель рассчитана на диалоги на корейском и английском языках, ответы на вопросы, суммаризацию, перевод, генерацию кода, математические рассуждения, вызов инструментов и работу с длинными документами. Контекстное окно составляет до 65 536 токенов; доступны режимы с рассуждениями и без них, а веса опубликованы в формате safetensors для Transformers. Корейский язык — основной акцент обучения; также предусмотрены англоязычные задачи. Вызов функций поддерживается через совместимую с OpenAI схему, однако выбор инструментов ненадёжен. В README описаны воспроизводимые дефекты: модель может неверно представляться, отвечать пустым сообщением на короткий запрос без системной инструкции, ошибочно вызывать инструмент и иногда выдавать незакрытый маркер рассуждений. Для этого чекпойнта рекомендуется задавать системную инструкцию и передавать только уместные для запроса инструменты. Лицензия — Apache-2.0.

Ling-3.0-flash-VL GGUF — GGUF-конверсия мультимодальной модели inclusionAI/Ling-3.0-flash-VL, подготовленная bloomer010 для запуска через llama.cpp. Это Mixture-of-Experts-модель с 124 млрд общих параметров и примерно 5,5 млрд активируемых параметров на токен. Она поддерживает текстовые, графические и видео-входы и предназначена для мультимодального понимания, рассуждений, выполнения агентских задач и проверки результатов. Заявлено контекстное окно до 256K токенов, однако в README отдельно указана поддержка до 128K, поэтому фактический предел зависит от используемой сборки и конфигурации. Для обработки изображений требуется отдельный файл mmproj-model-f16.gguf размером около 875 МБ; текстовый чат может работать без него. Модель рассчитана на использование с llama.cpp, но пока требует сборки с ещё не объединённым PR для архитектуры bailingmoe3vl и визуального проектора Ling VL. Доступны различные варианты квантования от BF16 до Q3_K_M, что позволяет адаптировать требования к памяти, но уменьшение размера может снижать точность и стабильность ответов. Поддерживаются режим рассуждений и ускорение speculative decoding через DSpark, хотя выигрыш в скорости зависит от оборудования и сценария. Лицензия — MIT.

unsloth/Llama-3.2-3B-Instruct — текстовая диалоговая модель семейства Llama 3.2, разработанного Meta и опубликованного Unsloth в виде модели на базе meta-llama/Llama-3.2-3B-Instruct. Это плотный авторегрессионный трансформер с архитектурой LlamaForCausalLM и примерно 3,2 млрд параметров; веса представлены в формате safetensors. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и предназначена для многоязычных диалогов. Модель подходит для генерации ответов, суммаризации, поиска знаний в диалоговых сценариях и построения приложений с вызовом инструментов. В карточке Unsloth также приведены ноутбуки для дообучения и экспорта моделей, но это описание относится к самому чекпойнту. README указывает поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; метаданные отдельно отмечают английский. Использование регулируется лицензией Llama 3.2 Community License — специальной коммерческой лицензией Meta.

LIF1014/ptdbench-Llama-3.2-1B-Instruct — текстовая инструктивная модель семейства Llama 3.2, разработанного Meta. Это авторегрессионный трансформер с плотной архитектурой LlamaForCausalLM и примерно 1,2 млрд параметров; модель предназначена для диалогов с ассистентом, генерации текста и сценариев с агентным поиском и суммаризацией. Поддерживает текст на входе и выдаёт текст, включая код. Контекстное окно — 131 072 токена. Модель работает с английским, немецким, французским, итальянским, португальским, хинди, испанским и тайским языками. Небольшой размер подходит для развёртывания в средах с ограниченными ресурсами, в том числе на мобильных устройствах. Знания модели ограничены данными обучения со срезом до декабря 2023 года; качество и безопасность могут уступать более крупным моделям, поэтому ответы следует проверять в критичных сценариях. Использование регулируется пользовательской лицензией Llama 3.2 Community License и связанными условиями Meta.

attashe/q-2.5-deepseek-r1-veltha-v0.4 — объединённая модель языковой модели, созданная с помощью mergekit методом Linear DELLA. В качестве базовой использована arcee-ai/SuperNova-Medius; в объединение также вошли allura-org/TQ2.5-14B-Aletheia-v1, huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2, EVA-UNIT-01/EVA-Qwen2.5-14B-v0.2 и v000000/Qwen2.5-Lumen-14B. Модель построена на архитектуре Qwen2 с плотной 14-миллиардной языковой моделью и предназначена для диалогов и генерации текста. Она загружается через Transformers, использует формат safetensors и поддерживает контекст до 131 072 токенов; метаданные также отмечают интерфейс вызова инструментов. Лицензия в предоставленных данных не указана.

Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-MLX-mxfp4 — это мультимодальная языковая модель на базе Qwen3.5-9B, разработанная HauhauCS и преобразованная TheCluster в формат MLX. Модель предназначена для генерации и анализа текста, работы с изображениями и видео, а также для сценариев, где требуется модель без встроенных отказов на запросы. Модель содержит 9 миллиардов плотных параметров и 32 слоя. Она использует гибридную архитектуру с линейным вниманием Gated DeltaNet и полным softmax-вниманием в соотношении 3:1, поддерживает Multi-Token Prediction и контекст длиной 262 тысячи токенов с возможностью расширения до 1 миллиона через YaRN. Заявлены нативная мультимодальность для текста, изображений и видео, словарь на 248 тысяч токенов и поддержка 201 языка, включая английский, китайский и русский. Ключевая особенность — агрессивное удаление отказов: согласно карточке, модель не отказывается отвечать на запросы, сохраняя заявленные возможности исходной модели. При этом она может иногда добавлять краткие дисклеймеры в конце ответа. Модель квантизована в формате mxfp4 с эффективностью 4,821 бит на вес, поэтому её характеристики следует оценивать с учётом квантизации. Для использования доступны отдельные рекомендуемые параметры генерации для режимов с рассуждением и без него. Модель распространяется по лицензии Apache 2.0.

Pilcothink/Qwen3.8-27B-MixedInt4-AutoRound — это квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen и подготовленной Pilcothink. Модель предназначена для инференса в сценариях обработки текста и изображений, включая рассуждения, работу с инструментами и задачи, поддерживаемые исходной моделью. Это не дообучение, слияние или дистилляция, а производная версия исходного checkpoint. Квантизация выполнена с помощью Intel AutoRound по пользовательской схеме смешанной точности INT4 с размером группы 32. Языковые слои квантизированы, а vision tower сохранён в исходной точности; точное распределение разрядности между компонентами не раскрыто. Заявлена совместимость с поддерживающими AutoRound версиями vLLM. В README указана возможность работы с контекстом до 262 144 токенов, а для специального режима обслуживания — до 1 010 000 токенов, однако такие значения зависят от конфигурации и используемой версии инфраструктуры. Основное преимущество модели — снижение требований к памяти при сохранении близкого к оригиналу качества. В приведённой оценке средний результат составил 76,97% против 77,45% у исходной модели; наиболее заметное снижение наблюдалось в BoolQ, а на GSM8K квантизированная версия показала более высокий результат. При этом результаты бенчмарков не гарантируют идентичное поведение на каждом запросе, мультимодальных или длинноконтекстных нагрузках. Лицензия в карточке не указана; для условий использования, ограничений и лицензирования рекомендуется обращаться к карточке базовой модели Qwen/Qwen3.8-27B.

Qwen3.8-27B-NVFP4-MTP-VL-GGUF — пользовательская GGUF-сборка базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Сборка предназначена для локального запуска через llama.cpp и Ollama и объединяет языковую модель с поддержкой изображений и видео, механизмом MTP для ускоренного спекулятивного декодирования и отдельным F16 CLIP-проектором для обработки зрения. Это не официальный checkpoint в формате Transformers, а квантованная упаковка сообщества. Языковая часть и MTP используют NVFP4, выходные и embedding-слои — Q5_K, размер языкового файла составляет около 14,6 ГиБ, а проектор занимает около 888 МиБ. Нативный контекст модели — 262 144 токена; в GGUF добавлены метаданные статического YaRN с коэффициентом 4, позволяющие запрашивать окно до 1 048 576 токенов без изменения весов. Поддерживаются английский и китайский языки. Сильные стороны — существенно меньшие требования к памяти по сравнению с BF16, сохранение визуальных возможностей и MTP, а также совместимость с локальными рантаймами. Для работы требуются сборки, поддерживающие архитектуру qwen35, NVFP4, mmproj и draft-mtp. Окно в миллион токенов требует очень большого объёма памяти для KV-кэша, а статический YaRN может ухудшать качество на коротких запросах, поэтому для обычного диалога рекомендуется меньший контекст. Модель распространяется по лицензии Apache License 2.0.

unsloth/Qwen3-VL-2B-Instruct-unsloth-bnb-4bit — 4-битная версия модели Qwen3-VL-2B-Instruct, опубликованная Unsloth и основанная на модели Qwen. Это мультимодальная instruct-модель для понимания и генерации текста по изображениям, а также для работы с визуальными и текстовыми данными. Она предназначена для описания изображений, визуального рассуждения, анализа документов и видео, OCR, решения STEM- и математических задач, генерации HTML/CSS/JS и Draw.io по визуальным примерам, а также взаимодействия с графическими интерфейсами и инструментами. Модель имеет плотную архитектуру и размер 2B параметров; поддерживает текст и изображения, а заявленные возможности включают обработку видео и пространственное рассуждение. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных позиционных представлений, DeepStack для объединения многоуровневых признаков ViT и выравнивание текста с временными метками. Заявлена длина контекста 256K токенов с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный список языков в README не приведён. Сильные стороны модели — сочетание текстового и визуального понимания, работа с длинным контекстом, видео, пространственными отношениями и документами, а также сниженные требования к памяти благодаря 4-битному квантованию. Ограничения, результаты тестов и точные требования к оборудованию в README не описаны; квантование может влиять на точность по сравнению с исходной моделью. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-4B-Instruct GGUF — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Данная версия представляет собой GGUF-сборку весов Qwen3-VL-4B-Instruct, подготовленную автором Mungert с использованием llama.cpp. Модель предназначена для диалога и генерации текста на основе изображений, видео и текстовых запросов. Модель имеет плотную архитектуру и размер 4B параметров. Она поддерживает анализ изображений и видео, визуальное распознавание, OCR, пространственное рассуждение, понимание длительных видеосцен, мультимодальные задачи STEM и генерацию кода интерфейсов и схем по визуальным материалам. Также заявлены возможности визуального агента для взаимодействия с графическими интерфейсами и инструментами. Контекст составляет 256K токенов с возможностью расширения до 1M; OCR заявлен для 32 языков, однако полный перечень языков в карточке не указан. К сильным сторонам относятся расширенное понимание изображений и видео, точное пространственное и временное рассуждение, обработка длинного контекста, улучшенное распознавание текста и интеграция визуальной и текстовой информации. GGUF-формат удобен для локального запуска через llama.cpp, а применённый автором подход с повышением точности отдельных слоёв призван улучшить качество при заданном уровне квантизации, хотя увеличивает размер файла. Ограничения включают зависимость качества от выбранного варианта квантизации и аппаратных ресурсов, а также отсутствие в README подробных результатов тестирования и требований к памяти. Лицензия — Apache 2.0.

Qwen3-VL-8B-Thinking-FP8 — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия Qwen3-VL-8B-Thinking с мелкозернистым квантованием и размером блока 128; заявлено, что её метрики почти идентичны исходной версии в формате BF16. Модель предназначена для генерации текста по изображениям и тексту, визуального и мультимодального рассуждения, анализа видео, OCR, понимания пространственных отношений, а также агентского взаимодействия с графическими интерфейсами и инструментами. Модель поддерживает работу с изображениями, видео и текстом. Среди заявленных возможностей — понимание длинного контекста до 256K токенов с возможностью расширения до 1M, анализ книг и продолжительных видео, распознавание текста на 32 языках, улучшенное понимание STEM-задач, временной привязки событий в видео и генерация Draw.io/HTML/CSS/JS по изображениям и видео. В архитектуре упоминаются Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Конкретный набор языков, точные ограничения контекста для этой сборки и сведения о вычислительных требованиях в README не указаны. Сильные стороны — сочетание визуального восприятия, рассуждения, OCR, пространственного и видеоанализа при существенно меньшем размере представления благодаря FP8-квантованию. Ограничение на момент публикации README заключается в том, что Transformers не поддерживает прямую загрузку этих весов; для развёртывания рекомендуются vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

SC117 публикует квантованные GGUF-сборки Agents-A1-Uncensored-MTP-APEX — агентной модели InternScience на архитектуре Qwen3.5-35B-A3B с 35 млрд параметров и MoE. В выпуск включены слой Multi-Token Prediction для ускорения генерации и BF16-проектор изображений для мультимодального режима. Модель принимает текст, а при подключении проектора — изображения, и генерирует текстовые ответы; заявлены агентные сценарии, научные рассуждения, поиск и вызов инструментов. Сборки используют смешанную квантизацию APEX с несколькими уровнями сжатия. README приводит запуск в llama.cpp, vLLM и SGLang и указывает контексты до 131 072 токенов в примере llama.cpp и до 262 144 в примере vLLM. Выпуск основан на InternScience/Agents-A1, дополнен поведенческой LoRA, слоем MTP и квантованием; лицензия Apache-2.0. Адаптация снижает склонность к отказам, поэтому ответы могут заметно отличаться от исходной модели; качество и скорость зависят от выбранного уровня квантизации и оборудования.

Ahadadada Jailbreak Qwen3.8-27B — модифицированная jailbreak-версия модели Qwen3.8-27B, опубликованная пользователем или организацией Ahadadada. Модель сохраняет исходные возможности базовой модели и ориентирована на диалоговые сценарии, генерацию текста, программирование, агентские задачи, рассуждения и обработку изображений, видео и документов. Заявлено отсутствие стандартных фильтров безопасности, поэтому модель обычно отвечает более прямо и редко отказывается от запросов. Модель содержит 27 млрд плотных параметров и использует архитектуру qwen35 с гибридом SSM и attention: 64 слоя, включая 48 слоёв линейного внимания Gated DeltaNet и 16 слоёв полного gated attention. Размерность скрытого состояния составляет 5120, размерность FFN — 17408, словарь содержит 248 320 токенов. Заявлен нативный контекст 262K токенов с возможностью расширения через YaRN. Поддержка мультимодальности реализуется через отдельный файл mmproj, а MTP с параметром n_max=3 предназначен для ускорения инференса. Доступны GGUF-квантизации APEX-I-Mini, Q4_K_M, Q5_K_M, Q6_K и Q8_0. В приведённых тестах вариант APEX-I-Mini в среднем уступил базовой bf16-модели 1,9 процентного пункта по HellaSwag, Winogrande и ARC-Challenge, хотя результаты зависят от квантизации и настроек. Для работы с изображениями требуется отдельный mmproj-файл; рекомендуются llama.cpp с поддержкой шаблонов Jinja и достаточным объёмом контекста. Модель распространяется по лицензии Apache-2.0, однако снятие защитных ограничений повышает риски небезопасного или вредоносного применения.

c4ai-command-r7b-12-2024-heretic — модифицированная версия модели CohereForAI Command R7B, созданная автором репозитория с использованием Heretic 1.4.0 и метода направленной абляции (abliteration). Это мультиязычная генеративная языковая модель примерно на 7 млрд параметров, оптимизированная для retrieval-augmented generation (RAG), диалоговых сценариев, локального запуска и надёжного использования инструментов. Указан английский язык, однако в описании заявлена мультиязычность. Модель поддерживает текстовую генерацию и поставляется в форматах BF16 Safetensors и GGUF с квантованиями Q4_K_M, Q5_K_M, Q6_K и Q8_0; доступен запуск через Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Ключевая особенность — подавление поведения, связанного с отказами, посредством изменения отдельных направлений весов в выходных проекциях attention и down-проекциях MLP, без дообучения. Это должно сохранять большую часть знаний и возможностей базовой модели, но одновременно означает отсутствие встроенной фильтрации безопасности: модель может выполнять запросы, которые исходная версия отклоняла, включая потенциально нежелательные. Поэтому её не рекомендуется размещать за незащищённым публичным endpoint для сторонних пользователей. Модель рассчитана на локальное использование на потребительских GPU и CPU/Apple Silicon; рекомендуемый объём видеопамяти зависит от квантования и составляет примерно 6–24 ГБ, а для контекста требуется дополнительно около 1 ГБ. Ограничения контекстного окна в README не указаны. Модель наследует лицензию other базовой модели CohereForAI c4ai-command-r7b-12-2024; подробные условия доступны по ссылке на её LICENSE.

CyberFitz/gemma-4-26B-A4B-it-NVFP4 — квантизированная версия Gemma 4, разработанная CyberFitz на базе модели Google gemma-4-26b-a4b-it. Это мультимодальная Mixture-of-Experts-модель для генерации и понимания текста, обработки изображений и совместных текстово-визуальных запросов. Она подходит для чат-ботов, анализа документов и изображений, а также для задач, требующих длинного контекста. Модель содержит 25,2 млрд параметров, из которых около 3,8 млрд активируются для каждого токена. Архитектура использует 128 экспертов с маршрутизацией top-8 и поддерживает контекст до 262 144 токенов. Квантизация NVFP4 с 4-битными весами уменьшает размер примерно с 49 до 16 ГБ и снижает требования к памяти примерно до 18 ГБ. Для сохранения качества маршрутизаторы MoE, vision-компоненты, embeddings и LM head оставлены в формате bfloat16. Указана поддержка multilingual-сценариев, однако конкретный перечень языков не приведён. Сильные стороны модели — существенно меньший размер, поддержка текста и изображений, очень длинный контекст и сохранение чувствительных компонентов в полной точности. Ограничения включают зависимость от совместимого NVIDIA-оборудования и программного стека, необходимость специальной поддержки NVFP4 и MoE при обслуживании, а также отсутствие опубликованных на момент создания README результатов бенчмарков. Модель распространяется по лицензии Gemma, унаследованной от базовой модели Google.

K-EXAONE — мультиязычная языковая модель LG AI Research для диалога, рассуждений, работы с инструментами и обработки длинных текстов. Она использует архитектуру Mixture of Experts: в README указаны 236 млрд параметров всего и 23 млрд активных при инференсе; метаданные каталога приводят 21,3 млрд параметров. Модель поддерживает контекст до 262 144 токенов и языки корейский, английский, испанский, немецкий, японский и вьетнамский. Архитектура включает 128 экспертов, из которых активируются 8, а также механизм Multi-Token Prediction для ускорения генерации. Модель предназначена для ответов на вопросы, рассуждений, многоязычного общения, анализа длинных документов и агентных сценариев с вызовом инструментов. README сообщает о специальной поддержке корейских культурных и исторических контекстов. Модель доступна в формате safetensors и работает с Transformers; для сервинга также описаны vLLM и SGLang. В README лицензия не названа, а метаданные указывают «other», поэтому точные условия использования следует проверять на странице модели. Возможны фактические ошибки, устаревшие ответы, предвзятость и неподходящие генерации; заявленная дата среза знаний — декабрь 2024 года.

NVIDIA Llama 3.1 70B Instruct FP8 — квантованная до FP8 версия диалоговой языковой модели Meta Llama 3.1 70B Instruct. В README указано, что модель разработана не NVIDIA: веса и активации линейных операторов в блоках трансформера преобразованы в FP8 с помощью TensorRT Model Optimizer. Архитектура — авторегрессионный трансформер Llama 3.1 с 69,5 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и интерфейс для вызова инструментов. Модель предназначена для диалоговых ассистентов и генерации текста. FP8-квантование примерно вдвое сокращает требования к дисковому пространству и памяти GPU; в описанном тесте на H100 заявлено ускорение примерно в 1,5 раза. Для инференса указаны TensorRT-LLM и vLLM, совместимое оборудование включает NVIDIA Blackwell, Hopper и Lovelace. Лицензия — Llama 3.1; README сообщает о возможности коммерческого и некоммерческого использования. Следует учитывать условия лицензии Meta и ограничения исходной модели. Модель текстовая, поэтому она не принимает изображения, аудио или видео.

ceia-aisdk/llm-medium-v1 — распространяемый CEIA AI SDK артефакт GGUF на основе инструктивной языковой модели Qwen2.5-7B-Instruct. CEIA не обучала эти веса: репозиторий содержит квантованную версию Q4_K_M, подготовленную bartowski, для использования через псевдоним SDK llm/medium@1. Модель предназначена для диалогов и генерации текста по инструкциям. Базовая Qwen2.5-7B-Instruct поддерживает также генерацию кода и структурированных ответов. Репозиторий использует формат GGUF и распространяется по лицензии Apache-2.0, как и базовая модель.

Карточка модели context-labs/meta-llama-Llama-3.2-3B-Instruct-FP16 на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-3B-Instruct, поэтому описание составлено по ней. Meta разработала Llama 3.2 3B Instruct — мультиязычную авторегрессионную языковую модель на архитектуре Transformer для генерации текста. Версия Instruct дообучена с помощью контролируемой настройки и обучения с подкреплением на основе обратной связи от людей; модель оптимизирована для диалогов с ассистентом и задач, связанных с агентными приложениями. Модель подходит для ответов в чате, поиска сведений и суммаризации, а также для мобильных помощников по написанию текста и переформулированию запросов. Она принимает текст и генерирует текст, в том числе код. В карточке семейства указан контекст до 128 тысяч токенов, а среди официально поддерживаемых языков перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель использует Grouped-Query Attention и рассчитана в том числе на запуск в средах с ограниченными ресурсами. По сравнению с более крупными моделями у компактных вариантов могут отличаться баланс безопасности и полезности; разработчикам следует проверять поведение модели в своём сценарии. Использование регулируется пользовательской коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

Omega AI 70B — диалоговая языковая модель семейства Omega AI, представленная как дообученная на базе meta-llama/Llama-3.3-70B-Instruct. По метаданным, модель содержит 71,5 млрд параметров, использует архитектуру Qwen2ForCausalLM и принимает текст для генерации ответов; доступны интерфейсы чата и вызова инструментов. Контекст составляет до 32 768 токенов. Модель предназначена для диалоговых ассистентов и генерации текста. README характеризует репозиторий как справочный и уточняет, что фирменное название Omega AI не меняет архитектуру или предварительно обученные веса базовой модели. Условия исходной лицензии и требования к атрибуции продолжают действовать; конкретная лицензия в предоставленных данных не приведена.

Qwen2.5-VL-72B-Instruct-GGUF — мультимодальная instruct-модель семейства Qwen2.5-VL, разработанная Qwen и представленная в формате GGUF. Квантизация выполнена bartowski на основе llama.cpp версии b5317. Модель предназначена для работы с текстом и изображениями. Модель подходит для анализа изображений, распознавания объектов, чтения и интерпретации текста, таблиц, графиков, значков, схем и элементов макета. Она также рассчитана на сценарии визуального агента с рассуждением и динамическим управлением инструментами, включая взаимодействие с компьютером и телефоном. Поддерживает структурированный вывод и формирование стабильного JSON, а также многоязычную работу. Заявленная длина контекста составляет 128 тысяч токенов. README не уточняет точную архитектуру, перечень поддерживаемых языков и параметры конкретного файла квантизации, поэтому производительность и требования к ресурсам зависят от выбранного варианта GGUF. Как и другие генеративные модели, модель может выдавать неточные, вредоносные или неподходящие результаты. Лицензия указана как qwen и other; подробные условия приведены в лицензии исходной модели Qwen2.5-VL-72B-Instruct.

btbtyler09/Qwen3.6-35B-A3B-GPTQ-8bit — это 8-битная GPTQ-квантизованная версия мультимодальной модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель предназначена для работы с текстом и изображениями, включая понимание изображений, генерацию текста, рассуждения, вызов инструментов и поддержку speculative decoding через модуль MTP. README не указывает конкретный список поддерживаемых языков. Модель использует архитектуру Mixture-of-Experts с примерно 35 млрд параметров, из которых около 3 млрд активируются для каждого токена. В каждом из 40 слоёв используется 256 экспертов и один общий эксперт; на токен выбираются 8 экспертов. Архитектура сочетает 30 слоёв линейного внимания и 10 слоёв полного внимания. Контекстное окно составляет до 262 144 токенов. В состав входят полноразмерный vision encoder на базе ViT с 27 блоками и модуль MTP; vision encoder и MTP сохранены в BF16, а экспертные модули квантизованы в INT8. Ключевое преимущество версии — существенное уменьшение размера примерно с 67 до 40 ГБ при практически незаметном ухудшении perplexity относительно исходной BF16-модели. При этом для запуска требуется значительный объём видеопамяти и, согласно README, рекомендуется использовать vLLM с распределением модели минимум на несколько GPU. GPTQModel и transformers на момент публикации не поддерживают непосредственную загрузку этой мультимодальной сборки, поэтому для инференса следует использовать vLLM; также возможна необходимость исправления ошибки совместимости в некоторых версиях vLLM. Модель распространяется по лицензии Apache-2.0.

MIRALABS/Qwen3.8-27B-W4A16-AutoRound — 4-битная квантованная версия модели Qwen/Qwen3.8-27B, разработанная MIRALABS на основе базовой модели Qwen. Модель предназначена для генерации текста и обработки изображений с текстом; заявлены английский и китайский языки. Поддерживает рассуждения, вызов инструментов и работу в режиме image-text-to-text. Модель использует INT4-квантизацию весов при BF16-активациях (W4A16), алгоритм AutoRound 0.14.2 с размером группы 128 и формат compressed-tensors для ядер Marlin в vLLM. Размер файлов составляет около 19,5 ГБ. Нативный контекст — 262 144 токена, а с YaRN заявлена поддержка до 1 000 000 токенов. Квантование заметно снижает требования к памяти по сравнению с версией BF16, при этом запуск рассчитан на видеокарты Ampere и новее, включая RTX 3090, RTX 4090 и A100. Сильными сторонами являются большой контекст, поддержка мультимодального ввода, режима рассуждений и эффективный запуск через vLLM на распространённых GPU. Ограничения связаны с требованиями к видеопамяти: на одной RTX 3090 веса помещаются, но полный контекст 262 144 токена недоступен; для длинного контекста рекомендуется несколько GPU или другой формат. Модель использует AutoRound, а не AWQ, GGUF или NVFP4. Распространяется по лицензии Apache 2.0, как и базовая модель.

NVIDIA Qwen3-8B FP8 — квантизированная версия авторегрессионной языковой модели Qwen3-8B, разработанной Alibaba и подготовленной с помощью NVIDIA TensorRT Model Optimizer. Модель предназначена для генерации текста и может использоваться в AI-агентах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Модель построена на архитектуре Transformers и содержит около 8,2 млрд параметров. Она работает с текстовыми последовательностями на входе и генерирует текст на выходе; поддерживаемая длина контекста достигает 131K токенов. Квантизация FP8 применяется к весам и активациям линейных операторов внутри трансформерных блоков, что ориентировано на эффективный инференс. Языки и мультимодальные возможности в карточке не указаны. Модель подготовлена для TensorRT-LLM и оптимизирована для NVIDIA GPU, в частности совместима с микроархитектурой NVIDIA Blackwell; предпочтительная операционная система — Linux. Указанное тестирование проводилось на NVIDIA B200. Ограничения качества, рисков и применимости зависят от исходной Qwen3-8B и конкретного сценария использования; разработчикам рекомендуется самостоятельно оценивать модель для целевой отрасли и задач. Использование разрешено для коммерческих и некоммерческих целей по лицензии Apache 2.0.

primitive-ai/Qwen3.8-Flash-Next-NVFP4 — квантизированная сборка базовой модели Qwen/Qwen3.8-Flash-Next, подготовленная Primitive AI. Модель предназначена для генерации текста и обработки запросов с изображениями в формате image-text-to-text, а также поддерживает рассуждения, структурированные вызовы инструментов и speculative decoding через MTP. Объём исходной модели составляет около 180 млрд параметров; сборка использует NVFP4 для экспертных компонентов и BF16 для части весов, занимая около 186 ГБ на диске. Главное преимущество — запуск крупной модели на одной 96 ГБ GPU Blackwell благодаря выгрузке 51-миллиардной n-gram-таблицы в оперативную память хоста; требуется примерно 100 ГБ свободной RAM. Заявлены скорость до 74,4 токена/с в однопоточном режиме и до 483,8 токена/с при 32 параллельных запросах. Модель сохраняет поддержку MTP, имеет проверенные парсеры рассуждений и tool calling в vLLM, а также показывает высокие результаты на приведённых наборах знаний и вызова инструментов. Ограничения связаны с жёсткими требованиями к оборудованию, объёму RAM и настройкам vLLM. Для запуска рекомендуется опубликованный образ vllm/vllm-openai:qwen38-flash-next и специальные параметры offload; без них сервер может зависать или не пройти инициализацию. Данные о поддерживаемых языках и точной архитектуре в README не приведены. Распространение осуществляется по лицензии Qwen Community 1.0.

Swift-Qwen3.8-27B-Uncensored-NVFP4-LocalHessian-ActivationHeadroom-NInfer — мультимодальная модель, разработанная на базе d0xin/Swift-Qwen3.8-27B-Uncensored-BF16 и распространяемая в формате NInfer. Это квантованная сборка семейства Swift-Qwen3.8 с поддержкой текстовых и визуальных входов, рассуждений, агентских сценариев, вызова инструментов и длинного контекста. Модель позиционируется как версия с существенно сниженным количеством отказов, однако это также уменьшает встроенную фильтрацию безопасности. Архитектура использует смешанную точность: MLP-слои 0–55 работают в NVFP4 W4A4, остальные MLP-слои, проекции self-attention и linear-attention/GDN, эмбеддинги и LM head — в row-wise FP8, а GDN a/b — в BF16. Калибровка выполнена с помощью NVIDIA ModelOpt Local-Hessian, activation headroom и подбора FP8-масштабов. Размер модели — 27B параметров; точный набор поддерживаемых языков в README не указан. По заявленным измерениям на NVIDIA RTX PRO 6000 Blackwell сборка обеспечивает на 20,4–26,6% более высокую скорость декодирования, на 33,8–38,2% более высокую скорость prefill и на 15,1% меньшее потребление VRAM по сравнению с FP8. На фиксированной выборке MMLU-Pro она показала 80,36% точности при рекомендованном thinking budget 2048, но результаты зависят от оборудования и конфигурации. Рекомендуется использовать NInfer с NVIDIA Blackwell sm_120a; работа на RTX 5090 ожидается, но непосредственно автором не проверялась. Лицензия — Swift Open License 1.0.

Это текстовая конверсия Apertus 1.5 8B от автора andreasmartin на основе swiss-ai/Apertus-v1.5-8B, разработанной Swiss AI Initiative при участии ETH Zurich, EPFL и CSCS. Модель представлена в формате ApertusForCausalLM и содержит около 8,05 млрд параметров. Она предназначена для генерации текста, диалогов, RAG и агентных сценариев; поддерживает режим рассуждений и вызов инструментов. Контекстное окно составляет 262 тыс. токенов. Модель загружается через Transformers 4.56 и новее без fork и trust_remote_code; доступны интеграции с Unsloth, vLLM, llama.cpp/GGUF, MLX и LM Studio. Веса языковой основы скопированы побитово из исходного чекпойнта, а 200 строк LM-head для специальных токенов добавлены со средними начальными значениями и не обучались. В этой версии удалены мультимодальные компоненты: изображения и аудио на входе не поддерживаются, для них нужен исходный чекпойнт. Полное сравнение логитов с исходной моделью не проводилось. Лицензия — Apache 2.0.

Solstice-AI публикует GGUF-сборку DeepSeek-V4-Flash-Vision-UNCENSORED для локального мультимодального диалога и анализа изображений. В ней используются MoE-веса MXFP4 с 305 млрд параметров, включая 256 маршрутизируемых экспертов и около 18 млрд активных параметров на токен; визуальный энкодер сохранён в BF16. К сборке приложены спекулятивные черновые модели DSpark для ускорения вывода. Заявлена длина контекста 1 048 576 токенов. Модель принимает текст и изображения и выдаёт текст; среди подходящих сценариев — визуальные вопросы и ответы, анализ документов и графиков, а также задачи программирования и рассуждений в диалоге. Карточка приводит высокие результаты в ряде бенчмарков, включая DocVQA и ChartQA, но эти показатели заявлены автором и не гарантируют аналогичного качества в конкретной среде. Сборка распространяется по лицензии MIT. В README упоминается режим UNCENSORED, поэтому её ответы могут содержать материалы, которые обычно ограничиваются отказами.

Dolphin X1 405B — диалоговая модель общего назначения, разработанная командой Dolphin на базе allenai/Llama-3.1-Tulu-3-405B. Это плотная авторегрессионная модель семейства Llama с 403,7 млрд параметров и контекстом до 131 072 токенов. Она сохраняет способности базовой модели следовать инструкциям и предназначена для диалогов и генерации текста; разработчики подчёркивают управляемость системным промптом и более низкий уровень отказов по сравнению с другими моделями этого класса. Модель рассчитана на развёртывание в собственных приложениях и инфраструктуре, где владелец задаёт системный промпт и правила поведения. В README приведены способы запуска через vLLM, Transformers и llama.cpp. Модель доступна по лицензии Apache-2.0. README заявляет о снижении частоты отказов, поэтому модель может выдавать ответы на запросы, которые другие модели отклоняют; качество и поведение следует оценивать в целевом сценарии.