II.4Отладка, тестирование и качество ПО

navispace/Qwen3.8-27B-W8A16-GPTQ — квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для задач генерации текста и работы с изображениями и текстом; в карточке она классифицирована как image-text-to-text. Эта сборка использует 8-битное квантизирование весов W8A16 в формате GPTQ с группами размера 32, тогда как активации выполняются в FP16. Размер весов уменьшен примерно с 51,7 до 31,2 GiB, что позволяет разместить модель на двух видеокартах по 24 ГБ с дополнительной памятью под KV-кэш. Квантизирование выполнено методом round-to-nearest без калибровочного набора данных, с симметричным масштабированием по группам и поиском оптимального коэффициента уменьшения масштаба. Квантизированы основные проекции MLP, attention и linear attention; vision tower, embeddings, lm_head, нормализации и ряд компонентов оставлены в BF16. Заявленная относительная ошибка восстановления весов составляет в среднем 0,567%. Базовый контекст модели составляет 262 144 токена, а с расширением YaRN в указанной конфигурации может достигать 524 288 токенов. Языки в README не указаны. Сильными сторонами являются существенное снижение требований к памяти, поддержка длинного контекста и совместимость с vLLM, включая сценарии на AMD Radeon RX 7900 XTX под ROCm. Ограничения включают необходимость FP16-активаций для INT8-ядер Exllama на ROCm, потенциальную нестабильность FP16 на длинных генерациях и отсутствие сравнительных бенчмарков с исходными BF16-весами. Лицензия — Apache-2.0.

Baekpica/Qwen3.8-Flash-Next-Mixed-Quant-SSD-PLE-GGUF — производная квантованная версия модели Qwen3.8-Flash-Next, разработанная Baekpica на базе модели Qwen. Она распространяется в формате GGUF с mixed-quant квантованием и рассчитана на запуск с использованием SSD-PLE offload, в частности на системах DGX Spark. Модель относится к мультимодальному классу image-text-to-text и поддерживает обработку текстовых запросов и изображений, включая фотографии, снимки экрана и документы. Опубликованы варианты MQ-Q6-SSD-PLE-BF16 и MQ-Q5-SSD-PLE-BF16 с общим BF16 SSD-PLE sidecar; также доступен FP8 sidecar. Для модели заявлена проверка прямого prefill на 262 144 токенах, а связанный runtime поддерживает путь Qwen YaRN до 524 288 токенов, однако это подтверждает возможности программного стека, а не качество модели на таком контексте. В README приведены измерения производительности prefill и decode, оптимизации MTP, повторное использование кэшей и сквозная работа изображений через несколько API-совместимых интерфейсов. Сильные стороны модели — мультимодальность, варианты с разным компромиссом между качеством и потреблением памяти, поддержка SSD-PLE offload, длинного контекста и оптимизированного инференса. Ограничения включают зависимость от совместимого runtime и аппаратной конфигурации, необходимость выбора подходящего sidecar, а также отсутствие в README точных данных о числе параметров, языках, полном описании архитектуры и сравнении качества с исходной моделью. Лицензия указана как qwen-community-1.0; применяются условия лицензии Qwen, доступной по ссылке в карточке модели.

Rombos-LLM-70b-Llama-3.3 — дообученная диалоговая языковая модель на архитектуре Llama, опубликованная пользователем rombodawg. Она предназначена для генерации текста и общения в формате инструктивного ассистента; метаданные также указывают интерфейс вызова инструментов. Модель содержит 69,5 млрд параметров, использует формат safetensors и поддерживает контекст до 131 072 токенов. В качестве основы указана meta-llama/Llama-3.3-70B-Instruct, мультиязычная инструктивная модель Meta. README не раскрывает подробности обучения или особые сценарии применения. Лицензия — llama3.3.

Sakalti/ultiima-108B — языковая модель для генерации текста, созданная автором репозитория с помощью mergekit из слоёв Sakalti/ultiima-72B. Использован метод passthrough: в итоговую модель включены диапазоны слоёв базовой модели, а веса записаны в формате float16. Архитектура — плотная Qwen2ForCausalLM с 106,6 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для диалогов и генерации текста; метаданные также указывают интерфейс вызова инструментов. Лицензия обозначена как other, поэтому условия использования следует уточнять по карточке репозитория. README описывает способ сборки, но не приводит оценки качества или подробные ограничения применения.

XORTRON.CriminalComputing.Config.LARGE.XPRT2 — текстовая чат-модель на архитектуре MistralForCausalLM, созданная Darkhn на основе дообучения mistralai/Mistral-Medium-3.5-128B. По карточке, в модели применена abliteration: в приведённом сравнении она отказала в 9 из 100 случаев, тогда как исходная модель — в 98 из 100. Это указывает на снижение частоты отказов, но не гарантирует ответ на любой запрос. Модель предназначена для генерации текста в диалоговом формате; метаданные также отмечают интерфейс вызова инструментов. Она содержит 123,4 млрд параметров, принимает только текст и поддерживает контекст до 262 144 токенов. Вес опубликован в формате safetensors с точностью BF16. Указана лицензия Apache-2.0.

XVERSE-65B-2 — базовая мультиязычная языковая модель, самостоятельно разработанная Shenzhen Yuanxiang Technology. Она использует плотную архитектуру Decoder-only Transformer с 65,6 млрд параметров и поддерживает контекст до 16 384 токенов. Модель обучена на 2,6 трлн токенов из разнообразных источников; токенизатор BPE имеет словарь из 100 534 единиц. Модель предназначена для генерации текста, многошаговых диалогов, ответов на вопросы и суммаризации. В обучающих данных представлены более 40 естественных языков, включая китайский, английский, русский и испанский; наибольший объём данных приходится на английский и китайский. В корпус также входили код, энциклопедии, книги и научные статьи. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка описывает базовую предварительно обученную модель, поэтому качество выполнения инструкций или диалога отдельно не заявлено; для запуска также потребуются значительные вычислительные ресурсы из-за размера модели.

Citaman/command-r-20-layer — объединённая языковая модель семейства Cohere, созданная методом SLERP с помощью mergekit на основе Citaman/command-r-21-layer. В метаданных указаны 18,5 млрд параметров, архитектура CohereForCausalLM и формат safetensors; конфигурация объединения использует срезы слоёв исходной модели и тип bfloat16. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Контекст составляет 8192 токена. Карточка не указывает отдельные поддерживаемые языки или условия лицензии, поэтому их нельзя надёжно определить по имеющимся данным.

DeepSeek-V3.2-Exp — экспериментальная языковая модель семейства DeepSeek, разработанная DeepSeek и опубликованная в виде побитово идентичной архивной копии AIArchiveInfo. В исходной версии исследуется механизм DeepSeek Sparse Attention для повышения эффективности обучения и инференса на длинных последовательностях; по заявлению авторов, качество ответов остаётся близким к DeepSeek-V3.1-Terminus. Модель предназначена для генерации текста и диалогового взаимодействия, а метаданные также указывают интерфейс вызова инструментов. Модель содержит 37,6 млрд параметров, использует архитектуру DeepseekV32ForCausalLM и формат весов safetensors FP8. Длина контекста — 163 840 токенов. README сообщает, что веса архивной копии не обучались и не изменялись, поэтому классификация как дообучения из метаданных может отражать связь с базовой моделью, а не изменение весов именно этой копии. Лицензия — MIT.

EuroBERT-210m — многоязычная плотная модель-энкодер семейства EuroBERT, разработанная для работы с текстом, кодом и математическими задачами. В этой версии около 211,7 млн параметров; максимальная длина входной последовательности — 8192 токена. Модель доступна для использования через Transformers и опубликована под лицензией Apache-2.0. Модель предназначена для заполнения пропусков в тексте, поиска и извлечения информации, классификации и регрессии. По данным карточки, семейство EuroBERT оценивается на задачах retrieval, классификации последовательностей, оценки качества и задачах, связанных с кодом и математикой; каталог также указывает поддержку разметки токенов и ответов на вопросы. Поддерживаются английский, французский, немецкий, испанский, китайский, итальянский, русский, польский, португальский, японский, вьетнамский, нидерландский, арабский, турецкий и хинди. Сильная сторона модели — многоязычное представление текста и широкий набор сценариев для энкодера при умеренном размере. Это не генеративная чат-модель: её основная задача в метаданных — fill-mask, а для прикладных сценариев классификации, поиска и других задач может потребоваться соответствующая голова или дообучение. README сообщает о сильных результатах семейства на сравнительных оценках, но не приводит здесь подробных метрик для версии 210m.

EuroBERT-610m — многоязычная плотная encoder-модель семейства EuroBERT от разработчиков, представивших это семейство. Веса содержат около 607,8 млн параметров; модель предназначена для языковых задач, включая поиск и ранжирование текстов, классификацию и регрессию. В Hugging Face она опубликована как masked language model для заполнения пропусков в тексте. Модель поддерживает 15 языков, а также математические задачи и код. Контекст — до 8 192 токенов. По данным карточки, EuroBERT-610m сопоставима с XLM-RoBERTa-XL на большинстве оценённых многоязычных задач и превосходит её в задачах с кодом и математикой; качество зависит от задачи и прикладной настройки. Доступна для Transformers в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.

EXAONE-4.0.1-32B — плотная языковая модель LG AI Research на 31,5 млрд параметров, дообученная на базе EXAONE-4.0-32B. Версия 4.0.1 содержит исправление, призванное уменьшить число непреднамеренных или неподходящих ответов. Модель поддерживает диалог на английском, корейском и испанском языках и предлагает режимы обычной генерации и рассуждений, а также вызов инструментов. Модель предназначена для диалоговых приложений, решения сложных задач с рассуждением и агентных сценариев с инструментами. Архитектура включает 64 слоя, GQA с 40 головами внимания и 8 KV-головами, а также гибридное внимание; контекст — до 131 072 токенов. Для работы через Transformers требуется версия 4.54.0 или новее. Модель может генерировать неподходящий или предвзятый контент, фактически или логически ошибочные ответы и не гарантирует актуальность сведений. В README указана лицензия «other», а не конкретные условия; перед использованием следует свериться с условиями репозитория.

Firefly-LLaMA2-7B-Chat — китайско-английская разговорная модель команды Firefly на архитектуре LLaMA 2. Она создана на базе LLaMA 2 с расширенным китайским словарём: модель прошла дополнительное предобучение на китайских и английских текстах, а затем дообучение на многоходовых инструкциях и диалогах. В репозитории указаны размер 6,7 млрд параметров, контекст 4096 токенов и формат PyTorch. Модель предназначена для диалоговых ответов, генерации и преобразования текста, включая ответы на вопросы, краткое изложение, перевод, извлечение информации, классификацию, математические задачи и генерацию кода. Расширенный китайский словарь уменьшает число токенов при обработке китайского текста; авторы также сообщают о сохранении английских возможностей базовой LLaMA 2 и улучшении китайских навыков по сравнению с LLaMA 2 Chat. Указанные в карточке оценки относятся к авторским тестам и не гарантируют качество в конкретных сценариях. Модель генерирует текст по текстовым запросам. В README отмечено, что прирост по китайским знаниям ограничен объёмом и составом дополнительного предобучения; авторы использовали около 2 млрд токенов из подготовленного корпуса. Лицензия для конкретного репозитория в предоставленных данных не указана.

AxionML Gemma-4-12B-FP8 — квантизированная версия мультимодальной модели Google Gemma-4-12B-it, разработанная AxionML для открытого использования и производительного развертывания. Модель поддерживает сценарии image-text-to-text и рассчитана на применение в задачах обработки текста, изображений и аудио, включая диалоговые приложения, рассуждения и вызовы инструментов. Точный список языков и размер контекстного окна в карточке не указаны. Модель содержит около 11,95 млрд параметров. Веса линейных слоёв преобразователя квантизированы в FP8 E4M3 по блокам 128×128 с MSE-калибровкой, активации сохраняются в BF16, а KV-кэш хранится в FP8. Мультимодальные эмбеддеры и lm_head оставлены в BF16. Размер чекпойнта составляет около 13 ГБ вместо примерно 24 ГБ у версии BF16. По данным README, такая схема сохраняет качество на GSM8K и поддерживает запуск на GPU NVIDIA Hopper и Blackwell, включая H100 и H200. Сильными сторонами являются уменьшенное потребление памяти, сохранение активаций в BF16 для защиты от потери качества и совместимость с оптимизированными средствами обслуживания SGLang и TensorRT Model Optimizer. Ограничение состоит в том, что для работы требуются совместимые версии программного обеспечения и поддерживаемое оборудование; стандартная квантизация активаций W8A8 для этой модели, согласно README, заметно ухудшает качество. Указана лицензия Apache-2.0.

Gemma 3 27B IT — мультимодальная instruction-tuned модель Google, представленная в формате GGUF и квантизированная bartowski с использованием llama.cpp и imatrix. Модель предназначена для диалогов, следования инструкциям и задач, работающих с текстом и изображениями. Для работы с изображениями требуется отдельный файл MMPROJ и сборка llama.cpp с поддержкой Gemma 3 vision. Модель содержит 27 миллиардов параметров; доступны варианты от BF16 и Q8_0 до более компактных Q3- и IQ-квантизаций. Размер файлов варьируется примерно от 13,44 до 54,03 ГБ, а MMPROJ-файлов — от 858 МБ до 1,69 ГБ. Квантизации Q5 и Q6 обозначены как высококачественные, а Q4_K_M — как вариант, подходящий для большинства сценариев; более компактные варианты экономят оперативную память ценой снижения качества. README не содержит сведений о поддерживаемых языках и размере контекстного окна. Модель можно запускать локально через LM Studio, llama.cpp и совместимые проекты. Использование мультимодальных возможностей требует совместимого vision-компонента и правильного chat-шаблона Gemma. Доступ регулируется лицензией Google Gemma; для загрузки на Hugging Face необходимо принять условия этой лицензии. Конкретные ограничения производительности зависят от выбранной квантизации и доступной памяти.

Hermes-2 Θ (Theta) 70B — языковая модель Nous Research, созданная совместно с Charles Goddard и Arcee AI. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, объединяющая Hermes 2 Pro и Llama 3 Instruct; после слияния модель дополнительно обучали с помощью RLHF. Репозиторий содержит веса Safetensors, а контекст модели составляет 8192 токена. Модель предназначена для многоходового диалога на английском языке и генерации текста. Она использует формат ChatML и обучена следовать системным инструкциям, вызывать функции и формировать структурированные ответы в JSON. Также заявлена возможность извлекать признаки из документов для сценариев RAG. Для вызова инструментов приложение должно распознавать сгенерированный вызов, выполнить соответствующую функцию и передать результат модели. В README приведены результаты нескольких оценок, включая IFEval и MTBench, однако они не гарантируют качество в конкретных приложениях. Лицензия — Llama 3 Community License (llama3); перед использованием следует учитывать её условия. Указанный размер 70B требует существенных вычислительных ресурсов при запуске без квантизации.

Ling-3.0-flash-GGUF — текстовая генеративная модель, разработанная командой inclusionAI. Это следующее поколение нативной гибридной reasoning-модели, предназначенной для генерации текста и решения задач, требующих рассуждений. Модель доступна в формате GGUF и может использоваться в совместимых локальных средах инференса. Модель содержит 124 млрд общих параметров, при этом активными во время обработки являются около 5,1 млрд параметров. По заявлению разработчиков, такая архитектура позволяет ей соответствовать или превосходить предыдущую флагманскую модель на ключевых бенчмарках при значительно меньшем числе активных параметров. Поддерживаемые языки, максимальная длина контекста, конкретные модальности и детальные результаты тестирования в предоставленной карточке не указаны. Сильными сторонами модели заявлены гибридное reasoning и высокая эффективность за счёт активации только части параметров. Ограничения и требования к аппаратному обеспечению, особенности квантования GGUF, языковые возможности и применимые сценарии следует уточнять в полной карточке модели. Модель распространяется по лицензии MIT.

Карточка модели meta-llama/Llama-3.1-405B-Instruct-FP8 на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-405B, поэтому описание составлено по ней. Meta Llama 3.1 405B — большая авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer с Grouped-Query Attention. Она принимает и генерирует текст; семейство Llama 3.1 включает базовые и дообученные версии, а этот репозиторий представляет модель размером 405 млрд параметров. В метаданных указаны библиотека Transformers и формат safetensors. Модель предназначена для генерации текста и многоязычного диалога: её можно применять как основу для помощников и чат-систем, а также адаптировать к другим задачам генерации естественного языка. Семейство поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В карточке отмечены расширенное контекстное окно и возможность интеграции с инструментами разработчиками, но точный размер контекста этой модели не указан. Модель разработана Meta и выпущена в июле 2024 года. Она распространяется по специальной коммерческой лицензии Llama 3.1 Community License; применение должно соответствовать лицензии и Acceptable Use Policy. К ограничениям относятся статичность обученных весов, отсутствие гарантии безопасности или корректности ответов и рекомендация не использовать неподдерживаемые языки без дополнительного дообучения и системных мер контроля.

AMD Llama-3.1-405B-Instruct-FP8-KV — это FP8-квантизированная версия инструкционной модели Meta-Llama-3.1-405B-Instruct, подготовленная компанией Advanced Micro Devices с использованием инструмента Quark и калибровочных образцов из набора данных Pile. Модель предназначена для генерации текста и выполнения инструкций в сценариях, где требуется развертывание крупной языковой модели с оптимизированным использованием памяти и вычислительных ресурсов. README не содержит дополнительных сведений о поддерживаемых языках, длине контекста и исходной архитектуре базовой модели. Квантизации подвергнуты все линейные слои, кроме lm_head; веса, активации и KV-кэш представлены в формате FP8 с симметричным масштабированием per-tensor. Экспорт выполняется в формате Quark safetensors, а развертывание возможно через совместимый с vLLM backend. По данным оценки на wikitext2, perplexity увеличилась с 1,8561 у исходной модели до 1,8951 у квантизированной версии; при этом результаты получены в режиме псевдоквантизации и могут отличаться от точности реального инференса. Для работы требуется Quark, а из-за размера модели может понадобиться мног GPU-развертывание. Лицензия указана как llama3.1; модификации распространяются с авторскими правами Advanced Micro Devices, Inc. за 2024 год.

Карточка модели yentinglin/Llama-3.1-Taiwan-8B на Hugging Face совпадает с карточкой yentinglin/Llama-3.1-Taiwan-8B-Instruct, поэтому описание составлено по ней. yentinglin/Llama-3.1-Taiwan-8B-Instruct — чат-модель на базе архитектуры Llama, разработанная yentinglin. Она предназначена для генерации текста в диалогах и других сценариях, где требуется следовать инструкциям. Модель содержит 7,5 млрд параметров, использует библиотеку Transformers и формат Safetensors; заявленная длина контекста — 131 072 токена. В метаданных также отмечен интерфейс вызова инструментов. Карточка предупреждает, что ответы нужно самостоятельно проверять на точность и пригодность. Модель не предназначена для медицинской диагностики, юридических консультаций и финансовых решений. В предоставленных материалах условия лицензии не описаны.

Ministral-3-14B-Instruct-2512-textonly-NVFP4 — текстовая производная модели Ministral-3-14B-Instruct-2512-BF16 от Mistral, подготовленная сообществом ppetermann. Модель предназначена для генерации текста и использования в формате instruct, включая развёртывание сервиса вывода через vLLM и OpenAI-совместимый API. Модель содержит только языковую часть исходного мультимодального чекпойнта: поддержка изображений и другие функции компьютерного зрения удалены. Она основана на архитектуре MistralForCausalLM и имеет заявленный размер исходной модели 14B параметров. Веса полностью квантизованы в формате NVFP4 и сохранены в формате compressed-tensors, что ориентировано на эффективное выполнение при поддержке соответствующего аппаратного и программного стека. README не указывает языки, размер контекста и точные характеристики качества. Сильными сторонами являются уменьшенный формат хранения и ориентация на производительное серверное инференс-развёртывание; автор сообщает около 21 токена в секунду на запрос при работе через vLLM на машине с GB10. Ограничения включают отсутствие мультимодальности и зависимость от совместимости с vLLM и NVFP4. Модель распространяется по лицензии Apache-2.0.

MyAwesomeModel — модель из репозитория пользователя hwefa, опубликованная для использования через библиотеку Transformers и отмеченная тегами PyTorch, BERT и feature-extraction. Метаданные Hugging Face классифицируют её как модель извлечения признаков, а README описывает обновлённую версию с улучшенными рассуждениями, логическим выводом, математикой, программированием, диалогами, суммаризацией, классификацией, переводом и поддержкой function calling. README также заявляет о снижении частоты галлюцинаций и рекомендует использовать системный промпт и температуру 0.6.

Nemotron-H-47B-Reasoning-128K-GGUF — это набор GGUF-квантизаций модели Nemotron-H-47B-Reasoning-128K, разработанной NVIDIA и квантизированной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель имеет 47 миллиардов параметров и заявленный контекст до 128K токенов. В README указана только текстовая модальность; сведения о языках, конкретной архитектуре и формате промптов отсутствуют. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций, поэтому можно выбирать между качеством, объёмом памяти и скоростью запуска. Для квантизации использовался imatrix и релиз llama.cpp b6317. Сильной стороной являются большой контекст и широкий выбор уровней квантизации, включая варианты Q4–Q6, рекомендованные автором как обеспечивающие высокое или хорошее качество при существенно меньшем размере файлов. Ограничения связаны с большими требованиями к оперативной или видеопамяти даже у компактных вариантов, а при более агрессивной квантизации возможно снижение качества. Лицензия в README не указана; условия использования следует уточнять на странице исходной модели NVIDIA и соответствующего репозитория.

NVIDIA-Nemotron-Nano-9B-v2-Base — базовая большая языковая модель NVIDIA для продолжения заданного текста. Она обучена с нуля на корпусе примерно из 20 триллионов токенов, а затем подвергнута прореживанию и дистилляции из NVIDIA-Nemotron-Nano-12B-v2-Base на примерно 480 миллиардах токенов. Архитектура Nemotron-Hybrid сочетает преимущественно слои Mamba-2 и MLP с четырьмя слоями внимания; размер модели — 8,89 млрд параметров. Модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и рассчитана на разработчиков и исследователей, создающих языковые модели и приложения на их основе. Она обучалась на английском и 15 других естественных языках, а также на данных для 43 языков программирования; в корпус входят веб-страницы, диалоги, статьи и материалы по математике, науке, финансам и праву. NVIDIA указывает готовность к коммерческому использованию; лицензия в карточке обозначена как other, поэтому перед использованием следует проверить её условия. Модель оптимизирована для ускорения на GPU NVIDIA, а для конкретного сценария требуется отдельная проверка качества и безопасности.

QRWKV-72B — крупная разговорная языковая модель от Featherless AI, представленная в работе RADLADS о дистилляции быстрого внимания для декодеров с линейным вниманием. Это плотная архитектура RWKV6Qwen2 с 71,5 млрд параметров, полученная преобразованием Qwen 2.5 72B в вариант RWKV без предварительного обучения базовой модели заново. Модель генерирует текст, поддерживает чат и интерфейс вызова инструментов; заявленная длина контекста — 131 072 токена. Модель предназначена для диалогов, генерации ответов и задач рассуждения с длинным контекстом. В README приведены результаты бенчмарков ARC и HellaSwag, где QRWKV-72B в некоторых сравнениях превосходит Qwen2.5-72B-Instruct, но это не гарантирует такого же качества в других задачах. Модель унаследовала знания и обучение языкам от Qwen и рассчитана примерно на 30 языков. Файлы опубликованы в формате safetensors; для Transformers требуется включить удалённый код. Лицензия указана как other, конкретные условия в доступных сведениях не раскрыты.

Theros/Qwen2.5-ColdBrew-R1-test2 — объединённая автором модель на основе языковых моделей Qwen2.5. Она создана методом Model Stock с помощью mergekit; в объединение вошли Theros/Qwen2.5-ColdBrew-R1-test, Theros/Qwen2.5-CyberMix-7B и bunnycore/Qwen-2.5-7B-Deep-Stock-v4. Модель предназначена для диалогов и генерации текста, а также поддерживает интерфейс общения с инструментами. Архитектура — плотная Qwen2ForCausalLM, размер — 7,1 млрд параметров, максимальный контекст — 131 072 токена. Репозиторий содержит веса в формате safetensors и рассчитан на Transformers. Лицензия в предоставленных данных не указана.

Qwen3.8-27B-3bit-MLX — мультимодальная vision-language модель, разработанная на основе Qwen/Qwen3.8-27B и конвертированная пользователем lukaskremla в формат MLX с помощью mlx-vlm 0.6.13. Модель предназначена для диалоговых сценариев, обработки текста и изображений, а также задач, связанных с видео, рассуждениями и использованием инструментов. Она поддерживает мультиязычную работу и длинный контекст, однако точный размер контекста и перечень языков в представленном README не указаны. Модель использует 3-битное квантование весов с group size 64, affine- и RTN-квантованием, при этом vision tower сохранён в формате BF16. Такой формат ориентирован на запуск в экосистеме MLX и снижает требования к памяти по сравнению с полноразмерной версией, но квантование может ограничивать точность относительно исходной модели. README также предупреждает, что Hugging Face может некорректно отображать число параметров MLX-квантизаций. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-GGUF — это квантизированная версия модели Qwen3.8-Flash-Next, разработанной командой Qwen и подготовленной пользователем bartowski в формате GGUF для запуска через llama.cpp. Модель предназначена для задач генерации и анализа текста, а также обработки изображений при использовании отдельного файла mmproj, что позволяет применять её в мультимодальных сценариях. Модель содержит 180 млрд параметров и поддерживает текстовый и графический ввод. Для неё доступны варианты от BF16 и Q8_0 до более компактных Q2–Q5 и IQ-квантизаций; размер файлов варьируется примерно от 88 до 354 ГБ. Квантизация выполнена с использованием imatrix, а speculative decoding не поддерживается. Рекомендуемый компромисс между качеством и требованиями к памяти — Q4_K_M размером около 119,6 ГБ; более высокие варианты сохраняют качество, но требуют значительно больше ресурсов. К сильным сторонам относятся большой масштаб модели, поддержка мультимодального ввода, широкий выбор уровней квантизации и совместимость с llama.cpp. Ограничениями являются очень высокие требования к оперативной или видеопамяти даже у компактных вариантов, возможное снижение качества при сильной квантизации и необходимость отдельного mmproj-файла для работы с изображениями. Указана лицензия qwen-community-1.0; дополнительные условия приведены в файле LICENSE.

Vontra/Qwen3.8-Flash-Next-MLX-oQ6 — это общественная MLX-конверсия базовой модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Конверсия предназначена для запуска на Apple Silicon через совместимые MLX-VLM или oMLX. Модель относится к vision-language системам и поддерживает обработку текста и изображений; в поставку также входят исходные токенизатор, шаблон диалога, обработчик изображений и конфигурация генерации. Модель использует архитектуру qwen4_exp с разреженной смесью экспертов, Gated DeltaNet, Qwen Sparse Attention, расширенными gated residual streams и хешированными bigram/trigram embeddings. Всего заявлено 125 млрд параметров языковой части, из которых активно 6 млрд, а таблицы n-грамм содержат 51 млрд параметров. Архитектура включает 48 слоёв, 512 маршрутизируемых экспертов, 10 активных экспертов и один общий, 24 attention heads и 2 KV heads; размер скрытого состояния — 2560, настроенный контекст — до 262144 токенов. Веса представлены в формате MLX safetensors и занимают около 155,78 ГБ; используется смешанная 6-битная квантизация с отдельными модулями точностью 6/8 бит. Сильными сторонами являются поддержка мультимодальных сценариев, большой контекст, разреженная архитектура и оптимизация для Apple Silicon. На Apple M3 Studio в README указана скорость генерации примерно 19,5–23,1 токена в секунду в зависимости от режима. Ограничения включают очень большой объём весов, необходимость runtime с явной поддержкой qwen4_exp и отсутствие встроенной native MTP head в данной сборке. Приведённые показатели относятся к конкретной конфигурации и могут изменяться в зависимости от длины запроса, настроек генерации, версии runtime и доступной памяти. Это неофициальный релиз Qwen, а конверсия и упаковка Vontra. Модель распространяется по Qwen Community License 1.0; текст лицензии включён в репозиторий.

RemySkye/Qwen3.8-Flash-Next-REAM-60Pct-GGUF — пользовательская высококачественная сборка модели Akicou/Qwen3.8-Flash-Next-REAM-60Pct в формате GGUF. Она предназначена для запуска и генерации текста через llama.cpp на системах примерно с 64 ГиБ оперативной памяти, включая локальные сценарии инференса. Лицензия в README не указана. Модель использует архитектуру qwen4exp и разреженную Mixture-of-Experts (MoE). В ней около 129 млрд сохранённых параметров до обрезки PLE, около 90 млрд физических параметров после неё, а на каждый токен активируется примерно 6 млрд параметров. Большая таблица PLE/n-gram была сокращена с 16 до 4 активных голов: сохранены 2 из 8 bigram- и 2 из 8 trigram-голов. Итоговый файл занимает около 56 ГБ, или 52 ГиБ. Применён смешанный профиль квантования BALANCED_MAX_PROTECTED: основные компоненты используют форматы от Q4_K до Q8_0, а критичные малые тензоры сохраняются в BF16/F32. Ключевое преимущество сборки — сохранение более высокой точности основных весов за счёт уменьшения крупной таблицы n-грамм вместо агрессивного квантования всей модели до Q2/Q3. Это делает модель практичнее на машине с 64 ГиБ RAM, оставляя место для контекста, KV-кэша, рабочих буферов и операционной системы. Ограничениями являются большой объём файла, зависимость от актуальной версии llama.cpp с поддержкой Qwen3.8/qwen4exp и возможная потеря части информации PLE из-за удаления 12 из 16 голов. Фактическое потребление памяти зависит от размера контекста, настроек llama.cpp, GPU-offload и используемого backend.

Qwen3-VL-2B-Instruct-GGUF — мультимодальная vision-language модель из серии Qwen3-VL, представленная Unsloth на основе Qwen/Qwen3-VL-2B-Instruct. Репозиторий содержит GGUF-версию весов с исправлениями chat template от Unsloth и предназначен для локального запуска и интеграции с совместимыми инструментами. Модель рассчитана на обработку текста и изображений, а семейство Qwen3-VL также поддерживает понимание видео. Она предназначена для визуального диалога, распознавания и анализа содержимого изображений, OCR, пространственного рассуждения, STEM-задач, генерации кода и взаимодействия с графическими интерфейсами. Указан размер 2B параметров; архитектура описана как мультимодальная, с компонентами Interleaved-MRoPE, DeepStack и выравниванием текста с временными метками. Для семейства заявлен контекст до 256K токенов с возможностью расширения до 1M, но применимость этих характеристик именно к данной GGUF-сборке README не уточняет. Сильные стороны модели — сочетание компактного размера, визуального и текстового понимания, расширенного OCR для 32 языков, анализа пространственных отношений и видео, а также возможности локального развертывания в GGUF-формате. Ограничения включают меньший размер по сравнению с более крупными вариантами семейства и зависимость производительности от выбранного уровня квантования и используемого программного обеспечения; конкретные параметры квантования в README не указаны. Модель распространяется по лицензии Apache-2.0.