II.4Отладка, тестирование и качество ПО

ddark-il/Qwen3.8-Flash-Next-Uncensored-Mixed-omlx — это MLX-квантизированная версия модели orcarouter/Qwen3.8-Flash-Next-Uncensored, подготовленная для запуска через oMLX на устройствах Apple Silicon. Модель основана на архитектуре qwen4_exp с разреженными экспертами (MoE), поддерживает текстово-визуальные сценарии и имеет тег image-text-to-text. В README не указано, что ddark-il является исходным разработчиком базовой модели; он предоставляет адаптированный квантованный вариант. Модель содержит около 180 млрд параметров и использует смешанную AWQ/affine-квантизацию с эффективной точностью 4,86 бит на параметр. Размер файлов составляет около 109,24 ГБ, а заявленная длина контекста — до 262 тысяч токенов. В составе предусмотрены MTP-компонент для speculative decoding, GDN и sparse attention, а также vision-модули. Квантизация распределена по чувствительности компонентов: маршрутизируемые эксперты и некоторые таблицы имеют 4-битную точность, критичные элементы сохранены в 8-битном или BF16-виде. Модель предназначена для длинноконтекстной генерации текста, агентских сценариев с вызовами инструментов и задач, сочетающих текст и изображения. На M5 Max с 128 ГБ памяти и oMLX 0.6.4 автор README измерил около 30,7 токена в секунду при работе с длинными агентскими сессиями. Ограничения включают требование oMLX версии не ниже 0.6.3rc3, значительное потребление памяти, зависимость от корректной настройки mmap для PLE-таблицы и отсутствие дополнительного обучения или калибровки. Лицензия — Apache-2.0.

Qwen2.5-VL-32B-Instruct-GGUF — квантованная версия мультимодальной инструкционной модели Qwen2.5-VL-32B-Instruct, разработанной командой Qwen и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста по инструкциям и мультимодальных сценариев, включая работу с визуальными данными; в метаданных указан английский язык. Точные сведения о поддерживаемых форматах изображений, контекстном окне и внутренней архитектуре в README не приведены. Доступны варианты от BF16 и Q8_0 до низкобитных Q3- и IQ-квантований размером примерно от 14,39 до 65,54 ГБ. Квантования выполнены с использованием imatrix и поддерживаются llama.cpp, LM Studio и другими совместимыми проектами. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но могут заметно терять в качестве; для большинства сценариев рекомендуется Q4_K_M как компромисс между размером и качеством. Для запуска необходима совместимая конфигурация, способная разместить выбранный файл модели. Распространение указано по лицензии Apache-2.0. README не содержит подробных результатов тестирования, ограничений мультимодального ввода или гарантированных характеристик производительности, поэтому качество и скорость будут зависеть от выбранного уровня квантования и аппаратного обеспечения.

bartowski/Qwen_Qwen3.5-4B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-4B, разработанной Qwen. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска в совместимых инструментах, включая llama.cpp, LM Studio, KoboldCpp, Jan AI и Text Generation WebUI. В метаданных указана задача image-text-to-text, однако подробные сведения о поддерживаемых модальностях, языках и максимальном контексте в README не приведены. Доступны варианты от BF16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, а также IQ-квантизации. Размер файлов составляет примерно от 2,4 до 8,67 ГБ. В README варианты Q6 и Q5 описаны как обеспечивающие очень высокое или высокое качество, а Q4_K_M рекомендован как сбалансированный вариант для большинства сценариев. Более компактные варианты экономят оперативную память, но снижают качество; часть форматов предназначена для ARM- и AVX-совместимого CPU-инференса. Поддерживаются MTP-слои при использовании актуальной версии llama.cpp и параметра draft-mtp. Преимущество модели — возможность локального запуска с выбором компромисса между качеством, размером и требованиями к памяти. Ограничения зависят от выбранного уровня квантизации и совместимости используемого инструмента; для недавно поддерживаемых моделей может потребоваться обновление программного обеспечения. Распространение указано по лицензии Apache-2.0.

RuadaptQwen2.5-32B-Instruct — русскоязычная инструктивная языковая модель, созданная командой MSU RCC LAIR на основе Qwen2.5-32B-Instruct. Авторы заменили токенизатор, выполнили дополнительное предобучение на русскоязычном корпусе и применили метод Learned Embedding Propagation (LEP). Модель имеет плотную архитектуру Qwen2 и 32 млрд параметров, принимает текст и генерирует текст; контекст — до 32 768 токенов. Модель предназначена для диалогов и выполнения инструкций на русском языке. По заявлению авторов, новый токенизатор повышает скорость генерации русскоязычного текста до 60% по сравнению с исходной Qwen2.5-32B-Instruct при сопоставимых входных последовательностях. В карточке также указана поддержка интерфейса вызова инструментов. Это версия v1, обозначенная авторами как находящаяся в разработке. Оценка качества проводилась на Ru-Arena-General и MERA; сведения о результатах llmtf_open в README не завершены. Модель унаследовала знания и возможные смещения базовой модели, поэтому ответы следует проверять. Лицензия — Apache-2.0.

Yanun/Swift-Qwen3.8-27b-oQ4e-mtp — мультимодальная модель класса 27B, разработанная на основе Swift-Qwen3.8-27b от UkisAI и преобразованная в формат MLX. Она предназначена для обработки текстовых и визуальных входных данных с генерацией текста, включая сценарии, где требуется анализ изображений совместно с текстовыми инструкциями. Модель имеет плотную текстовую архитектуру с 64 слоями, чередующуюся линейную и полную attention: 48 слоёв используют linear attention, 16 — full attention. Размер скрытого состояния составляет 5120, размер feed-forward слоя — 17408, словарь содержит 248 320 токенов, а заявленный предел контекста — 262 144 токена, хотя фактическая длина зависит от настроек среды выполнения и доступной памяти. Vision encoder включает 27 слоёв, скрытое состояние размером 1152, 16 attention heads и обрабатывает изображения через патчи 16×16. В составе также есть один multi-token prediction (MTP) слой. Чекпойнт использует смешанную квантизацию oQ4e: базовые веса квантизированы до 4 бит, для 187 модулей заданы переопределения на 5 бит, а отдельные компоненты MTP сохранены в BF16. Это уменьшает требования к хранению и вычислениям по сравнению с полноразмерной моделью, но итоговая производительность и доступная длина контекста зависят от MLX-совместимого runtime и объёма памяти. Поддерживаемые языки и специализированные сильные стороны в README не указаны. Модель распространяется на условиях Swift Open License v1.0; конвертация не изменяет условия лицензии исходной модели.

Zamba2-2.7B-Instruct — разговорная модель Zyphra для следования инструкциям и генерации текста. Она получена дообучением Zamba2-2.7B: сначала SFT на наборах UltraChat 200k и Infinity-Instruct, затем DPO на UltraFeedback Binarized, Orca DPO Pairs и OpenHermesPreferences. Модель использует гибридную архитектуру Mamba2 и Transformer: слои Mamba2 чередуются с общими слоями внимания; также применяются LoRA-проекции общего MLP. В репозитории указано 5,7 млрд параметров, контекст — до 4096 токенов. Модель предназначена для диалогов, выполнения инструкций, ответов на вопросы, рассуждений и других общих текстовых задач, включая локальное использование на устройствах. Разработчик заявляет о высокой скорости генерации и меньших требованиях к памяти по сравнению с сопоставимыми Transformer-моделями. Для оптимизированного запуска нужны совместимые версии Transformers, mamba-ssm и causal-conv1d; без оптимизированных ядер Mamba2 задержка и расход памяти заметно выше. В README также отмечена возможная неполная совместимость временной реализации с некоторыми фреймворками и инструментами. Лицензия — Apache-2.0.

ZEUS 8B V13 — диалоговая языковая модель, созданная T145 слиянием моделей методом DARE TIES. В качестве основы использована unsloth/Meta-Llama-3.1-8B-Instruct; в слияние также вошли arcee-ai/Llama-3.1-SuperNova-Lite, unsloth/Llama-3.1-Storm-8B и Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 7,5 млрд параметров. Она предназначена для генерации текста и диалогов, принимает текст и выдаёт текст; заявленная длина контекста — до 131 072 токенов. В README приведены результаты оценки на Open LLM Leaderboard, включая 78,78% на IFEval и 31,78% на BBH. Модель распространяется по лицензии Llama 3.1. Количественных гарантий качества для конкретных сценариев карточка не даёт; результаты тестов не заменяют проверку на целевых задачах.

ZEUS-8B-V14 — объединённая модель для генерации текста и диалогов на базе семейства Llama 3.1. Согласно карточке, её создали методом DARE TIES, объединив unsloth/Meta-Llama-3.1-8B-Instruct с моделями Llama-3.1-SuperNova-Lite, Llama-3.1-Storm-8B и Llama-3.1-8B-Lexi-Uncensored-V2. Модель содержит 7,5 млрд параметров, построена на архитектуре LlamaForCausalLM и работает с контекстом до 131 072 токенов. Модель предназначена для генерации текста и ведения диалогов; метаданные также указывают интерфейс вызова инструментов. В README приведены результаты оценки на IFEval и BBH, однако подробные сравнительные данные и описание целевого поведения ограничены. Модель опубликована в формате safetensors; дата публикации — 30 декабря 2024 года. Лицензия в предоставленных данных не указана.

Richard Young создал Agents-A1-4B-heretic — версию модели InternScience/Agents-A1-4B, модифицированную инструментом Heretic v2.0.0.dev0 методом abliteration: изменение направления отказа без дообучения. Это плотная языковая модель семейства Qwen3.5 с 4 млрд параметров, предназначенная для диалогов, вызова инструментов и выполнения многошаговых агентных задач. Она может разбивать сложные запросы на этапы, планировать действия и работать с внешними инструментами через их интерфейсы. По данным карточки, в тесте на 100 запросах модель отказала в 11 случаях против 99 у исходной версии; заявленное KL-расхождение составляет 0,0598. Эти результаты описывают указанные в карточке проверки и не гарантируют качество в других сценариях. Модель принимает и генерирует текст; поддержка изображений отмечена в метаданных тегами, однако основная задача репозитория — генерация текста. Модель распространяется по лицензии Apache-2.0. Abliteration снижает частоту отказов, поэтому модель может отвечать на запросы, которые исходная версия отклоняет.

AriannaV6 — мультимодальная модель для диалогов и агентных сценариев, разработанная независимым автором и дообученная на базе Google Gemma 4 12B. QLoRA-адаптер обучен на вызове инструментов, устойчивой идентичности и поведении с долговременной памятью, а затем объединён с весами модели. Архитектура gemma4_unified обрабатывает текст, изображения и аудио; заявленная длина контекста — до 262 144 токенов. Доступны объединённые веса Safetensors и варианты GGUF, включая квантизированные сборки. Модель предназначена для универсального помощника, рабочих процессов с инструментами и роли рассуждающего ядра в мультимодальных системах. По описанию автора, V6 исправляет часть потери знаний и здравого смысла в предыдущих версиях, но уступает базовой Gemma на отдельных проверках знаний и общих рассуждений. Голосовой ввод-вывод и генерация изображений или видео в веса не встроены: для них нужны отдельные компоненты. Лицензия CC-BY-NC-SA-4.0 требует указания авторства и распространения производных на тех же условиях и ограничивает коммерческое использование.

Brocae-Area-7B-slerp — языковая модель на архитектуре Mistral, созданная Kukedlc объединением моделей Fasciculus-Arcuatus-7B-slerp и NeuralKrishna-7B-V2-DPO методом slerp с помощью LazyMergekit. Она предназначена для генерации текста по запросам и может применяться для диалогов, ответов на вопросы и задач рассуждения. Модель содержит 7,1 млрд параметров, использует формат safetensors и поддерживает контекст до 32 768 токенов. В README приведены результаты оценивания на бенчмарках Open LLM Leaderboard, включая AI2 Reasoning Challenge и HellaSwag. Лицензия — Apache-2.0.

Citaman/command-r-29-layer — языковая модель Cohere для генерации текста и диалогов. Она создана автором репозитория с помощью mergekit: веса модели Citaman/command-r-30-layer объединены методом SLERP с разными срезами слоёв, а итоговые веса сохранены в формате safetensors. Модель имеет плотную архитектуру CohereForCausalLM, около 25,9 млрд параметров и контекст до 8192 токенов. Метаданные указывают на поддержку чата и интерфейса вызова инструментов; основная задача в карточке Hugging Face — text-generation. Лицензия в предоставленных данных не указана. Характеристики языковой поддержки и качество модели на конкретных задачах не описаны, поэтому их нельзя надёжно оценить по карточке.

Experiment28M7_YamT3qm7xp — объединённая модель генерации текста на архитектуре Mistral, созданная путём слияния automerger/Experiment28M7-7B и automerger/YamT3qm7xp-7B. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста по запросу и работы с длинными текстовыми контекстами. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

Gemma-3-27b-it-GGUF — квантизированная GGUF-версия мультимодальной инструкционной модели Gemma 3 27B IT, разработанной Google и квантизированной Second State Inc. Модель предназначена для диалоговых приложений и сценариев image-text-to-text: обработки текстовых запросов, а при использовании файла mmproj — анализа изображений вместе с текстом. Для запуска в LlamaEdge требуется версия v0.18.5 или новее и шаблон prompt gemma-3. Модель содержит 27 млрд параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантования от Q2_K до Q8_0, а также F16; размеры файлов составляют примерно от 10,5 до 30 ГБ, не считая разбиения F16 на два файла. Рекомендуемыми вариантами названы Q4_K_M, Q5_K_M и Q5_K_S, поскольку они обеспечивают баланс размера и качества или небольшие потери качества. Для обработки изображений требуется отдельный mmproj-файл; изображения должны быть нормализованы до 896×896 пикселей и представлены как 256 токенов каждое. Основные сильные стороны — большой контекст, поддержка текста и изображений, широкий выбор уровней квантования и возможность локального запуска через LlamaEdge. Ограничения включают значительные требования к дисковому пространству и вычислительным ресурсам, а при низких уровнях квантования — существенное снижение качества. README не указывает поддерживаемые языки и конкретную архитектуру. Модель распространяется по лицензии Gemma.

LargitData/gemma-4-26b-a4b-it-fp8 — производственный офлайн-чекпойнт в формате FP8 Dynamic, созданный Largitdata Inc. на основе Google Gemma 4 26B-A4B-it. Модель предназначена для локального и серверного инференса через vLLM, включая развёртывание OpenAI-совместимого API и сценарии с несколькими одновременно обслуживаемыми пользователями. Заявленная поддержка языков — английский и китайский; тип задачи — генерация текста. Модель использует архитектуру mixture-of-experts (MoE), а её базовый размер обозначен как 26B-A4B. Максимальная длина контекста в приведённых тестах составляла 32 768 токенов. Ключевая особенность — динамическое FP8-квантование без предварительной калибровки и без квантования весов MoE-роутеров и 1D-тензоров нормализации, что обеспечивает совместимость с путём загрузки Gemma 4 в vLLM. На NVIDIA H200 NVL чекпойнт занимал 25,75 GiB памяти против 48,5 GiB у BF16-версии, обеспечивал на 80% больший размер KV-кэша и почти 39-кратную максимальную параллельность для запросов длиной 32K токенов. В тесте MMLU-Pro точность составила 81,33% против 81,59% у BF16-базовой модели. Ограничения включают примерно на 6% большую задержку одиночного запроса по сравнению с BF16, отсутствие результатов по MT-Bench и другим бенчмаркам, а также ограниченную проверку оборудования: тестирование проводилось только на NVIDIA H200 NVL. Поведение на других GPU и влияние исключения роутеров из квантования требуют дополнительной оценки. Артефакт не является официальным релизом Google; применяются условия лицензии Gemma, указанной для базовой модели.

Neural-ICE/Gemma-4-E4B-it-NVFP4 — это версия модели Google Gemma 4 E4B instruction-tuned, подготовленная Neural-ICE для запуска через vLLM. Модель предназначена прежде всего для генерации текста и диалоговых сценариев, включая ответы на вопросы, объяснение сложных тем и другие задачи, выполняемые через совместимый API chat completions. Основная текстовая часть модели квантизирована в формате NVFP4, а lm_head, vision tower и связанные с ним embeddings, а также audio tower и audio embeddings сохранены в более высокой точности. KV cache использует формат FP8. Таким образом, модель поддерживает текстовые, визуальные и аудиокомпоненты базовой Gemma 4, однако точные сведения о количестве параметров, языках и размере контекста в карточке не указаны. Квантизация ориентирована на снижение требований к памяти и эффективный инференс на совместимом GPU через vLLM. Сильной стороной модели является сочетание низкоточной квантизации текстового backbone с более высокой точностью отдельных компонентов, что может обеспечивать более экономичный запуск при сохранении качества критически важных частей модели. Ограничения связаны с зависимостью от vLLM и поддержки ModelOpt/NVFP4, а также с возможными особенностями качества и совместимости квантизированной версии по сравнению с исходной моделью. Модель распространяется по лицензии Apache-2.0.

GigaChat-20B-A3B-instruct-bf16 — диалоговая языковая модель семейства GigaChat, основанная на ai-sage/GigaChat-20B-A3B-instruct. Она предназначена для генерации ответов и ведения диалога на русском и английском языках. Модель использует архитектуру DeepSeekForCausalLM и поддерживает контекст до 131 072 токенов; формат весов — safetensors, библиотека для работы — Transformers. В названии указана точность bf16. Модель подходит для диалоговых интерфейсов и задач, где требуется обрабатывать длинные запросы и контекст. Репозиторий распространяется по лицензии MIT. В карточке не приведены результаты оценок качества и подробности о требованиях к оборудованию.

Grafted-Hermetic-Platypus-B-2x7B — языковая модель для диалогов и генерации текста, созданная объединением Platyboros-Instruct-7B и Hermes-Instruct-7B-100K. Модель построена на архитектуре Mixtral с механизмом смеси экспертов (MoE), содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель подходит для ответов на инструкции, диалогов и других задач генерации текста. В README указаны два варианта формата запросов: Mistral-Instruct и Alpaca; токенизатор по умолчанию настроен на Alpaca. В карточке приведены результаты оценок на нескольких тестах, включая AI2 Reasoning Challenge и HellaSwag. Модель распространяется по лицензии Apache-2.0. Данные о поддерживаемых языках и специфических ограничениях качества в предоставленных материалах отсутствуют.

Карточка модели aoiandroid/LFM2.5-2.6B на Hugging Face совпадает с карточкой LiquidAI/LFM2.5-2.6B, поэтому описание составлено по ней. LFM2.5-2.6B — компактная текстовая модель Liquid AI из семейства гибридных LFM2.5, настроенная для локального запуска на устройствах и агентных сценариев. Это дообученная версия LFM2.5-2.6B-Base с 2,6 млрд параметров; архитектура LFM2 использует 30 слоёв, включая блоки свёртки с двойным гейтингом и слои GQA. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и работает с 17 языками, включая русский. Модель предназначена для вызова инструментов, следования инструкциям, многошаговых агентных задач, извлечения данных, RAG и работы с длинным контекстом. В карточке заявлены скорость до 220 токенов в секунду на Apple M5 Max и до 113 токенов в секунду на процессоре AMD Ryzen при использовании менее 2,5 ГБ памяти; фактические показатели зависят от оборудования и конфигурации. Liquid AI не рекомендует её для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other; её условия следует уточнить в репозитории модели.

Ling-2.6-flash-MXFP4 — квантизированная версия языковой модели Ling-2.6-flash, подготовленная Jinho Jang из OsaurusAI на базе модели InclusionAI. Это гибридная MoE-модель с архитектурой Bailing-V2.5: в ней 103 млрд параметров, из которых активно около 8 млрд, 256 экспертов с выбором восьми на токен, 32 слоя с сочетанием MLA и Lightning Linear Attention, а также голова Multi-Token Prediction. Контекст составляет 131 072 токена. Модель предназначена для генерации текста, диалога, рассуждений и вызова инструментов; её можно применять в многошаговых агентных сценариях. Все основные веса представлены в 4-битном формате MXFP4 с группами по 32 значения, а нормализации, роутеры, смещения экспертов и параметры наклона сохранены в FP16 или FP32. Файлы общим размером около 63 ГБ рассчитаны на запуск через MLX на компьютерах Apple Silicon с достаточным объёмом памяти. Квантизация уменьшает объём модели относительно исходной версии в BF16 и позволяет использовать штатную загрузку MLX без отдельной среды TurboQuant. При этом заявленный сценарий запуска требует мощного Apple Silicon и не гарантирует совместимость с другими платформами. Модель распространяется по лицензии MIT.

Llama3.1-SuperNovaLite-HuatuoSkywork-o1-8B — языковая модель для генерации текста, созданная методом слияния SLERP с помощью mergekit. В неё объединены grimjim/HuatuoSkywork-o1-Llama-3.1-8B и arcee-ai/Llama-3.1-SuperNova-Lite; архитектура — плотная LlamaForCausalLM семейства Llama. Модель содержит 7,5 млрд параметров, работает через Transformers и распространяется в формате Safetensors. Модель предназначена для диалогов и генерации текста по запросу; каталог также отмечает интерфейс вызова инструментов. Контекст модели составляет до 131 072 токенов. Базовая SuperNova Lite описана как англоязычная чат-модель на базе Llama 3.1 8B Instruct; языковые возможности итогового слияния отдельно не уточняются. Лицензия — Llama 3.1.

lumikabrabehemoth195b — объединённая языковая модель, созданная schnapper79 с помощью mergekit из двух предварительно обученных моделей: schnapper79/lumikabra-123B_v0.3 и TheDrummer/Behemoth-123B-v1. Использован метод passthrough: в итоговую модель последовательно включены диапазоны слоёв обеих моделей. Модель построена на плотной архитектуре MistralForCausalLM и содержит 194,2 млрд параметров. Она предназначена для генерации текста и диалогового взаимодействия; контекстное окно составляет 131 072 токена. Метаданные также отмечают интерфейс вызова инструментов. Карточка не описывает отдельные специализированные области применения или поддерживаемые языки. В репозитории представлены веса Safetensors, а в конфигурации слияния указан тип данных bfloat16. Лицензия в предоставленных сведениях не указана.

nm-testing/Meta-Llama-3-8B-Instruct-W8-Channel-A8-Dynamic-Asym-Per-Token-Test — тестовый квантованный вариант Meta Llama 3 8B Instruct, размещённый организацией NM Testing; исходную модель разработала Meta. Репозиторий предназначен для генерации текста и диалоговых сценариев и поддерживает использование через Transformers, vLLM и SGLang. Суффикс W8-Channel-A8-Dynamic-Asym-Per-Token указывает на 8-битное представление весов и динамическое асимметричное квантование активаций по токенам; точные характеристики реализации квантования и результаты её оценки в карточке модели не описаны. Базовая модель представляет собой авторегрессионный языковой model с оптимизированной архитектурой Transformer и Grouped-Query Attention, содержит около 8 млрд параметров, принимает только текст и генерирует текст и код. Контекст составляет 8 тысяч токенов, модель ориентирована прежде всего на английский язык и диалог с инструкциями. Она подходит для чат-ассистентов, генерации и обработки текста, но является статической моделью с ограниченным актуальным знанием и не поддерживает мультимодальный ввод. Квантованный вариант может снизить требования к памяти и повысить эффективность инференса, однако по доступным данным нельзя надёжно оценить влияние именно этой тестовой конфигурации на качество, скорость и совместимость. Для исходной Meta Llama 3 действует специальная коммерческая лицензия Meta Llama 3 Community License с ограничениями по распространению, допустимому использованию и политике безопасности; применимость этих условий к квантованному производному варианту следует проверять отдельно.

MiniCPM4-8B — плотная языковая модель OpenBMB с 7,9 млрд параметров, построенная на архитектуре MiniCPMForCausalLM. Она предназначена для эффективного запуска на устройствах с ограниченными ресурсами; разработчики сообщают об ускорении генерации более чем в пять раз на типичных конечных устройствах, а на Jetson AGX Orin — примерно в семь раз по сравнению с Qwen3-8B при декодировании. Модель обучена на 8 трлн токенов и поддерживает диалоговый режим. Модель принимает текст и генерирует текст. Она предобучена на контекстах длиной 32 тысячи токенов, а расширение контекста до 128 тысяч достигается с помощью YaRN; README приводит результаты теста поиска фрагмента в длинном тексте. Карточка и метаданные указывают поддержку китайского и английского языков. Модель распространяется по лицензии Apache-2.0. Производитель отмечает, что генерируемые ответы требуют самостоятельной проверки: модель не выражает личных мнений или ценностных суждений, а её выводы не следует считать позицией разработчиков. Для корректного форматирования запросов при использовании chat API vLLM нужно явно включать добавление специальных токенов.

Mistral-Small-3.2-24B-Instruct-2506-ultra-uncensored-heretic — доработанная участником сообщества версия Mistral-Small-3.2-24B-Instruct-2506 от Mistral AI. К модели применена abliteration: README сообщает о целевых слоях и компонентах и приводит метрики, указывающие на снижение частоты отказов при сравнительно небольшом изменении поведения базовой модели. Это плотная мультимодальная модель семейства Mistral3 с поддержкой чата и анализа изображений; в карточке перечислены многочисленные языки, включая русский. Она подходит для диалогов по инструкциям, анализа изображений, вызова инструментов и задач, где нужны ответы с меньшим числом отказов. В README описаны улучшения базовой версии в следовании инструкциям, вызове функций и снижении повторов, а также приведены результаты тестов по STEM и зрительным задачам; эти результаты относятся к базовой модели и не подтверждают отдельную оценку данной доработки. Репозиторий содержит веса safetensors, указанная библиотека — vLLM; README также упоминает Transformers. Лицензия — Apache-2.0. Для запуска базовой версии в bf16 или fp16 README указывает потребность примерно в 55 ГБ видеопамяти, что свидетельствует о значительных аппаратных требованиях.

Nemotron-3-Nano-Omni-30B-A3B-JANGTQ4-CRACK — мультимодальная модель dealignai, созданная на базе nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning. Это доработанная и квантизированная сборка с гибридной архитектурой Mamba-2, attention и MoE: 52 слоя, 128 маршрутизируемых экспертов с выбором шести и один общий эксперт на MoE-слой. В README указано 19 ГБ; метаданные сообщают 1,9 млрд параметров и контекст до 262 144 токенов. Модель предназначена для диалогов и рассуждений с текстом, изображениями и аудио; для мультимодального конвейера с видео README рекомендует дополнение Multimodal-Addon. Заявлены поддержка tool calling и сохранение мультимодальных компонентов базовой модели. Разработчик приводит результаты собственных проверок HarmBench и MMLU, однако это не независимая оценка; в частности, на сложных задачах рассуждения может потребоваться бюджет не менее 16 384 токенов. Сборка использует JANGTQ4 (8-битные attention-компоненты и 4-битные маршрутизируемые эксперты) и CRACK v2, в которой удалено обучение отказам. Поэтому модель может выдавать вредоносное содержание и требует отдельного защитного слоя перед практическим развёртыванием. Лицензия в метаданных обозначена как other; конкретные условия использования следует проверять в репозитории. Для запуска README указывает vMLX или jang-tools.

Swicked86/phi4-mm-gguf — набор GGUF-квантизаций мультимодальной модели Phi-4-multimodal-instruct, разработанной Microsoft. Модель содержит 5,6 млрд параметров и принимает текст, изображения и аудио; репозиторий подготовлен с помощью llama.cpp build b8347 для локального запуска на CPU и GPU. Модель предназначена для диалогов, ответов на вопросы по изображениям, визуального анализа, распознавания и объяснения содержимого графиков и документов, а также для обычных текстовых задач. Заявлен английский язык. Доступны варианты F16 размером 7,17 ГБ, Q8_0 размером 3,90 ГБ и Q4_K_M размером 2,37 ГБ. Для обработки изображений требуется отдельный файл vision encoder mmproj-phi4-mm-f16.gguf размером 825 МБ, совместимый со всеми текстовыми вариантами. В текстовом режиме README указывает поддержку контекста до 65 536 токенов, а в примерах мультимодального запуска используется контекст 8 192 токена. Q8_0 обеспечивает качество, близкое к F16, тогда как Q4_K_M требует меньше памяти и подходит для CPU или систем с ограниченной VRAM, но уступает по показателю perplexity. Ориентировочные требования VRAM при полной выгрузке на GPU составляют около 10 ГБ для F16, 5,4 ГБ для Q8_0 и 3,5 ГБ для Q4_K_M. Для работы с изображениями необходимо скачивать основной GGUF-файл вместе с mmproj; без него модель работает только с текстом. Мультимодальные оценки в README на момент публикации не завершены. Распространение заявлено по лицензии MIT, как и у исходной модели Microsoft.

CultriX/Qwen2.5-14B-Brocav6 — объединённая языковая модель на архитектуре Qwen2 для генерации текста и диалогового общения. По README, CultriX создал её с помощью mergekit, применив метод della_linear и CultriX/Qwen2.5-14B-Wernickev3 как базу; в объединение также вошли несколько моделей семейства Qwen2.5, включая варианты для математики и диалога. Модель содержит 14 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Метаданные указывают поддержку чата и интерфейса вызова инструментов. Репозиторий содержит веса в формате safetensors; библиотека для работы — Transformers. Модель подходит для генерации ответов в диалоге, продолжения текста и других задач, решаемых текстовыми генеративными моделями. Документация не приводит специальных результатов оценки или подробных ограничений, поэтому качество на конкретных задачах следует проверять отдельно. Лицензия в предоставленных данных не указана.

Downtown-Case/Qwen2.5-32B-EVA-Instruct-Merge-0.1 — объединённая языковая модель на базе Qwen2.5-32B, созданная методом della с помощью mergekit. В объединение вошли EVA-Qwen2.5-32B версий 0.0 и 0.1, а также Qwen2.5-32B-Instruct; в качестве базовой модели при слиянии использовалась Qwen2.5-32B. Модель предназначена для генерации текста и диалогового взаимодействия. Она имеет плотную архитектуру Qwen2ForCausalLM, содержит 32 млрд параметров и поддерживает контекст до 131 072 токенов. Карточка указывает интерфейс для вызова инструментов. Карточка не описывает отдельную специализацию или проверенные преимущества слияния; качество ответов и работы с инструментами следует оценивать на целевых сценариях. Модель распространяется в формате safetensors. Лицензия в предоставленных данных не указана.

Модель nextvalueup/Qwen2.5-7B-Instruct — дообученная разговорная языковая модель семейства Qwen2.5, разработанная nextvalueup на базе unsloth/qwen2.5-7b-instruct-bnb-4bit. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы и взаимодействие через интерфейс вызова инструментов. Модель имеет плотную архитектуру Qwen2ForCausalLM и содержит 7,1 млрд параметров; максимальная длина контекста составляет 32 768 токенов. Веса представлены в формате PyTorch. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0. README сообщает, что обучение проводилось с использованием Unsloth и Hugging Face TRL.