II.4Отладка, тестирование и качество ПО

JANGQ-AI/Laguna-S-2.1-JANG_6M — квантованная для Apple Silicon сборка текстовой MoE-модели Poolside Laguna-S-2.1, подготовленная Jinho Jang и предназначенная для запуска в vMLX. Модель имеет 118 млрд параметров, из которых активно около 8 млрд; архитектура включает 48 слоёв, 256 маршрутизируемых экспертов с выбором top-10 и общий эксперт. Заявленный контекст — до 1 048 576 токенов. Сборка использует 6-битное AWQ-квантование основных весов экспертов, а attention, router, общий эксперт и нормализации оставлены в высокой точности. По данным README, на M5 Max модель показала скорость декодирования 30,7 токена в секунду; автор также сообщает о полном совпадении top-1 при проверке кэша длинного контекста на указанном тестовом проходе. Модель ориентирована на агентное программирование, диалог и длительные задачи разработки с вызовом инструментов. README описывает шаблон рассуждений GLM-style с переключателем thinking. В карточке указаны английский язык и интерфейс вызова инструментов; основной сценарий — генерация текста для разработки и агентных рабочих процессов. Модель унаследовала базовую Poolside Laguna-S-2.1 и распространяется по лицензии OpenMDW-1.1. Для запуска требуются совместимый MLX/vMLX-стек и загрузчик, учитывающий настройки квантования по модулям; приведённые показатели производительности относятся к указанной конфигурации Apple Silicon.

LettuceDetect v2 mmBERT-base — разработанная KRLabsOrg модель-энкодер для поиска галлюцинаций в ответах, созданных с опорой на контекст, включая RAG, код и вывод инструментов. Это дообученный на базе jhu-clsp/mmBERT-base классификатор токенов: он получает контекст, вопрос и ответ и помечает токены ответа как подтверждённые или неподтверждённые, формируя бинарные фрагменты без категорий и подтипов. Модель содержит 306,9 млн параметров, поддерживает контекст до 8192 токенов и распространяется в формате safetensors. Модель рассчитана на многоязычное выявление неподтверждённых утверждений в прозе и коде, включая ответы кодовых агентов и результаты RAG. Однопроходный энкодер работает без генерации текста и ориентирован на высокую пропускную способность и низкую стоимость. README приводит результаты на тестах по прозе, коду и многоязычным данным; качество зависит от типа данных, а для типизированных фрагментов предлагается отдельная модель или каскад с таксономической головой. Лицензия — Apache-2.0. Указанные языки: английский, немецкий, французский, испанский, итальянский, польский и китайский; README также сообщает о многоязычной проверке на 14 языках, но не перечисляет остальные языки.

Llama 3.1 Tulu 2 8B — языковая модель-помощник, разработанная AI2 и дообученная на базе Meta-Llama-3.1-8B. Модель с плотной архитектурой LlamaForCausalLM содержит 7,5 млрд параметров и рассчитана на контекст до 131 072 токенов. Она обучена на смеси открытых, синтетических и созданных людьми данных, включая набор инструкций и диалогов Tulu V2; основной язык — английский. Модель предназначена для диалогового общения и выполнения пользовательских инструкций: она генерирует ответы на вопросы, помогает с рассуждениями и решает разнообразные текстовые задачи. В опубликованных оценках показаны результаты по знаниям, математическим задачам, программированию, следованию инструкциям и безопасности ответов. Модель распространяется под лицензией Apache 2.0; README также указывает на включённую лицензию Meta Llama 3.1. Tulu не проходила этап RLHF для выравнивания безопасных ответов и не использует фильтрацию ответов во время работы, поэтому может выдавать проблемный контент, особенно при соответствующих запросах.

Карточка модели 404devnotfound/LongCat-2.0 на Hugging Face совпадает с карточкой bh890/LongCat-2.0, поэтому описание составлено по ней. LongCat-2.0 — большая языковая модель семейства LongCat, представленная разработчиками проекта LongCat. Это модель архитектуры MoE с классом LongcatCausalLM; в метаданных репозитория указано 42,1 млрд параметров, тогда как README описывает полную версию с 1,6 трлн параметров и примерно 48 млрд активируемых на токен. Репозиторий содержит веса в формате safetensors и использует лицензию MIT. Модель предназначена для диалоговой генерации текста, программирования, понимания кода и репозиториев, выполнения задач агентами и работы с инструментальными сценариями. README сообщает об обучении на данных с контекстом до 1 млн токенов и об архитектурном механизме LongCat Sparse Attention для длинных последовательностей; метаданные указывают нативный контекст 262 144 токена. В карточке также заявлены чат и интерфейс вызова инструментов. README особо выделяет задачи с длинным горизонтом, редактирование кода на уровне репозитория и автоматизацию действий; развёртывание описано для GPU и NPU. Модель не оценивалась всесторонне для всех возможных прикладных сценариев. Условия лицензии — MIT.

LongCat-2.0 — большая языковая модель семейства LongCat, представленная разработчиками проекта LongCat. Это модель архитектуры MoE с классом LongcatCausalLM; в метаданных репозитория указано 42,1 млрд параметров, тогда как README описывает полную версию с 1,6 трлн параметров и примерно 48 млрд активируемых на токен. Репозиторий содержит веса в формате safetensors и использует лицензию MIT. Модель предназначена для диалоговой генерации текста, программирования, понимания кода и репозиториев, выполнения задач агентами и работы с инструментальными сценариями. README сообщает об обучении на данных с контекстом до 1 млн токенов и об архитектурном механизме LongCat Sparse Attention для длинных последовательностей; метаданные указывают нативный контекст 262 144 токена. В карточке также заявлены чат и интерфейс вызова инструментов. README особо выделяет задачи с длинным горизонтом, редактирование кода на уровне репозитория и автоматизацию действий; развёртывание описано для GPU и NPU. Модель не оценивалась всесторонне для всех возможных прикладных сценариев. Условия лицензии — MIT.

Millie 35B-A3B 7GB — модель смешанных экспертов для программирования и агентных сценариев, опубликованная llmsforall. Она создана на основе Agents-A1 и архитектуры Qwen3.5-35B-A3B: всего 35 млрд параметров, из которых активно около 3 млрд на токен. Весовые коэффициенты экспертов сжаты примерно до 1,2 бита на параметр; модель поставляется в формате GGUF, а отдельный файл проектора изображений обеспечивает приём изображений. Заявленная длина контекста — 262 тысячи токенов. Модель предназначена для генерации кода, диалогов и выполнения агентных задач на обычном оборудовании. Для запуска нужны оба файла GGUF и специальная версия llama.cpp от llmsforall с поддержкой формата весов; upstream llama.cpp их загрузить не может. В метаданных указана лицензия Apache-2.0. README также сообщает о варианте размером 11 ГБ.

Карточка модели lovedheart/MiMo-V2.6-Distill-Qwen-9B-FP8 на Hugging Face совпадает с карточкой XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B, поэтому описание составлено по ней. MiMo-V2.6-Distill-Qwen-9B — плотная мультимодальная модель на 9 млрд параметров, разработанная Xiaomi MiMo посредством supervised fine-tuning Qwen3.5-9B на данных, созданных MiMo. Модель предназначена для диалогов и агентных сценариев, включая программирование, визуальное программирование и задачи кибербезопасности; также поддерживает обработку изображений. Карточка публикует результаты SFT-чекпойнта на бенчмарках по программированию. Это контрольная точка для дальнейших исследований в области агентного обучения с подкреплением. Для запуска README рекомендует свежую сборку SGLang с поддержкой Qwen3.5; модель включает токенизатор и шаблон чата MiMo v2.6. Репозиторий содержит веса safetensors. Лицензия — MIT. README не описывает конкретные ограничения качества или безопасности модели.

MiniMax-M2.7-REAP-172B-A10B-NVFP4-GB10 — производная модель семейства MiniMax-M2.7, подготовленная Saricles для запуска на NVIDIA DGX Spark с GB10 и других GPU Blackwell с поддержкой NVFP4. Это причинная языковая MoE-модель MiniMaxM2ForCausalLM: после удаления 25% экспертов в базовой версии REAP и последующей посттренировочной квантизации NVFP4 в ней сохранено 192 из 256 экспертов исходной модели. Размер файлов составляет 98,9 ГБ; модель рассчитана на контекст до 196 608 токенов. Модель предназначена для диалогов и агентных сценариев, включая использование инструментов, генерацию кода, математику и задачи разработки ПО. Настройка квантования ориентирована на оборудование GB10 и уменьшает требования к памяти; README указывает, что модель помещается в единую память DGX Spark объёмом 128 ГБ. Производительность и качество этой версии на GB10 пока не подтверждены опубликованными бенчмарками. В README также отмечена ошибка подготовки данных к калибровке: SWE-smith-trajectories не попал ни в отбор экспертов, ни в калибровку квантования. Лицензия указана как other; конкретные условия следует проверять в карточке модели.

Olmo-3-7B-Instruct-DPO — англоязычная авторегрессионная Transformer-модель для диалогов и выполнения инструкций, разработанная Allen Institute for AI (Ai2). Модель содержит 6,9 млрд параметров и принимает текст, генерируя текст; её длина контекста составляет 65 536 токенов. Репозиторий использует Transformers и форматы PyTorch и safetensors. Модель дообучена методом DPO на базе allenai/Olmo-3-7B-Instruct-SFT на данных Dolci-Think-DPO-7B. Она предназначена для ответов на вопросы, диалога, математики, программирования и общих знаний. В оценках из карточки DPO-версия показывает улучшение по ряду математических бенчмарков относительно SFT-версии. Лицензия — Apache 2.0. Модель может выдавать неточные ответы и без дополнительной фильтрации способна генерировать вредный или чувствительный контент; факты следует проверять. Разработчик указывает исследовательское и образовательное применение в соответствии с правилами ответственного использования Ai2.

Olmo-Hybrid-Instruct-SFT-7B — англоязычная авторегрессионная языковая модель семейства Olmo Hybrid, разработанная Allen Institute for AI (Ai2). Это плотная гибридная RNN-модель с 6,3 млрд параметров, дообученная методом supervised fine-tuning на наборах Dolci для инструкций, включая примеры использования инструментов. Модель принимает текст и генерирует текст; размер контекста — до 32 768 токенов. Модель предназначена для диалогов и ответов на инструкции, в том числе для задач по математике, программированию, общим знаниям и вызову инструментов. Ai2 сообщает о повышенной эффективности обучения и инференса на длинном контексте по сравнению с Olmo 3; приведённые в карточке результаты показывают пригодность модели для решения разнообразных текстовых задач. Лицензия — Apache 2.0. Модель может выдавать неточные ответы и вредный или предвзятый контент, поскольку не имеет фильтрации безопасности.

OpenCodeInterpreter-CL-7B — языковая модель для генерации кода из семейства OpenCodeInterpreter. Она разработана как система, объединяющая генерацию кода с выполнением и итеративным уточнением по обратной связи; в карточке указано, что модель основана на CodeLlama-7b-Python-hf. Модель имеет плотную архитектуру LlamaForCausalLM и около 6,6 млрд параметров. Она предназначена для написания и улучшения программного кода; для семейства OpenCodeInterpreter описано применение обратной связи от выполнения кода, но карточка не подтверждает, что этот репозиторий сам содержит среду выполнения. Контекст составляет 16 384 токена. В метаданных указан английский язык. В README приведены результаты серии OpenCodeInterpreter на HumanEval и MBPP, однако таблица относится к разным вариантам семейства и не содержит отдельного результата именно для CL-7B. Лицензия в предоставленных данных не указана.

OpenCoder-8B-Instruct — диалоговая языковая модель для работы с кодом из семейства OpenCoder, разработанного командой OpenCoder-LLM. Это дообученная версия OpenCoder-8B-Base с архитектурой LlamaForCausalLM и плотной конфигурацией; в репозитории указано 7,4 млрд параметров и контекст до 8192 токенов. Модель принимает текстовые запросы и генерирует текст, включая код и ответы на инструкции. Модель предназначена для генерации и дополнения кода, решения задач программирования и ответов на вопросы по коду. Она поддерживает английский и китайский языки. В README приведены результаты на HumanEval(+), MBPP(+) и BigCodeBench, а обучение описано как продолжение предобучения на коде с последующим supervised fine-tuning на более чем 4,5 млн примеров. Лицензия в метаданных обозначена как other, поэтому условия использования следует сверять с лицензией и материалами проекта.

Ornith-1.0-35B-NVFP4 — квантованная версия модели Ornith-1.0-35B, разработанной DeepReinforce. Это агентная модель для программирования с механизмом self-scaffolding, построенная на архитектуре qwen3_5_moe: MoE-модель с 35 млрд параметров и визуальной башней Qwen3-VL. Она поддерживает обработку текста и изображений и заявлена для английского, китайского, японского и французского языков. Модель использует квантование NVFP4 W4A4 с размером группы 16 и форматом compressed-tensors nvfp4-pack-quantized. Большинство линейных слоёв переведено в NVFP4, а визуальная башня, маршрутизаторы MoE и lm_head сохранены в bf16. Размер весов составляет около 21,9 ГБ вместо 70,3 ГБ в bf16, благодаря чему модель рассчитана на запуск на паре GPU по 16 ГБ через vLLM. В README приведена конфигурация обслуживания с контекстом до 8192 токенов; поддерживается переключение режима рассуждений. Сильные стороны модели — пригодность для агентного программирования, поддержка мультимодальных сценариев, существенно меньшие требования к памяти и сохранение качества после квантования. В тестах HumanEval+ и MBPP+ она показала соответственно 93,9% и 80,6% pass@1 с включённым рассуждением. Ограничения включают необходимость совместимой инфраструктуры vLLM и GPU, а также значительный расход токенов в режиме рассуждений; для оценки кода требуется выделять не менее 6500 токенов и извлекать ответ после блока </think>. Модель и квантованный производный вариант распространяются по лицензии MIT.

Ornith-1.5-35B-A3B — языковая модель для генерации текста, разработанная командой Ornith AI. Она ориентирована прежде всего на программирование, работу с терминалом и агентные сценарии, включая автономное решение задач разработки и взаимодействие с инструментами. Модель использует архитектуру mixture-of-experts: при общем размере около 35 млрд параметров на каждый токен активируется примерно 3 млрд. Ornith-1.5 развивает Ornith-1.0, применяя цикл самоулучшения с совместной оптимизацией генерации задач, построения scaffold и rollout-решений посредством reinforcement learning. В README не указаны поддерживаемые языки, модальности и размер контекста; по заявленным тестам модель особенно сильна в агентном программировании и задачах SWE-bench и Terminal-Bench. К сильным сторонам относятся высокая эффективность вычислений за счёт разреженной активации и заявленное превосходство над сопоставимыми моделями в кодинговых и агентных бенчмарках. Ограничения, включая качество вне этих сценариев, безопасность и практические требования к запуску, в карточке подробно не описаны. Модель распространяется по лицензии MIT.

Ornith-1.5-35B-A3B-MXFP8 — модельный пакет MLX от OsaurusAI на основе Ornith-1.5-35B-A3B от Ornith AI. Это мультимодальная MoE-модель семейства Qwen3.5 с гибридной архитектурой линейного gated-delta attention и полного attention в соотношении 3:1, а также визуальным энкодером из 27 слоёв. Пакет занимает около 34,95 ГиБ и содержит веса в safetensors, подготовленные для MLX с применением калиброванной квантизации. Модель предназначена для агентного программирования, рассуждений и диалога; она принимает текст, изображения и видео. В README указаны поддержка нативного видео, включённый по умолчанию режим рассуждений, интерфейс вызова инструментов и сохранённая голова MTP для спекулятивного декодирования. Основной язык карточки — английский. Заявленные в README результаты на SWE-bench Verified и Terminal-Bench характеризуют исходную модель и не являются отдельной оценкой этого пакета. Репозиторий представляет собой квантизованный MLX-вариант дообученной базовой модели и распространяется по лицензии MIT. Он ориентирован на Apple silicon и требует совместимого окружения MLX; README отмечает, что часть тензоров визуального энкодера остаётся в fp16. В настройках рассуждений есть особенности: выключение thinking оставляет пустой закрытый блок, а уровней reasoning_effort нет.

Ornith-1.5-9B — плотная языковая модель с 9 миллиардами параметров, разработанная командой Ornith AI. Она относится к семейству Ornith-1.5 и создана на основе подхода непрерывного самоулучшения: модель совместно оптимизирует генерацию задач, построение scaffold и выполнение решений с применением reinforcement learning. Модель распространяется для задач генерации текста и ориентирована прежде всего на эффективное развертывание на одной GPU; для мобильных устройств предусмотрен отдельный квантизированный вариант Ornith-1.5-9B-Mobile. Основные сценарии применения — программирование, работа с терминалом и автоматизированное решение задач разработки. В README приведены результаты на Terminal-Bench 2.1: 46,2 с Terminus-2 и 47 с Claude Code, а также 70,6 на SWE-bench Verified и 47,5 на SWE-bench Pro. Эти показатели указывают на сильную сторону модели в агентных задачах, связанных с написанием и исправлением кода, хотя результаты зависят от используемого окружения и scaffold. Архитектура, поддерживаемые языки, длина контекста и мультимодальные возможности в карточке не указаны. Модель распространяется по лицензии MIT. Данных о специфических ограничениях, безопасностных свойствах и качестве на других языках недостаточно; приведенные benchmark-результаты не следует считать гарантией поведения в произвольных прикладных сценариях.

Qwen2.5-Coder-14B-Instruct-8bit — это 14-миллиардная инструкционная языковая модель для генерации текста и работы с программным кодом. Она основана на Qwen2.5-Coder-14B-Instruct, разработанной командой Qwen, и преобразована сообществом mlx-community в формат MLX с использованием mlx-lm 0.19.3. Модель предназначена для запуска через библиотеку mlx-lm. Модель ориентирована на задачи программирования, включая генерацию и обработку кода, а также диалоговые сценарии. В карточке указана поддержка английского языка; другие языки, размер контекстного окна и дополнительные модальности не заявлены. Ключевая особенность версии — 8-битное представление, адаптированное для экосистемы MLX. Модель распространяется по лицензии Apache 2.0. README не содержит сведений о результатах тестирования, конкретных ограничениях качества или рекомендуемых аппаратных требованиях, поэтому эти характеристики нельзя оценить по имеющимся данным.

Qwen2.5-Coder-32B-Instruct-4bit — это 4-битная версия модели Qwen2.5-Coder-32B-Instruct, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.19.3. Модель предназначена для генерации текста и работы с программным кодом в инструкционном и чат-сценариях: она может использоваться для написания, дополнения и объяснения кода, а также для диалога по техническим задачам. Указанный язык — английский. Модель содержит 32 миллиарда параметров и распространяется в 4-битном представлении. Она ориентирована на запуск через библиотеку mlx-lm; README не указывает поддерживаемые модальности, размер контекстного окна или перечень языков программирования. Модель предоставляется по лицензии Apache 2.0. Сведения о конкретных ограничениях качества, требованиях к оборудованию и результатах тестирования в README отсутствуют.

BenevolenceMessiah/Qwen2.5-Coder-32B-Instruct-abliterated-Q5_K_M-GGUF — это квантизированная версия в формате GGUF модели Qwen2.5-Coder-32B-Instruct-abliterated. Репозиторий содержит конвертацию исходной модели, выполненную с помощью llama.cpp через сервис GGUF-my-repo. В метаданных указана лицензия Apache-2.0, а базовой моделью названа huihui-ai/Qwen2.5-Coder-32B-Instruct-abliterated. Модель предназначена для генерации текста и диалогового использования, прежде всего для задач, связанных с программированием: написания, объяснения и обработки кода. Она рассчитана на запуск через llama.cpp в командной строке или в режиме сервера и может применяться локально при наличии совместимого оборудования. В README также отмечена поддержка английского языка. Ключевые характеристики — архитектура семейства Qwen2.5-Coder, размер 32B параметров и квантизация Q5_K_M в формате GGUF. README не содержит сведений о точном размере контекста, поддерживаемых модальностях помимо текста, результатах тестирования, требованиях к памяти и производительности. Вариант abliterated позиционируется как менее ограниченный, однако подробности метода его создания и практические ограничения не описаны. Для использования требуется совместимая сборка llama.cpp; условия лицензии указаны как Apache-2.0.

apto-as/Qwen2.5-Coder-7B-Instruct-Q5_K_M-GGUF — это квантизированная версия Qwen2.5-Coder-7B-Instruct, преобразованная в формат GGUF с помощью llama.cpp и сервиса GGUF-my-repo. Модель разработана на базе Qwen/Qwen2.5-Coder-7B-Instruct и предназначена для генерации текста и работы с программным кодом в диалоговом режиме. Модель ориентирована на задачи, связанные с написанием и обработкой кода, а также на интерактивное использование через llama.cpp в CLI или серверном режиме. Указан размер базовой модели 7B; применяется квантизация Q5_K_M. Поддерживаемый язык в карточке — английский. Формат GGUF позволяет запускать модель через llama.cpp, в том числе локально, однако конкретные архитектурные параметры и размер контекстного окна в README не указаны; в примере сервера используется контекст длиной 2048 токенов. К сильным сторонам относятся специализация на программном коде, инструктивный режим и совместимость с llama.cpp. Ограничения включают отсутствие подробных сведений о качестве, поддерживаемых языках программирования, мультимодальности и фактических требованиях к оборудованию. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-DSV4Pro-Thinking-Distill — текстовая dense-модель, разработанная автором nerkyor на базе Qwen/Qwen3.6-27B. Она создана методом LoRA-дистилляции стиля рассуждений и агентного поведения DeepSeek-V4-Pro с включённым режимом thinking. Модель предназначена для локального использования, сложных задач рассуждения, программирования, многошагового решения задач и сценариев с вызовом инструментов, включая Lynn Agent. Модель содержит 27 млрд параметров и использует гибридную архитектуру Gated DeltaNet с linear/full-attention, 64 слоями и native MTP для ускорения генерации в однопоточном режиме. Поддерживаются английский и китайский языки; заявленная модальность — текстовая. В обучении использовались около 1842 дистиллированных образцов с многошаговым reasoning и ReAct-подобными вызовами инструментов. В описании упоминается оценивание с контекстом 32K, но точный максимальный размер контекста модели не указан. Сильные стороны — улучшение сложного reasoning относительно исходной Qwen3.6-27B, отсутствие незавершённых пустых ответов в заявленном тесте GPQA, а также сохранение или небольшое улучшение результатов по MMLU и coding-100. Ограничения состоят в том, что дистилляция передаёт прежде всего стиль рассуждения и способы вызова инструментов, а не новые знания или более высокий предел возможностей; симулированные результаты инструментов в обучающих данных не являются реальным выполнением. Часть агентной оценки субъективна, а приведённые результаты относятся к конкретному тестовому стенду и квантованным вариантам. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Escha-W2 — это 2-битная квантизованная версия модели Qwen3.6-35B-A3B, разработанная Escha Labs Inc. Модель предназначена для генерации текста, программирования, рассуждений и диалоговых сценариев. Она использует архитектуру Mixture-of-Experts с 256 экспертами; эксперты квантизованы в 2–3 бита, а плотные слои представлены в int8. Размер модели на диске составляет 12,3 ГБ, заявлен поддерживаемый язык — английский. Длина контекста в README не указана. Модель ориентирована на локальный запуск через OpenAI-совместимый HTTP API. Для работы рекомендуется видеокарта с 24 ГБ VRAM, минимально заявлено 16 ГБ с ограничениями по параллельности и длине контекста. Поддерживаются NVIDIA GPU от Ampere до Blackwell на Linux x86-64; для Apple Silicon доступен отдельный runtime на базе MLX. В комплекте находятся квантизованные веса, токенизатор и конфигурация, а runtime вынесен в отдельный репозиторий. Среди заявленных результатов — pass@1 92,07 на HumanEval+, точность 61,75 на CRUXEval-O, 80,9 на MMLU-Pro, 93,8 на MATH-500 и 77,8 на GPQA-Diamond. Сильными сторонами являются высокая эффективность по объёму памяти и производительность на совместимом потребительском GPU, однако 2-битная квантизация может снижать качество относительно полноразмерных версий, а запуск требует подходящего оборудования и специализированного runtime. Лицензия — Apache-2.0.

Модель Qwen3.8-27B-ED-5bpw-GGUF опубликована пользователем bakhtin и представляет собой квантованный вариант Qwen3.8-27B в формате GGUF. Автор указывает, что дополнительного дообучения и посттренировки не проводилось; для калибровки квантования использовалась матрица важности, собранная на русскоязычных технических текстах, программировании и формальной логике. Веса основаны на BF16-файле ggml-org/Qwen3.8-27B-GGUF. Модель поддерживает диалог и работу с изображениями: принимает текст и изображения, выдаёт текст. Квантование 5 BPW занимает около 15,92 ГиБ; автор ориентирует запуск на потребительскую видеокарту с 16 ГБ видеопамяти. По README, контекст свыше 90 тысяч токенов практически нецелесообразен из-за падения скорости. Указана лицензия Apache-2.0.

Chungulus/Qwen3.8-27B-GPTQ-INT4-G128 — это квантизированный вариант базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Репозиторий содержит deployment-вариант, а не дообученную модель. Квантизация выполнена с помощью GPTQModel в формате GPTQ с 4-битными весами и размером группы 128; размер артефакта составляет около 18,2 ГиБ. Модель предназначена для генерации текста и сценариев image-text-to-text, включая работу с изображениями, кодом, отладкой, математикой, научными задачами, структурированными ответами, инструментами, многоязычными запросами и контекстами большой длины. В сборке сохранены поддержка vision и schema-valid XML tool calls. Точная длина контекста, перечень поддерживаемых языков и требования к производительности в README не указаны. К сильным сторонам относятся существенное снижение размера модели за счёт INT4-квантизации, сохранение визуальных и инструментальных возможностей, а также близость к исходной модели по численным метрикам: top-1 agreement составляет 0,9355, а logit cosine similarity — 0,9950. Ограничения включают возможное снижение качества после квантизации, зависимость совместимости от точной версии GPTQModel и родительской ревизии, а также низкую скорость на протестированной конфигурации с CPU offload: RTX 4070 12 ГБ показала медианную скорость декодирования 0,075 токена в секунду. Поддержка speculative decoding не заявлена. Модель распространяется по лицензии Apache-2.0. Тестирование проводилось с GPTQModel 7.3.4+ на NVIDIA GeForce RTX 4070 12 ГБ в WSL2 Ubuntu 24.04; приведённые показатели производительности не являются гарантией чисто GPU-режима.

unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF — GGUF-версия инструкционной модели Qwen3-Coder-30B-A3B-Instruct, разработанной командой Qwen и подготовленной Unsloth. Это каузальная языковая модель для генерации текста и кода, ориентированная на агентное программирование, использование браузера агентами и другие задачи разработки, включая работу с репозиториями большого размера. Модель поддерживает интеграции и специальные форматы вызова функций для инструментов вроде Qwen Code и CLINE. Архитектура основана на mixture-of-experts: всего 30,5 млрд параметров, из которых при обработке активируются около 3,3 млрд; предусмотрено 48 слоёв, 128 экспертов и 8 активируемых экспертов. Используется Grouped Query Attention с 32 головами запросов и 4 головами ключей и значений. Нативное окно контекста составляет 262 144 токена, а с использованием YaRN его можно расширить до 1 млн токенов. Модель работает только в режиме без рассуждений и не генерирует блоки <think></think>. К сильным сторонам относятся сочетание высокой заявленной производительности в задачах программирования с относительно небольшим числом активируемых параметров, а также поддержка контекста репозиторного масштаба. README не содержит подробных данных о языках, результатах бенчмарков, требованиях к оборудованию, конкретных параметрах GGUF-квантизации или ограничениях качества, поэтому эти характеристики нельзя уточнить. Модель распространяется по лицензии Apache-2.0.

btbtyler09/Qwen3-Coder-Next-GPTQ-4bit — квантизированная версия Qwen3-Coder-Next, разработанного командой Qwen и дополнительно подготовленного пользователем btbtyler09. Это языковая модель для генерации кода, общего чата и сценариев с вызовом инструментов, предназначенная для запуска в средах инференса vLLM и SGLang. Модель использует архитектуру Qwen3NextForCausalLM с гибридом линейного и полного внимания, включая DeltaNet. Она построена по схеме Mixture-of-Experts: содержит около 80 млрд параметров, из которых примерно 3 млрд активируются для каждого токена; на каждом шаге выбираются 10 из 512 экспертов. Архитектура включает 48 слоёв, контекстное окно до 262 144 токенов и поддержку инструментального вызова. Экспертные модули квантизированы в INT4 методом GPTQ с размером группы 32, тогда как внимание, общие эксперты, эмбеддинги, нормализации и LM head сохранены в FP16. Размер модели составляет около 47 ГБ вместо примерно 160 ГБ у исходной BF16-версии. К преимуществам относятся существенное уменьшение размера и требований к памяти при сохранении качества: на тесте wikitext-2-raw-v1 ухудшение perplexity относительно исходной модели составило около 0,8%. Ограничения связаны с необходимостью совместимого программного обеспечения и значительных вычислительных ресурсов для работы крупной MoE-модели; README не указывает точные языки, на которых она обучалась, и не приводит более подробных сравнений для задач программирования. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

trohrbaugh/Qwen3-Coder-Next-heretic — версия Qwen3-Coder-Next, созданная методом abliteration: в README приведено сравнение с исходной моделью и заметно снижение частоты отказов. Это причинная языковая модель семейства Qwen3-Next с архитектурой MoE, предназначенная для генерации кода и работы в агентных сценариях разработки. Модель поддерживает чат и интерфейс вызова инструментов; README описывает применение с CLI и IDE, а также работу в режиме без рассуждений. По метаданным, репозиторий содержит веса Safetensors и насчитывает 2,3 млрд параметров; нативное окно контекста — 262 144 токена. README приводит характеристики исходной Qwen3-Coder-Next: 80 млрд параметров всего и 3 млрд активируемых, поэтому эти размеры не следует считать подтверждёнными для данной версии. Лицензия — Apache-2.0. В таблице README частота отказов составляет 14 из 100 запросов против 99 из 100 у исходной модели, а KL-дивергенция указана как 0,0708. Эти результаты относятся к описанному в карточке сравнению и не гарантируют такое же поведение на других запросах. Модель может выдавать нежелательный контент и менее склонна отказывать; перед применением следует оценивать её ответы и учитывать соответствующие риски.

Qwythos-9B-v2 — модель генерации текста и рассуждений от Empero AI, дообученная на базе empero-ai/Qwythos-9B-Claude-Mythos-5-1M методом FTPO. Она предназначена для диалогов, многошаговых рассуждений, решения задач и генерации кода; разработчик сообщает, что в этой версии устранено зацикливание при генерации, восстановлена голова MTP и сохранены возможности предыдущей версии. Модель построена на гибридной архитектуре Qwen3.5-9B с чередованием линейного внимания Gated-DeltaNet и полного внимания. Контекст заявлен до 1 млн токенов с YaRN. Хотя базовый стек поддерживает мультимодальность, README описывает практическое использование как текстовое. Основной язык карточки — английский. Модель подходит для исследовательских и технических сценариев, включая программирование, кибербезопасность и анализ научных вопросов. По внутренним оценкам разработчика, знания и рассуждения в целом сохранены относительно предыдущей версии; это обновление направлено прежде всего на устойчивость генерации, а не на рост возможностей. Известное ограничение — результат HumanEval ниже, чем у исходной Qwen3.5-9B; показатели бенчмарков получены на внутреннем тестовом наборе. Модель намеренно не ограничивает ответы на чувствительные темы. Лицензия — Apache-2.0.

Triumvirate — плотная текстовая причинно-языковая модель семейства Qwen 3.5, созданная автором репозитория путём слияния Qwen/Qwen3.5-9B и специализированных моделей Qwopus3.5-9B-Coder, MiMo-V2.6-Distill-Qwen-9B и Ornith-1.5-9B. В README указаны размер 8,8 млрд параметров и контекст 256 тыс. токенов; метаданные каталога указывают 7,2 млрд параметров. Модель предназначена для генерации кода, разбиения задач разработки на шаги и агентных сценариев с вызовом инструментов. Слияние TIES-DELLA объединяет сильные стороны компонентов: точность синтаксиса и алгоритмов, разбор задач SWE-bench, вызов инструментов, обработку ошибок и завершение циклов. Это текстовая модель на базе Transformers, опубликованная в формате safetensors. Карточка заявляет поддержку английского и китайского языков; метаданные указывают чат и интерфейс вызова инструментов. Модель распространяется по лицензии Apache-2.0. Указанные автором характеристики и преимущества не являются независимой оценкой качества; описание не содержит сравнительных результатов, подтверждающих их на практике.

Airoboros 33B GPT-4 1.2 — плотная авторегрессионная языковая модель семейства LLaMA с 32,3 млрд параметров, дообученная Джоном Дёрбином методом QLoRA на синтетических инструкционных данных, созданных GPT-4. Версия 1.2 расширяет набор данных версии 1.1 и добавляет примеры, позволяющие запрашивать код в простом формате без Markdown-обрамления. Модель предназначена для диалоговых инструкций, генерации кода, математических задач и рассуждений, викторин, ролевого общения, вопросов с выбором ответа и ответов по заданному контексту. Обучающий набор также включает задания на понимание намерений и общие темы. Модель принимает текстовые запросы и генерирует текст; карточка описывает шаблон чата с ролями USER и ASSISTANT. Родной контекст составляет 2048 токенов. Модель ориентирована на широкий круг текстовых задач и включает примеры кода для разных языков программирования и библиотек. Автор отмечает, что режим PLAINFORMAT работает не всегда. Это ранняя версия модели, выпущенная в 2023 году; её лицензия CC BY-NC 4.0 ограничивает коммерческое использование.