II.4Отладка, тестирование и качество ПО

MiniCPM5-1B-SFT — контрольная точка модели серии MiniCPM5 от OpenBMB, предназначенная для локального запуска на устройствах с ограниченными ресурсами. Это плотная авторегрессионная языковая модель с архитектурой LlamaForCausalLM: в метаданных указано 837,6 млн параметров, а карточка сообщает о 24 слоях и 16 головах запросов и 2 головах ключей и значений. Модель принимает текст и выдаёт текст; контекст — до 131 072 токенов. Карточка модели указывает английский и китайский языки. SFT-чекпойнт предназначен для локальных помощников, генерации кода, агентных сценариев с вызовом инструментов и сложных рассуждений. В серии предусмотрены режимы ответа с рассуждением и без него; этот вариант обучен только методом SFT и предшествует этапам RL и OPD. Поддерживаются запуск через Transformers, vLLM и SGLang, а также дообучение с помощью ресурсов проекта. Заявления карточки о сравнительных результатах относятся к указанному в ней набору моделей и бенчмарков. Модель распространяется под лицензией Apache-2.0. Она может выдавать неточные, предвзятые или небезопасные ответы; результаты следует проверять, особенно перед применением в ответственных сценариях.

MiniCPM5-2B-etheroi — компактная языковая модель из серии MiniCPM5, представленная в карточке MiniCPM5-2B. Это плотная причинная Transformer-модель с архитектурой LlamaForCausalLM и примерно 2,2 млрд параметров. Она предназначена для локальных помощников, программных агентов и сценариев, где важны небольшие требования к ресурсам и длинный контекст. Модель генерирует текст и поддерживает контекст до 131 072 токенов. В карточке отмечены навыки программирования, математики, понимания длинного контекста, следования инструкциям и работы с инструментами; метаданные также указывают разговорный сценарий. Модель рассчитана на английский и китайский языки и доступна в формате safetensors для Transformers; README описывает локальный запуск на GPU и CPU и серверный запуск через vLLM и SGLang. Модель выпущена под лицензией Apache-2.0. Ответы могут быть неточными, предвзятыми или оскорбительными; выводы по медицине, финансам, праву и политике не проверены экспертами и не являются профессиональной консультацией. README не указывает отдельную базовую модель для этой версии.

OpenCodeReasoning-Nemotron-32B-GGUF — это GGUF-квантизированная версия текстовой генеративной модели OpenCodeReasoning-Nemotron-32B, разработанной NVIDIA и подготовленной квантизатором bartowski. Модель ориентирована на задачи генерации и анализа кода, а также на другие сценарии текстовой генерации на английском языке. В README указана принадлежность к семейству моделей NVIDIA OpenCodeReasoning и датасету nvidia/OpenCodeReasoning. Модель содержит 32 миллиарда параметров и распространяется в форматах GGUF, совместимых с llama.cpp и проектами на его основе, включая LM Studio. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций. Версии Q6_K_L, Q6_K, Q5 и Q4 отмечены как обеспечивающие высокое или хорошее качество при меньшем размере, тогда как варианты Q3 экономят оперативную память ценой снижения качества. Размер файлов зависит от варианта и составляет примерно от 15,94 до 65,54 ГБ. К сильным сторонам относятся специализированная направленность на код, широкий выбор степеней квантизации и возможность локального запуска через llama.cpp или LM Studio. Ограничения включают значительные требования к памяти даже для компактных вариантов, снижение качества при сильной квантизации и отсутствие в представленном README сведений о размере контекста, архитектурных деталях, поддержке мультимодальности и производительности. Модель распространяется по лицензии Apache-2.0.

OpenCodeInterpreter-SC2-7B — модель для генерации кода из семейства OpenCodeInterpreter, разработанная командой M-A-P на основе StarCoder2-7B. Она сочетает генерацию кода с выполнением и итеративным улучшением по обратной связи от исполнения. Модель имеет плотную архитектуру StarCoder2ForCausalLM, около 9,9 млрд параметров и контекст до 16 384 токенов; формат весов в репозитории — safetensors. Модель предназначена для написания и доработки кода, а также сценариев, где результат можно проверить исполнением и уточнить по полученной обратной связи. В README приведены сравнительные результаты семейства на HumanEval и MBPP, но отдельные показатели именно этой версии не указаны. Метаданные отмечают английский язык и специализацию на коде. Лицензия — Apache-2.0.

OpenThinker-Agent-v1-GGUF — набор GGUF-квантизаций модели OpenThinker-Agent-v1, разработанной командой open-thoughts и подготовленной пользователем bartowski с использованием llama.cpp и imatrix-калибровки. Модель ориентирована на агентские сценарии, работу с терминалом, генерацию кода и задачи software engineering. Обучение связано с датасетами OpenThoughts-Agent-v1-SFT и OpenThoughts-Agent-v1-RL. Модель предназначена для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от BF16 размером 16,39 ГБ до низкобитных квантизаций, включая Q8_0, Q6_K, Q5_K, Q4_K и Q3_K; конкретный размер и качество зависят от выбранного файла. Для взаимодействия используется chat-шаблон с маркерами system, user и assistant. Данные о точной архитектуре, числе параметров, поддерживаемых языках и размере контекста в README не указаны. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска и оптимизация вариантов imatrix для сохранения качества при уменьшении размера. Более компактные варианты подходят для систем с ограниченной памятью, но могут уступать старшим версиям по качеству. Модель распространяется по лицензии Apache-2.0.

Ornith-1.0-35B-NVFP4 — квантованная версия модели deepreinforce-ai/Ornith-1.0-35B, разработанной DeepReinforce. Это агентная модель для генерации кода с механизмом самостоятельного выстраивания рассуждений, основанная на архитектуре qwen3_5_moe: Mixture-of-Experts с 35 млрд параметров и визуальной башней Qwen3-VL. Модель поддерживает текстовые и визуальные входные данные, а заявленные языки включают английский, китайский, японский и французский. Модель предназначена для агентного программирования, генерации и решения задач на код. Доступны режимы с рассуждением и без него; при включённом рассуждении модель может формировать более качественные ответы, но требует увеличенного лимита вывода. В README приведены результаты pass@1: 93,9% на HumanEval+ и 80,6% на MBPP+ в режиме рассуждения, а без рассуждения — 87,1% и 78,1% соответственно. Контекст ограничен 8192 токенами в рекомендуемой конфигурации vLLM. Все линейные слои квантизированы в формате NVFP4 W4A4 с размером группы 16; визуальная башня, маршрутизаторы MoE и lm_head сохранены в bf16. Размер модели уменьшен с 70,3 до 21,9 ГБ, что позволяет запускать её на двух GPU по 16 ГБ через vLLM с автоматическим обнаружением квантования. Ограничениями являются требования к нескольким GPU, зависимость от совместимой инфраструктуры vLLM и необходимость корректно извлекать ответ после блока </think> при оценке режима рассуждения. Модель распространяется по лицензии MIT; производные веса и исходная модель атрибутированы DeepReinforce.

Qwable-9B-Claude-Fable-5-heretic — текстовая донастройка Qwen/Qwen3.5-9B, опубликованная richardyoung. Исходная модель Qwable-9B-Claude-Fable-5 разработана Empero; эта версия обработана методом abliteration с помощью Heretic v1.4.0 для снижения частоты отказов. Модель имеет плотную архитектуру Qwen3.5 и около 9 млрд параметров; обучение текста было полно-параметрическим и использовало трассы рассуждений, программирования и агентных задач от Claude Fable 5 и GPT-5.5. Базовая модель мультимодальна, однако зрительная башня осталась замороженной, а зрительные возможности этой версии не дообучались и не оценивались. Модель предназначена прежде всего для диалоговой помощи в программировании, многошаговых задачах с терминалом и агентных сценариях, а также для рассуждений и объяснений. Обучающие данные и карточка ориентированы преимущественно на английский язык. В приведённом сравнении доля отказов снизилась с 97 из 100 у исходной модели до 50 из 100; это не заменяет полноценную оценку безопасности и качества. Ответы могут содержать отдельный блок рассуждений, который при показе пользователям может потребовать обработки. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Заявленная лицензия — Apache-2.0, унаследованная от базовых весов; автор исходной модели отдельно отмечает оговорки о происхождении обучающих данных. Полные бенчмарки программирования, агентных возможностей и безопасности для исходной донастройки ещё не опубликованы.

legraphista/Qwen2.5-Coder-1.5B-Instruct-IMat-GGUF — это GGUF-квантизированная версия инструкционно дообученной модели Qwen/Qwen2.5-Coder-1.5B-Instruct. Квантование выполнено legraphista с использованием llama.cpp и метода IMatrix; исходный формат модели — BF16. README не уточняет команду или организацию, разработавшую базовую модель Qwen2.5-Coder. Модель предназначена для генерации текста и работы с программным кодом в диалоговом формате: написания, дополнения и объяснения кода, а также выполнения инструкций, связанных с разработкой. Указан английский язык. Это текстовая модель без заявленной поддержки изображений или других модальностей. Размер базовой модели — 1,5 млрд параметров, однако сведения об архитектуре и размере контекстного окна в README отсутствуют. Доступны варианты GGUF от BF16 и FP16 до квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K; для ряда вариантов применена IMatrix. Квантированные файлы занимают примерно от 676 МБ до 1,65 ГБ, что делает модель пригодной для локального запуска при ограниченных ресурсах. Более агрессивное квантование уменьшает требования к памяти, но может снижать точность и качество генерации. Модель распространяется по лицензии Apache-2.0.

ApolloRaines/Qwen2.5-Coder-32B-Instruct-Jbliterated — модифицированная версия Qwen2.5-Coder-32B-Instruct, разработанная Apollo Raines. Модель предназначена для генерации текста и программного кода, включая разработку, анализ и преобразование кода, а также сценарии, где требуется модель без встроенного поведения отказа. Она может применяться для творческого письма, исследований в области безопасности и академических экспериментов, однако требует ответственного использования. Модель построена на архитектуре Qwen2ForCausalLM и содержит около 32,8 млрд параметров при 64 слоях. Она сохраняет архитектуру, токенизатор и длину контекста базовой модели; в README указана поддержка английского языка. Основной формат — BF16, также доступны варианты GGUF с квантованием Q8_0 и Q4_K_M. Полноточная версия занимает около 62 ГБ, Q8_0 — 33 ГБ, а Q4_K_M — 19 ГБ. Отличительная особенность модели — удаление поведения отказа непосредственно из весов с помощью проприетарного инструмента jBlaze, без дополнительного обучения или fine-tuning. По заявлению разработчика, это должно сохранять стиль и творческие характеристики исходной модели, но одновременно означает отсутствие встроенного отказа от потенциально опасных запросов. Модель распространяется по лицензии Apache 2.0, как и базовая модель; ответственность за соблюдение законодательства и безопасное применение возлагается на пользователя.

ThomasBaruzier/Qwen2.5-Coder-3B-Instruct-GGUF — набор GGUF-квантизаций инструкционно дообученной модели Qwen2.5-Coder-3B-Instruct. Исходную модель разработала команда Qwen, а данный репозиторий содержит варианты, подготовленные с использованием llama.cpp и метода imatrix с калибровочным файлом Bartowski. Модель предназначена для генерации и обработки текста, прежде всего для задач программирования и чат-сценариев. Это текстовая модель с архитектурой и характеристиками базовой Qwen2.5-Coder-3B; в README указано около 3 миллиардов параметров, поддерживается английский язык, а заявленный тип конвейера — text-generation. Модель ориентирована на локальный запуск в формате GGUF, причём доступны варианты квантизации от IQ1_S до Q5_K_M с размером примерно от 754 МБ до 2121 МБ. Разные варианты позволяют выбирать компромисс между требованиями к памяти и качеством; в приведённых измерениях более крупные квантизации обычно показывают меньшую perplexity и более высокую точность. Сильными сторонами являются компактный размер, возможность локального использования через llama.cpp и наличие большого выбора квантизаций для устройств с разными ресурсами. Ограничения включают потери качества, зависящие от степени квантизации, неизвестные в README размер контекста и набор поддерживаемых языков помимо английского, а также отсутствие сведений о мультимодальности. Модель распространяется по лицензии qwen-research; точные условия следует уточнять в лицензии исходной Qwen/Qwen2.5-Coder-3B-Instruct.

saidutta69/Qwen2.5-Coder-3B-Instruct-heretic — декензурированная версия Qwen2.5-Coder-3B-Instruct, созданная с помощью Heretic v1.2.0 методом направленной абляции. Изменения внесены непосредственно в веса attention и MLP без дообучения, поэтому базовые знания и следование инструкциям в основном сохранены. Модель предназначена для локального запуска разработчиками, генерации и анализа кода, работы в роли программного копилота и локальных coding agents. Модель является текстовой causal language model размером около 3,1 млрд параметров, поддерживает английский язык и распространяется в форматах GGUF, включая F16 и различные варианты квантования. Она совместима с llama.cpp, Ollama, LM Studio, Jan, Transformers, vLLM и SGLang, а благодаря небольшому размеру подходит для потребительских GPU, CPU и Apple Silicon. Контекст модели в README не указан. Доступны варианты весов примерно от 1,19 до 5,75 ГБ, при этом для контекста требуется дополнительная память. Главная особенность — подавление отказов от выполнения запросов: согласно приведённому сравнению, модель отказала в 3 из 100 тестов против 100 из 100 у исходной версии, при этом KL-дивергенция составила 0,0163. Это делает её более прямолинейной для локального использования, но одновременно снижает встроенные защитные ограничения. Модель не добавляет новых возможностей или механизмов проверки фактов, наследует ограничения и предвзятость базовой модели и не рекомендуется для неотмодерированных публичных сервисов. Лицензия унаследована от базовой модели и указана как qwen-research; для коммерческого использования необходимо ознакомиться с условиями лицензии Qwen по указанной ссылке.

RootMonsteR/Qwen3-14B-Abliterated-GGUF — это квантизированная GGUF-версия модели RootMonsteR/Qwen3-14B-Abliterated, созданной на основе Qwen/Qwen3-14B. Модель разработана RootMonsteR с применением метода directional ablation из Heretic v1.3.0: заявленная цель — сохранить способности к рассуждению, программированию и tool-calling, одновременно существенно сократив количество автоматических отказов. По данным карточки, доля отказов снижена примерно с 99 до 10 из 100 тестов при KL-дивергенции 0,0333. Модель предназначена для локального текстового диалога, автономных агентов, вызова инструментов и функций, авторизованных исследований безопасности, защитных инструментов, CTF, обучения и изучения поведения моделей без отказов. Доступны варианты Q5_K_M размером около 10,5 ГБ и Q4_K_M размером около 9 ГБ; Q5_K_M рекомендуется для агентов и более надёжного формирования JSON, а Q4_K_M — при ограниченном объёме памяти. Поддерживаются llama.cpp, Ollama, LM Studio, Jan и KoboldCpp; заявлен контекст до 32 768 токенов. Указаны режимы рассуждения и без рассуждения, а также встроенный шаблон чата Qwen3. Сильными сторонами являются низкая стоимость локального запуска, сохранение исходных возможностей Qwen3-14B после квантизации, поддержка reasoning и tool-calling, а также сниженное количество рефлексивных отказов. Ограничения включают возможное ухудшение точности формата вызовов инструментов у Q4_K_M при агрессивных настройках генерации, более низкую скорость работы на CPU и необходимость использовать семплирование вместо жадного декодирования. Модель распространяется по лицензии Apache-2.0. Снижение отказов повышает требования к контролю применения: использование должно соответствовать законодательству, договорным обязательствам и согласованному объёму работ.

Qwen3.6-27B-DSV4Pro-Thinking-Distill-GGUF — набор GGUF-квантизаций модели, разработанный пользователем nerkyor на основе плотной Qwen3.6-27B от Qwen. Модель представляет собой дистилляцию рассуждений в стиле DeepSeek-V4-Pro ReAct с нативной головой MTP (multi-token prediction) и imatrix-коррекцией для большинства вариантов. Дистилляция направлена на улучшение сходимости рассуждений, при этом заявлено сохранение возможностей программирования и общих знаний. Модель предназначена для локального агентного рассуждения, программирования и работы в качестве независимого от облачных сервисов резервного решения, в частности внутри Lynn Agent. Доступны варианты размером от 15,3 до 54,7 GB: IQ4_XS рассчитан на запуск на видеокарте с 16 GB памяти без выгрузки на CPU, а Q5_K_M рекомендован для систем с 24 GB и более. Для ускорения генерации поддерживается нативный MTP; в приведённых измерениях Q4_K_M обеспечивал до 2,6 раза большую скорость в одном потоке, однако выигрыш снижается при высокой параллельности. Модель ориентирована как минимум на английский и китайский языки; для обработки изображений предусмотрен отдельный vision-проектор mmproj F16. В тестах дистиллированная версия показала более высокие результаты на задачах сложного рассуждения и не достигала ограничения длины ответа в случаях, где базовая модель могла не завершить решение. Ограничения включают зависимость качества и требований к памяти от выбранной квантизации, снижение эффективности MTP при многопоточности и необходимость подбирать параметры генерации для thinking-режима; в README рекомендуется temperature 0.6 и top_p 0.95. Лицензия — Apache-2.0.

Qwen3.6-27B-MTPLX-Optimized-Speed-V2 — квантизированная версия модели Qwen3.6-27B, разработанная на базе Qwen/Qwen3.6-27B и адаптированная Youssofal для инференса через движок MTPLX на компьютерах Apple Silicon. Модель предназначена прежде всего для локальной генерации кода, использования инструментов и длительных агентских сессий на macOS, включая работу в OpenCode, Claude Code, Cline и других coding agents через OpenAI- и Anthropic-совместимые API. Модель использует архитектуру qwen3-next-mtp с нативной multi-token prediction глубиной до 3 токенов и гибридную квантизацию примерно до 5,8 бит на вес. Большинство весов представлены в 4-битном формате, чувствительные компоненты — в 8-битном или bf16. Размер модели составляет 19,9 ГБ. В комплект входит sidecar с весами MTP, поэтому отдельная draft-модель не требуется. Проверка проводилась на Apple M5 Max с 128 ГБ unified memory; MTPLX рекомендует модель для Mac с 32 ГБ unified memory и более. Заявлены скорость декодирования до 45,7 токена в секунду при контексте 17 тысяч токенов и пиковый speculative multiplier 2,86x, однако эти показатели зависят от оборудования и сценария. Сильные стороны модели — сниженная потеря качества квантизации относительно исходной версии, высокая эффективность speculative decoding в длинном контексте, ускоренная работа в агентских сценариях и сохранение качества обычного декодирования благодаря проверке токенов по точному соотношению вероятностей. Ограничения включают больший размер файла по сравнению с предыдущей версией, что может ухудшать скорость коротких холодных сессий и повышать требования к памяти. README не указывает максимальную длину контекста и список поддерживаемых языков. Модель и инструменты MTPLX распространяются по лицензии Apache-2.0.

Qwen3-Coder-30B-A3B-Instruct-8bit — языковая модель для генерации текста, ориентированная прежде всего на задачи программирования и работы с кодом. Модель разработана сообществом mlx-community и представляет собой конвертацию Qwen3-Coder-30B-A3B-Instruct от Qwen в формат MLX с использованием mlx-lm версии 0.26.1. Модель предназначена для запуска через библиотеку mlx-lm и поддерживает инструкционный режим с применением chat template. В названии указано 8-битное представление, а исходная модель имеет 30B параметров и архитектуру MoE с 3B активных параметров, однако дополнительные сведения о контекстном окне, языках и поддерживаемых модальностях в README не приведены. К сильным сторонам относятся специализация базовой модели на программировании, инструкционное взаимодействие и адаптация к экосистеме MLX. Ограничения, производительность и требования к оборудованию в README не описаны. Модель распространяется по лицензии Apache-2.0.

DavidAU/Qwen3-Zero-Coder-Reasoning-0.8B-NEO-EX-GGUF — англоязычная текстовая generative-модель для программирования, разработанная DavidAU на базе DavidAU/Qwen3-Zero-Coder-Reasoning-0.8B и распространяемая в формате GGUF. Модель ориентирована на генерацию и анализ кода, мозговой штурм, решение задач и пошаговое рассуждение при разработке. Она может формировать блоки рассуждений перед ответом и подходит для интерактивной работы с подробными инструкциями и итеративным улучшением кода. Заявлены архитектура на платформе Qwen3, 42 слоя и 464 тензора; модель описана как объединение двух моделей размером 0,6B. Максимальный контекст составляет 40 000 токенов, рекомендуемый — от 8 000 до 16 000. Поддерживаются шаблоны Jinja или ChatML. Репозиторий содержит варианты GGUF с разными уровнями квантования и модификациями NEO Imatrix; в README отмечается, что некоторые более компактные кванты могут лучше подходить для отдельных сценариев, тогда как старшие кванты способны давать более качественные решения на сложных задачах. Сильными сторонами являются высокая скорость работы, компактный размер, специализация на коде и способность решать многоэтапные задачи. Ограничения включают возможные повторы блоков кода, чрезмерно длинные рассуждения и зависимость качества от уровня квантования и настроек генерации; для сложных запросов рекомендуется несколько генераций и тщательная формулировка требований. Модель распространяется по лицензии Apache-2.0.

Qwopus3.8-27B-Flash-TQ3_4S — сборка в формате GGUF модели Jackrong/Qwopus3.8-27B-Flash, разработанной как скоростной вариант Qwen/Qwen3.8-27B для агентных сценариев. Это плотная мультимодальная модель с поддержкой диалога и анализа изображений и видео; в комплекте сохранена голова NextN/MTP для ускорения генерации методом self-speculative decoding. Файл модели занимает 13,6 ГБ, проектор зрения — 1,8 ГБ; README приводит тестирование на GPU RTX 3090 и контекст 32768 токенов в рекомендуемой конфигурации. Модель ориентирована на быстрые циклы работы агентов и генерацию кода. В README сообщаются результаты тестов Hard86, HumanEval и MBPP, а также ускорение декодирования на задачах с кодом при включённом MTP. Это заявление автора карточки; результаты зависят от конфигурации, а сравнение с базовой моделью проводилось при различающихся бюджетах рассуждений. Для загрузки TQ3_4S необходима специальная сборка turbo-tan/llama.cpp-tq3: стандартная llama.cpp этот тип тензоров не поддерживает. Лицензия — Apache-2.0.

Карточка модели luxuansang/Qwythos-9B-v2 на Hugging Face совпадает с карточкой empero-ai/Qwythos-9B-v2, поэтому описание составлено по ней. Qwythos-9B-v2 — модель генерации текста и рассуждений от Empero AI, дообученная на базе empero-ai/Qwythos-9B-Claude-Mythos-5-1M методом FTPO. Она предназначена для диалогов, многошаговых рассуждений, решения задач и генерации кода; разработчик сообщает, что в этой версии устранено зацикливание при генерации, восстановлена голова MTP и сохранены возможности предыдущей версии. Модель построена на гибридной архитектуре Qwen3.5-9B с чередованием линейного внимания Gated-DeltaNet и полного внимания. Контекст заявлен до 1 млн токенов с YaRN. Хотя базовый стек поддерживает мультимодальность, README описывает практическое использование как текстовое. Основной язык карточки — английский. Модель подходит для исследовательских и технических сценариев, включая программирование, кибербезопасность и анализ научных вопросов. По внутренним оценкам разработчика, знания и рассуждения в целом сохранены относительно предыдущей версии; это обновление направлено прежде всего на устойчивость генерации, а не на рост возможностей. Известное ограничение — результат HumanEval ниже, чем у исходной Qwen3.5-9B; показатели бенчмарков получены на внутреннем тестовом наборе. Модель намеренно не ограничивает ответы на чувствительные темы. Лицензия — Apache-2.0.

Ring-flash-2.0 — разговорная языковая модель с архитектурой MoE, разработанная InclusionAI на основе Ling-flash-2.0-base. Она предназначена для сложных рассуждений, включая решение математических задач, генерацию кода и логический анализ, а также для научных и медицинских вопросов и творческого письма. Модель обучалась в несколько этапов с SFT, обучением с проверяемыми наградами и RLHF; README также описывает алгоритм icepop для повышения стабильности длительного обучения с подкреплением для MoE-моделей. В метаданных указано 5,5 млрд параметров, а README сообщает о 100 млрд параметров всего и 6,1 млрд активных при генерации. Архитектура включает разреженную активацию экспертов и слои MTP. Контекст — до 32 768 токенов. Модель принимает текст и генерирует текст; основное назначение — диалоговое текстовое взаимодействие. Заявленные авторами сильные стороны — эффективность инференса и результаты в задачах рассуждения; эти оценки основаны на описании модели и приведённых там сравнениях. Модель доступна по лицензии MIT. Для запуска README описывает использование Transformers и vLLM, причём для vLLM на момент карточки требовалась специальная подготовка окружения. Поддерживаемые естественные языки в предоставленных источниках не перечислены.

Rombos-Coder-V2.5-Qwen-32b-GGUF — квантизированная версия модели Rombos-Coder-V2.5-Qwen-32b, разработанной rombodawg и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации и обработки кода, а также связанных с программированием текстовых запросов. В карточке указана поддержка английского языка и размер базовой модели 32B параметров. Модель квантизирована с использованием llama.cpp и imatrix; доступны варианты от Q3 до Q8 с размером файлов примерно от 15 до 35 ГБ. Версии с более высокой точностью сохраняют лучшее качество, тогда как младшие варианты требуют меньше оперативной памяти, но могут заметнее терять в качестве. Для запуска рекомендуются llama.cpp и LM Studio; в README также приведён шаблон чата с ролями system, user и assistant. Архитектура, размер контекстного окна, дополнительные модальности и результаты оценивания в карточке не указаны. Для отдельных вариантов существуют ограничения по аппаратной платформе: некоторые сборки оптимизированы для ARM и требуют соответствующих инструкций, а их использование на macOS и Windows не рекомендуется. Модель распространяется по лицензии Apache-2.0.

Atla Selene-1-Mini — языковая модель Atla для оценки ответов и работы в роли LLM-as-a-judge. Она дообучена на основе Meta Llama 3.1 8B Instruct и содержит около 7,5 млрд параметров. Модель принимает текст и выдаёт текстовые оценки, классификации, сравнения ответов и качественные критические замечания с обоснованием. Модель предназначена для автоматической проверки качества ответов, в том числе оценки по заданной шкале, определения соответствия ответа запросу, попарного выбора лучшего ответа и выявления галлюцинаций в RAG-системах. В карточке заявлена оценка по 11 бенчмаркам и сильные результаты на RewardBench, EvalBiasBench и AutoJ. Поддерживает контекст до 131 072 токенов и ориентирована прежде всего на английский; также заявлена поддержка немецкого, французского, итальянского, португальского, испанского, хинди и тайского. Для ожидаемого поведения следует использовать шаблон диалога Llama 3. Лицензия — Apache 2.0.

QuantFactory/starcoder2-3b-instruct-GGUF — квантизированная версия модели TechxGenus/starcoder2-3b-instruct, подготовленная QuantFactory с использованием llama.cpp. Модель предназначена прежде всего для генерации кода и выполнения инструкций, связанных с программированием; для задач, не относящихся к кодированию, её возможности могут быть ограничены. В основе лежит StarCoder2 с 3 млрд параметров, дообученная на 0,7 млрд дополнительных высококачественных токенов, связанных с программным кодированием, в течение трёх эпох. При обучении использовались DeepSpeed ZeRO 3 и Flash Attention 2. Модель работает в формате инструкций Alpaca без системного промпта; в README приведён шаблон с секциями «Instruction» и «Response». Заявленный результат на HumanEval-Python составляет 65,9 pass@1. Сведения о поддерживаемых языках программирования, размере контекста и точном типе квантизации не указаны. К сильным сторонам относятся специализация на коде, компактный размер и доступность в формате GGUF для запуска через llama.cpp. Ограничения включают возможные ошибки и вводящие в заблуждение ответы, слабую пригодность для некодовых задач и ограниченное тестирование; перед применением в реальных системах рекомендуется дополнительная проверка безопасности. Лицензия — BigCode OpenRAIL-M.

Supertron2-1.7B — компактная языковая модель Surpem для генерации текста и диалогов, дообученная на Qwen/Qwen3-1.7B. Это плотный Transformer с 1,7 млрд параметров и контекстом до 40 960 токенов; модель предназначена для работы с инструкциями и поддерживает английский язык. Она подходит для пошаговых рассуждений, решения математических задач, написания и отладки кода, объяснения научных тем и повседневных диалогов. В README заявлена возможность локального запуска на потребительском оборудовании; для инференса указаны ориентиры от 5 ГБ видеопамяти в bfloat16 или от 3 ГБ при 4-битной квантизации. Модель распространяется по лицензии Apache 2.0. Как и другие компактные языковые модели, она может ошибаться в фактах, вычислениях и коде; README не приводит независимых результатов оценки качества.

Tiel-Coder-35B-A3B-Genesis-Hermes-NVFP4-GGUF — это квантизированная в формате GGUF модель LuffyTheFox, созданная на базе Tiel-Coder-35B-A3B с переносом данных Hermes-файнтюнинга от DJLougen и последующей обработкой алгоритмом Genesis. Модель использует архитектуру Mixture of Experts: около 35 млрд параметров всего и примерно 3 млрд активных параметров на токен; заявлено 8 активных экспертов. Квантизация выполнена в формате NVFP4, то есть NVIDIA 4-bit Floating Point. Модель предназначена для агентного программирования, точной генерации кода, задач с вызовом инструментов в формате Hermes, рассуждений в режиме Thinking и мультимодальных сценариев с изображениями. Заявлена поддержка английского, китайского и других языков. В примере конфигурации указан контекст до 128K токенов. Для совместимости с Hermes Agent рекомендуется использовать JSON-формат вызовов инструментов через параметр tool_call_format, поскольку шаблон чата может по умолчанию формировать XML-вызовы. Сильными сторонами модели являются MoE-архитектура с относительно небольшим числом активных параметров, поддержка программирования, инструментов, рассуждений и vision, а также ориентация на стабильную генерацию после постобработки Genesis. Ограничения связаны с использованием низкобитной NVFP4-квантизации, возможными требованиями к совместимому ПО и оборудованию, а также необходимостью корректно настроить шаблон чата и параметры сэмплирования. Репозиторий распространяется по лицензии MIT.

Tinfield 1 — разработанная badtheorylabs дообученная агентная модель на базе Qwen3.8-Flash-Next для работы в терминале и длительных задач по разработке программного обеспечения. Она принимает текст и изображения и выдаёт текст; в метаданных указаны возможности диалога, работы с кодом, вызова инструментов и анализа изображений. Заявлены контекст 256 тыс. токенов и архитектура Qwen4ExpForConditionalGeneration; в README для основной версии указаны веса BF16 и 177 млрд параметров всего, из которых активно 6,6 млрд на токен. В README приведены результаты BF16-версии: 33,0 на Terminal-Bench 4.0 и 62 на DeepSWE v1.1. Также описаны компактные квантованные сборки для запуска на машине с 64 ГБ памяти, однако эти сборки не оценивались на указанных бенчмарках. Лицензия обозначена как other, поэтому конкретные условия следует сверить с карточкой модели.

pragmaticcs/Triumvirate-GGUF — это набор квантованных GGUF-файлов модели pragmaticcs/Triumvirate, созданной методом объединения нескольких моделей с использованием depth-modulated DARE-TIES. Модель предназначена прежде всего для агентного программирования, работы с терминалом и многошаговых сценариев в репозиториях: генерации точечных изменений кода, обработки сообщений об ошибках, вызова инструментов и поддержания состояния окружения без отклонения от задачи. В состав объединения входят KAT-Coder-V2.5-Dev, Ornith-1.5 и Qwen-AgentWorld. Модель имеет архитектуру Qwen 35B-A3B MoE примерно с 34,1 млрд параметров, из которых около 3,1 млрд активны на каждом токене. Она включает 40 декодерных слоёв, 256 маршрутизируемых экспертов с маршрутизацией Top-8 и одного общего эксперта. Используется гибридное внимание: 30 слоёв Gated DeltaNet с линейным вниманием и 10 слоёв полного self-attention. Размер скрытого представления — 2048, словарь содержит 248 320 токенов. Заявленные языки — английский и китайский; модель относится к задачам генерации текста и поддерживает сценарии кодинга и рассуждений. Доступны варианты квантования Q4_K_M, APEX-High-Quality, Q5_K_M, Q8_0 и BF16. Q4_K_M ориентирован на системы с ограниченной видеопамятью, Q5_K_M обозначен как рекомендуемый компромисс для качественных изменений кода, а BF16 требует около 69,4 ГБ. Сильными сторонами являются низкая частота синтаксических ошибок при вызове инструментов, строгий формат патчей, обработка терминального feedback и пригодность для автономных агентных циклов. Ограничения включают высокие требования к памяти и вычислительным ресурсам, особенно для менее сжатых вариантов; конкретные данные о контекстном окне и результаты независимых бенчмарков в представленном README не указаны. Модель распространяется по лицензии Apache 2.0.

Virtuoso-Lite-PreDistill — экспериментальная текстовая модель для генерации и диалогов от Arcee AI. Согласно карточке, это предварительная версия Virtuoso-Lite: вариант стандартного обучения SFT и объединения с RLHF, подготовленный для проверки перед дополнительными этапами обучения. В README описана дистилляция логитов Deepseek-V3 на примерно 1,1 млрд токенов и архитектура Llama-3; метаданные Hugging Face указывают архитектуру LlamaForCausalLM, 9,9 млрд параметров и базовую модель tiiuae/Falcon3-10B-Base. Доступны веса в формате safetensors, библиотека Transformers и контекстное окно до 32 768 токенов по метаданным. Модель предназначена для чат-ботов и виртуальных помощников, анализа данных, исследовательских прототипов и STEM-обучения. В README заявлены возможности рассуждения, генерации и отладки кода, а также решения математических задач; метаданные отмечают интерфейс вызова инструментов. Основной язык не указан, поэтому язык не классифицируется. Лицензия обозначена как falcon-llm-license в README и как other в метаданных; перед использованием следует проверить условия распространения в карточке модели.

WhiteRabbitNeo-2.5-Qwen-2.5-Coder-7B-GGUF — это набор GGUF-квантизаций модели WhiteRabbitNeo-2.5-Qwen-2.5-Coder-7B, разработанной WhiteRabbitNeo и подготовленной пользователем bartowski. Модель предназначена для генерации текста и решения задач, связанных с программированием; в карточке указаны английский язык, библиотека Transformers и тег code. Доступны варианты для локального запуска через llama.cpp и LM Studio. Модель относится к семейству Qwen-2.5-Coder и имеет размер 7B параметров. В репозитории представлены версии от F16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ4_XS, включая варианты, оптимизированные для ARM. Квантизация выполнена с использованием imatrix на базе llama.cpp; размеры файлов составляют примерно от 4,09 до 15,24 ГБ. Рекомендуемые варианты обеспечивают компромисс между качеством и требованиями к памяти, а Q6_K_L и Q6_K описаны как близкие к исходному качеству. Сильная сторона модели — широкий выбор квантизаций для локального запуска на оборудовании с разным объёмом памяти. Ограничения включают возможное снижение качества в низкобитных вариантах, отсутствие сведений о размере контекста, точной архитектуре, дополнительных языках и мультимодальных возможностях. Лицензия — Apache-2.0.

Yi-Coder-9B-Chat-GGUF — это квантизированная версия чат-модели Yi-Coder-9B-Chat, разработанной 01.AI и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель предназначена прежде всего для генерации и обсуждения программного кода в диалоговом режиме; запуск поддерживается через llama.cpp и приложения, совместимые с GGUF, включая LM Studio. Модель содержит около 9 миллиардов параметров и доступна в вариантах от F16 до низкобитных квантований Q2–Q8 и IQ. Квантизация с imatrix позволяет выбирать баланс между качеством, размером файла и требованиями к памяти: рекомендуются, в частности, варианты Q4–Q6, а версии Q3 и ниже рассчитаны на системы с ограниченным объёмом RAM, но обеспечивают более низкое качество. Для работы используется специальный шаблон чата с ролями system, user и assistant; в README также указано исправление токенизатора. В карточке не приведены точные сведения о поддерживаемых языках, длине контекста, архитектуре трансформера, мультимодальности и сравнительных результатах. Модель является текстовой и ориентирована на сценарии программирования, однако конкретные возможности зависят от выбранного варианта квантования. Лицензия — Apache-2.0.

AReaL-boba²-8B — языковая модель для генерации текста и решения задач программирования, созданная командой RL Lab, Ant Research. Она основана на Qwen3 и обучена с помощью обучения с подкреплением в системе AReaL; в README приведены результаты на LiveCodeBench, Codeforces и CodeContests. Модель предназначена для генерации и объяснения кода, решения задач по программированию и диалогового взаимодействия с инструментами. Модель имеет плотную архитектуру Qwen3ForCausalLM, содержит 7,6 млрд параметров и поддерживает контекст до 40 960 токенов. Она принимает текст и генерирует текст; интерфейс поддерживает чат и вызов инструментов. Лицензия — Apache-2.0. README не сообщает конкретные поддерживаемые естественные языки.