II.4Отладка, тестирование и качество ПО

Stable-DiffCoder-8B-Instruct — инструктивная модель генерации кода от ByteDance-Seed, построенная на архитектуре Seed-Coder и дообученная на базе Stable-DiffCoder-8B-Base. Это плотная языковая модель с 7,6 млрд параметров и маскированной диффузионной генерацией; карточка указывает обучение на открытых и синтетических данных и настройку для следования пользовательским инструкциям. Модель предназначена для генерации, дополнения, редактирования и анализа кода, включая задачи рассуждения о коде. Контекст составляет 8192 токена. В README заявлены улучшения на ряде кодовых бенчмарков по сравнению с авторегрессионными и другими диффузионными моделями близкого размера; диффузионный подход также помогает обрабатывать структурированный код и языки программирования с меньшим количеством данных. Для запуска README описывает использование Transformers и параметры пошаговой генерации, включая длину блоков, стратегию повторного маскирования и порог декодирования. Модель распространяется по лицензии MIT. README не перечисляет поддерживаемые языки программирования, поэтому конкретные языки здесь не указаны.

StarCoder2-15B-Instruct-v0.1 — языковая модель для генерации кода по инструкциям, созданная командой BigCode. Её дообучили на StarCoder2-15B на синтетических парах «инструкция — ответ», которые исходная модель сгенерировала и отфильтровала выполнением кода; человеческая разметка и данные дистилляции от крупных закрытых моделей не использовались. Модель предназначена для одношаговых ответов на запросы, связанные с программированием: например, генерации функций, исправления и объяснения кода. Это плотная causal language model семейства StarCoder2 с 21,7 млрд параметров и контекстом 16 384 токена. Она принимает текстовые инструкции и генерирует текст, в том числе код; языковые коды естественных языков в метаданных не указаны. Модель распространяется в формате Safetensors и рассчитана на использование через Transformers. Лицензия — BigCode OpenRAIL-M; перед использованием следует учитывать её условия и ограничения. В карточке отмечено, что инструкции не связанные с программированием могут давать менее точные ответы; заявленный сценарий — один ход, поэтому диалоговые возможности не следует считать подтверждёнными.

WaveCoder Ultra 6.7B — языковая модель для программирования из серии WaveCoder, разработанной Microsoft. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров, доступная в формате PyTorch и предназначенная для генерации кода по инструкциям и диалоговых сценариев. Она рассчитана на контекст до 16 384 токенов. Модель предназначена для генерации и исправления кода, составления кратких описаний кода и перевода между языками программирования. В обучении использовались синтетические данные, созданные моделями OpenAI, на основе подмножества CodeSearchNet; в карточке также приведена оценка на HumanEval. Доступна по лицензии MIT. При использовании следует учитывать условия OpenAI для синтетических обучающих данных.

Zrald/Zrald-qwen3.8-27b-v2 — выпуск GGUF модели Qwen3.8-27B от Zrald, предназначенный для локального запуска через llama.cpp. Это плотная модель с 27,2 млрд параметров; в репозитории представлены три варианта с разным соотношением размера и точности: accuracy, balance и compressed. README сообщает о сравнительных испытаниях на AMD Instinct MI300X и CPU, однако эти результаты относятся к оценке автора и не гарантируют аналогичное качество на других задачах и системах. Модель рассчитана на генерацию текста в диалогах, программирование, анализ документов, ответы на вопросы и многошаговые рассуждения. README описывает локальное обслуживание через OpenAI-совместимый API и приводит рекомендации по памяти и видеопамяти. В метаданных базовая модель указана как Qwen/Qwen3.8-27B, а формат файлов — GGUF; лицензия — Apache-2.0. Карточка не сообщает длину контекста или языковой охват, поэтому эти характеристики здесь не уточняются.

BTL-3 Compact — компактная локальная текстовая модель Bad Theory Labs для программирования, рассуждений и работы с инструментами. Она основана на Qwen3.6-27B и выпущена в виде файла GGUF размером 8,39 ГБ с архитектурой из 64 слоёв и сжатым представлением AVQ2/UniSVQ, дополненным точечными более точными тензорами и коррекциями поведения. Модель предназначена для локального запуска через llama.cpp, включая сценарии с агентами, репозиториями и OpenAI-совместимым сервером. Карточка сообщает о поддержке структурированного и многошагового вызова инструментов и приводит внутреннюю оценку сохранения 62 из 63 проверенных вариантов поведения; это не публичный бенчмарк. Рекомендованный режим — без включённого рассуждения: экспериментальный режим с ним может зацикливаться или не завершать ответ, а проверка для задач программирования в этом режиме не пройдена. Контекст зависит от памяти устройства, KV-кэша и ресурсов среды выполнения. Проверена работа на macOS arm64 с Metal; поддержка Linux arm64 и CUDA обозначена как предварительная. Лицензия — Apache-2.0.

CodeLlama 34B Instruct — языковая модель для генерации и объяснения программного кода, разработанная Meta. Представлена в репозитории TheBloke в формате GGUF как квантизированная версия исходной модели codellama/CodeLlama-34b-instruct-hf. Модель предназначена для решения задач программирования по текстовому описанию, создания кода с учетом ограничений и тестовых примеров, а также для локального использования через совместимые приложения и библиотеки. Модель построена на архитектуре Llama и содержит 34 миллиарда параметров. Она работает с текстовой модальностью и ориентирована на код; конкретный набор поддерживаемых языков программирования и размер контекста в README не указаны. Формат GGUF поддерживает метаданные и специальные токены, а доступные варианты используют квантизацию от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством генерации. Сильными сторонами являются специализация на программировании, возможность запуска на CPU и GPU, а также совместимость с llama.cpp, text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и другими инструментами. К ограничениям относятся потенциальная потеря качества из-за квантизации, высокие требования к ресурсам для 34-миллиардной модели и отсутствие в предоставленных данных подробных оценок качества, контекстного окна и перечня языков. Указана лицензия llama2; за квантизацию и публикацию GGUF-версии отвечает TheBloke.

Codestral-22B-v0.1-GGUF — набор GGUF-квантизаций модели Codestral-22B-v0.1, разработанной Mistral AI и подготовленной пользователем bartowski. Модель предназначена прежде всего для генерации и обработки программного кода; формат GGUF и совместимость с llama.cpp позволяют запускать её локально с использованием CPU и/или GPU. В README указан шаблон диалога в формате инструкций с системным промптом и пользовательским запросом. Модель имеет размер 22B параметров. Доступны варианты квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_XS, Q3 и Q2 с размером файлов примерно от 6,64 до 23,64 ГБ. Более высокие уровни квантизации обеспечивают лучшее качество, но требуют больше памяти; варианты Q6_K, Q5 и Q4 отмечены как рекомендуемые, а низкоразрядные варианты предназначены для систем с ограниченными ресурсами и могут заметно уступать в качестве. Ключевые характеристики исходной архитектуры, поддерживаемые естественные языки и размер контекста в README не указаны. Лицензия обозначена как MNPL-0.1; условия следует уточнять по документу Mistral AI. README не содержит данных о мультимодальности, результатах бенчмарков или ограничениях исходной модели, поэтому её сильные стороны можно уверенно связывать только с ориентацией на задачи программирования и возможностью локального запуска в разных вариантах квантизации.

DeepSeek-Coder-V2-Instruct-GGUF — это GGUF-квантизированная версия модели DeepSeek-Coder-V2-Instruct, разработанной DeepSeek-ai и подготовленной для квантизации компанией Second State Inc. Модель предназначена прежде всего для генерации и обработки программного кода, а также для диалогового взаимодействия в формате instruct. В README указана поддержка контекста до 128 000 токенов и запуск через LlamaEdge версии 0.12.3 или новее с шаблоном prompt-типа deepseek-chat-2. Доступны варианты с квантизацией Q2_K, Q3_K и другие GGUF-варианты с различными уровнями точности и размерами файлов. Более компактные варианты требуют меньше ресурсов, но могут заметно уступать по качеству; для Q2_K и Q3_K это прямо отмечено в описании. Модель ориентирована на локальное или встраиваемое использование через совместимые инструменты GGUF и LlamaEdge. Данные о точной архитектуре, числе параметров, поддерживаемых языках программирования и естественных языках, модальностях, результатах тестирования и системных требованиях в представленном README не указаны. Использование регулируется лицензией DeepSeek, обозначенной как deepseek-license; в метаданных указана лицензия other.

DeepSeek-Coder-V2-Lite-Instruct-GGUF — квантизированная версия модели DeepSeek-Coder-V2-Lite-Instruct, разработанной DeepSeek-AI и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для запуска через GaiaNet и совместима с шаблоном запросов deepseek-chat-2. Модель ориентирована на задачи, связанные с программированием и обработкой инструкций. В README указано, что она основана на архитектуре deepseek и поддерживает контекст размером до 128 000 токенов. Дополнительные сведения о размере модели, языках программирования и поддерживаемых модальностях не приведены; по имеющимся данным, модель относится к текстовым, а не мультимодальным решениям. К преимуществам относятся большой контекст и возможность локального запуска в формате GGUF через экосистему GaiaNet. К ограничениям относятся отсутствие в README подробных характеристик качества, перечня языков, требований к ресурсам и результатов бенчмарков. Модель распространяется по лицензии deepseek-license; тип лицензии обозначен как other, поэтому перед использованием следует ознакомиться с условиями файла LICENSE.

unsloth/DeepSeek-R1-0528-GGUF — это GGUF-квантизированное представление модели DeepSeek-R1-0528, разработанной DeepSeek и опубликованной в формате GGUF командой Unsloth. Модель предназначена для локального запуска и инференса через совместимые инструменты, включая llama.cpp, а также для задач, требующих углублённого рассуждения. DeepSeek-R1-0528 ориентирована на решение математических задач, программирование, общую логику и сложные аналитические запросы. По сравнению с предыдущей версией заявлены улучшения глубины рассуждений и инференса, снижение частоты галлюцинаций, расширенная поддержка function calling и более качественная работа в сценариях vibe coding. Для модели указан язык English; модальность — текстовая. Размер и архитектура базовой модели в предоставленных данных не указаны. Модель использует чат-шаблон, совместимый с оригинальной DeepSeek-R1; для генерации рекомендуется temperature 0.5–0.7 и Top_P 0.95. Основное преимущество — усиленные способности к сложному рассуждению, программированию и математике; в README также сообщается о результатах, приближающихся к ведущим моделям в ряде бенчмарков. Ограничения включают необходимость корректной настройки шаблона чата и параметров генерации, а также зависимость характеристик от выбранного уровня GGUF-квантизации и аппаратного обеспечения. Лицензия — MIT.

Deepthink-Reasoning-14B — текстовая языковая модель, разработанная PrithivMLmods и дообученная на Qwen/Qwen2.5-14B-Instruct. Это плотная авторегрессионная архитектура Qwen2 с 14 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; модель загружается через Transformers, веса представлены в формате safetensors. Модель предназначена для пошагового решения математических и логических задач, написания и отладки кода, объяснений, творческих текстов, чат-ботов и формирования структурированных ответов, включая JSON. В карточке заявлена поддержка более 29 языков и длинных текстов; метаданные указывают контекст до 32 768 токенов, поэтому заявленные в README 128K токенов не подтверждаются данными конфигурации. Модель дообучена на Math-Solve, NuminaMath-CoT и наборах QwQ-LongCoT. Модель может ошибаться или выдумывать сведения, особенно при неоднозначных запросах; качество зависит от формулировки запроса, а на длинном контексте может снижаться. Большой размер требует значительных вычислительных ресурсов. Лицензия — Apache-2.0.

EnlistedGhost/Devstral-Small-2507-Vision-GGUF — квантизированная версия модели Devstral Small 1.1, преобразованная в формат GGUF пользователем EnlistedGhost с помощью llama.cpp. Модель создана на основе Devstral-Small-2507-Vision; исходная Devstral разработана в сотрудничестве Mistral AI и All Hands AI и предназначена для агентных задач программной инженерии. Модель ориентирована на работу с кодом, исследование кодовых баз, редактирование нескольких файлов, DevOps-сценарии и программных агентов. Формат совместим с Ollama и llama.cpp, что упрощает локальный запуск. Доступны квантизации Q5_K, Q6_K и Q8_0, а также файлы vision projector в вариантах Q8_0, F16 и F32. Указаны поддержка изображений и текста, контекст до 128 тыс. токенов, 24 млрд параметров и языки английский, русский, украинский, немецкий, испанский, польский, шведский, арабский, турецкий, белорусский и бенгальский. Сильные стороны модели — специализация на программной инженерии, большой контекст, поддержка инструментов через формат function calling Mistral и возможность локального развертывания. Исходная Devstral Small 1.1 показывает результат 53,6% на SWE-Bench Verified, однако README не уточняет, сохраняется ли этот показатель у данной GGUF-версии и каковы характеристики её vision-возможностей. К ограничениям относятся требования к памяти, зависящие от выбранной квантизации, а также неполная информация о размерах файлов и готовых командах запуска. Лицензия Apache 2.0 допускает коммерческое и некоммерческое использование и модификацию.

Devstral-Small-2-NVFP4-GGUF — квантизированная GGUF-сборка мультимодальной модели для программирования, разработанная Mistral AI и представленная в репозитории FreedomAISVR. В её основе — mistralai/Devstral-Small-2-24B-Instruct-2512: плотный трансформер Mistral3ForConditionalGeneration с 24 млрд параметров и контекстом до 393 216 токенов. Для работы с изображениями используется проектор mmproj на основе 24-слойного SigLIP ViT. Модель предназначена для генерации и анализа кода, диалогов с изображениями, вызова инструментов и агентных сценариев. Квантизация NVFP4 занимает около 12,52 ГБ для текстовых весов; файл проектора F16 занимает около 0,82 ГБ. Формат рассчитан на ускорение инференса на GPU NVIDIA Blackwell. Поддерживается многоязычное общение, однако конкретный перечень языков в карточке не приведён. Модель доступна по лицензии Apache 2.0. Квантизация может снизить качество относительно исходных весов; работа с изображениями требует отдельного файла проектора, а заявленное аппаратное ускорение NVFP4 ориентировано на Blackwell.

FuseChat-Llama-3.1-8B-Instruct — разговорная языковая модель FuseAI, созданная методом неявного объединения знаний нескольких крупных языковых моделей. В основе лежит плотная архитектура Llama с 7,5 млрд параметров; модель обучена на основе Llama-3.1-8B-Instruct с этапами дообучения с учителем и оптимизации предпочтений (DPO). Для репозитория указаны библиотека Transformers и формат Safetensors, а заявленный контекст составляет 131 072 токена. Модель предназначена для диалога и следования инструкциям, а также для общих задач, математики, программирования и работы с китайским языком. В описании FuseChat-3.0 сообщается об улучшениях на тестах разговорных навыков и следования инструкциям по сравнению с целевой базовой моделью. Модель принимает текст и генерирует текст. Модель распространяется по лицензии Apache-2.0. Результаты, указанные в карточке для серии FuseChat-3.0, не гарантируют аналогичного качества на всех задачах и языках; подробные сведения о качестве именно этого чекпойнта в предоставленном фрагменте карточки отсутствуют.

RadicalNotionAI/GLM-4.7-heretic — текстовая разговорная модель на архитектуре GLM-4 MoE с 23,4 млрд параметров. Это производная GLM-4.7 от zai-org, созданная методом abliteration: в карточке приведены параметры этой обработки и сравнение отказов с исходной моделью. Модель предназначена для диалога, программирования, рассуждений, работы с инструментами и агентных сценариев; метаданные указывают интерфейс вызова инструментов. Поддерживаются английский и китайский языки, контекст составляет 202 752 токена. Модель распространяется в формате Safetensors по лицензии MIT. В README для этой версии сообщается о 0 отказах из 100 проверок против 99 из 100 у исходной GLM-4.7. Это указывает на существенно ослабленное поведение отказа, но не подтверждает общую точность или безопасность ответов. Доступны инструкции по локальному запуску через Transformers, vLLM и SGLang; для агентных задач README рекомендует режим Preserved Thinking.

IQuest-Coder-V1-40B-Instruct — инструктивная модель для программирования из семейства IQuest-Coder-V1, разработанного IQuestLab. Она предназначена для помощи в разработке программного обеспечения: генерации и изменения кода, ответов на вопросы о коде и работы с инструментами в диалоговом режиме. Модель содержит 39,4 млрд параметров и использует плотную архитектуру IQuestCoderForCausalLM с Grouped Query Attention. Она поддерживает контекст до 131 072 токенов и представлена в формате safetensors для Transformers. Семейство обучалось по многоэтапной парадигме code-flow на данных об изменениях репозиториев и преобразованиях кода. В README приведены результаты семейства на SWE-Bench Verified, BigCodeBench и LiveCodeBench; эти показатели не следует считать отдельной оценкой именно данного чекпойнта. Модель ориентирована на код, а метаданные карточки указывают английский язык. Она генерирует код, но не исполняет его; результат может быть ошибочным, особенно для узкоспециализированных или проприетарных технологий, поэтому его следует проверять. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

Карточка модели IQuestLab/IQuest-Coder-V1-40B-Thinking на Hugging Face совпадает с карточкой IQuestLab/IQuest-Coder-V1-7B-Instruct, поэтому описание составлено по ней. IQuest-Coder-V1-7B-Instruct — модель генерации кода из семейства IQuest-Coder-V1, разработанного IQuestLab для помощи в программировании и анализа кода. Версия Instruct предназначена для выполнения инструкций и повседневных задач кодирования; модель также рассчитана на работу с инструментами и CLI-агентами. Модель имеет плотную авторегрессионную архитектуру IQuestCoderForCausalLM и содержит 7,2 млрд параметров. Вариант 7B использует 14 слоёв и Grouped Query Attention; заявленная длина контекста — 128 тыс. токенов. Модель принимает текст и генерирует текст, включая код; карточка описывает поддержку интерфейса вызова инструментов, а также предварительную генерацию HTML и SVG. В README сообщается о специализированном обучении на эволюции репозиториев и о результатах на бенчмарках кодирования, но также отмечаются ограничения следования инструкциям, управления длинным контекстом и многошаговыми вызовами инструментов. Сгенерированный код модель не исполняет, а точность может снижаться на специализированных и проприетарных фреймворках. Лицензия указана как other, поэтому конкретные условия использования следует проверять в репозитории модели.

Ttimms/KAT-Coder-V2.5-Dev-REAP-50-NVFP4A16 — локальная квантованная версия Kwaipilot/KAT-Coder-V2.5-Dev, подготовленная разработчиком Ttimms. Модель предназначена для агентного программирования, генерации и исправления кода, а также решения задач из SWE-bench в условиях ограниченной видеопамяти. Она рассчитана на запуск в 16 ГБ потребительской VRAM, в частности на RTX 5070 Ti, через vLLM. В основе лежит MoE-архитектура с 256 экспертами; после REAP-прунинга оставлено 128 экспертов, то есть удалено 50% экспертных блоков. Модель использует квантование NVFP4A16 с 4-битными весами, весовое квантование без калибровочных данных и занимает около 12,45 GiB. Из состава удалена башня компьютерного зрения с необученными весами, поэтому README не подтверждает поддержку мультимодальных сценариев. Указан контекст до 49 тысяч токенов в использованной конфигурации; языки явно не перечислены, но модель ориентирована прежде всего на задачи программирования. Заявленные результаты включают 89,0% на HumanEval+, 90,5% на MBPP+ и 52,0% на SWE-bench Verified — 26 из 50 задач при использовании mini-swe-agent, bash-only scaffold и потолка контекста 49 тысяч токенов. SWE-bench показатель существенно зависит от лимита контекста и числа ходов агента: 17 задач завершились из-за превышения контекстного лимита, поэтому результат нельзя считать безусловной оценкой возможностей. К сильным сторонам относятся высокая компактность, возможность локального запуска, производительность около 149,5 токена в секунду в указанной конфигурации и исправление маршрутизации экспертов для этой архитектуры. Ограничения включают потерю части экспертов из-за прунинга, отсутствие подтверждённой работы со зрением, зависимость производительности от совместимого оборудования и серверного ПО, а также контекстные ограничения в агентных задачах. Модель распространяется по лицензии Apache-2.0.

MLX-форматная квантизированная версия модели Kimi-K2.7-Code, разработанной Moonshot AI и преобразованной сообществом mlx-community с использованием mlx-lm 0.31.3. Модель предназначена для генерации текста и прежде всего для задач, связанных с написанием и обработкой кода. Она рассчитана на запуск на одном Apple Mac Studio с чипом M3 Ultra и 512 ГБ памяти; заявлено, что размер модели позволяет сохранить ресурсы для полезного контекстного окна. Модель текстовая и не поддерживает обработку изображений или других модальностей. Квантизация DQ3_K_M использует смешанный подход: тензоры экспертных блоков квантизуются с разрядностью 3–4 бита, а остальные тензоры сохраняются в 8-битном представлении. Такой подход призван обеспечить качество, близкое к 4-битной квантизации, при меньшем размере, хотя скорость генерации может быть немного ниже из-за 8-битной маршрутизации. Точный размер модели, архитектура, число параметров, поддерживаемые языки и размер контекстного окна в README не указаны. Для запуска требуется библиотека mlx-lm и параметр --trust-remote-code, поскольку он необходим исходной моделью. Лицензия указана как modified-MIT с типом other; дополнительные условия в README не раскрыты.

Laguna-S-2.1 — текстовая модель семейства Laguna от Poolside, опубликованная на Hugging Face аккаунтом Unsloth как дообучение poolside/Laguna-S-2.1. Это MoE-модель: карточка указывает 118 млрд параметров всего и около 8 млрд активируемых на токен; архитектура включает 48 слоёв, 256 маршрутизируемых экспертов и один общий эксперт. Модель предназначена для агентного программирования и длительных задач разработки, включая взаимодействие с инструментами. Она принимает и выдаёт текст, поддерживает режим рассуждения и контекст до 1 048 576 токенов. В README приведены результаты на тестах программирования и агентных задач, а также заявлена поддержка Transformers, vLLM, SGLang, TRT-LLM и llama.cpp. Для запуска полного чекпойнта BF16 потребуется несколько GPU; в карточке также описаны квантованные варианты семейства. Метаданные этого репозитория указывают формат safetensors и лицензию OpenMDW-1.1, которая, согласно README, разрешает коммерческое и некоммерческое использование и модификацию при соблюдении лицензии и политики допустимого использования Poolside.

Это текстовая языковая модель для генерации кода и помощи в программировании на Python. Она основана на Meta-Llama-3.1-8B-Instruct_CODE_Python_English_Asistant-16bit-v2 от Agnuxo, а GGUF-квантизации подготовлены mradermacher. Модель ориентирована на локальный запуск, генерацию и объяснение Python-кода, а также на сценарии научных исследований и разработки. В карточке указаны английский и испанский языки, а для обучения использовались датасеты jtatman/python-code-dataset-500k и Vezora/Tested-143k-Python-Alpaca. Модель имеет около 8 млрд параметров и распространяется в формате GGUF с различными вариантами квантизации i1-IQ и i1-Q размером примерно от 2,1 до 4,8 ГБ. Более компактные варианты требуют меньше памяти, но могут заметно уступать в качестве; некоторые конфигурации оптимизированы для ARM-процессоров. Размер контекста и точный набор поддерживаемых модальностей в карточке не указаны, поэтому модель следует рассматривать как текстовую. Лицензия — Apache-2.0.

openbmb/MiniCPM5-1B-MLX — компактная языковая модель из серии MiniCPM5, разработанная OpenBMB. Это causal language model на архитектуре LlamaForCausalLM, адаптированная в формате MLX с 4-битным представлением для локального запуска на устройствах Apple Silicon и в условиях ограниченных ресурсов. Модель предназначена для локальных ассистентов, coding agents, генерации кода, сценариев tool use, агентских рабочих процессов и задач, требующих рассуждений. Она поддерживает английский и китайский языки, контекст до 131 072 токенов и два режима работы в одном чекпойнте: быстрый режим без рассуждений и режим с пошаговым рассуждением через параметр enable_thinking. Заявлены сильные результаты среди открытых моделей класса около 1B параметров, особенно в использовании инструментов, генерации кода и сложных рассуждениях. Модель содержит 1 080 632 832 параметра, 24 слоя, 16 attention heads для Q и 2 KV-heads в конфигурации GQA. К преимуществам относятся небольшой размер, поддержка длинного контекста и пригодность для on-device и edge-сценариев. Ограничениями являются компактный масштаб модели по сравнению с крупными LLM и ориентация MLX-версии прежде всего на устройства Apple Silicon. Модель распространяется по лицензии Apache-2.0.

Mungert/Nex-N2-mini-GGUF — квантованный вариант модели Nex-N2-mini, разработанной командой Nex-AGI. Модель предназначена для агентских сценариев и постобучена на базе Qwen3.5-35B-A3B-Base. Она ориентирована на выполнение практических задач, требующих понимания требований, планирования, написания кода, работы с инструментами, терминалом, поиском и обратной связью от среды. Ключевая концепция модели — Agentic Thinking, объединяющая рассуждение, использование инструментов и итеративное выполнение задач в единый цикл. Подход включает Adaptive Thinking, позволяющий выбирать глубину рассуждений в зависимости от сложности задачи, и Coherent Thinking, обеспечивающий единый механизм рассуждений в общих и агентских сценариях. Заявлены возможности для агентского программирования, глубокого исследования, tool calling, терминального выполнения, разработки игр, веб- и мультимодальной генерации. Архитектура, точное количество активируемых параметров, размер контекста, поддерживаемые языки и фактические характеристики GGUF-квантизации в README не указаны. По приведённым оценкам Nex-N2-mini показывает результаты в задачах поиска, вызова инструментов, программной инженерии и общего рассуждения; среди указанных показателей — 74,4 на SWE-Bench Verified, 60,7 на Terminal-Bench 2.1 и 82,6 на GPQA Diamond. Сильными сторонами являются агентские рабочие процессы, кодирование и выполнение длинных задач, однако показатели ниже, чем у более крупной версии Nex-N2-Pro, а результаты зависят от сценария и внешней среды. Модель распространяется по лицензии Apache-2.0.

North Mini Code — открытая модель весов для генерации кода, агентной разработки программного обеспечения и выполнения задач в терминале, разработанная Cohere и Cohere Labs. Репозиторий unsloth/North-Mini-Code-1.0 содержит производную версию базовой модели CohereLabs/North-Mini-Code-1.0; метаданные указывают 1,2 млрд параметров, тогда как README базовой модели описывает конфигурацию на 30 млрд параметров, из которых активны 3 млрд. Это расхождение в размере может отражать различия между репозиториями, поэтому размер самой версии Unsloth следует трактовать по метаданным. Модель построена на декодерном Transformer с разреженной архитектурой Mixture-of-Experts и предназначена для текстового ввода и генерации текста. Она поддерживает контекст до 500 тыс. токенов согласно метаданным; README базовой модели приводит 256 тыс. токенов контекста и до 64 тыс. токенов вывода. Модель обучалась для агентного программирования и поддерживает интерфейс вызова инструментов, включая сценарии работы с терминалом. Карточка базовой модели сообщает о двухэтапном дообучении SFT и RLVR. Модель подходит для генерации кода, решения задач разработки с использованием инструментов и выполнения терминальных заданий. Она распространяется по лицензии Apache 2.0. Для запуска README рекомендует актуальные исходные версии Transformers или vLLM; точные результаты могут зависеть от среды и настроек генерации.

SC117 публикует GGUF-сборку Ornith-1.5-35B-A3B-MTP-APEX — MoE-модели команды Ornith для агентного программирования и генерации текста. Базовая модель содержит 35 млрд параметров, из которых активируется около 3 млрд на токен; в этой сборке доступны квантизованные профили APEX и вариант BF16. APEX распределяет точность по типам и важности тензоров, а MTP-слой встроен в модель. Модель предназначена для решения задач программирования с участием агента, включая работу в терминале и с инструментами, а также для генерации текста. Репозиторий включает проектор mmproj-BF16.gguf для обработки изображений вместе с текстом через llama.cpp; заявлена возможность контекста до 131072 токенов. README приводит результаты на бенчмарках SWE-bench, Terminal-Bench и других задачах программирования и агентного взаимодействия. Сборка распространяется по лицензии MIT. Она основана на ornith-ai/Ornith-1.5-35B-A3B; метаданные каталога отмечают связь finetune, а файлы репозитория включают GGUF и GGUF BF16. README описывает дополнительные квантизованные профили APEX. Поддержка языков программирования и естественных языков отдельно не перечислена, поэтому конкретные языки здесь не указаны.

qwen14b-code-trainer-v9_mixed — LoRA-адаптер для Qwen/Qwen2.5-Coder-14B-Instruct, обученный в рамках Code-Trainer / RTPI pipeline на наборе code-trainer-v9-mixed. Модель предназначена для генерации кода по инструкциям, вызова инструментов и многошагового агентского поведения в многоходовых диалогах. Версия V9 ориентирована на корректное формирование обёрток <tool_call> и </tool_call>, необходимых для разбора структурированных вызовов инструментов в Ollama. Адаптер использует PEFT LoRA с параметрами r=32, alpha=64 и dropout=0,05. Обучение проходило в два этапа: сначала на смешанном наборе данных, затем на подмножестве примеров с вызовами инструментов. В обучающем наборе 40 401 пример, около 64,3% из них содержат определения инструментов; также использовались примеры генерации кода, отладки, многошагового взаимодействия и англоязычных инструкций. Обучение выполнялось с длиной последовательности 4096 токенов в bfloat16 на одной A100 80 GB. Для работы адаптер необходимо подключать к базовой модели Qwen/Qwen2.5-Coder-14B-Instruct, после чего его можно объединить с базовой моделью и квантовать в GGUF для llama.cpp, Ollama или LM Studio. Рекомендуется квантование Q5_K_M, поскольку оно лучше сохраняет шаблоны тегов вызова инструментов; Q4_K_M указано как запасной вариант. Рекомендуемая длина контекста — 8192 токена, хотя базовая модель поддерживает до 32K. Ограничения включают отсутствие специального обучения для safety alignment, RLHF и задач, не связанных с кодом. Лицензия — Apache-2.0. В README указано, что адаптер заменён для развёртывания версией V10 с GRPO, но остаётся её SFT-основой.

bartowski/Qwen2.5-Coder-32B-GGUF — это набор квантизованных версий модели Qwen2.5-Coder-32B, разработанной командой Qwen. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена прежде всего для генерации и обработки программного кода, включая локальный запуск через llama.cpp и LM Studio. Модель содержит около 32 млрд параметров и распространяется в формате GGUF с различными уровнями квантизации от Q8_0 до более компактных вариантов Q2_K_L. Доступны версии размером примерно от 13 до 35 ГБ; варианты Q5 и Q6 обеспечивают очень высокое качество, а Q4_K_M предлагается как сбалансированный вариант для большинства сценариев. README указывает английский язык, текстовую модальность и формат prompt-шаблона для диалоговой генерации, но размер контекста и полный набор поддерживаемых языков не указаны. Сильной стороной является широкий выбор квантизаций, позволяющий подобрать компромисс между качеством, размером файла и требованиями к памяти. Некоторые варианты оптимизированы для ARM-инференса, однако требуют соответствующих аппаратных инструкций; отдельные ARM-варианты не рекомендуются для Mac и Windows. Низкобитные версии экономят память, но обладают более низким качеством, а Q4_0 отмечен как устаревший формат. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-Llama — модель от oktayd, распространяемая в формате GGUF для запуска через llama.cpp. Это локальный мультимодальный conversational-модельный вариант с поддержкой работы с текстом и изображениями, включая скриншоты, документы, диаграммы и сцены. Модель ориентирована на ответы на вопросы, объяснение научных и рабочих тем, программирование и отладку, работу с инструментами и агентскими сценариями, анализ визуальных данных, написание текстов, ролевое общение и настройку стиля диалога. Модель относится к семейству Qwen3.6-35B-A3B и использует архитектуру Mixture of Experts с примерно 35 млрд параметров всего и около 3 млрд активных параметров на токен; конфигурация выбирает 8 из 256 маршрутизируемых экспертов. Заявленный нативный контекст составляет 262 144 токена, однако для рекомендуемого запуска указан профиль на 131 072 токена. Доступны квантованные GGUF-варианты разных размеров, а исходная BF16-версия сохраняет vision- и MTP-тензоры. Поддержка языков подробно не указана, но в обучающих материалах присутствуют многоязычные подписи. Сильные стороны модели — сочетание текстовых, программных, инструментальных и визуальных сценариев, относительно экономичная по вычислениям MoE-архитектура и возможность локального запуска. При этом общий объём параметров требует значительных ресурсов хранения и памяти даже при активации только части экспертов. Модель может ошибаться или повторяться, её ответы требуют проверки, а заявленные возможности не являются гарантией высокой точности. В README также указана аблитерированная, uncensored-направленность и наличие материалов для взрослой тематики, поэтому модель подходит не для всех аудиторий. Лицензия — Apache-2.0.

RadixArk Qwen3.8-2.4T-A95B-NVFP4 — квантизированная версия причинно-следственной языковой модели Qwen3.8-2.4T-A95B, созданной Qwen. Квантизацию выполнила RadixArk с использованием NVIDIA Model Optimizer и схемы experts-only NVFP4; RadixArk не обучала и не дообучала модель. Архитектура — Transformer Mixture-of-Experts с 2,4 трлн общих параметров и 95 млрд активируемых параметров. Модель предназначена для генерации текста, AI-агентов, чат-ботов, RAG-систем и других текстовых приложений. Она принимает и возвращает текст, поддерживает контекст до 262 144 токенов и работает только в режиме рассуждений; мультимодальные входы и отключение thinking mode не поддерживаются. Квантизации подвергнуты линейные операторы в MLP-блоках маршрутизируемых экспертов, остальные компоненты сохраняют точность исходного чекпойнта. Для запуска рекомендуется SGLang на Linux и совместимое оборудование NVIDIA Blackwell, в частности конфигурация 8×B300; заявленная интеграция с другими платформами не указана. По приведённым оценкам на конфигурации 8×B300 модель получила 97,73% на GSM8K, 98,75% pass@1 и 100% pass@16 на AIME 2026, 70,6% pass@1 на SWE-bench Verified и 87,64% pass@1 на Terminal-Bench 2.1. Ограничения и характеристики обучения унаследованы от исходной модели; README предупреждает о возможном воспроизведении токсичных высказываний и общественных предубеждений из обучающих данных. Модель распространяется по лицензии Qwen3.8-Max, обозначенной как other.

Qwen3.8-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS — мультимодальная производная модель на базе Qwen/Qwen3.8-27B, разработанная автором репозитория shuijiaodawang. Она предназначена для диалогов, генерации и анализа текста, программирования, работы с JSON, объяснений, математических задач, отладки, а также обработки изображений и текстово-визуальных запросов. Модель использует гибридную текстово-визуальную архитектуру Qwen3.8 с 27 млрд параметров и поддерживает мультиязычную работу. Доступен BF16-чекпойнт Transformers с текстовыми и визуальными весами, а также GGUF-варианты Q4_K_M, Q5_K_M и Q8_0 для локальной текстовой генерации. Заявлен контекст 32 768 токенов для примера Ollama; режим рассуждений Qwen3.8 сохраняется. Для BF16-версии рекомендуется около 56 ГБ памяти, не считая накладных расходов и KV-кэша. Главная особенность — существенное снижение отказов: во внутренних тестах заявлены 0 отказов на 842 промптах и на отдельной выборке из 126 промптов, при этом проверка связности дала 23 успешных результата из 24. Эти оценки являются внутренними, не являются независимыми бенчмарками и не подтверждают сохранение исходных показателей точности, рассуждений, программирования или компьютерного зрения. Поведение может изменяться при квантовании и использовании разных бэкендов; GGUF-файлы не поддерживают изображения без совместимого vision projector. MTP-голова отсутствует, поэтому спекулятивное декодирование на её основе недоступно. Модель распространяется по лицензии Apache License 2.0.