II.4Отладка, тестирование и качество ПО

Qwen3.8-Flash-Next-Heretic2-IQ4XS-NGQ4-GGUF — мультимодальная версия Qwen3.8-Flash-Next от Alibaba, обработанная методом abliteration с Heretic v1.3.0+custom и квантованная в GGUF для запуска через специализированную сборку llama.cpp. Репозиторий содержит основную модель размером 92 ГБ в формате IQ4_XS с таблицей n-грамм, сжатой методом NGQ4, и отдельный проектор изображений BF16 размером 866 МБ. Модель принимает текст и изображения, поддерживает диалог и анализ изображений; в README также приведены результаты генерации кода на HumanEval+. Для запуска требуется форк llama.cpp с поддержкой архитектуры qwen4exp; стандартная сборка llama.cpp её не загружает. Модель создана на основе Qwen/Qwen3.8-Flash-Next и рассчитана на локальный инференс, в том числе на оборудовании AMD Strix Halo с 128 ГБ объединённой памяти. README сообщает, что на HumanEval+ вариант набрал 84,1% на базовом наборе и 79,3% на Plus при указанном режиме тестирования. Это результат конкретного бенчмарка, а не гарантия качества на других задачах. Abliteration существенно снизила число отказов на проверенных авторами 100 запросах; такое изменение может повлиять на поведение модели при обработке запросов, требующих отказа. Лицензия указана в метаданных как other; конкретные условия использования в доступных сведениях не приведены. Квантизация уменьшает размер модели, но её точность может отличаться от исходной версии. README сообщает об отсутствии измеримого снижения точности на контексте до 32K для этапа сжатия NGQ4; это утверждение ограничено описанными автором проверками.

QuantFactory/stable-code-instruct-3b-GGUF — квантизированная версия модели Stable Code Instruct 3B, созданная QuantFactory с использованием llama.cpp на основе stabilityai/stable-code-instruct-3b от Stability AI. Это авторегрессионная языковая модель с архитектурой Transformer decoder примерно на 2,7 млрд параметров, дообученная из stable-code-3b на общедоступных и синтетических данных с применением Direct Preference Optimization (DPO). Модель ориентирована на английский язык. Модель предназначена для генерации и обсуждения программного кода, общих задач разработки программного обеспечения и генерации SQL. Она поддерживает сценарии диалоговой работы с инструкциями и может использоваться локально в формате GGUF через инструменты экосистемы llama.cpp. В заявленных тестах MultiPL-E оценка pass@1 составила 32,4% для Python, 30,9% для C++, 32,1% для Java и JavaScript, 24,2% для PHP и 23% для Rust; показатели не были подтверждены в метаданных. Заявленная длина контекста и полный перечень поддерживаемых языков программирования не указаны. К сильным сторонам относятся специализация на коде и SQL, инструкционное дообучение, компактный размер и возможность запуска квантизированной версии на локальном оборудовании. Ограничениями являются относительно небольшой размер, английская языковая специализация, отсутствие сведений о длине контекста и неполное покрытие языков программирования; качество результата требует проверки, особенно для критически важного кода. Лицензия указана как Stability AI Community License; для коммерческого использования необходимо ознакомиться с условиями Stability AI и обратиться к коммерческой лицензии Stability AI.

StarCoder2-15B-GGUF — квантизированная версия модели StarCoder2 15B, разработанной командой BigCode и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации и обработки программного кода, включая сценарии локального запуска и использования с совместимыми инструментами на базе llama.cpp. В README указан тег text-generation, однако конкретный перечень поддерживаемых языков программирования и естественных языков не приведён. Модель содержит 15 млрд параметров и поддерживает контекст размером 6144 токена. Доступны варианты квантизации от 2 до 8 бит размером примерно от 6,19 до 17 ГБ. Вариант Q4_K_M обозначен как рекомендуемый для сбалансированного сочетания размера и качества, а Q5_K_M и Q5_K_S — как варианты с низкой потерей качества. Более агрессивная квантизация уменьшает требования к памяти, но может существенно ухудшать качество; точные архитектурные характеристики и модальности в README не указаны. Модель ориентирована на задачи, связанные с кодом, но README не содержит подробных результатов тестирования или описания ограничений качества. Лицензия указана как bigcode-openrail-m. Оригинальная модель размещена под идентификатором bigcode/starcoder2-15b.

Wolf Defender Prompt-Injection Detector Small — компактный классификатор последовательностей на базе ModernBERT, разработанный Patronus AI. Он дообучен на контрольной точке jhu-clsp/mmBERT-small с новой бинарной классификационной головой и определяет, содержит ли текст prompt injection или инструкцию в стиле jailbreak. Модель предназначена для предварительной проверки недоверенного текста в AI-агентах и системах с инструментами, чат-ботах, RAG-конвейерах, документах, письмах, веб-страницах и автоматизированных рабочих процессах. Модель принимает только текст и выдаёт метку BENIGN или INJECTION. Карточка описывает контекстное окно 2 048 токенов; метаданные указывают 8 192 токена. Репозиторий включает веса Transformers и варианты ONNX в форматах FP32, FP16 и квантованных конфигурациях. Английский и немецкий — основные языки оценки; обучающие данные также включали другие языки, но они проверены слабее. В опубликованных сравнениях v2 показывает высокие F1 и специфичность на нескольких наборах, однако результаты зависят от порога и протокола оценки. Классификатор может помогать блокировать, помещать в карантин или направлять текст на проверку, но его не следует использовать как единственную границу безопасности для критичных действий. Возможны пропуски новых или замаскированных атак и ложные срабатывания на безобидный текст о безопасности; модель не учитывает происхождение текста, права вызывающего субъекта и границы доверия приложения, если эти сведения не включены во вход. Лицензия — Apache-2.0.

AReaL-boba-2-14B-Open — открытая разговорная языковая модель на 14 млрд параметров, разработанная лабораторией RL Lab компании Ant Research в рамках проекта AReaL. Это плотная модель семейства Qwen3 для генерации текста и диалога; карточка указывает контекст до 40 960 токенов, а интерфейс модели поддерживает вызов инструментов. Модель обучена с помощью асинхронного обучения с подкреплением на базе Qwen3 и предназначена прежде всего для рассуждений при генерации кода и решения задач программирования. В README приведены результаты на LiveCodeBench v5, Codeforces и CodeContests; для 14B-версии указаны 67,3, 1990 и 46,2 соответственно. Модель может использоваться для написания и анализа кода, а также в диалоговых агентных сценариях с инструментами. README также описывает экспериментальную поддержку многошагового обучения агентных моделей, но это относится к системе обучения AReaL, а не гарантирует характеристики каждого сценария применения чекпойнта. Модель распространяется по лицензии Apache-2.0. Доступны веса PyTorch. Показатели на бенчмарках не гарантируют качество на произвольных задачах; README не сообщает о поддерживаемых естественных языках.

CodeGemma 7B IT GGUF — квантизированная версия instruction-tuned модели CodeGemma 7B, разработанной Google и подготовленной в формате GGUF пользователем bartowski. Модель предназначена прежде всего для генерации и обработки программного кода, включая написание функций и ответы на запросы разработчиков. Она работает с текстовыми запросами через llama.cpp и использует специальный шаблон диалога с маркерами ролей; системные сообщения не поддерживаются. Доступны варианты квантизации от Q8_0 до IQ1_S размером примерно от 2,16 до 9,07 ГБ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше памяти, тогда как малые варианты подходят для ограниченных ресурсов за счёт заметного снижения качества. README не содержит сведений о размере контекста, поддерживаемых языках, мультимодальности или точной архитектуре базовой модели, поэтому эти характеристики нельзя определить по представленным данным. Модель удобна для локального запуска и выбора компромисса между качеством, скоростью и потреблением памяти. Ограничениями являются отсутствие поддержки system prompt и неизбежная потеря качества при использовании низкобитных вариантов. Распространение регулируется лицензией Google Gemma; ссылка на условия использования указана как https://ai.google.dev/gemma/terms.

Codestral-22B-v0.1-4bit — это 4-битная версия модели Codestral-22B-v0.1, преобразованная сообществом mlx-community в формат MLX из bullerwins/Codestral-22B-v0.1-hf с использованием mlx-lm 0.14.0. README не указывает исходного разработчика модели; по названию и тегам она ориентирована на работу с программным кодом. Модель предназначена для задач генерации и обработки кода в приложениях, использующих экосистему MLX, включая локальный запуск через библиотеку mlx-lm. Известные характеристики — размер 22 млрд параметров, 4-битное квантование и формат MLX. В README указано только назначение для кода; сведения об архитектуре, поддерживаемых естественных языках, контекстном окне и мультимодальности отсутствуют. К сильным сторонам относятся адаптация для MLX и уменьшенная разрядность, что может снизить требования к памяти при локальном запуске. Ограничения, включая возможные потери качества из-за 4-битного квантования, производительность и совместимость с конкретным оборудованием, в README не описаны. Модель распространяется по лицензии MNPL-0.1; подробные условия доступны по ссылке, указанной в карточке.

DeepSeek-Coder-V2-Lite-Instruct — языковая модель для работы с программным кодом, разработанная командой DeepSeek. Представленная версия mlx-community/DeepSeek-Coder-V2-Lite-Instruct-4bit-mlx была преобразована из исходной модели deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct в формат MLX с использованием mlx-lm 0.16.0. Модель предназначена для генерации кода и интерактивного решения задач программирования в формате инструкций. Она может использоваться через библиотеку mlx-lm, например для получения ответа на текстовый запрос. Версия имеет 4-битное представление и ориентирована на запуск в экосистеме MLX, однако сведения о точном размере, архитектуре, поддерживаемых языках программирования, модальностях и длине контекста в README не указаны. К сильным сторонам относятся адаптация к MLX и 4-битное представление, потенциально снижающее требования к памяти при локальном запуске. Ограничения связаны с отсутствием в предоставленных данных подробных характеристик качества, производительности и совместимости, а также с ориентацией на среду MLX. Модель распространяется по лицензии deepseek-license; в карточке она обозначена как other.

Карточка модели SAIFIINDUSTRIES/DeepSeek-R1-Distill-Qwen-1.5B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

Карточка модели Vipvamps/DeepSeek-R1-Distill-Qwen-1.5B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

Deepthink-Reasoning-7B-GGUF — это набор GGUF-квантизаций 7-миллиардной текстовой генеративной модели Deepthink-Reasoning-7B, разработанной prithivMLmods и квантизированной bartowski с использованием llama.cpp и метода imatrix. Модель ориентирована на задачи рассуждений, решения алгоритмических задач и генерации кода, включая Python. Заявлен английский язык; поддерживается только текстовый ввод и вывод. Формат prompt использует шаблон ChatML с ролями system, user и assistant. Доступны варианты от F16 до низкобитных Q2 и IQ3, размером примерно от 3,35 до 15,24 ГБ. Более высокие уровни квантования сохраняют качество, но требуют больше памяти; Q6_K_L, Q6_K, Q5 и Q4_K_M указаны как рекомендуемые варианты для разных компромиссов между качеством и размером. Низкобитные варианты экономичнее по памяти, но могут заметно уступать в качестве. Контекстное окно и точные архитектурные характеристики в README не указаны. Модель предназначена для локального запуска через llama.cpp и LM Studio. Лицензия — CreativeML OpenRAIL-M.

Fabliq-8B-Agent-Reasoning — англоязычная модель-ассистент семейства Fabliq от LLM-OS-Models, дообученная на базе Fabliq-8B-Agent. Это причинная языковая модель архитектуры Lfm2MoeForCausalLM с MoE: около 8 млрд параметров всего и примерно 1 млрд активных на токен. Модель рассчитана на генерацию ответов, многошаговые рассуждения и агентные сценарии с вызовом инструментов, включая терминальные задачи. Модель расширяет возможности базовой агентной версии экспертными ответами на общие вопросы, задачами по математике, научному анализу, программированию, планированию и кибербезопасности. В README описаны двухэтапное обучение и использование дистиллированных данных; обучение включало 281 пример на втором этапе. Репозиторий указывает нативный контекст 128 000 токенов, однако обучение проводилось на последовательностях до 8 192 токенов, поэтому качество на длинном контексте не подтверждено. Модель ориентирована преимущественно на английский язык; поддержка других языков ограничена. Авторы отмечают риск переобучения на шаблонных данных и отсутствие выравнивания безопасности, поэтому для практического развёртывания нужны собственные защитные меры. Лицензия — Apache-2.0.

Fluxnat Coder 3B — специализированная языковая модель Fluxnat для анализа безопасности исходного кода. Это плотная авторегрессионная модель семейства Qwen2 с 3,1 млрд параметров, дообученная методом QLoRA на наборах данных об уязвимостях, материалах по киберугрозам и примерах аудита безопасности. Она принимает текст с кодом и инструкциями и генерирует текстовые результаты; заявленная длина контекста — 32 768 токенов. Модель предназначена для статического анализа кода и проверки безопасности: она выявляет потенциальные уязвимости, объясняет поток данных от источника через очистку к опасной операции, сопоставляет находки с CWE и OWASP, оценивает серьёзность по CVSS и предлагает исправления. В README отдельно описана поддержка анализа кода на Python, JavaScript/TypeScript и Go. Модель может применяться при проверке кода и сортировке находок в защитных аудитах и CI. В карточке заявлены низкая частота ложных отказов при защитном анализе и возможность запуска на потребительских GPU; эти характеристики не сопровождаются результатами независимой оценки. Компактный размер не гарантирует точности: выводы, классификацию уязвимостей, оценки CVSS и предложенные исправления следует проверять. Модель распространяется по лицензии Apache-2.0; README ограничивает её применение авторизованным защитным анализом.

Карточка модели FuseAI/FuseO1-DeepSeekR1-QwQ-SkyT1-Flash-32B-Preview на Hugging Face совпадает с карточкой FuseAI/FuseO1-DeepSeekR1-QwQ-SkyT1-32B-Preview, поэтому описание составлено по ней. FuseO1-DeepSeekR1-QwQ-SkyT1-32B-Preview — экспериментальная объединённая языковая модель команды FuseAI. Она создана с помощью слияния трёх моделей для рассуждений: DeepSeek-R1-Distill-Qwen-32B, Qwen/QwQ-32B-Preview и NovaSky-AI/Sky-T1-32B-Preview. Модель основана на плотной архитектуре Qwen2 с 32 млрд параметров и предназначена для генерации текста и диалогов с пошаговыми рассуждениями. Основные сценарии — решение математических задач, рассуждения о программном коде и научные вопросы. В README для версии указаны результаты AIME24: 74,0 Pass@1 и 86,7 Cons@32 при описанной авторами схеме оценки. Модель принимает текст и генерирует текст; метаданные указывают контекстное окно 131 072 токена и интерфейс для вызова инструментов. Языки в карточке явно не перечислены. Модель распространяется в формате safetensors по лицензии Apache-2.0. Это предварительная версия, а опубликованные сравнительные показатели относятся к конкретным настройкам и методике оценки; они не гарантируют аналогичных результатов в других задачах или конфигурациях.

Fwizzer-R1-3B-RU-v2 — русско- и англоязычная генеративная языковая модель команды Fwizzer, дообученная на базе Ministral-3B для пошагового рассуждения. Она предназначена для математических задач, алгоритмического и обычного программирования, а также сложных текстовых вопросов. По карточке, модель формирует цепочку рассуждений и затем выдаёт ответ; заявлены адаптация языка ответа к языку запроса и возможность локального запуска, в том числе с квантованными GGUF-весами. Модель использует плотную архитектуру семейства Mistral 3; в карточке указано около 3 млрд параметров. Доступны файлы safetensors и GGUF, а метаданные подтверждают поддержку чата и кода. Лицензия — Apache-2.0. Заявленные показатели и требования к ресурсам приведены автором карточки и здесь независимо не проверялись.

Gemma-4-31B-JANG_4M-Uncensored — модифицированная dealignai модель Gemma 4 Dense на 31 млрд параметров, созданная на основе google/gemma-4-31b-it. По README, авторы применили abliteration для снижения отказов и смешанную точность: веса внимания и эмбеддинги хранятся в 8 битах, а большинство весов MLP — в 4 битах; заявленный размер — около 18 ГБ. Архитектура включает 60 слоёв и гибридное скользящее и глобальное внимание. В README также сказано, что vision encoder сохранён в float16, однако карточка позиционирует модель как генеративную чат-модель. Модель предназначена для диалогов, написания кода и ответов на общие вопросы; авторы отдельно демонстрируют выполнение запросов по кибербезопасности и другим темам, на которые обычные модели могут отказывать. Для запуска указаны vMLX или совместимый MLX движок с поддержкой Gemma 4; README рекомендует Apple Silicon с 24 ГБ или более объединённой памяти. Внутренние тесты авторов показывают высокую долю выполнения запросов из HarmBench, но это результаты самого разработчика, и они не гарантируют качество или поведение на других запросах. Лицензия указана как gemma; подробные условия следует сверить с лицензией Gemma.

0xSero/GLM-4.7-185B — сжатая версия GLM-4.7, созданная 0xSero методом REAP (Router-weighted Expert Activation Pruning), разработанным Cerebras. Модель построена на разреженной архитектуре Mixture-of-Experts: из исходных 160 экспертов оставлено 80. В карточке указаны 23,4 млрд параметров, тогда как README описывает вариант как 185B; README также приводит исходный размер 358B и сокращение до 179B после обрезки, поэтому оценки размера расходятся. Модель предназначена прежде всего для генерации кода, вызова функций и инструментов, а также многошаговых агентных сценариев. Она принимает текст и генерирует текст, поддерживает диалог и код; максимальная длина контекста по метаданным — 202 752 токена. README заявляет совместимость с vLLM, Transformers и SGLang, а метаданные указывают библиотеку Transformers и формат Safetensors. Калибровка при обрезке экспертов ориентирована на код, структурированный вывод для вызова инструментов и агентные траектории; автор заявляет, что дообучение не проводилось. Модель распространяется по лицензии Apache-2.0. Показатели качества и сохранения возможностей в предоставленных материалах не приведены, поэтому пригодность для конкретной нагрузки следует оценивать отдельно.

grug-35b-v2 — разговорная модель для генерации текста и диалогов, разработанная ProCreations на базе Ornith-1.0-35B от DeepReinforce. Это дообученная модель семейства Qwen3.5 MoE; по карточке, обучение использовало LoRA для attention, DeltaNet и общие пути, затем веса были объединены в bf16 и продолжено дообучение на данных для длинных агентных сессий и сложных рассуждений. Метаданные указывают формат safetensors и поддержку чата. Модель формирует внутренние рассуждения в стиле grug между специальными разделителями, а итоговые ответы — на обычном английском. Она предназначена для генерации кода и решения математических задач с меньшим расходом токенов, а также для агентных сценариев с вызовом инструментов. В README приведены результаты HumanEval, MBPP, GSM8K и MATH-500, а также сравнительные замеры числа токенов; это результаты автора и они зависят от использованного тестового окружения. В описании отмечены снижение точности относительно базовой модели на HumanEval и MBPP, а также меньшая частота выбора вызова инструмента: при сделанном вызове автор сообщает о высокой корректности аргументов и выбора инструмента. Указана лицензия Apache-2.0. Для запуска автор приводит пример с vLLM и ограничением контекста в 32768 токенов; это параметр команды запуска, а не заявленная максимальная длина контекста модели.

K2-Horizon-0.9B-GGUF — компактная языковая модель семейства K2-Horizon, разработанная IFM. Репозиторий содержит версию модели в формате GGUF для запуска с помощью llama.cpp. Модель предназначена для генерации текста, решения математических и научных задач, программирования, следования инструкциям и сценариев с использованием инструментов. Это плотная decoder-only модель примерно с 0,9 млрд параметров и контекстным окном до 131 072 токенов. Для масштабирования RoPE применяется YaRN. Модель обучалась методом дистилляции знаний от нескольких специализированных учителей, ориентированных на математику и код, STEM-задачи и следование инструкциям. Поддерживаются английский и китайский языки. Тензоры хранятся в исходной точности BF16, а GGUF-файлы включают метаданные токенизатора и совместимый с llama.cpp шаблон чата. К сильным сторонам относятся небольшой размер, длинный контекст, открытость заявленных данных и рецепта обучения, а также специализация на рассуждениях, математике, коде и научных задачах. Для работы требуется версия llama.cpp с поддержкой архитектуры K2 Horizon; на момент публикации такая поддержка находилась в разработке, поэтому совместимость зависит от используемой сборки. Лицензия модели — Apache-2.0.

KAT-Coder V2.5 Dev 35B-A3B ABLITERATED UNCENSORED PHILADELPHIA CLASS — текстовая модель Mixture of Experts, разработанная KridgeDookie на основе Kwaipilot/KAT-Coder-V2.5-Dev, относящейся к семейству Qwen3.6-35B-A3B. Модель ориентирована на генерацию кода, агентные сценарии программирования и взаимодействие с инструментами. Она поддерживает английский и китайский языки, не имеет компонента для обработки изображений и видео и работает только с текстом. Модель содержит около 35 млрд параметров в общей сложности, из которых для каждого токена активны примерно 3 млрд. Доступна исходная версия в формате BF16, а также квантованные варианты GGUF Q4_K_M, Q5_K_M и Q8_0. Заявленная максимальная длина контекста — 32 768 токенов. Полная BF16-версия занимает примерно 65 ГиБ, поэтому, несмотря на небольшое число активных параметров, требует значительно больше памяти, чем плотная модель на 3 млрд параметров. Основное отличие версии PHILADELPHIA CLASS — целевое редактирование весов для уменьшения отказов в ответах при сохранении возможностей родительской модели для программирования. Внутренние проверки показали отсутствие жёстких отказов в двух наборах тестов и прохождение 23 из 24 проверок связности, однако эти результаты не проходили независимый аудит и не гарантируют точность, качество рассуждений или надёжность использования инструментов. Модель может генерировать ошибочный, небезопасный или потенциально вредоносный код, поэтому результаты требуют проверки. Распространяется по лицензии Apache 2.0, унаследованной от родительской модели.

Myric/KAT-Coder-V2.5-Dev-MTP-APEX-GGUF — это квантованная GGUF-сборка модели Kwaipilot/KAT-Coder-V2.5-Dev, разработанной на базе Qwen3.6-35B-A3B. Автор данной сборки в README не указан. Модель предназначена прежде всего для генерации программного кода и агентных сценариев разработки, включая работу с инструментами. В README для исходной модели указана оценка 69,40 на SWE-bench Verified против 64,40 у базовой Qwen3.6-35B-A3B. Архитектура представляет собой MoE-модель с 40 слоями, 256 маршрутизируемыми и одним общим экспертом, а также гибридной архитектурой GatedDeltaNet с периодическими слоями полноценного внимания. Сборка дополнена трансплантированной MTP-головой примерно на 850 млн параметров, взятой из Qwen3.6-35B-A3B, что позволяет использовать speculative decoding в llama.cpp. Рекомендуемая глубина чернового предсказания — n-max 3; в приведённом тесте ускорение достигало 2,03 раза на агентном наборе задач, а в зависимости от настроек и контекста — до 1,44 раза. Используются файлы размером около 19,24 GiB для рекомендуемой версии и около 11,91 GiB для более компактной динамической квантовки. Сильные стороны модели — специализация на программировании, поддержка агентных сценариев, MoE-архитектура и ускорение генерации посредством MTP без изменения проверяемой моделью корректности результата. Ограничения связаны с тем, что MTP-голова перенесена без дополнительного обучения на скрытых представлениях KAT-Coder, поэтому эффективность принятия черновых токенов снижается при чрезмерном увеличении глубины; при n-max 8 производительность может быть ниже, чем без speculative decoding. Точное число параметров, языки программирования и максимальный контекст в README не указаны; для тестов использовался контекст 32768 токенов. Распространение осуществляется по лицензии Apache-2.0. Для запуска требуется совместимое ПО, например llama.cpp, и достаточный объём памяти для выбранного GGUF-файла.

LettuceDetect от KRLabsOrg — англоязычная модель для выявления галлюцинаций в ответах, сформированных по контексту, например в системах RAG. Она дообучена для классификации токенов на базе answerdotai/ModernBERT-base и возвращает оценки для отдельных токенов ответа, которые можно объединить в фрагменты, не подтверждённые контекстом. В карточке указана поддержка контекста до 8192 токенов и обучение на датасете RagTruth; метаданные указывают архитектуру ModernBertForTokenClassification и 149 млн параметров. Модель принимает контекст и ответ и выдаёт разметку токенов. Модель подходит для проверки обоснованности ответов в RAG и подсветки неподтверждённых фрагментов. В README приведены результаты на RagTruth, но без числовых показателей для этой версии. Распространяется по лицензии MIT.

Mungert/OpenCodeReasoning-Nemotron-32B-IOI-GGUF — это GGUF-квантизованная версия языковой модели для генерации и анализа программного кода. В качестве базовой модели указана Qwen/Qwen2.5-32B-Instruct, а обучение связано с набором данных NVIDIA OpenCodeReasoning. Модель разработана Mungert; в метаданных также указана принадлежность к экосистеме NVIDIA. Основной заявленный язык — английский. Модель предназначена для задач генерации текста и кода, включая использование в локальных приложениях на базе llama.cpp, развёртывание на устройствах с ограниченной памятью и исследование сверхнизкобитного квантования. Доступны варианты с различными форматами и уровнями квантования, включая IQ1, IQ2, IQ3, Q4, Q6 и Q8, а также BF16 и F16. Для некоторых вариантов применяется метод IQ-DynamicGate с распределением точности по слоям; приведённые в README тесты на Llama-3-8B показывают снижение perplexity по сравнению со стандартным 1–2-битным квантованием при небольшом увеличении размера модели. Эти результаты не следует напрямую считать оценкой именно данной модели. Сильная сторона модели — возможность существенно снизить требования к памяти и запускать её на CPU, edge-устройствах и системах с ограниченной GPU VRAM. Компромиссом являются возможное снижение точности при низкой разрядности, зависимость производительности от аппаратной поддержки BF16 или FP16 и отсутствие в предоставленных данных точного размера файлов, длины контекста, перечня поддерживаемых языков помимо английского и результатов бенчмарков именно для этой модели. Лицензия — Apache-2.0.

SC117/Ornith-1.0-35B-Heretic-MTP-APEX-GGUF — квантизированная GGUF-версия Ornith-1.0-35B от DeepReinforce AI, созданная на базе Qwen3.5 MoE. Модель ориентирована на агентное программирование, задачи рассуждения и сценарии, где требуется работа с кодом. Это экспериментальный вариант, в котором LoRA Heretic 1.4.0 Trial 63 объединена с весами BF16; также включены совместимая MTP-голова Qwen3.5, визуальный проектор BF16 и варианты APEX со смешанной точностью. Основной заявленный язык — английский. Архитектура мультимодальная, MoE: 35 млрд параметров всего, около 3 млрд активных на токен, 256 экспертов, из которых используются 8. Модель содержит 40 transformer-слоёв и один MTP-слой, поддерживает контекст до 262 144 токенов. В состав релиза входят GGUF-квантизации, предназначенные для более эффективного локального запуска, а также компоненты для обработки визуальных данных. В README не указаны конкретные результаты тестов или требования к аппаратному обеспечению. Сильными сторонами являются большое контекстное окно, MoE-архитектура с относительно небольшим числом активных параметров, поддержка мультимодальности, MTP и варианты смешанной точности. К ограничениям относятся экспериментальный характер производного релиза и возможное отличие поведения, включая отказоустойчивость и склонность к отказам, от исходной модели; перед развёртыванием требуется самостоятельная оценка. Модель распространяется по лицензии MIT.

Модель snnh/paddleocr_vl_code_ocr — дообученная snnh на PaddleOCR-VL-1.6 модель для распознавания текста на скриншотах, связанных с разработкой. Она извлекает видимый текст из интерфейсов IDE, терминалов и отладчиков, включая код, конфигурации, логи, Traceback, Git diff, фрагменты документации и таблицы API, стараясь сохранять структуру и порядок элементов. Модель принимает изображение и формирует текстовый результат; в карточке указано 318,2 млн параметров, а метаданные задают контекст до 131 072 токенов. Обучение выполнено методом LoRA с последующим объединением весов; использовались 1102 обучающих примера. Модель опубликована под лицензией Apache-2.0. README приводит результат 58,4427 на версии 5.2 бенчмарка из 304 заданий, но предупреждает, что оценки разных версий бенчмарка, промптов и параметров генерации нельзя напрямую сравнивать. Сложные таблицы, длинные трассировки ошибок, интерфейсы с несколькими областями и вложенные конфигурации могут распознаваться с ошибками структуры или порядка чтения. Мелкий шрифт, размытые снимки и редкие символы снижают точность; результат может содержать пропуски, неверно распознанные знаки или повторы и требует проверки человеком. Модель предназначена для транскрипции, а не для генерации или исправления кода либо анализа безопасности.

Proximus-2x7B-v1 — языковая модель семейства Mixtral, созданная preemware с помощью LazyMergekit как смесь экспертов из beowolx/MistralHermes-CodePro-7B-v1 и preemware/Prox-MistralHermes-7B. В конфигурации указана базовая модель mlabonne/NeuralHermes-2.5-Mistral-7B; эксперты ориентированы на программирование и кибербезопасность. Модель предназначена для генерации текста и диалоговых сценариев, включая помощь с кодом и вопросы по информационной и сетевой безопасности. Архитектура — Mixtral MoE с классом MixtralForCausalLM; в репозитории доступны веса safetensors. Метаданные указывают 7,1 млрд параметров и контекст до 32 768 токенов. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результаты оценки качества и не описывает конкретные меры безопасности; ответы по кибербезопасности и сгенерированный код требуют проверки.

ThomasBaruzier/Qwen2.5-Coder-1.5B-Instruct-GGUF — набор квантизированных версий инструкционной модели Qwen2.5-Coder-1.5B-Instruct, разработанной командой Qwen. Модель предназначена для генерации текста и решения задач, связанных с программным кодом, включая чатовые сценарии и работу с запросами на естественном языке. В карточке указана поддержка английского языка. Модель имеет около 1,5 млрд параметров и распространяется в формате GGUF для использования с llama.cpp. Доступны варианты квантизации от IQ1_S до Q5_K_M с размером файлов примерно от 416 МБ до 1,05 ГБ. Квантизация выполнена с использованием imatrix и калибровочного файла Bartowski; варианты различаются соотношением размера, perplexity и точности. Более компактные варианты требуют меньше памяти, но заметнее теряют качество, тогда как версии с более высокой разрядностью обеспечивают лучшие показатели. Ограничения карточки не описывают контекстное окно, полный набор языков, аппаратные требования и подробные результаты на прикладных тестах. Модель ориентирована на текстовую модальность и не предназначена для обработки изображений или других мультимедийных данных. Указана лицензия Apache-2.0.

Qwen2.5-Coder-7B-Instruct-heretic — модификация Qwen2.5-Coder-7B-Instruct, опубликованная пользователем saidutta69 и созданная с помощью Heretic 1.4.0. Это генеративная текстовая модель для программирования, основанная на модели Qwen с нативным размером около 7,6 млрд параметров. Указанный язык — английский; модель предназначена для текстового взаимодействия и генерации кода. Модель ориентирована на локальные coding agents, парное программирование и помощь на уровне репозитория. В ней применена directional ablation, или abliteration: целевые изменения весов в выходных проекциях attention и down-projections MLP подавляют поведение, связанное с отказами, без дообучения. По данным README, это сохраняет знания и следование инструкциям базовой модели; доступны полноточные BF16-веса и GGUF-квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0 для запуска через llama.cpp, Ollama и другие совместимые инструменты. Главное отличие модели — существенно более редкие отказы на выбранных adversarial-запросах: 3 из 100 против 100 из 100 у базовой модели, при заявленном KL divergence 0,0196. При этом она не является улучшением базовых возможностей и наследует фактические ограничения и предубеждения Qwen2.5-Coder-7B-Instruct. В модели отсутствует дополнительная фильтрация безопасности, поэтому её не рекомендуется размещать за незащищённым публичным интерфейсом. Лицензия унаследована от базовой модели и обозначена как qwen-research; для коммерческого использования необходимо ознакомиться с условиями исходной лицензии.

Qwen3.5-9B-DS-v4-Flash-v3.0 — экспериментальная плотная модель на 9 млрд параметров от prithivMLmods, дообученная на базе prithivMLmods/Q3.5-9B-DS-v4-Flash-v2.0, построенной на Qwen/Qwen3.5-9B. Модель использует архитектуру Qwen3.5ForConditionalGeneration и предназначена для диалогов с текстом и изображениями; основное обучение было направлено на рассуждения, математику, научный анализ, программирование и следование инструкциям. Автор описывает многоэтапное обучение примерно на 3,5 тыс. отфильтрованных примеров с трассами рассуждений DeepSeek V4 Flash и на дополнительных наборах данных. Модель подходит для экспериментов с многошаговыми и длинными рассуждениями, решения задач и локального запуска через Transformers. В карточке указан формат safetensors и лицензия Apache-2.0. Это экспериментальный выпуск: в сложных задачах возможны ошибочные промежуточные шаги и выводы, а поведение может отличаться от базовой модели. Качество зависит от охвата и особенностей обучающих данных.

Это квантованная модель Qwen3-Coder-30B-A3B-Instruct в формате GGUF, преобразованная пользователем n00b001 из исходной модели Qwen/Qwen3-Coder-30B-A3B-Instruct с помощью llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и ориентирована прежде всего на задачи программирования и взаимодействие с кодом; запуск предусмотрен через llama.cpp в консольном режиме или в формате сервера. В названии указаны конфигурация 30B-A3B и квантование Q4_K_M, однако README не содержит подробностей об архитектуре, фактическом размере файла, поддерживаемых языках и модальностях. Для серверного запуска приведён пример с контекстом 2048 токенов. Сильной стороной является возможность локального использования в совместимом окружении llama.cpp и более экономичное представление благодаря квантованию. Ограничения, включая возможные потери качества из-за квантования и требования к аппаратному обеспечению, в README не описаны. Указана лицензия Apache-2.0; ссылка на лицензию относится к исходной модели Qwen/Qwen3-Coder-30B-A3B-Instruct.