II.4Отладка, тестирование и качество ПО

GLM-4.6V-Flash — компактная мультимодальная модель семейства GLM-V от Z.ai, представленная в карточке Unsloth с исправлениями шаблона диалога. Это версия на 9 млрд параметров, рассчитанная на локальное развёртывание и приложения с низкой задержкой; архитектура GLM4V использует условную генерацию текста по изображениям. Модель принимает изображения и текст, понимает документы, страницы с таблицами, диаграммами и иллюстрациями, а также снимки экранов. Контекстное окно семейства заявлено до 128 тысяч токенов. Модель подходит для визуальных диалогов, анализа документов, интерпретации интерфейсов и генерации кода HTML/CSS по скриншотам. Поддерживает вызов инструментов и смешанную генерацию текста и визуального контента. По README, её сильная сторона — мультимодальные сценарии; чисто текстовые ответы слабее, а на сложных запросах возможны чрезмерные рассуждения и повторы. Также отмечены ошибки при подсчёте объектов и распознавании конкретных людей. Репозиторий распространяется по лицензии MIT.

granite-4.1-8b-heretic — это децензурированная версия IBM Granite 4.1 8B Instruct, созданная пользователем RACER IS OP на основе модели ibm-granite/granite-4.1-8b-instruct. Модель предназначена для генерации текста, диалоговых сценариев, написания кода, задач на рассуждение и других случаев, где требуется прямое следование инструкциям без типичных отказов базовой модели. Она ориентирована на локальный запуск на потребительских GPU, CPU и Apple Silicon, а также может использоваться через Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Модель имеет нативный размер около 8,4 млрд параметров; доступны веса BF16 и варианты GGUF с квантованием Q4_K_M, Q5_K_M, Q6_K и Q8_0. В README указана поддержка английского языка, архитектурные детали и размер контекста не приведены. Децензурирование выполнено с помощью Heretic 1.4.0 методом directional ablation («abliteration»): целевые изменения весов внесены в выходные проекции attention и down-projections MLP без дообучения. Заявляется, что знания и основные возможности базовой модели в значительной степени сохранены. Сильной стороной модели является сочетание возможностей 8B-модели, доступности различных уровней квантования и подавления отказов, что делает её удобной для локального использования. Ограничение состоит в намеренном отсутствии дополнительной фильтрации безопасности: модель может выполнять запросы, от которых отказалась бы базовая версия, в том числе нежелательные. Поэтому разработчик рекомендует не использовать её за незащищёнными публичными интерфейсами без собственного контроля и модерации. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

MeowGPT ll3 — разговорная языковая модель, разработанная CutyCat2000x на базе Llama 3. Это плотная авторегрессионная модель класса LlamaForCausalLM с 7,5 млрд параметров и контекстом до 8192 токенов. Модель загружается через Transformers; веса опубликованы в формате safetensors и распространяются по лицензии MIT. Модель предназначена для генерации диалоговых ответов и других текстовых задач по запросу. В обучении использовались наборы данных SlimOrca-Dedup, airoboros-3.2, Orca Math Word Problems, Code-Feedback, WizardLM Evol Instruct V2 и ORPO DPO Mix. В карточке указана поддержка английского языка. Модель может ошибаться или выдавать неуместные ответы, поэтому результаты следует проверять перед применением в важных сценариях.

Карточка модели liskasYR/MiniCPM5-2B-Base на Hugging Face совпадает с карточкой openbmb/MiniCPM5-2B-Base, поэтому описание составлено по ней. MiniCPM5-2B-Base — базовая плотная авторегрессионная языковая модель семейства MiniCPM5, разработанная OpenBMB. Она предназначена для локальных ассистентов, агентных сценариев, работы с инструментами и рассуждений на устройствах с ограниченными ресурсами. Модель содержит около 2,2 млрд параметров; в карточке указана архитектура LlamaForCausalLM с 42 слоями и поддержка длинного контекста. README указывает контекст 131 072 токена, тогда как метаданные каталога сообщают 524 288 токенов. Модель работает с текстом и ориентирована на английский и китайский языки. Среди заявленных сильных сторон — код, математика, понимание длинного контекста, использование инструментов и агентные задачи; это характеристики, заявленные разработчиком, а не независимая оценка. Для фактических результатов важны вычислительные ресурсы, среда запуска и проверка ответов: генерация может быть неточной, предвзятой или оскорбительной и уязвима к специально составленным запросам. Лицензия — Apache-2.0.

Mistral-NeMo-Minitron-8B-Alpaca-CODE-Python-GGUF-16bit — локально запускаемая модель генерации кода на 8 млрд параметров от Agnuxo, представленная в формате GGUF F16. Карточка позиционирует её как помощника для написания кода на Python и других языках программирования, включая JavaScript, TypeScript, Rust, Go и C++, а также для задач научных вычислений и машинного обучения с NumPy, SciPy, Pandas, PyTorch, TensorFlow и JAX. Модель предназначена для генерации и помощи с кодом в локальных сценариях; README рекомендует запуск через Ollama и также описывает использование через Transformers. Метаданные относят архитектуру к плотному семейству Mistral, а формат файлов — к GGUF F16. Лицензия — Apache-2.0. В карточке нет подробностей о контексте, языках естественного общения и результатах независимой оценки качества.

Mtrini-27B-Tellus-Merged — объединённая модель CompiwerAI для запуска через Transformers. В README в качестве базовой модели указана Qwen3.8-27B; метаданные описывают архитектуру как плотную Qwen3.5 для авторегрессионной генерации текста. Размер по метаданным — 22,3 млрд параметров, нативный контекст — 262 144 токена, файлы представлены в формате safetensors. Модель предназначена для диалогов, генерации кода, математических задач и рассуждений. Для обучения использовалась смесь из 11 200 примеров, включающая данные по программированию и математике, а также марокканскую дариджу и арабский язык. В README сказано, что LoRA-адаптер CompiwerAI объединён с базовой моделью в самостоятельный чекпойнт. Модель распространяется по лицензии Apache-2.0. Результаты обучения и состав обучающей смеси приведены в карточке, но независимые оценки качества и подробные ограничения не описаны.

SirSahOl подготовил 16-битную конверсию диалоговой модели TokenRhythm/NeoHorse-1-9B для локального запуска на Apple Silicon через MLX. Это плотная авторегрессионная модель семейства Qwen3.5 с 7,2 млрд параметров по метаданным и контекстом до 262 144 токенов; README указывает 9 млрд параметров. Репозиторий содержит веса safetensors в формате MLX и распространяется по лицензии Apache-2.0. Модель предназначена для многоходового чата, генерации текста и кода, следования инструкциям, рассуждений и работы с инструментами в агентных сценариях. Конверсия сохраняет bf16-точность исходных весов и рассчитана на GPU Apple Silicon; README оценивает занимаемую память примерно в 20 ГБ и рекомендует не менее 32 ГБ объединённой памяти. Для длинных контекстов требуется достаточный запас объединённой памяти, а фактическая скорость зависит от устройства и длины контекста. В карточке нет подтверждённых сведений о поддерживаемых естественных языках; характеристики задач и качества унаследованы от базовой модели.

NinjaMouse2-2.5B-v0.1 — разговорная языковая модель, созданная автором trollek на основе h2oai/h2o-danube2-1.8b-chat. Это плотная авторегрессионная модель семейства Mistral с 2,4 млрд параметров и контекстом до 8192 токенов; исходные 24 слоя расширены, а обучение включало дообучение вставленных блоков и последующую настройку на инструктивных и диалоговых данных. Модель предназначена для диалогов и генерации ответов на инструкции, включая задачи по математике, коду и вызову инструментов. Для подготовки данных использовались примеры из нескольких англоязычных диалоговых, математических и программных наборов, а также ответы более крупных моделей. Репозиторий содержит веса в формате safetensors; README также описывает отдельные квантизированные варианты для запуска через Ollama и LM Studio. Модель рассчитана прежде всего на английский язык. README предупреждает, что специальные токены FIM и thought не входили в обучение. Лицензия — Apache-2.0. Качество и соответствие инструкциям могут различаться; карточка не приводит результатов независимой оценки.

Ornith-1.0-9B-CoreAI — конверсия модели Ornith-1.0-9B от DeepReinforce-ai для запуска на устройствах Apple через on-device runtime Core AI. Это текстовая decoder-модель, ориентированная на агентное программирование: она обучалась одновременно решать задачи разработки и формировать управляющую оркестрационную схему для их выполнения. Конверсия опубликована в общественном Core AI model zoo. Модель построена на гибридной архитектуре Qwen3.5 с 32 слоями, чередующими GatedDeltaNet linear-attention mixers и gated full attention; используется нетипизированная vocabulary head размером 248 320 токенов. Поддерживается контекст до 8192 токенов, встроены токенизатор и chat template. Модель предназначена для локального текстового общения и генерации кода, включая сценарии агентного программирования на Apple silicon GPU или Neural Engine. Доступны варианты quantization int8 размером 9,8 ГБ и int4 размером 7,5 ГБ; на M4 Max заявлена скорость декодирования 48,3 и 58,9 токена в секунду соответственно. На iPhone 17 Pro int8-вариант пока не помещается в доступный лимит памяти. Лицензия MIT согласно карточке исходной модели.

Mungert/phi-4-GGUF — это набор GGUF-файлов с моделями Phi-4, предназначенными для локального запуска и инференса в формате GGUF. Репозиторий содержит варианты весов в BF16 и F16, а также квантованные версии Q8_0, Q6_K, Q4_K, Q4_0 и IQ3. Модель относится к классу текстовых генеративных моделей и ориентирована на диалоги, ответы на вопросы, работу с математическими задачами, программным кодом и другими текстовыми запросами. В метаданных указан английский язык и задача text-generation; поддержка других языков не заявлена. Главное преимущество набора — выбор между точностью и требованиями к памяти. Полноформатные BF16 и F16 подходят для оборудования с соответствующим ускорением, а квантованные варианты позволяют запускать модель на CPU и устройствах с ограниченной оперативной памятью или VRAM. Более агрессивное квантование уменьшает размер и потребление памяти, но может снижать точность. Сведения об архитектуре, количестве параметров, размере контекста, мультимодальности и результатах тестирования в README не приведены. Лицензия — MIT. README указывает связь с моделью Microsoft Phi-4 через ссылку на её лицензию; Mungert предоставляет варианты Phi-4 в формате GGUF. Для использования необходимо выбрать файл, совместимый с возможностями оборудования и требуемым уровнем качества.

Jackrong/Qwen3.5-9B-GLM5.1-Distill-v1 — экспериментальная модель на 9 млрд параметров, разработанная Jackrong на базе Qwen3.5-9B. Она обучена методом supervised fine-tuning с дистилляцией рассуждений из GLM-5.1, с использованием Unsloth и LoRA. В карточке также указан pipeline image-text-to-text, однако подробности о поддержке изображений не приведены. Модель предназначена для диалогов, следования инструкциям, многошагового рассуждения, математики, STEM-задач, программирования и исследовательских сценариев. Обучающие данные включают очищенные и отфильтрованные наборы с рассуждениями GLM-5.1 и Qwen3.5. Заявлены поддержка английского, китайского, японского и испанского языков, а также улучшенная декомпозиция задач, структурированность ответов и стабильность следования инструкциям. Ожидаемые преимущества модели — более последовательное решение сложных задач, организованная подача результатов и лучшее использование знаний базовой модели. При этом автор подчёркивает, что улучшения для модели такого размера, вероятно, будут постепенными, а не радикальными; подтверждённые количественные результаты и ограничения производительности в README не описаны. Модель распространяется по лицензии Apache-2.0 и ориентирована на локальный inference в формате GGUF, в том числе через llama.cpp. Размер контекста в карточке не указан.

wbydc/Qwen3.8-27B-TFCF-HU-CODER-GGUF — это GGUF-квантизированная мультиязычная fine-tune-модель на базе Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU от DavidAU. Репозиторий содержит обычные и MTP-квантизации, включая варианты с 4- и 8-битной точностью. В README указаны английский и китайский языки, а также лицензия Apache-2.0. Модель опубликована пользователем или организацией wbydc; обучение выполнялось с использованием Unsloth и многоэтапных методов Cold Fusion и Fable Fusion. Модель предназначена для широкого спектра сценариев: решения задач и рассуждений, программирования, творческого письма, создания художественных текстов, ролевых диалогов и других универсальных применений. Основной акцент сделан на подробных ответах, сокращении объёма внутренних рассуждений и повышении скорости генерации, в том числе в режиме MTP. README заявляет о заметном снижении числа thinking-токенов по сравнению с исходной версией Qwen3.8 и о высоких результатах на ARC-C и ARC-E, однако эти показатели приведены автором модели и не сопровождаются независимой методикой проверки. Ключевое ограничение — отсутствие в README точных сведений о длине контекста, поддерживаемых режимах мультимодальности и фактической архитектуре vision-компонентов, несмотря на тег image-text-to-text. Также заявлены uncensored-поведение и возможность генерации контента разных жанров, поэтому пригодность модели для чувствительных сценариев требует самостоятельной проверки. Для использования необходимо выбрать совместимый GGUF-квант и учитывать требования к памяти, зависящие от его разрядности.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая версия модели Qwen3.8-27B, опубликованная пользователем biennequants на основе модели DavidAU. В README указаны языки английский и китайский, а также варианты GGUF-квантования с точностью 4 и 8 бит, включая версии с MTP и imatrix. Модель создана с применением методов Cold Fusion, Fable Fusion и инструментов Unsloth; заявленная цель — повысить способности к рассуждению и программированию, сократить объём внутренних рассуждений и ускорить генерацию на потребительском оборудовании. Модель предназначена для решения общих задач, анализа и рассуждений, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Автор заявляет о высоких результатах на тестах ARC-C и ARC-E, превосходстве базовых моделей в ряде бенчмарков и сохранении близкой производительности 4-битной версии к 8-битной, однако эти показатели представлены в README и не подтверждены независимой проверкой. К сильным сторонам относятся сокращённое «мышление», высокая детализация ответов и доступность квантованных вариантов для локального запуска; ограничения включают отсутствие точных сведений о размере контекста, мультимодальных возможностях и системных требованиях, а также потенциально неконтролируемый или откровенный характер ответов, на что указывают обозначения uncensored и heretic. Лицензия — Apache-2.0.

unsloth/Qwen3-8B-Base-unsloth-bnb-4bit — это 4-битная квантованная версия базовой причинной языковой модели Qwen3-8B-Base, подготовленная Unsloth на основе модели Qwen от команды Qwen. Модель предназначена для генерации и продолжения текста, языкового моделирования, программирования, STEM-задач, рассуждений и других сценариев, где требуется компактная локальная LLM. Поскольку это базовая предобученная модель, она не ориентирована специально на выполнение пользовательских инструкций или ведение диалога без дополнительной настройки. Модель содержит около 8,2 млрд параметров, из которых 6,95 млрд не относятся к embedding-слою, включает 36 слоёв и использует Grouped Query Attention с 32 головами запросов и 8 головами ключей и значений. Максимальная длина контекста составляет 32 768 токенов. Qwen3 обучалась на корпусе объёмом 36 трлн токенов, охватывающем 119 языков, с данными по программированию, STEM, рассуждениям, книгам, многоязычным и синтетическим материалам. Квантование уменьшает требования к памяти и упрощает локальный запуск, однако может сопровождаться потерей точности по сравнению с исходной полноразмерной версией. Для работы рекомендуется актуальная версия библиотеки transformers; версия ниже 4.51.0 не поддерживает архитектуру Qwen3. Модель распространяется по лицензии Apache-2.0.

gangwayhaste/qwen38-fcf-gguf — это набор GGUF-квантов мног stages fine-tune модели Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX, разработанной на базе модели DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. В README указано, что обучение и сборка выполнялись с использованием Unsloth, методов COLD FUSION и Fable Fusion, а также датасетов DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Лицензия — Apache-2.0; заявленные языки — английский и китайский. Модель предназначена для общего решения задач, рассуждений, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Основной акцент сделан на подробность ответов, сокращение избыточного внутреннего рассуждения и ускорение генерации, включая режимы MTP. Доступны обычные и MTP-кванты, в том числе варианты с точностью 4 и 8 бит и использованием imatrix. Размер базовой модели — 27B параметров. README также обозначает поддержку сценария image-text-to-text, однако подробности о фактических мультимодальных возможностях и максимальном размере контекста не приведены. К заявленным сильным сторонам относятся улучшенные по сравнению с базовой Qwen3.8-27B показатели на ряде бенчмарков, высокая детализация, способности к рассуждению, кодированию и художественной генерации, а также возможность запуска квантованных вариантов на потребительском оборудовании. Ограничения включают отсутствие независимой верификации заявленных результатов в предоставленных данных, неопределённость характеристик отдельных квантов и отсутствие точных требований к аппаратному обеспечению. Модель помечена как uncensored и abliterated, поэтому её поведение и уровень защитных ограничений могут отличаться от исходной модели.

Qwen3.8-Flash-Next-DERISKED-MTPLX-Optimized-Speed — локальная модель генерации текста, разработанная на основе чекпойнта Blackfrost-AI/Qwen3.8-Flash-Next-DERISKED-BF16 и адаптированная для запуска через MTPLX на компьютерах Apple Silicon. Она предназначена для чата, генерации текста и кода, локального использования, а также контролируемых исследований безопасности и red-team-оценки. Модель не является безопасным production-чекпойнтом: её поведение и поверхность отказов были изменены на уровне весов для операторских исследований. Это квантованная версия архитектуры Qwen 3.8 Flash-Next с гибридной MoE-архитектурой GDN, Qwen Sparse Attention, памятью n-gram на 51 млрд параметров и встроенной головой multi-token prediction. Основная часть экспертов и плотных матриц представлена в 4-битном формате, отдельные компоненты внимания, маршрутизации, эмбеддинги и выходная голова — в 8-битном, а ряд рекуррентных и нормализующих параметров сохраняет 16-битную точность. Модель поддерживает текстовые и визуальные веса, имеет контекстное окно 262 144 токена, адаптивную глубину MTP до трёх токенов и требует около 115,3 ГБ для загрузки. Для работы рекомендуется Apple Silicon Mac с unified memory от 96 ГБ; таблица n-gram объёмом 32 ГБ по умолчанию размещается на SSD. Сильные стороны модели — оптимизация под Apple Silicon, сохранение повышенной точности в ключевых компонентах внимания и ускорение спекулятивной генерации: на M5 Max заявлены 66,2 токена в секунду против 46,6 токена в секунду в авторегрессионном режиме. Ограничения включают высокие требования к памяти и дисковому пространству, зависимость от MTPLX и отсутствие встроенной системы авторизации или полноценной границы безопасности. Рекомендуется использовать аутентифицированные точки доступа, отдельное журналирование запросов и инструментов, минимальные привилегии, песочницы и ручное подтверждение необратимых действий. Указана лицензия qwen-community-1.0 с типом license other; ссылка ведёт на файл LICENSE. Модель наследует статус и ограничения базового DERISKED-чекпойнта Blackfrost-AI.

SentinelLM — плотная авторегрессионная языковая модель семейства Sentinel, представленная в репозитории dusersad12. Карточка описывает обновлённую версию, обученную с дополнительными вычислительными ресурсами и алгоритмической оптимизацией на этапе постобучения. Модель предназначена для генерации текста и диалогов, включая сложные задачи рассуждения, математику, программирование и логику; также заявлена поддержка вызова функций. В README сообщается об улучшении результата на AIME 2024 с 64% до 83,3% и о снижении галлюцинаций относительно предыдущей версии. Для вопросов AIME указано среднее рассуждение объёмом около 19 тысяч токенов. Модель доступна в формате PyTorch для Transformers и распространяется по лицензии Apache-2.0. Длина контекста и поддерживаемые естественные языки в предоставленных данных не обозначены.

Speechless Instruct Mistral 7B v0.2 — дообученная на инструкционных данных языковая модель на архитектуре Mistral, опубликованная uukuguy. Веса содержат 7,1 млрд параметров; модель принимает текст и имеет контекстное окно до 32 768 токенов. Для инструкций используется формат Alpaca. Модель предназначена для ответов на инструкции, рассуждений и планирования, а также для задач программирования, включая генерацию и объяснение кода на Python и работу с SQL. В обучающую выборку вошли примеры из Airoboros, OpenOrca, Open-Platypus, WizardLM, Python Eval Instruct и Spider; карточка сообщает о 201 981 примере. Указаны результаты отдельных тестов, но значение HumanEval в карточке отсутствует. Модель распространяется по лицензии Apache-2.0. Карточка описывает её как средство для улучшения рассуждений и планирования базовой Mistral, однако подробностей об оценке этих возможностей и ограничениях качества не приводит.

speechless-starcoder2-7b — дообученная языковая модель для генерации кода и выполнения инструкций, созданная на основе bigcode/starcoder2-7b. В README указано, что обучение направлено на улучшение способностей к рассуждению и планированию; использовано около 986 тысяч примеров из OpenHermes-2.5, Python Eval Instruct, Spider и Evol-Instruct. Модель принимает инструкции в формате Alpaca. Это плотная авторегрессионная архитектура StarCoder2 с 9,9 млрд параметров и контекстом до 16 384 токенов. Карточка указывает английский язык, поддержку генерации текста и лицензию Apache-2.0. Модель подходит для генерации и объяснения кода, а также для ответов на инструкции, связанные с программированием и структурированными данными. Численные результаты HumanEval и оценок lm-evaluation-harness в карточке не заполнены, поэтому качество по этим тестам оценить нельзя.

Absolute Zero Reasoner-Coder-3b-GGUF — квантизированная версия модели Absolute_Zero_Reasoner-Coder-3b, разработанной andrewzh и подготовленной пользователем bartowski в формате GGUF для llama.cpp. Модель предназначена для генерации текста, включая задачи рассуждения и программирования, и может использоваться локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от BF16 до 3-битных и IQ-квантизаций размером примерно от 1,5 до 6,18 ГБ. В README не указаны точная архитектура исходной модели, размер контекста, поддерживаемые языки и модальности, поэтому модель следует рассматривать как текстовую, без подтверждённой поддержки изображений или других типов данных. Старшие варианты квантизации обеспечивают более высокое качество, а младшие снижают требования к оперативной памяти ценой заметной потери качества; рекомендуемыми названы варианты Q4–Q6. Лицензия в предоставленных данных не указана. Это локальная квантизированная сборка, поэтому её практическая ценность особенно высока для запуска на пользовательском оборудовании без облачного сервиса, однако производительность и качество зависят от выбранного варианта квантизации и совместимого программного обеспечения.

CodeT5+ 16B — модель семейства открытых моделей для работы с кодом, представленная исследовательской группой Salesforce в статье «CodeT5+: Open Code Large Language Models for Code Understanding and Generation». Это плотная модель с архитектурой encoder-decoder, способная работать в режимах encoder-only, decoder-only и encoder-decoder. Репозиторий содержит веса PyTorch; лицензия — BSD-3-Clause. Модель предназначена для понимания и генерации кода, включая дополнение кода, сопоставление текстовых запросов с кодом и генерацию кода по описанию. В README заявлена предобучающая выборка из разрешительно лицензированного подмножества GitHub Code; поддерживаются C, C++, C#, Go, Java, JavaScript, PHP, Python и Ruby. Для токенизации используется тот же токенизатор, что и у CodeGen. Предобучение сочетает span denoising, причинное языковое моделирование, контрастивное обучение и сопоставление текста с кодом; масштабирование до 16 млрд параметров использует инициализацию компонентов замороженными готовыми LLM и архитектуру с неглубоким энкодером и глубоким декодером. Авторы сообщают о результатах на задачах понимания и генерации кода, однако конкретные показатели в README относятся к InstructCodeT5+ 16B и не должны автоматически переноситься на этот чекпойнт. Модель выпущена для исследовательских целей; перед применением следует проверять точность и безопасность результатов.

huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2 — модифицированная версия DeepSeek-R1-Distill-Qwen-14B от huihui-ai. Автор применил abliteration — экспериментальный метод изменения весов, предназначенный для ослабления отказов модели. Это плотная причинная языковая модель семейства Qwen2 на 14 млрд параметров; она принимает текст и генерирует текст, в том числе в диалоговом формате. Метаданные указывают контекст до 131 072 токенов и использование Transformers. Модель предназначена для диалогов и генерации текста, включая сценарии, где требуется меньше отказов на запросы. Базовая модель рассчитана на рассуждения, математику и программирование, однако карточка этой модификации называет её изменение грубым proof of concept и не приводит оценки качества. Лицензия в предоставленных данных не указана.

Andycurrent/gemma-3-4b-it-uncensored-v2-GGUF — квантованные версии Gemma-3-4B-IT-Uncensored-v2, созданной на базе Gemma 3 и модели braindao/gemma-3-4b-it-uncensored-v2. Это инструкционно дообученная языковая модель примерно на 4 млрд параметров, предназначенная для локального, офлайн- и приватного развертывания. Указан английский язык; модель работает в текстовом режиме и использует формат чата Gemma с маркерами начала и конца хода диалога. Модель ориентирована на диалоги, генерацию текста, творческие задачи, рассуждения, структурированные ответы, объяснение кода, примеры и лёгкую отладку. Она делает акцент на высокой отзывчивости, следовании пользовательским инструкциям, стабильности в продолжительных диалогах и уменьшенном количестве встроенных ограничений, поэтому может применяться для персональных ассистентов, ролевых систем, prompt engineering, исследований выравнивания и экспериментов с поведением моделей. Ключевое преимущество — сочетание компактного размера и возможности запуска на потребительских GPU, CPU с квантованием и устройствах с ограниченными ресурсами. При этом точные параметры квантования, максимальная длина контекста и результаты бенчмарков не указаны. Из-за минимально ограниченного поведения модель может генерировать контент, который обычно фильтруется; пользователю необходимо самостоятельно учитывать требования законодательства, политики и этические нормы. Лицензия наследует условия оригинальной модели Gemma.

ProCreations/grug-v1.1-qwen-3.8-27b-qgguf — это GGUF-версия модели grug-v1.1-qwen-3.8-27b, разработанная ProCreations для локального запуска через llama.cpp. Модель предназначена для генерации текста, программирования и агентских сценариев, включая работу с инструментами. Заявлена поддержка английского языка и режим text-generation. Модель имеет размер 27B и поставляется в нескольких вариантах квантования: Q8_0, Q6_K, Q5_K_M, Q4_K_M и Q3_K_M, занимающих примерно от 13,3 до 28,6 ГБ. Для работы с изображениями предусмотрен отдельный multimodal-проект mmproj в формате F16 размером около 0,9 ГБ, используемый вместе с llama-mtmd-cli. Размер контекста в README не указан. Ключевая особенность модели — оптимизированное рассуждение: в описании заявлено существенно меньшее число токенов в блоке размышлений по сравнению с базовой моделью. Для большинства случаев рекомендуется средний уровень reasoning effort; режим xhigh может ухудшать выбор инструментов. Квантование позволяет подобрать баланс между качеством и требованиями к памяти, но более компактные варианты могут уступать полноразмерным весам по качеству. Все варианты, согласно README, проверены с помощью llama-bench. Модель распространяется по лицензии Apache-2.0. Для запуска требуется совместимое окружение llama.cpp; конкретные требования к оперативной памяти, производительности и максимальному контексту не указаны.

Hercules-4.0-Mistral-v0.2-7B — дообученная языковая модель Locutusque на архитектуре Mistral для диалогов и выполнения инструкций в научных и технических областях. Модель содержит 7,1 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов. В README заявлены возможности вызова функций, пошагового следования инструкциям и ответов по биологии, химии, физике, математике, медицине и информатике. Модель подходит для специализированных чат-ботов, учебных помощников, технических консультаций и генерации кода с использованием вызова функций. Она дообучена на наборе Hercules-v4.0, который расширяет OpenHermes-2.5 подборкой курируемых данных. Модель выпущена в формате Safetensors и распространяется по лицензии Apache-2.0. Возможны токсичные, ошибочные или вводящие в заблуждение ответы, в том числе в специализированных областях; результаты требуют проверки. Возможность вызова функций сама по себе не гарантирует безопасного исполнения кода.

Модель dbands/llama-3-8b-instruct-code-instructions-blender-16bit — дообученная языковая модель семейства Llama 3, разработанная dbands на основе dbands/llama-3-8b-instruct_code_instructions_122k_alpaca_style_4bit. Она предназначена для генерации текста по инструкциям, включая задачи, связанные с кодом. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и поддерживает контекст до 8192 токенов. Модель принимает текст и генерирует текст; в карточке указан английский язык. Обучение проводилось с Unsloth и библиотекой TRL. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache 2.0.

EpistemeAI/MathCoder-Llama3.1-8B — плотная авторегрессионная языковая модель семейства Llama, разработанная EpistemeAI и дообученная на базе EpistemeAI/Math-Code-Llama3.1-8B. Она предназначена для генерации текста, решения математических задач и помощи с кодом. Модель содержит 7,5 млрд параметров, принимает текст и генерирует текст. Метаданные указывают контекст длиной до 131 072 токенов и поддержку английского языка. Для обучения использовались Unsloth и библиотека Hugging Face TRL; веса доступны в форматах PyTorch и safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов оценки качества или конкретных ограничений, поэтому способности к математике и программированию не следует считать гарантией правильности ответов.

MiniCPM5-2B-GGUF — это набор общественных GGUF-квантизаций плотной языковой модели MiniCPM5-2B, разработанной OpenBMB и преобразованной в формат GGUF автором ngquocvinh. Релиз предназначен для локального запуска через llama.cpp и совместимые среды, включая Ollama и LM Studio, а также для создания локальных ассистентов, coding agents, сценариев с использованием инструментов и развёртывания на устройствах с ограниченными ресурсами. Релиз является только конвертацией и квантизацией исходной модели без дополнительного обучения, дообучения, объединения весов или иных изменений параметров. Модель использует архитектуру LlamaForCausalLM, содержит около 2,52 млрд параметров, 42 слоя и GQA с 16 query-heads и 2 KV-heads. Нативная длина контекста составляет 131 072 токена. В метаданных указаны английский и китайский языки. Поддерживаются генерация текста, рассуждения и официальный шаблон чата с thinking и XML-стилем вызова инструментов, однако поведение tool calling в этом релизе отдельно не сертифицировано. Доступно несколько уровней квантизации: от Q8_0 и Q6_K с наибольшей близостью к BF16-версии до более компактных вариантов с меньшей точностью. Чем сильнее сжатие, тем ниже требования к ресурсам, но тем заметнее отклонение поведения от исходной модели; экстремально низкие уровни, такие как Q1_0 и некоторые Q2-варианты, демонстрируют существенную потерю качества по приведённым измерениям. Релиз распространяется по Apache License 2.0 с требованием сохранять атрибуцию OpenBMB и лицензию при перераспределении. Это общественная квантизация, не официальный релиз и не одобрение OpenBMB.

Ttimms/MiniCPM5-2B-NVFP4 — это квантованная версия языковой модели openbmb/MiniCPM5-2B, подготовленная разработчиком Ttimms для генерации текста. Базовая модель основана на архитектуре LlamaForCausalLM и содержит около 2,5 млрд параметров. Модель предназначена прежде всего для англоязычных и китайскоязычных сценариев, включая генерацию и обработку кода. В модели применена 4-битная квантование весов NVFP4 по схеме W4A16 с GPTQ-округлением, блоками по 16 элементов и FP8-масштабами; активации, эмбеддинги и lm_head сохраняются в формате bfloat16. Размер на диске составляет около 2,03 ГиБ — на 57% меньше исходной версии в bfloat16. Модель рассчитана на запуск через vLLM с поддержкой compressed-tensors; в README приведён пример с максимальной длиной контекста 32 768 токенов и FP8 KV-кэшем. Главное преимущество — малый объём занимаемой памяти, что удобно для видеокарт с ограниченным объёмом памяти и сценариев с большим KV-кэшем. GPTQ сохраняет качество лучше, чем простое RTN-округление, однако по сравнению с исходной версией в bfloat16 модель теряет около 2,4 процентного пункта на HumanEval и 4,8 пункта на MBPP. На архитектуре Blackwell SM120 NVFP4-веса декодируются через Marlin в матричное умножение bfloat16, поэтому выигрыш в первую очередь связан с уменьшением занимаемой памяти, а не с ускорением вычислений. Распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

mistral-7b-shisa-7b-v1 — объединённая модель на архитектуре Mistral, созданная методом SLERP с помощью mergekit из ajibawa-2023/Code-Mistral-7B и augmxnt/shisa-7b-v1. Она содержит 7,1 млрд параметров и предназначена для генерации текста в диалогах, а также для задач программирования, на которых обучена одна из исходных моделей. Модель принимает текст и выдаёт текст; заявленный контекст составляет до 32 768 токенов. Репозиторий распространяется по лицензии Apache-2.0. Карточка описывает способ объединения весов, но не приводит результаты оценки качества или подробные сведения о поддерживаемых языках. Поэтому пригодность для конкретных задач и качество ответов следует проверять отдельно.