II.4Отладка, тестирование и качество ПО

Hermes-4.3-36B-heretic — это экспериментальная версия разговорной языковой модели Hermes 4.3 от Nous Research, созданная на базе ByteDance-Seed/Seed-OSS-36B-Base. Модель дообучена для диалога и следования инструкциям; поддерживает генерацию текста, рассуждения, вызов инструментов и структурированные ответы в JSON. В карточке указано 31,7 млрд параметров, архитектура SeedOssForCausalLM и контекст до 524 288 токенов. Модель предназначена для ответов на вопросы, решения задач по математике и программированию, работы с текстом и диалоговых сценариев, в том числе с инструментами. Вариант heretic получен abliteration: приведённые в README измерения показывают меньше отказов, чем у исходной Hermes-4.3-36B, но это не означает гарантированную пригодность ответов во всех сценариях. Модель принимает текст и выдаёт текст. Лицензия — Apache-2.0.

IFM/K2-Horizon-7B-FP8 — плотная авторегрессионная decoder-only модель класса 7B, разработанная IFM. Это FP8-квантизированная версия модели IFM/K2-Horizon-7B, предназначенная для генерации текста и оценки возможностей в задачах рассуждений, программирования, работы с длинным контекстом и агентных сценариях. Модель поддерживает контекстное окно до 524 288 токенов и заявлена для работы с английским языком. Все линейные слои, кроме lm_head, квантизированы в FP8: веса используют статическое масштабирование блоками 128×128, а активации — динамическое масштабирование группами 1×128. По данным разработчиков, версия FP8 близка к исходной BF16-модели по результатам внутренних оценок, при этом требует меньше памяти и обеспечивает более быстрый вывод на совместимом с FP8 оборудовании. Сильными сторонами модели являются большой контекст, открытость обучающих данных, кода обучения и оценочных ресурсов, а также доступность промежуточных чекпойнтов. Ограничения включают специализацию на текстовой модальности, заявленную поддержку английского языка и зависимость преимуществ FP8 от аппаратного обеспечения. Модель распространяется по лицензии Apache-2.0.

ModelCloud/Kimi-K2-Thinking-BF16 — версия Kimi K2 Thinking, подготовленная ModelCloud и обозначенная в карточке как BF16-модель, деквантизированная с помощью GPT-QModel. Это разговорная модель для генерации текста с архитектурой семейства Kimi K2; каталог указывает класс DeepseekV3ForCausalLM, 37,9 млрд параметров и контекст до 262 144 токенов. README описывает исходную Kimi K2 Thinking как MoE-модель с 1 трлн общих и 32 млрд активных параметров, обученную для пошаговых рассуждений и работы с инструментами. Модель предназначена для диалогов, сложных многошаговых задач, исследований в интернете, программирования и написания текстов с подключёнными инструментами. В карточке описана способность поддерживать длинные цепочки вызовов инструментов, однако это характеристика исходной модели, а независимое подтверждение для данного BF16-репозитория отсутствует. Указанное в README окно контекста составляет 256 тыс. токенов; метаданные каталога указывают 262 144 токена. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия NonCommercial-ModelCloud разрешает только некоммерческое использование; для коммерческого применения README требует разрешения @qubitium. Метаданные не подтверждают список поддерживаемых естественных языков.

Kimi-Linear-REAP-35B-A3B-Instruct — разговорная причинно-языковая MoE-модель, созданная Cerebras на основе moonshotai/Kimi-Linear-48B-A3B-Instruct методом REAP: из исходной модели удалены избыточные эксперты. По README, в модели 35 млрд параметров, из которых около 3 млрд активируются на токен; заявлены 27 слоёв, 180 экспертов и выбор 8 экспертов на токен. В метаданных размер указан как 2,7 млрд параметров. Модель предназначена для диалога и генерации текста, включая код, математические рассуждения, вызов функций и ответы на вопросы по длинному контексту. Заявлена длина контекста до 1 048 576 токенов; README отмечает, что отдельные оценки на LongBench v2 и FRAMES проводились с ограничением входа до 128 тысяч токенов. Карточка сообщает о близком к исходной модели качестве при снижении размера примерно на 30%, а также о совместимости с актуальной версией vLLM, поддерживающей Kimi-Linear. Модель распространяется по лицензии MIT. README указывает, что после однократного прореживания дополнительное дообучение не выполнялось; при этом метаданные обозначают связь с базовой моделью как finetune. Заявления о качестве основаны на оценках карточки и могут не переноситься на все задачи; для отдельных тестов отмечено снижение точности после удаления экспертов.

Linkbricks-Horizon-AI-Japanese-Advanced-V7-70B — языковая модель компании Linkbricks, дообученная директором по данным Юнсоном Джи (Saxo) на базе Saxo/Linkbricks-Horizon-AI-Japanese-Advanced-V4-70B. Это плотная модель семейства Llama с 69,5 млрд параметров и контекстом до 128 тысяч токенов; опубликована в формате Safetensors и рассчитана на запуск через Transformers. Модель обучали с применением SFT и DPO на японских новостях и корпусе Википедии, а также на многоязычных данных для японского, корейского, китайского и английского языков. Она предназначена для генерации текста, письма и программирования, анализа отзывов и публикаций в социальных сетях, перевода, математических и логических задач. Поддерживается интерфейс вызова функций и инструментов. Модель распространяется по лицензии Apache-2.0. Заявленные сценарии и способности отражают сведения карточки модели; README не приводит количественных оценок качества или результатов бенчмарков.

maldv/Meta-Llama-3-8B-Instruct-hf — чат-модель семейства Llama 3, разработанного Meta. Это авторегрессионный плотный трансформер LlamaForCausalLM с 7,5 млрд параметров и Grouped-Query Attention; репозиторий содержит веса в формате safetensors. Модель принимает текст и генерирует текст, включая код, а версия Instruct настроена для диалогов и помощнических сценариев. Модель подходит для ответов на вопросы, ведения диалога и генерации текста или кода на английском языке. Метаданные указывают контекст до 8192 токенов. README описывает настройку инструкционной версии с помощью supervised fine-tuning и обучения с подкреплением на основе обратной связи людей. Для языков помимо английского может потребоваться дополнительное дообучение. Условия использования определяются лицензией Meta Llama 3 с коммерческими условиями и политикой допустимого использования. Модель статична и обучена на офлайн-данных; для конкретного приложения разработчикам следует самостоятельно настраивать меры безопасности.

NVIDIA MiniMax-M2.5-NVFP4 — квантизированная версия авторегрессионной языковой модели MiniMax-M2.5, разработанной MiniMax и подготовленной NVIDIA с использованием Model Optimizer. NVIDIA не является разработчиком исходной модели. Модель предназначена для коммерческого и некоммерческого применения, включая AI-агентов, чат-ботов, RAG-системы и другие приложения на базе генерации текста. Модель использует архитектуру Transformers с сетевой архитектурой MiniMaxM2ForCausalLM и содержит 229 млрд параметров. Она работает с текстовыми последовательностями на входе и генерирует текст на выходе; поддерживаемый контекст составляет до 196 608 токенов. Языки явно не указаны. Квантизация весов и активаций линейных операторов внутри трансформерных блоков до формата NVFP4 уменьшает число бит на параметр с 8 до 4, а также примерно в 1,65 раза сокращает требования к дисковому пространству и видеопамяти. Модель ориентирована на развёртывание на NVIDIA GPU, прежде всего на системах с микроархитектурой Blackwell, и интегрируется с SGLang и vLLM под Linux. К сильным сторонам относятся большой контекст, поддержка задач рассуждения и программирования, а также сниженные требования к памяти благодаря квантизации. Ограничения включают зависимость от совместимого оборудования NVIDIA и необходимость дополнительного тестирования на данных конкретного сценария; характеристики исходной MiniMax-M2.5, включая детальные языковые возможности, в предоставленных данных не раскрыты. Использование регулируется NVIDIA Open Model License; дополнительно указана Modified MIT License исходной модели MiniMax-M2.5. Версия квантизации создана с использованием NVIDIA Model Optimizer 0.43.0.

Карточка модели Arsh9210/MiniMax-M3-NVFP4 на Hugging Face совпадает с карточкой nvidia/MiniMax-M3-NVFP4, поэтому описание составлено по ней. NVIDIA MiniMax-M3-NVFP4 — квантизированная версия мультимодальной модели MiniMax-M3, подготовленная с помощью NVIDIA Model Optimizer. Это модель архитектуры Transformer с Mixture-of-Experts: всего 428 млрд параметров, из которых активно около 23 млрд на токен. Она принимает текст, изображения и видео, а также выдаёт текст; контекстное окно составляет до 1 млн токенов, видео — до 30 минут. Модель предназначена для понимания изображений и длинных видео, программирования на продолжительных задачах, диалогов с инструментами и агентных сценариев. Режим рассуждения можно переключать между углублённым и менее затратным по задержке. Квантизация NVFP4 уменьшает объём весов и требования к памяти примерно вдвое относительно 8-битной версии; в приведённых тестах показатели близки к FP8-базе. Для запуска README указывает vLLM и NVIDIA Blackwell; поддержка MiniMax-M3 NVFP4 доступна в nightly-сборке vLLM. Веса самой модели разработаны не NVIDIA, а сторонней организацией. Лицензия обозначена как other, модель разрешена для некоммерческого использования. Ответы могут быть неточными, неполными или избыточными; модель может воспроизводить токсичность и предвзятость из обучающих данных.

hermes42/Mistral-7B-Instruct-v0.3-imatrix-GGUF — это GGUF-квантизированная версия Mistral-7B-Instruct-v0.3, разработанного командой Mistral AI. Модель представляет собой инструкционно дообученную большую языковую модель примерно на 7 млрд параметров для генерации текста и диалогового взаимодействия. Модель предназначена для следования инструкциям, чат-сценариев, ответов на вопросы, создания и обработки текста, а также задач, связанных с программным кодом. Исходная Mistral-7B-Instruct-v0.3 поддерживает function calling, использует tokenizer v3 и расширенный словарь размером 32768 токенов. Поддержка языков и размер контекстного окна в предоставленных данных не указаны. Версия в данном репозитории дополнительно обработана с помощью importance matrix на наборе group_10_merged.txt, что направлено на улучшение perplexity, и подготовлена с использованием llama.cpp. К сильным сторонам относятся компактный размер по меркам современных LLM, возможность локального запуска через совместимые инструменты GGUF и llama.cpp, инструкционное обучение и поддержка вызова функций в исходной модели. Ограничения включают отсутствие встроенных механизмов модерации, возможные потери качества из-за квантизации и отсутствие сведений о конкретном формате квантизации, контекстном окне и языковом покрытии этой сборки. Модель распространяется по лицензии Apache-2.0.

JANGQ-AI/Mistral-Small-4-119B-A6B-JANG_4M — квантованная сборка модели Mistral Small 4 от Jinho Jang и проекта JANGQ-AI, предназначенная для запуска на компьютерах Apple Silicon через MLX. Она основана на mistralai/Mistral-Small-4-119B-2603 и использует формат MLX safetensors с квантованием JANG 4.08 бит и вычислениями bfloat16. Модель содержит 119 млрд параметров, из которых активны около 6 млрд на токен. Архитектура включает 36 MoE-слоёв с 128 экспертами и выбором четырёх экспертов, MLA-внимание и визуальный энкодер Pixtral. Модель поддерживает диалог, рассуждения, генерацию кода и анализ изображений; README указывает максимальное разрешение изображений 1540 пикселей. В карточке перечислены английский, французский, немецкий, испанский, японский, корейский и китайский языки. Сборка рассчитана на запуск в MLX Studio; README также указывает поддержку oMLX. Для указанной конфигурации требуется около 68 ГБ оперативной памяти, а тест скорости приведён для M3 Ultra. Владелец публикует код квантования с открытым исходным кодом; модель распространяется по лицензии Apache-2.0. Приведённые скорости относятся к конкретному стенду и не гарантируют такие же результаты на других устройствах.

Это версия NVIDIA-Nemotron-3-Nano-30B-A3B-BF16, преобразованная сообществом mlx-community в формат MLX для запуска с mlx-lm. Модель предназначена для генерации текста и диалогового взаимодействия. Базовая модель NVIDIA ориентирована на рассуждения, программирование и создание агентных приложений; в карточке также заявлена поддержка английского, испанского, французского, немецкого, японского и итальянского языков. В названии указана точность 5 бит. README сообщает о преобразовании исходной BF16-модели в формат MLX с помощью mlx-lm 0.29.1; метаданные указывают библиотеку MLX и формат файлов safetensors. Лицензия обозначена как other, поэтому конкретные условия использования следует сверить с лицензией базовой модели и файлами репозитория. Данных о длине контекста в предоставленных источниках нет.

Omega AI 8B — публикация модели Qwen3-8B под брендом Omega AI. Репозиторий сохраняет исходные предварительно обученные веса без дообучения и содержит только изменения брендинга и метаданных. Это плотная авторегрессионная языковая модель семейства Qwen3 с 7,6 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. Метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст; заявленная длина контекста — 40 960 токенов. Модель подходит для диалоговых приложений, следования инструкциям, рассуждений, работы с кодом и вызова инструментов — эти возможности описаны для базовой Qwen3-8B. Карточка Omega не сообщает о дополнительном обучении или отдельных улучшениях относительно базы. Лицензия репозитория — Apache-2.0.

unsloth/Phi-4-mini-instruct-GGUF — GGUF-версия модели Phi-4-mini-instruct от Microsoft, подготовленная Unsloth с исправлениями токенизации и шаблона чата. Исправлены совпадение токенов padding и EOS, лишний EOS-токен в шаблоне, корректно настроен токен завершения <|end|> и изменён unk_token. Модель распространяется как открытая модель семейства Phi-4. Модель предназначена для генерации текста, диалоговых сценариев и следования инструкциям, включая задачи программирования, математики, обработки естественного языка и рассуждений. Она обучалась на синтетических данных и отфильтрованных общедоступных веб-источниках, а также прошла supervised fine-tuning и direct preference optimization для повышения точности следования инструкциям и безопасности. Поддерживается контекст длиной до 128K токенов и многоязычное использование. Ключевые сведения об архитектуре и точном размере модели в README не указаны. GGUF и динамическая квантизация Unsloth ориентированы на более эффективное локальное использование при сохранении качества по сравнению со стандартной 4-битной квантизацией, однако конкретный уровень квантизации и требования к ресурсам зависят от выбранного файла. Модель ограничена возможными ошибками генерации и не гарантирует абсолютную безопасность или корректность ответов. Указана лицензия MIT.

Quatfit Mini — мультимодальная модель на 8 млрд параметров от Quatfit AI Research, дообученная на архитектуре Google Gemma 4. Она принимает текст, изображения и аудио, а также поддерживает контекст до 131 072 токенов. В репозитории опубликованы веса FP32 в формате safetensors; для инференса на менее мощном оборудовании доступны преобразование в BF16/FP16 и отдельные сборки GGUF. Разработчик заявляет оптимизации для ускорения инференса, в том числе speculative decoding, и сценариев с вызовом инструментов. Модель предназначена для визуальных вопросов и ответов, OCR, понимания диаграмм и аудио, программирования, длинного контекста и агентных рабочих процессов. Карточка перечисляет поддержку английского, хинди, гуджарати, маратхи, телугу, французского, японского и китайского языков. Для медицинской диагностики, юридических рекомендаций и решений с высоким риском модель не предназначена; также обозначены ограничения для крупных программных проектов и соревновательного программирования. Лицензия — Apache-2.0.

Qwen3-1.7B-MLX-4bit — компактная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Это MLX-версия модели Qwen3-1.7B-Base с 4-битным квантованием, предназначенная для локального запуска и генерации текста. Она подходит для диалогов, следования инструкциям, генерации кода, математических и логических рассуждений, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Модель содержит 1,7 млрд параметров, из которых 1,4 млрд не относятся к embedding-слою, и имеет 28 слоёв. Используется Grouped Query Attention с 16 головами для запросов и 8 головами для ключей и значений. Максимальная длина контекста составляет 32 768 токенов. Модель поддерживает более 100 языков и диалектов и допускает переключение между режимом рассуждений и нерaссуждающим режимом в рамках одной модели: первый ориентирован на сложные задачи, математику и программирование, второй — на более быструю генерацию и общий диалог. К сильным сторонам относятся сочетание небольшого размера, локального формата MLX и 4-битного квантования, мультиязычность, поддержка диалогов и инструкций, а также гибкое управление режимом рассуждений. Ограничения включают меньшую ёмкость по сравнению с крупными моделями и отсутствие в предоставленных данных подробных результатов бенчмарков, требований к оборудованию и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

Qwen/Qwen3-1.7B-MLX-bf16 — языковая модель семейства Qwen3, представленная в формате MLX и весах BF16. По метаданным, это производная Qwen/Qwen3-1.7B-Base; модель плотная, с архитектурой Qwen3ForCausalLM и 1,7 млрд параметров. Она предназначена для генерации текста и диалогов, выполнения инструкций, рассуждений, математических и программных задач, а также интеграции с инструментами. Модель переключается между режимом рассуждений и обычным режимом диалога. README указывает поддержку более 100 языков и диалектов, а метаданные задают контекст до 40 960 токенов. Разработчик рекомендует MLX для запуска; веса опубликованы в формате safetensors. Лицензия Apache-2.0 разрешает свободное использование на её условиях. Компактный размер упрощает запуск по сравнению с крупными моделями семейства, а интерфейс вызова инструментов подходит для агентных сценариев. Как модель на 1,7 млрд параметров, она может уступать более крупным моделям в сложных задачах; в режиме рассуждений не рекомендуется жадное декодирование, поскольку оно может ухудшать ответы и приводить к повторениям.

FreedomAISVR подготовил GGUF-вариант мультимодальной инструктивной модели Qwen3.5-9B с квантизацией MXFP4. Модель содержит 32 трансформерных блока с гибридной архитектурой attention, FFN и SSM, дополнительную голову Multi-Token Prediction и проектор SigLIP для обработки изображений. Размер модели — 9 млрд параметров, контекст — до 262 144 токенов; веса представлены в 4-битном формате MXFP4, а проектор — в F16. Модель предназначена для генерации ответов и диалога на нескольких языках, понимания изображений и видео, вызова инструментов, рассуждений и задач по коду. Режим рассуждений в этой сборке выключен по умолчанию и включается параметром enable_thinking=true. Для мультимодального запуска требуется подключить файл проектора mmproj; использовать сборку можно через llama.cpp и совместимые инструменты для GGUF. Модель основана на Qwen/Qwen3.5-9B и распространяется по лицензии Apache-2.0. Квантизация уменьшает требования к памяти, но может повлиять на точность по сравнению с исходными весами. В README указана поддержка английского, китайского и кода; метаданные также отмечают многоязычность.

AtomicChat/Qwen3.6-35B-A3B-GGUF — это набор самостоятельно квантованных версий базовой модели Qwen/Qwen3.6-35B-A3B, подготовленный командой Atomic Chat в формате GGUF для локального и полностью офлайн-запуска. Модель предназначена для генерации текста, диалоговых сценариев, агентного программирования, работы с frontend-задачами и рассуждений на уровне репозитория. Модель можно использовать через llama.cpp, Ollama, LM Studio, Jan и Atomic Chat. Базовая модель содержит 36 млрд параметров и построена на архитектуре Mixture-of-Experts с 40 слоями, 256 маршрутизируемыми экспертами и выбором 8 экспертов на токен. Архитектура использует 16 attention heads и 2 KV heads, словарь из 248 320 токенов и контекст до 262 144 токенов. Исходная модель поддерживает текст и изображения, однако представленные GGUF-файлы являются текстовыми и не содержат vision projector. Репозиторий включает варианты Q4_K_M, UD-Q4_K_XL, Q5_K_M, Q6_K и Q8_0; размеры файлов составляют примерно от 21,2 до 36,9 ГБ. Квантование выполнено с importance matrix, что позволяет сохранить большую часть качества исходной модели, при этом Q4_K_M рекомендуется как оптимальный баланс размера, скорости и качества. К сильным сторонам относятся большой контекст, MoE-архитектура, возможность автономного запуска и несколько уровней квантования с разным компромиссом между качеством и требованиями к памяти. Ограничения — высокая потребность в оперативной или видеопамяти, отсутствие обработки изображений в данных версиях и необходимость применять шаблон чата Qwen3.6 через параметр --jinja. Лицензия исходной модели — Apache 2.0; квантованные файлы подготовлены Atomic Chat.

Qwen3.8-9B-Distill-uncensored-heretic — текстовая генеративная модель автора @ptruha, опубликованная в рамках проекта Empero. Это полно-параметрическое дообучение Qwen/Qwen3.5-9B: модель-дистиллят обучена методом SFT на примерно 70 тысячах отфильтрованных трасс рассуждений учителя Qwen3.8 2.4T A95B. Веса содержат около 9 млрд параметров и распространяются в формате Safetensors; карточка указывает архитектуру Qwen3.5 и нативный контекст 262 144 токена. Модель предназначена для диалога, рассуждений, математики, программирования, следования инструкциям и вызова инструментов. В README приведены результаты GSM8K и MMLU; автор сообщает о низкой частоте отказов в собственном тесте, однако эти результаты не являются независимой оценкой. Дообучение было текстовым, поэтому унаследованные от мультимодальной базовой модели возможности работы с изображениями не оценивались. Для запуска требуется актуальная версия Transformers с поддержкой Qwen3.5 и CUDA-совместимыми компонентами; без них внимание может работать медленно и потреблять больше памяти. Лицензия — Apache-2.0.

Bonsai 2 27B — производная от Qwen/Qwen3.8-27B модель семейства Prism ML для генерации текста, рассуждений и диалогов. Это плотный трансформер с гибридным вниманием, SwiGLU, RoPE и RMSNorm; языковые веса представлены в троичном формате {-1, 0, +1} с блочной Hadamard-ротацией. Репозиторий содержит веса в формате safetensors для MLX; заявлены 27,36 млрд параметров и контекст до 262 тыс. токенов. Модель также включает башню зрения, однако карточка этого варианта указывает основной задачей генерацию текста. Модель рассчитана на локальный запуск на устройствах Apple Silicon и совместимых GPU, в том числе для продолжительного анализа документов и кода, диалогов, рассуждений и сценариев с вызовом инструментов. Автор заявляет сохранение 98,2% среднего результата FP16-версии на 14 тестах, включая математику, программирование и использование инструментов. Троичное представление сокращает размер весов, но требует специализированных низкоразрядных ядер; скорость зависит от аппаратуры и реализации. Модель основана на Qwen/Qwen3.8-27B и распространяется по лицензии Apache-2.0. Для использования нужны совместимый runtime MLX и соответствующие низкоразрядные ядра; заявленные характеристики скорости и качества являются результатами автора и могут отличаться на конкретном оборудовании.

HarimxChoi/WarpQuant-Qwen3.8-27B-R16E4H4-Text — текстовая версия Qwen3.8-27B, подготовленная с применением WarpQuant. Репозиторий содержит причинную языковую модель, токенизатор и шаблон чата; по метаданным это плотная архитектура семейства Qwen, предназначенная для генерации текста и диалогов. Указано 22,3 млрд параметров в метаданных и около 26,9 млрд текстовых параметров в README. Контекст — до 262 144 токенов. Ключи проекций квантованы до 3 бит с вращением Адамара и восстановлением отдельных слабых столбцов; эмбеддинги токенов и выходная голова используют групповой INT4. В первой публикации восстановленные тензоры хранятся в BF16 для запуска через Transformers, поэтому фактический размер файлов больше аналитического упакованного представления. README приводит результаты сравнений на языковых и тестовых наборах и сообщает о совпадении последних токенных логитов с исходной моделью на проверенном промпте. Модель рассчитана на текстовую генерацию, чат, рассуждения и задачи вроде ответов на вопросы и программирования. В отличие от исходной мультимодальной версии, в этой сборке отсутствуют модуль обработки изображений и слой MTP. Лицензия — Apache-2.0.

Yi-1.5-9B — базовая языковая модель семейства Yi, разработанная 01.AI. Это плотная авторегрессионная модель архитектуры Llama с 8,6 млрд параметров, предназначенная для генерации текста и продолжения запросов. Yi-1.5 получена непрерывным предварительным обучением модели Yi на высококачественном корпусе объёмом 500 млрд токенов; в линейке также есть отдельные версии Chat, но данный репозиторий содержит базовую модель. Модель подходит для языкового понимания, чтения с пониманием, рассуждений, математики и программирования. В карточке семейства указаны контексты 4K, 16K и 32K; для этой модели в метаданных указан native context 4096 токенов. Веса доступны в формате Safetensors. Лицензия — Apache-2.0.

jondurbin/bagel-dpo-7b-v0.5 — диалоговая модель, разработанная Jondurbin как дообучение Mistral-7B-v0.2 на наборе Bagel v0.5 с дополнительным этапом DPO. Она предназначена для генерации ответов в чате и широкого круга инструкционных задач: ответов на вопросы, рассуждений, суммаризации, написания текстов, программирования, математики и вызова функций. В обучающие данные также включены примеры ролевого диалога, чтения с пониманием и работы с контекстом. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В README описана вариативная разметка запросов с форматами Vicuna, Llama 2, Alpaca и модифицированным ChatML; шаблон по умолчанию — Llama 2. Многоязычные примеры присутствуют в обучающих данных, но основной язык модели не выделен. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Карточка сообщает, что использованы только обучающие части наборов данных, а также предупреждает о токсичном и потенциально незаконном содержимом в одной из составляющих DPO-данных; ответы и безопасность следует проверять, особенно для пользовательских и чувствительных сценариев.

Dans-PersonalityEngine-V1.3.0-12b — дообученная PocketDoc языковая модель на архитектуре Mistral с 12,1 млрд параметров, созданная на базе mistralai/Mistral-Nemo-Base-2407. Модель обучалась на более чем 50 специализированных датасетах и предназначена для диалогов, ролевых сценариев, совместного написания текстов, генерации кода, использования инструментов и сложных рассуждений. Версия 1.3.0 поддерживает десять языков: арабский, китайский, английский, французский, немецкий, хинди, японский, корейский, португальский и испанский. Основной язык — английский; на нём ожидается наилучшее качество. Карточка указывает контекст 32 768 токенов и возможность увеличить его до 131 072 токенов с ухудшенным извлечением информации. Для диалогов модель использует формат DanChat-2. Она распространяется под лицензией Apache-2.0.

GaelicThunder/DeepSeek-V4-Flash-Vision-Exp-ablit-EXL3-Kalibrated — квантизированная версия DeepSeek-V4-Flash-Vision-Exp от DeepSeek, подготовленная GaelicThunder на основе MixedK-пака vcruz305 и abliterated-варианта drowzeys. Модель предназначена для мультимодальных задач «текст плюс изображение», включая анализ изображений и генерацию текста, а также для обычных сценариев работы с текстом, математикой и кодом. Это MoE-модель с 256 маршрутизируемыми экспертами в каждом слое, представленная в формате EXL3 с mixed-precision-квантизацией: экспертные веса распределены между 2- и 3-битным представлением, при этом 22 слоя дополнительно переквантизированы в калиброванный 3-битный формат. Остальные тензоры используют BF16 или FP8 в зависимости от компонента. Пакет занимает около 106 GB и рассчитан на запуск на одной NVIDIA DGX Spark с GB10 и 128 GB памяти. Поддерживаются контекст до 245 760 токенов, speculative decoding, CUDA graphs и обработка от одного до трёх изображений на запрос. Языки явно не указаны. По приведённым измерениям модель сохраняет около 90% вероятности токенов оригинальной модели в среднем, с особенно сильными результатами на математике; заявлены также показатели для прозы и кода. Ограничения включают высокие требования к памяти и специализированному стеку запуска, длительную первичную компиляцию ядер и известную ошибку декодирования, из-за которой иногда появляется токен «)Skip»; в рекомендуемом сценарии она подавляется прокси. Модель распространяется по лицензии MIT.

OliviaRossi/DoubleTrouble-GGUF — мультимодальная модель семейства DoubleTrouble-27B, разработанная OliviaRossi на основе объединения Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored от DavidAU и Qwopus3.8-27B-Flash от Jackrong. Модель распространяется в формате GGUF и предназначена для генерации текста, сложного следования инструкциям, рассуждений, программирования, агентских сценариев и вызова инструментов, а также для работы с изображениями. Заявлена поддержка английского и китайского языков. Архитектура представляет собой плотную модель Qwen 3.8 с 27 млрд параметров, 64 слоями, скрытым размером 5120, гибридом Gated DeltaNet и Grouped-Query Attention, а также встроенным vision encoder. В репозитории доступны полноточная BF16-версия объёмом около 52 ГБ в двух частях и квантизованная IQ3_XXS с importance matrix объёмом около 11,5 ГБ. Для BF16 рекомендуется не менее 56 ГБ VRAM или RAM, а IQ3_XXS рассчитана на системы до 16 ГБ памяти. Поддерживаются llama.cpp, vLLM и Ollama; заявлена совместимость со стандартным JSON-вызовом инструментов. Модель предлагает режимы динамического рассуждения: от мгновенного ответа без размышлений до углублённого анализа, а также специальные режимы для мозгового штурма и исследовательских задач. По заявлению автора, при слиянии сохранены свойства uncensored-модели, снижена склонность к отказам, а вспомогательная MTP-голова удалена для стабильной работы в стандартных рантаймах. Ограничения включают высокие требования к памяти для BF16, потерю части точности в IQ3_XXS и зависимость качества мультимодальной и агентской работы от используемого рантайма и шаблона чата. Лицензия — Apache-2.0.

Карточка модели belltechsoft/gemma-4-12B-it-assistant на Hugging Face совпадает с карточкой google/gemma-4-12B-it-assistant, поэтому описание составлено по ней. Gemma 4 12B IT Assistant — мультимодальная модель с открытыми весами от Google DeepMind, предназначенная для диалогов и генерации текста. Эта карточка описывает вариант Multi-Token Prediction (MTP): компактная черновая модель для speculative decoding, которая предлагает несколько токенов заранее, а целевая модель проверяет их параллельно. Такой режим может ускорять декодирование до 3 раз без изменения качества относительно обычной генерации. Модель семейства Gemma 4 использует плотную архитектуру и поддерживает ввод текста, изображений и аудио; на выходе генерирует текст. Она предназначена для рассуждений, программирования, распознавания и понимания речи, работы с изображениями и агентных сценариев с вызовом инструментов. Семейство поддерживает длинный контекст до 256 тысяч токенов и многоязычную работу; в карточке указана поддержка более 140 языков при обучении. MTP-вариант рассчитан на использование в speculative decoding с соответствующей целевой моделью, а не как самостоятельная замена обычному checkpoint для всех сценариев. Лицензия — Apache 2.0.

callmegrr/gemma-4-31B-it-heretic-z — дообученная версия Gemma 4 31B от Google DeepMind, опубликованная пользователем callmegrr. Это плотная мультимодальная модель для диалога, которая принимает текст и изображения и формирует текстовые ответы; в метаданных заявлены возможности чата и компьютерного зрения. README семейства Gemma 4 описывает гибридное внимание, режим пошагового рассуждения и контекст до 256 тысяч токенов для версии 31B, а также анализ изображений, документов, диаграмм и экранов, OCR, генерацию и исправление кода и вызов инструментов. Семейство поддерживает более 35 языков; отдельные возможности аудио относятся к другим вариантам Gemma 4 и не заявлены для этой модели. Модель подходит для визуальных вопросов и ответов, извлечения информации из изображений и документов, диалоговых помощников, суммаризации и задач с кодом. Название и теги «heretic», «uncensored», «decensored» и «abliterated» указывают на изменённые ограничения поведения, но README не объясняет метод этих изменений или их эффект. Репозиторий распространяется под лицензией Apache-2.0. Возможны фактические ошибки, пробелы и смещения в ответах; качество зависит от формулировки запроса и сложности задачи.

GLM-4.7-Flash-FP8-Dynamic — динамически квантованная в формате FP8 версия языковой модели GLM-4.7-Flash. Квантование выполнено командой Unsloth на базе модели zai-org/GLM-4.7-Flash; исходную модель разработала команда GLM. Модель распространяется для генерации текста и предназначена для быстрого и эффективного локального инференса. GLM-4.7-Flash — разреженная MoE-модель с общей конфигурацией 30B параметров и активными 3B параметрами. Она поддерживает английский и китайский языки и может применяться для рассуждений, программирования, агентских сценариев, вызова инструментов и других задач генерации текста. В README приведены высокие результаты на ряде тестов, включая AIME 25, GPQA, SWE-bench Verified, τ²-Bench и BrowseComp, однако показатели зависят от условий оценки и не гарантируют аналогичную производительность в прикладных задачах. Ключевое преимущество этой версии — снижение вычислительных требований и ускорение инференса благодаря динамическому FP8-квантованию, при заявленном Unsloth сохранении высокой точности. Модель поддерживается фреймворками vLLM, SGLang и Transformers, но для некоторых сценариев требуются актуальные версии из основных веток проектов. В README не указаны размер контекста и мультимодальные возможности; описанная версия ориентирована на текстовые задачи. Лицензия — MIT.

Hermes3.6-35B-A3B-Uncensored-Genesis-NVFP4-GGUF — квантованная версия семейства Qwen 3.6 / Hermes 3.6, созданного на основе работ LuffyTheFox и HauhauCS. Квантование NVFP4, интеграцию MTP и публикацию GGUF выполнил jan1k. Модель предназначена для генерации текста, программирования, точных и творческих задач, агентских сценариев и вызова инструментов. Также заявлена поддержка изображений через отдельный мультимодальный проектор mmproj в формате F16. Модель построена на архитектуре Mixture of Experts: содержит около 35 млрд параметров, при этом на каждом токене активируется примерно 3 млрд параметров и 8 экспертов. Доступен контекст до 128K токенов при использовании рекомендованной конфигурации llama.cpp. Заявлена поддержка английского, китайского и других языков. Формат NVFP4 оптимизирован для GPU NVIDIA поколений Ada Lovelace, Blackwell и Ampere. Genesis — применённый алгоритм посттренировочной регенерации и калибровки GGUF, направленный на снижение шума весов и сохранение значимой части исходного сигнала без переобучения. К сильным сторонам относятся высокая вычислительная эффективность MoE, большой контекст, поддержка vision, режимов рассуждения и JSON-вызова инструментов, а также сниженное потребление памяти благодаря 4-битному представлению. Ограничение этой версии существенно: репозиторий помечен как устаревший, а расширенный вариант NVFP4 с отдельными тензорами масштабирования несовместим с LM Studio и Pelican и может выдавать некорректный результат. Для работы рекомендуется совместимый llama.cpp и соответствующая настройка шаблона чата. Модель распространяется по лицензии Apache-2.0.