II.4Отладка, тестирование и качество ПО

coder3101/Qwen3.8-27B-heretic-ara — дообученная версия Qwen/Qwen3.8-27B от coder3101 с ослабленным отказом отвечать на запросы: в приведённом сравнении отказы снизились с 92 до 9 из 100, а KL-дивергенция составила 0,0349. Это плотная мультимодальная модель на 27 млрд параметров с языковой моделью и энкодером зрения; она принимает текст, изображения и видео и предназначена для диалога, анализа визуальных материалов, программирования, исследований и многошаговых агентных задач. Архитектура основана на Qwen3.5 и сочетает Gated DeltaNet, Gated Attention и FFN-блоки. Контекст составляет 262 144 токена с возможностью расширения до 1 000 000. Режим рассуждений включён по умолчанию и может управляться настройками запроса. README описывает возможности исходной Qwen3.8-27B, поэтому заявленные там характеристики не являются независимой оценкой этой производной модели; количественное сравнение в карточке ограничено KL-дивергенцией и частотой отказов. Языки явно не перечислены. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

Salience-27B-R6-i1-GGUF — набор GGUF-квантизаций модели Salience-27B-R6, разработанный vectionlabs на базе Qwen3.8. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и вызова инструментов; заявлена поддержка мультимодальных задач с обработкой изображений через отдельный vision encoder mmproj. Основной язык — английский. Это плотная модель примерно на 27 млрд параметров с гибридной архитектурой: 48 из 64 слоёв используют линейное внимание с рекуррентным состоянием, а остальные — обычное внимание. Для запуска рекомендуется llama.cpp; пример конфигурации использует контекст до 32 768 токенов, шаблон чата jinja и reasoning-формат deepseek. Квантизации используют importance matrix и распределение битов по тензорам, что особенно направлено на сохранение качества вызова инструментов и агентского поведения. Доступны варианты от IQ2_XXS и IQ2_M до Q6_K; размер файлов составляет примерно 8,2–21 ГБ. Сильными сторонами являются поддержка рассуждений, кода, инструментов, длинного контекста и изображений, а также возможность запуска на системах с ограниченной памятью благодаря широкому выбору квантизаций. При этом низкие уровни IQ2 и Q2 не рекомендуются: качество заметно снижается, а ошибки могут сильнее накапливаться при увеличении длины контекста. Для обработки изображений требуется отдельный файл vision encoder; без jinja-шаблона возможны некорректные вызовы инструментов. Модель и квантизации распространяются по лицензии Apache-2.0.

DeepSeek-V4-Pro-DSpark — это не отдельная модель, а тот же чекпойнт DeepSeek-V4-Pro с подключённым дополнительным модулем speculative decoding. Модель разработана DeepSeek AI и относится к серии DeepSeek-V4, предназначенной для сложных задач обработки текста, рассуждений, программирования, агентских сценариев и работы с очень длинным контекстом. В основе лежит разреженная Mixture-of-Experts (MoE) архитектура: DeepSeek-V4-Pro содержит 1,6 трлн параметров, из которых при обработке активируется 49 млрд. Модель поддерживает контекст до 1 млн токенов. В архитектуре используются Hybrid Attention с механизмами Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections; для обучения применялся оптимизатор Muon. Указана смешанная точность FP4 и FP8: параметры экспертов MoE используют FP4, большинство остальных параметров — FP8. Данные о поддерживаемых языках и мультимодальности в README не приведены. Сильными сторонами модели являются большой контекст, высокая вычислительная эффективность при длинных последовательностях и рассчитанность на сложные задачи, включая кодирование, рассуждения и использование инструментов. Ограничение заключается в том, что DSpark добавляет speculative decoding к существующему чекпойнту, а не представляет самостоятельную архитектуру. Для запуска требуется инфраструктура, способная работать с моделью масштаба 1,6 трлн параметров и соответствующими форматами точности. Модель распространяется по лицензии MIT.

Dolphin 2.9 Llama 3 8B 1M — диалоговая языковая модель, подготовленная Эриком Хартфордом, Лукасом Аткинсом, Фернандо Фернандесом и командой Cognitive Computations на базе Meta Llama 3 8B. Это полнос-параметрическое дообучение плотной архитектуры Llama с шаблоном запросов ChatML; метаданные указывают 7,5 млрд параметров и контекст до 1 048 576 токенов. Модель предназначена для ответов на инструкции, диалогов, задач по коду, математики и начальных сценариев использования инструментов и function calling. В README отмечено, что в обучающем наборе есть ошибка, из-за которой модель может излишне упоминать «SYSTEM MESSAGE»; автор рекомендует явно попросить её не обсуждать системное сообщение. Модель описана как uncensored и может с готовностью выполнять вредоносные запросы, поэтому перед предоставлением пользователям автор рекомендует добавить собственный слой выравнивания. Условия использования определяются лицензией Meta Llama 3 Community License; коммерческое применение допускается в соответствии с её условиями.

Domyn Small v1.0 — текстовая генеративная модель с открытыми весами, разработанная компанией Domyn S.p.A. Модель построена на плотной архитектуре Nemotron с 10,7 млрд параметров, группированным запросным вниманием и контекстом 32 768 токенов; при инференсе контекст можно расширить до 131 072 токенов с помощью YaRN. Модель принимает и выдаёт текст, поддерживает режимы рассуждения с включением и выключением, а также вызов инструментов. Она предназначена для многоязычных диалогов, многошаговых задач рассуждения и агентных приложений, в том числе для задач программирования и математики. Разработчик заявляет о сопоставимой с другими моделями класса 7–10B точности на ряде тестов при меньшем расходе токенов на рассуждение. В карточке указана оптимизация для английского, итальянского, испанского, французского и немецкого языков; README также сообщает о покрытии более 50 языков. Модель основана на Italia 10B и прошла дополнительное предобучение на 503 млрд токенов. Лицензия в метаданных указана как other, тогда как README заявляет MIT; условия распространения следует сверять с файлами лицензии в репозитории. YaRN может снижать качество на запросах короче штатного контекста, а разработчик рекомендует отдельно оценивать точность, безопасность и справедливость для конкретного применения, особенно в областях высокого риска.

RedHatAI/gemma-4-31B-it-FP8-dynamic — квантизированная FP8-версия мультимодальной модели google/gemma-4-31B-it, подготовленная RedHatAI. Модель построена на архитектуре Gemma4ForConditionalGeneration, принимает текст и изображения и генерирует текст. Она предназначена для генерации текста, диалоговых сценариев, следования инструкциям, рассуждений и вызова инструментов. Веса модели статически квантизированы в FP8 с масштабированием по каналам, а активации динамически квантизируются во время инференса с масштабированием по токенам. Квантизация применяется к линейным операторам трансформерных блоков; vision tower, embedding-слои и выходная голова сохраняют исходную точность. Это примерно вдвое уменьшает число бит на параметр, размер модели на диске и требования к памяти GPU по сравнению с 16-битной версией. Заявлены поддержка tool calling и режим reasoning/thinking. Модель оптимизирована для инференса через vLLM; в предоставленной конфигурации используется максимальная длина контекста 32768 токенов, а также специальные reasoning- и tool-call-парсеры Gemma 4. Оценки на GSM8K Platinum, MMLU-Pro, IFEval, MATH-500, AIME 2025, GPQA Diamond, LiveCodeBench v6 и BFCLv4 показывают близкие к исходной модели результаты, однако конкретные значения зависят от режима thinking. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-4-E2B-it-GGUF — это GGUF-версия инструкционно дообученной мультимодальной модели Gemma 4 E2B, разработанной Google DeepMind и подготовленной сообществом Unsloth. Модель предназначена для локального запуска на ноутбуках и мобильных устройствах, а также для задач генерации и понимания текста, рассуждений, программирования, агентных сценариев и вызова функций. Модель имеет плотную архитектуру с эффективным размером около 2,3 млрд параметров и примерно 5,1 млрд параметров с учётом эмбеддингов, 35 слоями и гибридным механизмом внимания, сочетающим локальное скользящее окно на 512 токенов с глобальным вниманием. Контекстное окно составляет 128K токенов, словарь — 262K токенов. Поддерживаются текст, изображения и аудио на входе с генерацией текста на выходе; заявлена работа более чем со 140 языками. Для обработки изображений используется энкодер примерно на 150 млн параметров, аудио — примерно на 300 млн. К сильным сторонам относятся мультимодальность, большое контекстное окно, режимы настраиваемого рассуждения, улучшенные возможности программирования, нативная поддержка системных промптов и function calling, а также ориентация на эффективное выполнение на локальных устройствах. Ограничения включают меньший размер и, вероятно, более ограниченные возможности по сравнению с крупными моделями семейства Gemma 4; конкретный уровень качества и требования к памяти зависят от используемой GGUF-квантизации, параметры которой в карточке не указаны. Модель распространяется по лицензии Apache 2.0.

coder3101/gemma-4-E4B-it-heretic — производная мультимодальная модель на базе Google Gemma 4 E4B Instruct, размещённая пользователем coder3101. Это плотная модель семейства Gemma 4 для диалогов, рассуждений, программирования и анализа мультимодальных данных. Архитектура Gemma4ForConditionalGeneration сочетает локальное скользящее внимание с глобальным; модель распространяется в формате safetensors и использует библиотеку Transformers. Базовая версия E4B поддерживает контекст до 128K токенов. Модель принимает текст и изображения, а для аудиовозможностей E4B также может обрабатывать речь: распознавать её и переводить речь в текст другого языка. Заявлены анализ видео по последовательности кадров, OCR, разбор документов и экранов, понимание графиков, вызов инструментов и генерация кода. Семейство Gemma 4 поддерживает более 35 языков; карточка не уточняет отдельный список языков этой производной модели. Метки heretic, uncensored, decensored и abliterated указывают на изменение поведения в отношении отказов, но README не описывает конкретную методику или результаты такого изменения. Лицензия — Apache-2.0. Как и другие языковые модели, она может выдавать фактические ошибки, хуже справляться с неоднозначными или сложными запросами и отражать смещения обучающих данных. Заявленные возможности базового семейства не являются отдельной оценкой качества именно этой производной модели.

Arli AI выпустила Derestricted-версию GLM-4.6-REAP-268B-A32B, разреженной языковой модели семейства GLM с архитектурой Mixture of Experts. Веса изменены методом Norm-Preserving Biprojected Abliteration, чтобы ослабить поведение отказа и сохранить нормы весов; это не обычная квантизация. Базовая модель была сжата методом REAP: из 160 экспертов оставлено 120, а всего в ней 268 млрд параметров, из которых активируются 32 млрд на токен. Для этой версии README не приводит отдельные результаты оценки качества. Модель предназначена для генерации текста и диалогов, рассуждений, написания кода и агентных сценариев; унаследованные возможности базовой модели включают вызов функций. Она поддерживает английский язык и контекст до 202 752 токенов. Для запуска требуется совместимая инфраструктура с большим объёмом памяти; базовая модель описана как совместимая с актуальным vLLM. Лицензия — MIT.

NVIDIA GLM-5.2 NVFP4 — это посттренировочно квантованная версия языковой модели ZAI GLM-5.2, подготовленная NVIDIA с помощью Model Optimizer. Модель предназначена для авторегрессионной генерации текста, рассуждений и программирования, а также для использования в AI-агентах, чат-ботах, RAG-системах и других приложениях на основе искусственного интеллекта. Модель построена на архитектуре Transformer с сетью GLM-5.2 типа GlmMoeDsaForCausalLM. Это разреженная Mixture-of-Experts-модель объёмом 753 млрд параметров, из которых активируется 40 млрд; для поддержки длинного контекста используется sparse attention с индексатором IndexShare. Она принимает и генерирует текст, поддерживает контекст до 1 млн токенов. Веса и активации линейных операторов в MoE-экспертах квантизированы в формат NVFP4, при этом общий эксперт не квантизирован. Сильными сторонами модели являются поддержка длинного контекста, задач рассуждения, научного программирования, следования инструкциям и агентского использования инструментов, а также готовность к ускоренному инференсу. Обучающие данные не раскрыты, а для самой версии Model Optimizer отдельные обучение и тестирование не выполнялись; поэтому качество следует дополнительно проверять на данных конкретного сценария. Модель ориентирована на системы с GPU NVIDIA Blackwell, Linux и движками SGLang или vLLM; заявленное тестовое оборудование — NVIDIA B200 и B300. Лицензия MIT разрешает коммерческое и некоммерческое использование.

harkov000 создал объединённую модель Hermes-Dolphin-8B-v0.2-alt методом SLERP с помощью mergekit. Она сочетает Hermes-3-Llama-3.1-8B и Dolphin-2.9.4-Llama3.1-8B и предназначена для диалогов, выполнения инструкций, рассуждений, генерации текста и кода, а также взаимодействия с инструментами. Модель построена на плотной архитектуре Llama с классом LlamaForCausalLM и содержит 7,5 млрд параметров. Она принимает текст и генерирует текст; заявленный контекст — до 131 072 токенов. В метаданных указаны возможности чата и интерфейс вызова инструментов. Базовая Hermes 3 описана как англоязычная, однако сведения не устанавливают полный набор языков объединённой модели. Файлы представлены в формате safetensors, а веса объединения заданы в bfloat16. Лицензия в предоставленных данных не указана.

Карточка модели bernquant/Inkling на Hugging Face совпадает с карточкой thinkingmachines/Inkling, поэтому описание составлено по ней. Inkling — мультимодальная модель общего назначения от Thinking Machines. Это авторегрессионный трансформер с 66 слоями, архитектурой decoder-only и разреженным MoE-блоком: из 256 экспертов для каждого токена активируются 6, а ещё 2 общих эксперта участвуют всегда. Всего в модели 975 млрд параметров, активно используется 41 млрд. Поддерживаются форматы BF16 и NVFP4; веса опубликованы в Safetensors. Модель принимает текст, изображения и аудио, обрабатывает их в общем пространстве представлений и выдаёт текст. Она предназначена для диалогов, следования инструкциям, анализа изображений и аудио, программирования, агентных систем с использованием инструментов и RAG-приложений. Основной язык — английский; заявлены также общие многоязычные возможности. Для изображений рекомендуются размеры сторон от 40 до 4096 пикселей, для аудио — WAV с частотой 16 кГц и длительностью менее 20 минут. Модель доступна для интеграции, исследований и дообучения; лицензия — Apache-2.0. Возможны фактические ошибки, неточное следование инструкциям и ухудшение качества в длинных диалогах; качество может различаться между языками и предметными областями. Для важных решений требуется проверка человеком, а для публичных приложений README рекомендует дополнительные меры модерации.

QuantFactory/internlm2-chat-7b-sft-GGUF — квантизированная версия языковой модели InternLM2-Chat-7B-SFT, созданная QuantFactory с использованием llama.cpp на базе модели internlm/internlm2-chat-7b-sft. Это текстовая causal language model для генерации текста и диалоговых сценариев. Модель предназначена для общения, следования инструкциям, рассуждений, решения математических задач, написания и анализа кода, творческого письма, анализа данных, а также использования в агентных системах с инструментами и многошаговыми вызовами. Указано контекстное окно до 200 000 токенов и размер 7 миллиардов параметров. Модель работает с текстом; конкретный набор поддерживаемых языков в README не указан. Версия SFT предназначена также для исследования влияния RLHF, поскольку последующая версия InternLM2-Chat-7B дополнительно обучалась с помощью Online RLHF. К сильным сторонам относятся заявленные результаты в рассуждениях, математике, программировании, следовании инструкциям и задачах с длинным контекстом, а также преимущества квантизированного формата для запуска через llama.cpp. Ограничения включают возможные ошибки, предвзятость, дискриминационные или иные вредные ответы; качество зависит от квантизации и условий запуска. В README указана лицензия «other», без подробного описания условий, поэтому точные правила использования следует уточнять в исходной карточке модели.

InternLM-Chat-20B — диалоговая версия языковой модели InternLM, разработанная Шанхайской лабораторией искусственного интеллекта совместно с SenseTime, Китайским университетом Гонконга и Фуданьским университетом. Это плотная авторегрессионная модель на 19,6 млрд параметров с архитектурой InternLMForCausalLM. Базовая модель обучалась на более чем 2,3 трлн токенов английского, китайского и кода; Chat-версия дополнительно прошла SFT и RLHF. Метаданные указывают контекст 4096 токенов, а README сообщает о возможности расширения до 16 тысяч токенов посредством экстраполяции при инференсе. Модель предназначена для диалогов, генерации текста, ответов на вопросы, рассуждений, математических задач, программирования и взаимодействия с инструментами. Авторы отмечают улучшения в понимании и рассуждении, а также более безопасное поведение после дообучения. Модель принимает текст и генерирует текст; заявлены английский и китайский языки, а также данные для программирования. Весовая версия распространяется отдельно от кода: код открыт по Apache-2.0, а для весов README указывает академический доступ и возможность запросить бесплатную коммерческую лицензию. Модель может выдавать предвзятые, дискриминационные или иные нежелательные ответы; результаты генерации требуют проверки.

CallComply/openchat-3.5-0106-11b — дообученная компанией OpenChat чат-модель на архитектуре Mistral, представленная в формате Safetensors. Метаданные указывают 10,6 млрд параметров, контекст до 32 769 токенов и лицензию Apache 2.0. В README приведены сведения о варианте OpenChat-3.5-0106 на 7 млрд параметров с контекстом 8192 токена; поэтому заявленные там размеры и контекст расходятся с метаданными именно этого репозитория. Модель предназначена для диалогов, генерации текста, программирования и математических рассуждений. В README описаны общий режим и отдельный режим математических задач, а также экспериментальные возможности оценки ответов и предоставления обратной связи. Карточка рекомендует запускать её через OpenChat API-сервер с vLLM и указывает поддержку шаблона чата. README приводит результаты тестов на задачах кодирования, математики и общего рассуждения, но эти цифры не гарантируют качество в конкретных сценариях. Это текстовая модель: данные не подтверждают работу с изображениями или аудио. Лицензия репозитория — Apache 2.0.

Q36-35B-A3B-Opus4.7-Ablit-Heretic-OBLITERATUS-Hermes-MTP-Vision-Ollama — мультимодальная модель семейства Qwen3.6-35B-A3B, подготовленная разработчиком oktayd на основе производных Qwen и последующих reasoning-distillation, ablation, Heretic, OBLITERATUS и Hermes-этапов. Репозиторий содержит квантизированную версию GGUF для запуска через Ollama и llama.cpp. Модель предназначена для генерации текста, анализа изображений, рассуждений, программирования, агентных сценариев, function calling и работы с инструментами, включая терминал, файлы и репозитории. Архитектура — mixture-of-experts qwen3_5_moe: всего 35 млрд параметров, из них активируется около 3 млрд. Заявлены контекст до 262 144 токенов, поддержка английского языка, визуальный проектор F16, MTP и квантизация основного файла Q4_K_M. Сильными сторонами являются сохранённые Vision и MTP-компоненты, улучшенная точность следования инструкциям, возможности работы с кодом и инструментами, а также хорошие результаты в представленных тестах IFEval, HumanEval+, GSM8K и BBH. Ограничения включают отсутствие подтверждения совместного использования Vision и MTP в одном вызове, непроверенную полноценную поддержку Vision/MTP в Ollama, незавершённую валидацию FreeToken и нестабильность на отдельных задачах, где наблюдались зацикливание и усечение вывода. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-4B-Thinking-2507-unsloth-bnb-4bit — это 4-битная версия модели Qwen3-4B-Thinking-2507, подготовленная Unsloth на базе модели Qwen. Она предназначена для генерации текста и сложных задач рассуждения, включая логические и математические задачи, научные вопросы, программирование, следование инструкциям, использование инструментов, агентские сценарии и многоязычные запросы. Модель является авторегрессионной causal language model с 4,0 млрд параметров, из которых 3,6 млрд не относятся к embedding, 36 слоями и Grouped-Query Attention: 32 головы запросов и 8 ключей/значений. Она поддерживает контекст до 262 144 токенов и работает только в режиме рассуждения; увеличенная длина размышлений особенно ориентирована на сложные задачи. Формат предназначен для text-generation и использования через Transformers, а 4-битное квантование снижает требования к памяти по сравнению с полноразмерной моделью. К сильным сторонам относятся улучшенные результаты в рассуждении, математике, кодировании, следовании инструкциям, работе с инструментами и понимании длинного контекста. Ограничения включают работу только в thinking mode, потенциально значительный расход времени и ресурсов на длинные рассуждения, а также отсутствие в представленном README подробностей о поддерживаемых языках, точных требованиях к оборудованию и характеристиках квантования за пределами обозначения bnb-4bit. Модель распространяется по лицензии Apache-2.0.

Карточка модели Bloxyest/Qwen3.5-9B на Hugging Face совпадает с карточкой Qwen/Qwen3.5-9B, поэтому описание составлено по ней. Qwen3.5-9B — мультимодальная модель Qwen, разработанная командой Qwen и представленная в формате Hugging Face Transformers. Это дообученная версия Qwen/Qwen3.5-9B-Base: причинная языковая модель с визуальным энкодером, 9 млрд параметров и гибридной архитектурой с Gated Delta Networks и разреженными Mixture-of-Experts. Модель принимает текст и изображения и генерирует текст; поддерживает чат и вызов инструментов. Модель предназначена для диалога, рассуждений, программирования, визуального понимания и агентных сценариев с использованием инструментов. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000; в режиме по умолчанию перед ответом генерируется содержимое рассуждений. В карточке заявлена поддержка 201 языка и диалекта, но список языков в предоставленных данных опущен. В README заявлены высокая эффективность гибридной архитектуры и улучшенные результаты на задачах рассуждения, кода и визуального понимания; независимых оценок в предоставленном тексте недостаточно для проверки этих утверждений. Для длинного контекста могут потребоваться значительные ресурсы, а совместимость и пропускная способность зависят от версии и конфигурации сервера. Лицензия — Apache-2.0.

Это квантованная версия NVFP4 модели Qwen3.6-35B-A3B, подготовленная WhiskyAKM в формате GGUF для llama.cpp и других совместимых движков. В основе лежит WhiskyAKM/Qwen3.6-35B-A3B-GGUF, происходящая от Qwen/Qwen3.6-35B-A3B. Исходная мультимодальная модель разработана командой Qwen и использует архитектуру Mixture-of-Experts с гибридным линейным и полным вниманием: всего 35 млрд параметров, из которых на токен активируются 3 млрд. Модель принимает текст, изображения и видео и генерирует текст. Она предназначена для диалога, рассуждений, агентного программирования, анализа изображений и видео, а также вызова инструментов; контекст достигает 262 144 токенов и может расширяться примерно до 1 млн с YaRN. Для мультимодального ввода требуется файл проектора mmproj.gguf. Модель поддерживает более 140 языков. NVFP4 снижает размер весов для инференса, но требует совместимой сборки llama.cpp с поддержкой этого формата. Лицензия репозитория — Apache-2.0.

Qwen3.8-27B-GGUF — GGUF-квантизированная версия модели Qwen3.8-27B, подготовленная компанией ByteShape с использованием ShapeLearn. Этот метод подбирает тип данных отдельно для каждого тензора, чтобы сохранить высокое качество при малой разрядности. Модель предназначена для локального запуска на GPU через llama.cpp и поддерживает работу с изображениями благодаря встроенному vision projector. Модель ориентирована на математические задачи, программирование, общие знания, выполнение инструкций, многошаговые диалоги, мультиязычные сценарии, использование инструментов и агентные задачи. В выпуск входят пять вариантов размером от 8,8 до 13,1 ГБ и с разрядностью от 2,56 до 3,84 бит на вес, что позволяет выбирать баланс между требованиями к видеопамяти, скоростью и качеством. В GGUF также встроена MTP-голова для speculative decoding; для её использования нужен llama.cpp с соответствующими параметрами. Поддержка DFlash2 требует версии llama.cpp b10658 или новее. Сильными сторонами являются оптимизация под GPU, несколько вариантов квантизации и оценка на наборах тестов для математики, программирования, знаний, следования инструкциям и агентного использования. Ограничения включают потенциальное снижение качества по сравнению с базовой BF16-моделью из-за квантизации, необходимость подходящей видеопамяти и зависимость расширенных функций от версии llama.cpp. Модель распространяется по лицензии Apache-2.0.

filvyb/Qwen3.8-27B-heretic-ara-GGUF — это GGUF-квантизированная версия модели coder3101/Qwen3.8-27B-heretic-ara, основанной на Qwen3.8-27B. Модель предназначена для генерации и анализа текста, программирования, профессиональных и исследовательских задач, долгих многошаговых агентских сценариев, а также понимания изображений и видео. В карточке указана архитектура causal language model с vision encoder и 27 млрд параметров. Модель использует 64 слоя, архитектуру с комбинацией Gated DeltaNet и Gated Attention, поддерживает управляемый режим рассуждений и имеет нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Она заявлена как мультимодальная модель для работы с текстом, изображениями и видео, однако сведения о поддерживаемых языках отсутствуют. Формат GGUF ориентирован на совместимое локальное инференс-развёртывание, но конкретные требования к памяти и варианты квантования в README не указаны. Ключевая особенность версии — abliteration, направленная на снижение частоты отказов: в приведённом сравнении модель отказалась выполнить 9 из 100 запросов против 92 из 100 у исходной Qwen3.8-27B, при KL-дивергенции 0,0349. Это может повысить полезность модели для сценариев, где требуется меньше ограничивающих отказов, но одновременно может ослаблять встроенные механизмы безопасного поведения. Модель распространяется по лицензии Apache-2.0.

Smaug-2-72B — чат-модель компании Abacus.AI, дообученная на основе Qwen1.5-72B-Chat. Это плотная языковая модель семейства Qwen2 с 71 млрд параметров, предназначенная для генерации текста, диалогов, рассуждений и задач программирования. Она принимает текст и использует контекст длиной до 32 768 токенов. В карточке приведены результаты MT-Bench и HumanEval: Smaug-2-72B показала более высокие результаты, чем Qwen1.5-72B-Chat, в указанных сравнениях. Модель распространяется в формате safetensors через Transformers. Лицензия обозначена как other; конкретные условия использования следует уточнить в лицензии репозитория.

Hagwell/Ternary-Bonsai-2-27B-gguf — мультимодальная причинная языковая модель семейства Bonsai 2, разработанная Prism ML и производная от Qwen3.8-27B. Она предназначена для генерации текста, рассуждений, программирования, агентских сценариев и вызова инструментов, а также поддерживает обработку изображений при подключении отдельного vision-пакета. Модель рассчитана на локальный запуск через llama.cpp на CPU, GPU с CUDA и устройствах Apple с Metal. Модель содержит около 27,36 млрд параметров и использует гибридную архитектуру внимания: примерно 75% слоёв основаны на linear attention, а около 25% — на полном внимании. В архитектуре также используются SwiGLU, RoPE и RMSNorm. Языковые веса представлены в троичном формате со значениями −1, 0 и +1 и групповым масштабированием FP16; заявленный эффективный размер составляет около 1,72 бита на параметр. Доступны две упаковки GGUF: PTQ1_0 размером около 5,95 ГБ и PQ2_0 размером около 7,21 ГБ. Контекст поддерживает до 262 тысяч токенов. Для изображений предусмотрен отдельный vision-пакет формата Q8_0. К сильным сторонам относятся существенно меньший размер по сравнению с FP16, сохранение возможностей рассуждения, программирования и агентского поведения в низкобитном формате, а также возможность запуска 27B-класса на обычном ноутбуке или одной видеокарте. Заявлены результаты на уровне 98,2% от FP16 на среднем показателе 14 бенчмарков и производительность около 47 токенов в секунду на ноутбуке с Apple M5 Max. Ограничения включают необходимость специализированных ternary-ядер и совместимых сборок llama.cpp, а поддержка изображений требует отдельного пакета. Модель распространяется по лицензии Apache 2.0.

Yi-1.5-34B-32K — базовая большая языковая модель семейства Yi, разработанная компанией 01.AI. Это плотная авторегрессионная модель архитектуры Llama с 33,9 млрд параметров; она принимает текст и генерирует текст. Контекстное окно составляет 32 768 токенов. Модель предназначена для генерации и продолжения текста, понимания инструкций, рассуждений, решения математических задач, программирования и ответов на вопросы по длинным текстам. Yi-1.5 получена продолжением предобучения Yi на высококачественном корпусе из 500 млрд токенов и дообучением на 3 млн разнообразных примеров. README отмечает улучшения в коде, математике, рассуждениях и следовании инструкциям, сохраняя способности к пониманию языка и чтению. Репозиторий содержит веса в формате safetensors. Модель выпущена по лицензии Apache-2.0. В карточке нет сведений о поддерживаемых естественных языках или об отдельных ограничениях качества.

Yi-1.5-34B-Chat-16K — диалоговая языковая модель от 01.AI, основанная на архитектуре Llama и содержащая 33,9 млрд параметров. Она предназначена для генерации ответов в чате, следования инструкциям, понимания языка и чтения текстов; в семействе Yi-1.5 также заявлено улучшение навыков программирования, математики и рассуждений. Модель непрерывно предобучали на Yi на корпусе из 500 млрд токенов, а затем дообучили на 3 млн разнообразных примеров; для этой версии заявлен контекст до 16 384 токенов. Модель принимает и генерирует текст. README не уточняет список поддерживаемых естественных языков. Репозиторий содержит веса в формате safetensors, а лицензия — Apache-2.0. Практическое применение требует ресурсов, соответствующих модели с 33,9 млрд параметров; конкретные требования к оборудованию и сравнительные результаты для версии 16K в предоставленных данных не приведены.

airoboros-65b-gpt4-m2.0 — плотная авторегрессионная модель семейства LLaMA на 65 млрд параметров, разработанная Jon Durbin и дообученная для следования инструкциям на синтетических данных Airoboros. Версия m2.0 объединяет данные набора 1.4.1 без дубликатов и категории system с данными GPT-4, созданными на основе версии от июня 2023 года; исходная серия также включала данные GPT-4 от марта 2023 года. Модель предназначена для диалога и генерации текста по инструкциям: ответов на вопросы по предоставленному контексту, помощи с программированием, планирования шагов для задач с инструментами и генерации аргументов функций в JSON или YAML. Для общения используется текстовый шаблон с ролями USER и ASSISTANT. Контекст составляет 2048 токенов. Модель обучена с QLoRA; README отмечает, что варианты 65B основаны на оригинальной LLaMA, а не Llama 2. Карточка описывает модель как дающую подробные ответы, ориентированную на использование контекста в закрытых вопросах и включающую примеры планирования и вызова функций. Возможны галлюцинации, особенно если запрос не содержит достаточных сведений; для вопросов по контексту автор рекомендует явно просить не придумывать ответ. Модель выпускается по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства и ограничивающей коммерческое применение.

cyberneurova-gemma-4-26B-A4B-GGUF — квантизированная GGUF-версия модели cyberneurova-gemma-4-26B-A4B, разработанная CyberNeurova на базе google/gemma-4-26B-A4B. Модель предназначена для локального и self-hosted развертывания, генерации текста, диалоговых сценариев, программирования, tool calling, агентных приложений и задач, где требуется режим рассуждений. Она также поддерживает обработку изображений и относится к мультимодальным моделям. Архитектура модели — Gemma-4 MoE (mixture-of-experts): всего 26 млрд параметров, из которых при обработке активны 4 млрд. Доступны варианты квантизации от 2 до 8 бит, включая специализированный MXFP4_MOE; рекомендуемым универсальным вариантом указан Q4_K_M. Файлы рассчитаны на использование с llama.cpp и Ollama. В README приведён пример контекста 32 768 токенов, однако не уточняется, является ли это максимальным размером контекста модели. Ключевая особенность сборки — abliteration, то есть удаление из весов направления, связанного с типичным отказным поведением. Поэтому у модели снижены встроенные ограничения безопасности, и она может отвечать на запросы, которые стандартная Gemma-4 отклоняет. Это может быть полезно для red teaming, исследований безопасности, разработки управляемых агентов и контролируемых локальных ассистентов, но повышает риск вредоносных или небезопасных результатов; для публичного доступа рекомендуется прикладная модерация. Указан английский язык. Распространение осуществляется по Gemma Terms of Use; ответственность за соблюдение законодательства и условий лицензии несёт оператор.

mlx-community/DeepSeek-R1-Distill-Qwen-14B — конверсия в формат MLX модели DeepSeek-R1-Distill-Qwen-14B, выполненная сообществом mlx-community с помощью mlx-lm версии 0.21.1. Это плотная авторегрессионная языковая модель семейства Qwen2 на 14 млрд параметров для диалогов и генерации текста. Она рассчитана на контекст до 131 072 токенов и поддерживает чатовый сценарий и интерфейс вызова инструментов. Модель подходит для ответов на вопросы, задач с рассуждениями, включая математику, а также генерации и помощи с программированием. README указывает на конверсию исходной модели в MLX, а метаданные — на safetensors и задачу text-generation. Лицензия в предоставленных данных не указана.

winterthurquants/DeepSeek-V4-Pro-DSpark — это вариант чекпойнта DeepSeek-V4-Pro с подключённым модулем спекулятивного декодирования DSpark; README уточняет, что это не новая модель. Семейство разработано DeepSeek и предназначено для генерации текста, диалога, рассуждений, программирования, планирования и агентных сценариев. Каталог указывает 44,9 млрд параметров, плотную архитектуру DeepseekV4ForCausalLM и формат safetensors FP8; README описывает для семейства гибридное внимание CSA/HCA и контекст до 1 048 576 токенов. Модель поддерживает режимы ответа без рассуждений и с повышенным усилием рассуждения. DSpark предназначен для ускорения вывода посредством спекулятивного декодирования; README приводит пример запуска через vLLM. В карточке не перечислены языки, поэтому языковой охват конкретного чекпойнта не уточняется. Лицензия — MIT. README описывает существенно более крупную MoE-версию DeepSeek-V4-Pro с 1,6 трлн параметров, что расходится с каталоговыми метаданными данного репозитория; характеристики размера и архитектуры в описании приведены по метаданным каталога.

aoiandroid/gemma-4-E2B-it-GGUF — GGUF-версия инструкционно дообученной мультимодальной модели Gemma 4 E2B, разработанной Google DeepMind и подготовленной в формате GGUF с использованием материалов Unsloth. Модель предназначена для локального запуска и решения задач генерации и понимания текста, рассуждений, программирования, агентских сценариев и работы с изображениями; для E2B также заявлена поддержка аудио. Она генерирует текст и поддерживает системные инструкции, вызов функций и настраиваемые режимы рассуждения. Модель имеет около 2,3 млрд эффективных параметров, или 5,1 млрд с учётом эмбеддингов, 35 слоёв и контекстное окно до 128 тысяч токенов. Архитектура использует гибридное внимание: локальное скользящее окно на 512 токенов чередуется с глобальным вниманием. Поддерживаются текст, изображения с переменным соотношением сторон и разрешением, а также аудио; семейство Gemma 4 в целом заявляет поддержку более 140 языков. Небольшой размер и формат GGUF ориентированы на эффективное выполнение на ноутбуках и мобильных устройствах, однако квантование может снижать точность по сравнению с полноразмерной версией, а конкретные требования к памяти и производительность зависят от выбранного файла квантования и среды запуска. Модель распространяется по лицензии Apache 2.0; при использовании также следует учитывать условия лицензии Gemma 4, указанной разработчиком.