II.4Отладка, тестирование и качество ПО

Valdemardi/DeepSeek-R1-Distill-Llama-70B-AWQ — квантованная версия модели DeepSeek-R1-Distill-Llama-70B, основанной на DeepSeek-R1 и разработанной командой DeepSeek AI. Модель относится к большим языковым моделям для задач рассуждения и создана посредством дистилляции: в меньшую плотную модель перенесены образцы и паттерны рассуждений, полученные от DeepSeek-R1. В README также указано, что семейство DeepSeek-R1 ориентировано на задачи математики, программирования и общего логического рассуждения, а исходная модель демонстрировала результаты, сопоставимые с OpenAI o1 в этих направлениях. Представленная сборка использует 4-битное AWQ-квантование, выполненное с помощью AutoAWQ 0.2.8, с group size 128, zero point и режимом GEMM. Это снижает требования к памяти и делает запуск крупной 70B-модели более доступным, однако может сопровождаться потерей точности по сравнению с полноразмерной версией; конкретные результаты для этой сборки в README не приведены. Архитектура, размер контекста, поддерживаемые языки и модальности отдельно не указаны, поэтому подтверждённо описать можно только текстовый LLM-сценарий. Модель распространяется по лицензии llama3.3; README также ссылается на Model Agreement для лицензии модели. Условия лицензии следует проверить перед коммерческим или иным ответственным использованием.

DeepSeek-V2-Lite-XiaAi — объединённая модель для генерации текста, созданная автором карточки с помощью mergekit и метода TIES. В качестве основы использована DeepSeek-V2-Lite; в объединение также включена DeepSeek-Coder-V2-Lite-Instruct. Модель построена на архитектуре DeepSeek V2 и предназначена для диалогового взаимодействия и генерации текста. В карточке указаны 2,5 млрд параметров и контекстное окно до 163 840 токенов. Модель распространяется в формате safetensors и отмечена как поддерживающая чат. Лицензия в предоставленных данных не указана.

Dolphin 2.8 Mistral 7b v0.2 — языковая модель общего назначения из семейства Dolphin, разработанная Cognitive Computations при дообучении Eric Hartford и Cognitive Computations. Эта версия распространяется в формате GGUF; квантизацию выполнил bartowski на основе llama.cpp. Базовая модель — Mistral-7B-v0.2, размер — около 7 млрд параметров. Модель предназначена для генерации текста, диалогов, ответов на вопросы, рассуждений и программирования. В обучении использовались разговорные, логические и кодовые данные, включая наборы Dolphin, Dolphin Coder, Samantha, Airoboros, OpenHermes и Code-Feedback. Указан английский язык. Модель работает только с текстом и рассчитана на локальный запуск, в том числе через LM Studio; для неё рекомендуется шаблон запросов ChatML и системная инструкция «You are Dolphin, a helpful AI assistant». Сильными сторонами являются универсальность, поддержка повседневных ассистентских сценариев и наличие данных для задач программирования. В README приведён результат HumanEval pass@1 0,469, однако он помечен как непроверенный. Размер контекста и другие подробные характеристики архитектуры не указаны, поэтому возможности модели могут зависеть от используемого варианта GGUF и настроек запуска. Модель распространяется по лицензии Apache 2.0.

Infinity-Instruct-3M-0625-Mistral-7B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), дообученная на наборах инструкций Infinity-Instruct-3M и Infinity-Instruct-0625. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для диалогов и выполнения пользовательских инструкций. Она не обучалась с подкреплением на основе отзывов людей (RLHF) и использует шаблон чата OpenHermes-2.5-Mistral-7B. Модель подходит для многошаговых диалогов, ответов на вопросы, помощи с кодом и математикой, а также для повседневных задач на естественном языке. В README приведены результаты MT-Bench 8,1 и AlpacaEval 2.0 31,42; это оценки из карточки, а не гарантия качества для конкретных запросов. Метаданные указывают контекст до 32 768 токенов и английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0, однако авторы ограничивают использование связанных ресурсов академическими исследованиями и запрещают коммерческое применение.

JoyAI-LLM Flash — инструктивная языковая модель среднего размера от jdopensource для диалогов, рассуждений, программирования и работы с инструментами. В карточке описаны предварительное обучение на 20 триллионах текстовых токенов, supervised fine-tuning, DPO и обучение с подкреплением в разных средах. Модель использует архитектуру Mixture-of-Experts: в README указаны 48 млрд параметров всего и 3 млрд активируемых параметров; метаданные Hugging Face сообщают 2,7 млрд параметров и класс DeepseekV3ForCausalLM. Эти сведения о размере расходятся. Модель рассчитана на генерацию текста в формате чата, решение задач на рассуждение и код, а также агентные сценарии с вызовом инструментов. README заявляет поддержку контекста до 131 072 токенов согласно метаданным. Указаны китайский и английский языки. Репозиторий содержит веса Safetensors для Transformers. README описывает доступ через API и совместимые с OpenAI и Anthropic интерфейсы; конкретные условия лицензии в предоставленных данных отсутствуют.

Sorawiz/KunouSky-32B — объединённая модель генерации текста на базе архитектуры Qwen2, собранная с помощью mergekit и метода TIES. В объединение вошли NovaSky-AI/Sky-T1-32B-Preview и pipihand01/QwQ-32B-Preview-abliterated-lora-rank32; базовой моделью при слиянии служила Sao10K/32B-Qwen2.5-Kunou-v1. Модель содержит 32 млрд параметров, принимает диалоговые запросы в формате ChatML и рассчитана на генерацию ответов в чат-сценариях. Базовая модель NovaSky описана как ориентированная на задачи математики, программирования и науки; карточка также указывает интерфейс вызова инструментов. Длина контекста составляет 32 768 токенов. Репозиторий использует Transformers и содержит веса Safetensors. README не сообщает конкретных результатов оценки качества или ограничений применимости. Лицензия в предоставленных данных не указана.

casperhansen/llama-3-8b-instruct-awq — квантизированная AWQ-версия Meta Llama 3 8B Instruct, опубликованная пользователем casperhansen на Hugging Face на основе модели Meta. Это авторегрессионная языковая модель для генерации текста и кода, прежде всего для диалоговых ассистентов, следования инструкциям и локального инференса. Модель принимает текст и генерирует текст; мультимодальность не заявлена. Модель содержит около 8 млрд параметров и использует оптимизированную Transformer-архитектуру Llama с Grouped-Query Attention. В репозитории указана 4-битная AWQ-квантизация с group size 128, а максимальная длина контекста в конфигурации составляет 8192 токена. Исходная Meta Llama 3 8B Instruct предназначена главным образом для английского языка, коммерческого и исследовательского применения. Квантизация ориентирована на более экономичное по памяти развертывание, однако может снижать точность по сравнению с полной точностью; стандартные ограничения языковых моделей, включая ошибки и остаточные риски безопасности, сохраняются. Использование регулируется кастомной Meta Llama 3 Community License и Acceptable Use Policy, условия которых необходимо соблюдать при применении и распространении модели или производных работ.

FreedomAISVR/Magistral-Small-2509-MXFP4-GGUF — квантизированная версия мультимодальной модели Magistral-Small-2509 от Mistral AI, опубликованная в формате GGUF с квантизацией MXFP4. Модель основана на Mistral-Small-3.2-24B-Instruct-2506 и содержит 24 млрд параметров; в README указана архитектура Dense Transformer с классом Mistral3ForConditionalGeneration и контекст до 131 072 токенов. Для обработки изображений используется проектор mmproj с визуальным энкодером Pixtral ViT.

unsloth/MAI-DS-R1-GGUF — GGUF-версия модели MAI-DS-R1, разработанной командой Microsoft AI на базе DeepSeek-R1 и опубликованной Unsloth. Модель дообучалась для устранения информационных пробелов, повышения отзывчивости к ранее блокировавшимся темам и улучшения профиля безопасности при сохранении возможностей рассуждения DeepSeek-R1. Для постобучения использовались 110 тысяч примеров безопасности и отказов из набора Tulu 3 SFT, а также около 350 тысяч внутренних многоязычных примеров по различным темам и случаям выявленных смещений. Модель предназначена для генерации и понимания текста, диалогов, ответов на общеобразовательные вопросы, многошагового решения математических и логических задач, генерации и объяснения кода, а также научных и академических сценариев. Она может использоваться как основа для дальнейшей адаптации в системах обучения математике, помощниках программиста и исследовательских инструментах. Формат GGUF ориентирован на запуск в совместимых локальных инструментах, однако конкретные размер, вариант квантования, длина контекста и поддерживаемые языки в представленных данных не указаны. Сильной стороной модели является сочетание возможностей рассуждения DeepSeek-R1 с постобучением, направленным на более корректное поведение в темах, которые исходная модель могла чрезмерно блокировать. При этом сохраняются ограничения исходной модели: возможны галлюцинации, уязвимость к состязательным запросам, предвзятые или небезопасные ответы, а также недостаточная осведомлённость о новых событиях. Модель не предназначена для медицинских и юридических рекомендаций, критически важных систем или самостоятельной поддержки решений с высокими рисками; необходимы проверка результатов человеком, модерация и мониторинг. Модель распространяется по лицензии MIT.

Mellum2 Instruct — диалоговая языковая модель, разработанная JetBrains для прямых ответов без явного пошагового рассуждения. Она подходит для интерактивного чата, выполнения инструкций, помощи с кодом и использования инструментов. Модель построена на архитектуре Mixture-of-Experts: 64 эксперта, из которых для каждого токена активируются 8. Используются слои со скользящим окном и полным вниманием; контекст составляет 131 072 токена. По карточке модель получена из JetBrains/Mellum2-12B-A2.5B-Base с помощью дообучения на инструкциях и последующего обучения с подкреплением на задачах математики, программирования, использования инструментов, следования инструкциям, рассуждений и знаний. Указанный в метаданных размер — 1,9 млрд параметров; веса представлены в safetensors, библиотека — Transformers. Модель принимает текст и предназначена для генерации текстовых ответов. Карточка сообщает об английском языке. Для сложной отладки, планирования и многошаговых агентных сценариев разработчик рекомендует вариант Thinking. Лицензия — Apache-2.0.

Shining Valiant 3 — модель Valiant Labs, дообученная на базе mistralai/Ministral-3-14B-Reasoning-2512. Это плотная модель семейства Mistral 3 для генерации текста, диалога и рассуждений. Разработчики позиционируют её как помощника для научных задач, проектирования ИИ, программирования и общего решения сложных задач; обучение включало научные данные для рассуждений, созданные с помощью DeepSeek R1 0528. Модель рассчитана на диалог и следование инструкциям, а также на творческие и аналитические задачи. Карточка сообщает о поддержке английского языка. Репозиторий использует формат safetensors и библиотеку Transformers; лицензия — Apache-2.0. В README не приведены данные о числе параметров сверх идентификатора базовой модели или о длине контекста. Утверждения о высокой скорости и работе на настольных и мобильных устройствах приведены разработчиком без количественных характеристик.

ModernCE-base-sts — англоязычный кросс-энкодер для оценки семантического сходства двух текстов. Модель разработал dleemiller на основе answerdotai/ModernBERT-base; она дообучена на датасете sentence-transformers/stsb после предварительного обучения на выборке pair-score-sampled из dleemiller/wiki-sim. Архитектура ModernBERT-base содержит 149 млн параметров, работает с библиотекой sentence-transformers и обрабатывает последовательности длиной до 8192 токенов. Модель принимает пару текстов и выдаёт оценку сходства от 0 до 1, поэтому подходит для сравнения предложений и оценки ответов языковых моделей. На тестовой выборке STS-Benchmark автор сообщает корреляции Pearson 0,9162 и Spearman 0,9122. Доступны веса safetensors и формат ONNX; лицензия — MIT. Результаты оценки могут зависеть от предметной области и не гарантируют точности для любых пар текстов.

Ornith 1.5 35B A3B UNCENSORED JANG_4M — это квантованная MLX-версия мультимодальной модели Ornith-1.5-35B-A3B, опубликованная dealignai на базе разработки ornith-ai. Модель предназначена для запуска на устройствах Apple Silicon через vMLX или совместимый MLX-VLM runtime и ориентирована на диалоговые задачи, программирование, рассуждения, работу с изображениями и видео, а также агентные сценарии с вызовом инструментов. Модель имеет архитектуру Mixture-of-Experts с 35,9 млрд параметров, 40 слоями и 256 маршрутизируемыми экспертами. Она использует гибридную основу с gated-delta и полнослойным attention, 27-слойную vision-башню и нативную поддержку видео. Доступен контекст до 262 144 токенов, поддерживаются английский язык, изображения и видео, встроены режим рассуждений и вызов инструментов через XML или function schema. JANG_4M — это 4-битная смешанно-точная квантзация, размер сборки составляет около 20 ГБ. К сильным сторонам относятся сохранённые возможности базовой модели в области знаний, кодирования, рассуждений и компьютерного зрения, длинный контекст, мультимодальность и высокая готовность следовать инструкциям без стандартного поведения отказа. По заявленным результатам, MMLU составляет 78,4%, а соответствие тестам HarmBench — 97,1%; при этом MMLU ниже показателя базовой модели 81,1%. Удаление защитных отказов является существенным ограничением и требует ответственного применения, соблюдения законодательства и мер безопасности. В README указана лицензия Apache-2.0; модель опубликована для исследований AI-безопасности и санкционированного тестирования.

Ornith-1.5-35B-A3B uncensored (NVFP4) — доработанная и квантованная версия модели Ornith-1.5-35B-A3B от команды Ornith, подготовленная Robert Ressl. Модель основана на архитектуре Mixture-of-Experts: общий размер составляет 35B параметров, около 3B параметров активны при обработке токена. Это текстовая генеративная модель на английском языке, предназначенная для генерации текста, рассуждений, вызова инструментов, исследований безопасности, red-teaming и penetration testing. В README также указано, что мультимодальная оболочка и vision tower сохранены, однако подробные сведения о поддерживаемых визуальных сценариях не приведены. Модель использует abliteration в один проход и формат NVFP4 только для экспертных тензоров; attention, shared expert, router и embeddings остаются в BF16. Размер экспортированной модели составляет около 23 ГБ вместо 71,9 ГБ у BF16-версии, заявленная длина контекста — 262 144 токена. Для запуска рекомендованы SGLang и NVIDIA GPU с поддержкой Blackwell; на одной NVIDIA RTX PRO 6000 Blackwell 96 GB измерена скорость 213 токенов в секунду при коротких запросах. К сильным сторонам относятся существенно сниженная частота жёстких отказов, сохранение инструментального вызова и близкое к базовой модели качество на GPQA-Diamond: 58,6% против 61,1%. Ограничения включают остаточные отказы, возможное влияние квантования на поведение и отсутствие MTP speculative decoding, поскольку тензоры mtp.* были удалены из экспортированного контрольного пункта. Модель по умолчанию ориентирована на рассуждения; для коротких прямых ответов рекомендуется отключать режим thinking. Лицензия — MIT, унаследованная от базовой модели Ornith.

Карточка модели Openintelligent123/Phi-4-mini-instruct на Hugging Face совпадает с карточкой microsoft/Phi-4-mini-instruct, поэтому описание составлено по ней. Phi-4-mini-instruct — компактная языковая модель Microsoft семейства Phi-4 с архитектурой Phi-3 и 3,8 млрд параметров. Она обучена на синтетических данных и отфильтрованных общедоступных веб-материалах, а затем дообучена с учителем и оптимизирована по предпочтениям для следования инструкциям и повышения безопасности. Метаданные указывают контекст 4096 токенов; в README заявлен контекст до 128K токенов. Модель предназначена для диалоговых и генеративных приложений общего назначения, особенно при ограниченных вычислительных ресурсах или требованиях к низкой задержке. Среди заявленных сильных сторон — рассуждения, в особенности математические и логические задачи, следование инструкциям, работа с кодом и интерфейс вызова инструментов. Поддерживается многоязычная работа, включая русский и английский; качество может различаться между языками. Модель принимает текст и генерирует текст. Она выпущена под лицензией MIT. README предупреждает о возможных ошибках и вредных ответах, уязвимости к длительным многоходовым jailbreak-атакам и галлюцинациях имён функций или URL при вызове инструментов; для конкретных сценариев рекомендуется оценивать точность, безопасность и справедливость.

RedHatAI/phi-4-quantized.w4a16 — квантизированная версия языковой модели phi-4, разработанной Microsoft; оптимизацию выполнили Red Hat и Neural Magic. Это авторегрессионная текстовая модель архитектуры Phi3ForCausalLM с текстовым вводом и выводом, предназначенная для генерации текста, диалоговых и conversational-сценариев, задач рассуждения, логики, математики и программирования, преимущественно на английском языке. Модель ориентирована на исследовательское использование и создание генеративных AI-функций в средах с ограниченными ресурсами, а также в сценариях, чувствительных к задержке. Веса линейных операторов в трансформерных блоках квантизированы до INT4 по симметричной групповой схеме с размером группы 128 с применением алгоритма GPTQ через библиотеку llm-compressor. По сравнению с представлением FP16 это примерно на 75% снижает размер на диске и требования к памяти GPU, что может облегчать развертывание и повышать эффективность инференса. В README также указана поддержка развертывания через vLLM и совместимость с Red Hat AI Inference Server, Red Hat Enterprise Linux AI и Red Hat OpenShift AI; максимальный контекст в приведённой конфигурации составляет 32768 токенов. Ограничения включают фокус на английском языке, возможные типичные проблемы языковых моделей с точностью, безопасностью и справедливостью, а также отсутствие специальной оценки для всех прикладных сценариев. Перед использованием в чувствительных и высокорисковых системах необходимы отдельная проверка и меры контроля. Модель распространяется по лицензии MIT.

unsloth/phi-4-unsloth-bnb-4bit — 4-битная версия модели Phi-4, разработанной Microsoft Research и подготовленной Unsloth. Модель основана на dense decoder-only Transformer с 14 млрд параметров, преобразована в архитектуру, совместимую с Llama, и предназначена для более удобного использования и дообучения. Квантизация выполнена в формате Unsloth BNB 4-bit с динамическим выбором параметров, что призвано сохранить более высокую точность по сравнению со стандартной 4-битной квантизацией. Модель работает с текстом, лучше всего подходит для запросов в чат-формате и предназначена для генерации текста, диалоговых приложений, задач NLP, математики и программирования. Поддерживаемый язык — английский. Контекстное окно составляет 16K токенов. Базовая Phi-4 обучалась на сочетании синтетических данных, отфильтрированных общедоступных веб-источников, академических книг и наборов вопросов и ответов, а также проходила supervised fine-tuning и direct preference optimization для следования инструкциям и повышения безопасности. К сильным сторонам относятся компактность по сравнению с более крупными моделями, возможности рассуждения, а также сниженные требования к памяти благодаря 4-битному представлению; Unsloth заявляет о преимуществах для последующего fine-tuning. Ограничения включают текстовую модальность, ориентацию прежде всего на английский язык и возможные потери качества из-за квантизации, хотя динамический подход должен их уменьшать. Модель распространяется по лицензии MIT.

Q36-35B-A3B-Opus4.7-Ablit-Heretic-OBLITERATUS-Hermes-MTP-Vision-Llama — мультимодальная модель семейства Qwen3.6-35B-A3B, опубликованная пользователем oktayd. Это производный вариант, собранный на основе Qwen3.6-35B-A3B с использованием нескольких этапов reasoning-дистилляции, ablation, Heretic и OBLITERATUS Nuclear, а также дообучения Hermes для function calling, агентских сценариев, работы с кодом, терминалом, файлами и репозиториями. Указанная в названии связь с Opus 4.7 относится только к унаследованной линии дистилляции и не означает включение проприетарной модели Claude. Модель предназначена для генерации текста, анализа изображений и текста, рассуждений, программирования, использования инструментов и агентских задач. Архитектура — mixture-of-experts Qwen3.6, представленная в GGUF как qwen35 или qwen3_5_moe: всего около 35 млрд параметров, из которых активируется около 3 млрд. Поддерживаются контекст до 262 144 токенов, английский язык и мультимодальный ввод через отдельный F16 vision projector. Доступны варианты квантования MXFP4_MOE и Q4_K_M для запуска в llama.cpp. По приведённым тестам модель особенно сильна в соблюдении сложных инструкций: в IFEval она получила 9/10 по строгим промптам и 17/18 по строгим инструкциям. На небольших выборках она показала сопоставимые с базовым сравнением результаты в HumanEval+, MMLU-Pro, GSM8K и BBH, однако уступила в MBPP+ и продемонстрировала проблемы с зацикливанием или усечением вывода в отдельных задачах MuSR. Поддержка одновременного использования Vision и MTP, финальная проверка FreeToken-сервинга и комбинированные мультимодальные сценарии ещё не подтверждены. Модель распространяется по лицензии Apache-2.0. Для работы с изображениями требуется основной GGUF-файл вместе с соответствующим vision projector; заявленная поддержка относится к llama.cpp.

Карточка модели nttruong1007/qb-phi4-mini на Hugging Face совпадает с карточкой microsoft/Phi-4-mini-instruct, поэтому описание составлено по ней. Phi-4-mini-instruct — компактная языковая модель Microsoft семейства Phi-4 с архитектурой Phi-3 и 3,8 млрд параметров. Она обучена на синтетических данных и отфильтрованных общедоступных веб-материалах, а затем дообучена с учителем и оптимизирована по предпочтениям для следования инструкциям и повышения безопасности. Метаданные указывают контекст 4096 токенов; в README заявлен контекст до 128K токенов. Модель предназначена для диалоговых и генеративных приложений общего назначения, особенно при ограниченных вычислительных ресурсах или требованиях к низкой задержке. Среди заявленных сильных сторон — рассуждения, в особенности математические и логические задачи, следование инструкциям, работа с кодом и интерфейс вызова инструментов. Поддерживается многоязычная работа, включая русский и английский; качество может различаться между языками. Модель принимает текст и генерирует текст. Она выпущена под лицензией MIT. README предупреждает о возможных ошибках и вредных ответах, уязвимости к длительным многоходовым jailbreak-атакам и галлюцинациях имён функций или URL при вызове инструментов; для конкретных сценариев рекомендуется оценивать точность, безопасность и справедливость.

unsloth/Qwen3-14B-Base-unsloth-bnb-4bit — 4-битная версия базовой языковой модели Qwen3-14B-Base, подготовленная Unsloth с использованием квантования Unsloth Dynamic 2.0. Исходную модель разработала команда Qwen. Это причинная языковая модель на стадии предварительного обучения, предназначенная для генерации и продолжения текста, обработки естественного языка, программирования, STEM-задач, рассуждений и работы с многоязычными данными. Модель содержит 14,8 млрд параметров, из них 13,2 млрд без учёта embedding-слоёв, имеет 40 слоёв и использует Grouped Query Attention: 40 голов для запросов и 8 для ключей и значений. Максимальная длина контекста составляет 32 768 токенов. При обучении использовался корпус объёмом 36 трлн токенов на 119 языках, включавший языковые, кодовые, научно-технические, книжные, многоязычные и синтетические данные. Квантование до 4 бит снижает требования к памяти и может упростить локальный запуск, однако потенциально сопровождается потерей точности по сравнению с полной или менее агрессивной разрядностью. Это базовая, а не instruction-tuned модель, поэтому для диалоговых сценариев и выполнения инструкций может потребоваться дополнительная настройка или специально подобранный prompting. Для работы рекомендуется использовать актуальную версию transformers; версии ниже 4.51.0 не поддерживают архитектуру Qwen3. Модель распространяется по лицензии Apache-2.0.

TeichAI/Qwen3.6-27B-Claude-Opus-Reasoning-Distill-v2 — дообученная мультимодальная модель семейства Qwen3.6 от TeichAI на базе Qwen/Qwen3.6-27B. Для обучения использовались наборы примеров с рассуждениями Claude Opus 4.5 и 4.6. Модель предназначена для диалогов, программирования, творческого письма, общего назначения и понимания изображений; метаданные также указывают интерфейс вызова инструментов. Модель имеет плотную архитектуру Qwen3_5ForConditionalGeneration и принимает текст и изображения, выдавая текст. В README приведены результаты бенчмарков ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и WinoGrande в точности mxfp8, с небольшими улучшениями относительно базовой Qwen3.6-27B в части тестов. Репозиторий содержит веса safetensors и распространяется по лицензии Apache 2.0. Результаты тестов не гарантируют качество на конкретных задачах; README рекомендует следовать инструкциям по настройке исходной модели Qwen.

Qwen3.6-27B-uncensored-heretic-v1 — мультимодальная модель на 27 млрд параметров, созданная независимым автором llmfan46 на основе Qwen/Qwen3.6-27B. Автор применил abliteration: изменил компоненты проекций внимания в слоях 24–57, чтобы снизить частоту отказов. По приведённому в карточке тесту модель отказала в 10 случаях из 100 против 92 у исходной модели; KL-дивергенция относительно оригинала составила 0,0286. Модель принимает текст и изображения и предназначена для диалога, анализа изображений, агентных сценариев и задач программирования, включая работу с репозиториями и инструментами. Архитектура — плотная Qwen3.5 с визуальным энкодером; заявленная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Карточка содержит результаты отдельных тестов, но они не гарантируют качество на других задачах. Основа доступна по лицензии Apache 2.0; условия карточки производной модели также указывают Apache 2.0.

Valiant Labs разработала Esper 3 на базе Qwen3-8B как модель для рассуждений в программировании, проектировании архитектуры и DevOps. Модель дообучена на данных для рассуждений о DevOps, архитектуре и коде, созданных с помощью DeepSeek R1; также заявлено улучшение общих и творческих рассуждений, решения задач и диалоговых ответов. Модель использует архитектуру Qwen3 с плотной причинной языковой моделью на 7,6 млрд параметров и контекстом до 40 960 токенов. Она предназначена для генерации текста, чата и следования инструкциям; автор рекомендует включать режим рассуждений `enable_thinking=True`. Карточка указывает поддержку английского языка и лицензии Apache-2.0. Небольшой размер рассчитан на локальный запуск и серверный инференс; заявленные специализации охватывают код, DevOps и архитектурные задачи.

Qwopus3.6-27B-v2-MTP — мультимодальная модель для работы с текстом и изображениями, разработанная Jackrong на основе Qwen3.6-27B. Модель дообучена на наборах данных Claude Opus TraceInversion и ориентирована на реконструированное пошаговое рассуждение, программирование, DevOps, математику, научные задачи, работу с инструментами и генерацию текста в заданном формате. Модель содержит около 27 миллиардов параметров и использует Multi-Token Prediction (MTP), предназначенный для ускорения генерации и speculative decoding, особенно в длинных рассуждениях, программном коде и математических запросах. Заявлена поддержка текстово-изобразительных сценариев; среди языков указаны английский, китайский, корейский, русский, японский и испанский. Точная длина контекста в README не указана. К сильным сторонам относятся акцент на структурированном рассуждении, кодировании, DevOps и математических выводах, а также потенциально более высокая скорость генерации благодаря MTP. Модель тестировалась на локальном наборе из 30 вопросов по логике, программированию, DevOps, математике и пограничным сценариям, однако широкие независимые бенчмарки и подробные числовые результаты не представлены. Для использования могут потребоваться совместимые реализации MTP и speculative decoding; формат GGUF ориентирован, в частности, на llama.cpp. Лицензия — Apache-2.0.

Trinity Mini — открытая по весам разговорная языковая модель от Arcee AI, дообученная на базе arcee-ai/Trinity-Mini-Base. Это MoE-модель семейства AFMoE с 26 млрд параметров и 3 млрд активных параметров; в README указаны 128 экспертов, из которых активны 8 и один общий. Модель предназначена для диалогов и задач рассуждения, включая математику и программирование. Модель обучена на 10 трлн токенов. Длина контекста составляет 128 тыс. токенов. Метаданные указывают поддержку английского, испанского, французского, немецкого, итальянского, португальского, русского, арабского, хинди, корейского и китайского языков. Для запуска заявлена совместимость с Transformers, vLLM, llama.cpp, LM Studio и API. Указанная в README лицензия — OpenMDW-1.1; метаданные классифицируют лицензию как other.

ValiantLabs_Muse-Glimmer-30B-Esper4-GGUF — это квантизированная версия модели Muse-Glimmer-30B-Esper4, разработанной ValiantLabs и опубликованной в формате GGUF. Квантизацию выполнил bartowski с использованием llama.cpp и imatrix. Модель содержит около 30 млрд параметров и предназначена для локального запуска через совместимые инструменты llama.cpp. Модель поддерживает обработку текста, а также изображений при использовании соответствующего файла mmproj. Она ориентирована на англоязычные сценарии, рассуждения, программирование, разработку и DevOps-задачи, включая работу с Python, JavaScript, TypeScript, Java, C++, C#, Rust, Go, Haskell, Bash, PowerShell, Jenkins, Terraform, Ansible, Docker, Kubernetes, Helm, Grafana, Prometheus и облачными платформами. В README также заявлен высокий уровень рассуждений; MTP не поддерживается. Доступно множество вариантов квантизации от BF16 до Q3 и IQ4. Вариант Q4_K_M размером около 17,31 ГБ указан как сбалансированный по качеству и размеру, а Q5 и Q6 рекомендуются для более высокого качества. Более компактные варианты требуют меньше оперативной памяти, но могут сильнее терять качество из-за квантизации. Размер контекстного окна и подробные результаты оценивания не указаны, поэтому пригодность для длинных контекстов и фактические показатели производительности оценить нельзя. Модель распространяется по лицензии Apache 2.0. Для мультимодального использования требуется отдельный mmproj-файл; конкретные аппаратные требования зависят от выбранного варианта квантизации.

XORTRON.CriminalComputing.LARGE.2026.3 — разговорная языковая модель на архитектуре Mistral, опубликованная heretic-org. По карточке это версия Mistral-Large-Instruct-2411 с abliteration: модель изменена для существенного снижения частоты отказов, а не для отдельной предметной области. Она предназначена для генерации ответов в диалоге, рассуждений, помощи с кодом и работы с длинным контекстом; исходная карточка также описывает поддержку вызова функций. Метаданные указывают 122,2 млрд параметров, плотную архитектуру MistralForCausalLM, контекст до 131 072 токенов и форматы Safetensors. Указаны английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. В приведённом сравнении частота отказов составляет 2 из 100 против 87 из 100 у исходной модели, при KL-дивергенции 0,0578; это показывает снижение отказов, но не подтверждает качество или безопасность ответов. Лицензия обозначена как other; README описывает исследовательскую лицензию Mistral для исходной модели, но условия лицензии этой производной модели однозначно не установлены.

CodeLlama-13B-fp16 — преобразованная в формат Transformers/Hugging Face версия модели Code Llama от Meta, опубликованная TheBloke. Это авторегрессионная плотная трансформерная модель семейства Llama с 12,9 млрд параметров; веса представлены в FP16 и safetensors. Модель предназначена для генерации и понимания кода, включая дополнение фрагментов внутри текста. Вход и выход — текст; модель рассчитана на английский язык и языки программирования. Контекст модели составляет 16 384 токена. Модель подходит для генерации кода по описанию, автодополнения, объяснения и преобразования программного кода. В README указана лицензия Llama 2 с пользовательскими коммерческими условиями Meta. Для корректной загрузки этой версии требуется trust_remote_code=True. Ответы могут быть неточными или нежелательными; перед внедрением в приложение рекомендуется проверка и настройка под конкретный сценарий.

FuseAI/FuseChat-Qwen-2.5-7B-Instruct — разговорная языковая модель FuseAI на архитектуре Qwen2 с 7,1 млрд параметров и контекстом до 32 768 токенов. Это целевая модель семейства FuseChat-3.0, обученная методом неявного слияния: сначала её дообучили на лучших ответах сильных языковых моделей, затем применили Direct Preference Optimization (DPO) к парам предпочтительных и менее предпочтительных ответов. В качестве источников использовались Gemma-2-27B-It, Mistral-Large-Instruct-2407, Qwen-2.5-72B-Instruct и Llama-3.1-70B-Instruct. Модель предназначена для диалога, следования инструкциям, решения математических задач и помощи с кодом; обучение также включало китайскоязычные данные. Подходит для локального запуска в формате Safetensors, а метаданные отмечают интерфейс вызова инструментов. README сообщает об улучшениях на ряде бенчмарков, однако приведённые там конкретные приросты относятся к версии с целевой моделью Llama-3.1-8B и не подтверждают такие же результаты для этой версии. Лицензия в предоставленных данных не указана.

G9v3-3B — плотная причинная языковая модель команды AI9Stars на архитектуре LlamaForCausalLM с примерно 2,7 млрд параметров. Она предназначена для локального запуска и сценариев с ограниченными ресурсами; поддерживает контекст длиной до 131 072 токенов. Модель рассчитана на повседневные задачи ассистента, программирование, работу с инструментами и рассуждения. В README описаны режимы генерации с включённым и отключённым режимом обдумывания; метаданные указывают поддержку чата и английского и китайского языков. Для запуска подходят Transformers, vLLM и SGLang. Модель может выдавать неточные, предвзятые или небезопасные ответы, поэтому результаты следует проверять, особенно перед использованием в важных решениях. Лицензия — Apache-2.0.