II.4Отладка, тестирование и качество ПО

Dolphin V2 8B Abliterated — языковая модель для генерации текста, разработанная 0arch-io для исследовательских задач TRC на базе Qwen/Qwen3-8B. Модель дообучена на 1,35 млн инструкционных примеров, включая данные для диалогов, следования инструкциям, математического рассуждения и генерации кода, а затем подвергнута abliteration — удалению остаточного поведения отказа от ответов. Заявлена как модель без контентных фильтров, поэтому требует ответственного применения. Модель построена на архитектуре Qwen3ForCausalLM и содержит около 8,2 млрд параметров: 36 слоёв, 4096-мерное скрытое представление, 32 attention heads и 8 KV heads. Она работает в формате bfloat16, поддерживает контекст длиной до 4096 токенов в обучении и до 40960 токенов согласно заявленному максимальному ограничению. Указан английский язык и сценарий text generation. В README приведены результаты на ARC-Challenge, HellaSwag, TruthfulQA и Winogrande, однако они не характеризуют все прикладные сценарии. К сильным сторонам относятся instruction tuning, диалоговые и кодовые задачи, математическое reasoning, а также доступность GGUF-квантизаций Q8_0 и Q4_K_M для локального запуска через llama.cpp или Ollama. Ограничения включают отсутствие защитных отказов и фильтров, исследовательский статус и отсутствие данных о качестве на других языках и более широком наборе задач. Модель распространяется по лицензии Apache 2.0.

noctrex/GLM-4.7-MXFP4_MOE-GGUF — квантованная версия языковой модели GLM-4.7 от Z.ai, подготовленная в формате GGUF с применением imatrix на основе данных от Unsloth. Модель предназначена для диалогов и генерации текста; базовая GLM-4.7 рассчитана также на программирование, агентные задачи и рассуждения. MXFP4_MOE обозначает используемый вариант квантования модели типа MoE. Репозиторий содержит формат GGUF, подходящий для запуска в совместимом с ним программном обеспечении. Карточка не сообщает размер модели, длину контекста или поддерживаемые языки напрямую; описание базовой модели указывает на английский и китайский.

Hy3-295B-NVFP4 — квантованный экспорт базовой модели Tencent Hy3, подготовленный r0b0tlab с NVIDIA ModelOpt и проверенный в vLLM на двух системах NVIDIA GB10. Это MoE-модель для генерации диалогового текста; артефакт использует калиброванную квантизацию весов W4A4 NVFP4 для поддерживаемых проекций маршрутизируемых экспертов, а проверенный KV-кэш работает в FP8. В README описана практическая проверка контекста до 49 152 токенов, но это измеренная граница конкретного профиля, а не заявленный архитектурный максимум. Модель предназначена для диалогов, рассуждений, ответов на вопросы, задач на следование инструкциям и генерации кода. В README приведены результаты тестов на GSM8K, ARC-Challenge, PIQA, WinoGrande, TruthfulQA, MMLU, IFEval и HumanEval, а также измерения производительности на указанном оборудовании. Результаты относятся к конкретным конфигурациям запуска, данным и контрактам декодирования и не гарантируют качество для любых запросов. В метаданных указана лицензия other; README требует соблюдать лицензии и условия базовой модели, библиотек и наборов данных. Для запуска и заявленной производительности необходимы совместимые аппаратное обеспечение и программный стек; показатели проверки получены на двух GB10 с vLLM и FlashInfer.

InternLM2-20B — плотная языковая модель второго поколения семейства InternLM, разработанная командой InternLM и представленная в репозитории internlm. Она предназначена для генерации и продолжения текста, а также может служить основой для адаптации под предметные области. В опубликованных оценках показаны способности к рассуждению, математике и программированию; карточка также описывает поддержку длинных контекстов. Модель содержит 19,3 млрд параметров, построена на архитектуре InternLM2ForCausalLM и распространяется в формате PyTorch. Метаданные указывают контекст до 32 768 токенов. В README заявлена поддержка до 200 000 символов для базовой модели InternLM2; это значение не следует приравнивать к числу токенов и оно может зависеть от конфигурации конкретного чекпойнта. Карточка приведена на китайском и английском языках, но точный перечень языков модели не указан. Модель подходит для продолжения текста и как языковая основа для задач общего назначения, включая рассуждения, математику и код. Это базовая версия, а не чат-версия InternLM2-Chat, поэтому оптимизация для диалога и следования инструкциям здесь не заявлена. Генерация может содержать ошибки, предвзятость или вредные ответы. Код лицензирован по Apache-2.0; веса открыты для академических исследований, а коммерческое использование требует получения бесплатного разрешения.

Llama3.1-70B-ShiningValiant2-GGUF — это квантизированная версия текстовой генеративной модели Llama3.1-70B-ShiningValiant2, разработанной ValiantLabs и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель основана на архитектуре Llama и содержит около 70 миллиардов параметров; она ориентирована на режимы instruct и chat и предназначена прежде всего для работы с английским языком. Модель подходит для генерации текста, диалоговых сценариев, решения задач по естественным и техническим дисциплинам, включая физику, биологию, химию, информатику, инженерию и логическое рассуждение. В README приведены результаты на Winogrande и отдельных подзадачах MMLU, включая MMLU College Biology, что указывает на сильную сторону модели в задачах общего и научного понимания. Для запуска предлагается использовать LM Studio или совместимое программное обеспечение на базе llama.cpp с указанным шаблоном prompt. Доступно несколько вариантов квантизации с размером файлов примерно от 27,47 до 74,98 ГБ. Q6_K и Q5_K, а также Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые; более компактные варианты экономят оперативную память, но могут заметно уступать по качеству. Требования к памяти, максимальный контекст, мультимодальные возможности и дополнительные языки в README не указаны. Модель распространяется по лицензии llama3.1.

Meta Llama 3 70B — большая авторегрессионная языковая модель Meta с оптимизированной архитектурой Transformer и Grouped-Query Attention. Эта версия предназначена для генерации текста; семейство включает предварительно обученные и настроенные варианты, но карточка репозитория не уточняет, к какому варианту относится этот чекпойнт. Модель принимает текст и генерирует текст, включая код. Её можно использовать для диалоговых помощников и адаптировать к различным задачам генерации естественного языка. В README указано, что модель предназначена для коммерческого и исследовательского использования на английском языке; применение на других языках выходит за рамки заявленного назначения, хотя дообучение для них допускается при соблюдении условий лицензии и политики использования. Модель выпущена Meta в апреле 2024 года. Репозиторий содержит веса в формате safetensors и распространяется по специальной лицензии Llama 3 с коммерческими условиями. Ответы могут требовать дополнительных мер безопасности, настроенных под конкретное приложение.

Карточка модели satpalsr/Meta-Llama-3-8B на Hugging Face совпадает с карточкой meta-llama/Meta-Llama-3-8B, поэтому описание составлено по ней. Meta Llama 3 8B — авторегрессионная языковая модель Meta с оптимизированной архитектурой Transformer и Grouped-Query Attention. Эта версия принимает текст и генерирует текст, в том числе код. Семейство Llama 3 включает предварительно обученные и дообученные для инструкций модели; карточка этой модели описывает базовый предварительно обученный чекпойнт, пригодный для адаптации к различным задачам генерации текста. Модель предназначена для коммерческого и исследовательского применения на английском языке. Её можно использовать как основу для генерации текста и кода, а после адаптации — для диалоговых сценариев. Выпущена в апреле 2024 года и распространяется по пользовательской коммерческой лицензии Meta Llama 3. Карточка не приводит для этого репозитория конкретную длину контекста; сама модель статична и обучена на офлайн-данных. Для развёртывания приложений разработчикам следует самостоятельно подбирать меры безопасности под свой сценарий.

Nex-N2.5-mini-GGUF — набор общественных GGUF-квантизаций модели Nex-N2.5-mini, разработанной Nex-AGI и преобразованной в GGUF пользователем ngquocvinh для запуска через llama.cpp. Модель предназначена для локального текстового поколения и агентных сценариев с длительными цепочками действий, включая работу с компьютером, веб-сёрфинг, визуальное заземление, программирование, рассуждения и вызов инструментов. Исходная модель поддерживает изображения и видео через официальный мультимодальный процессор и шаблон чата; для этого релиз включает отдельный vision projector mmproj-Nex-N2.5-mini-F16.gguf. Архитектура исходной модели — Qwen3.5 Mixture-of-Experts с 256 экспертами, из которых активны 8 на токен, и 40 текстовыми слоями. Размер исходной BF16-версии — 35 млрд параметров, заявленный текстовый контекст — 262 144 токена, однако локальная проверка данного пакета проводилась только с контекстом 4096 токенов. Доступны варианты от Q1_0 до Q8_0; Q4_K_M рекомендуется как практичный баланс памяти и качества, а Q5_K_M, Q6_K и Q8_0 обычно сохраняют больше точности. Низкобитные варианты требуют проверки на конкретной задаче: измерения показывают заметное снижение сходства с BF16, особенно у Q1_0. Релиз не обучает и не дообучает модель, а выполняет только конвертацию и квантизацию, поэтому качество зависит от выбранного профиля и рабочей нагрузки. Приведённые тесты оценивают лишь сходство поведения при предсказании следующего токена и не гарантируют сохранение исходных возможностей в рассуждениях, мультиязычности, работе с изображениями или инструментами. Распространение указано по лицензии Apache-2.0.

Weyaxi/OpenHermes-2.5-neural-chat-v3-3-openchat-3.5-1210-Slerp — объединённая языковая модель, созданная разработчиком Weyaxi с помощью mergekit и метода slerp на основе OpenHermes-2.5-neural-chat-v3-3-Slerp и OpenChat 3.5-1210. Веса построены на архитектуре MistralForCausalLM; модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов. Базовая модель OpenChat 3.5-1210 ориентирована на программирование, математические рассуждения и общие текстовые задачи; README не приводит отдельной оценки качества или подробных сценариев для данного слияния. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Как и другие языковые генеративные модели, она может выдавать неточные или непроверенные ответы; особые ограничения именно этой версии в карточке не описаны.

Карточка модели Tofilhehe/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

QuantTrio/Qwen3.5-2B-AWQ — вариант мультимодальной модели Qwen3.5-2B, разработанной командой Qwen. Модель представляет собой авторегрессионную языковую модель с vision-энкодером и предназначена для обработки текста и изображений, генерации ответов, визуального понимания, рассуждений, программирования, агентских сценариев, прототипирования и предметно-ориентированной донастройки. Репозиторий содержит веса и конфигурации в формате Hugging Face Transformers; заявлена совместимость с Transformers, vLLM, SGLang и KTransformers. Модель содержит около 2 млрд параметров, 24 слоя, скрытое измерение 2048 и нативный контекст длиной 262 144 токена. В архитектуре используются Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; указана ранняя интеграция мультимодальных токенов. Заявлена поддержка 201 языка и диалекта. Суффикс AWQ указывает на вариант весов, подготовленный для 4-битного квантованного инференса, однако подробные параметры квантования в предоставленных данных не описаны. К сильным сторонам относятся мультимодальность, большой контекст, относительно небольшой размер, потенциально эффективный инференс и широкое языковое покрытие. Ограничением является масштаб 2B: модель ориентирована прежде всего на прототипирование, исследовательские задачи и разработку, поэтому может уступать более крупным моделям в сложном рассуждении и специализированных сценариях. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — это GGUF-версия модели на базе DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Модель создана в результате многоэтапной дообученной настройки и слияния нескольких моделей Qwen3.5 9B; в разработке также участвовал Nightmedia. Предназначена для диалогов, следования инструкциям, рассуждений, программирования, творческого письма, художественной прозы и ролевых сценариев. Заявлена как полностью uncensored и ориентированная на минимизацию отказов. Модель поддерживает контекст до 256k токенов, английский и китайский языки, а также обработку изображений. Для работы с изображениями требуется отдельный файл mmproj, размещённый в одной папке с GGUF-файлом. Доступны обычные и MTP-квантизации в форматах GGUF. NEO IMATRIX заявлена как технология, улучшающая точность квантизированных версий и работу с длинным контекстом, а MTP-варианты могут ускорять генерацию за счёт многотокенного предсказания. К сильным сторонам относятся высокая заявленная производительность на ряде тестов общего назначения, улучшенное следование инструкциям, режимы thinking и instruct, а также возможность запуска в стандартных приложениях, поддерживающих GGUF. Ограничения включают зависимость скорости от аппаратного обеспечения и параметров генерации; MTP-версии могут работать хуже обычных при низком уровне принятия предсказанных токенов, сложных творческих задачах или температуре выше 1. Модель не обязательно превосходит более крупные версии во всех задачах. Лицензия — Apache-2.0.

Qwen3.6-27B-V2-abliterated-uncensored-TQ3_1S-GGUF — мультимодальная модель Lemura Labs на основе Qwen3.6-27B, объединённая с производной Jackrong/Qwopus3.6-27B-v2, затем изменённая методом abliteration и квантованная в GGUF TQ3_1S. Она принимает текст и изображения при подключении отдельного файла mmproj.gguf и предназначена для диалогов, рассуждений, программирования и анализа изображений. Модель содержит 27 млрд параметров, использует гибридную архитектуру с GatedDeltaNet и полным attention; заявленная длина контекста — 262 144 токена. Указанная в карточке языковая поддержка включает английский и китайский, а также мультиязычность. В README сообщается, что abliteration снизила частоту отказов в тесте автора с 91 до 4 из 100 при KL-дивергенции 0,0176; эти результаты являются заявлением разработчика. Для инференса именно квантованных весов требуется форк llama.cpp-tq3 с поддержкой TQ3_1S; для обработки изображений необходим отдельный vision-проектор mmproj.gguf. Лицензия — Apache-2.0.

Qwen3.8-27B-AEON-Ultimate-Uncensored-UD-GGUF — набор GGUF-квантизованных версий модели Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 от AEON-7. Модель предназначена для генерации текста, включая диалоги, работу с кодом, рассуждениями и агентскими сценариями с function calling. Указана поддержка английского и китайского языков, а также vision через компонент mmproj. Это гибридная архитектура GatedDeltaNet и attention: 48 из 64 слоёв используют рекуррентный SSM-механизм. В поставку входят варианты AWQ-UD и Baseline UD с квантизацией Q8_0, Q6_K, Q5_K_M и IQ4_XS; размеры файлов составляют примерно 25,9–34,7 ГБ. При квантизации рекуррентные тензоры SSM сохраняются в исходной точности, применяются матрица важности и чувствительные к тензорам настройки точности. Поддержаны MTP для speculative decoding и контекст калибровки до 32 768 токенов, однако максимальный контекст модели в README не указан. AWQ-UD рекомендуется как вариант с более низкой perplexity, тогда как Baseline UD ближе к распределению выходов F16 по KL-divergence. Модель рассчитана на запуск через llama.cpp; для максимальной производительности README также указывает SGLang с DFlash2. Ограничения включают зависимость качества и скорости от выбранного кванта и аппаратного обеспечения, а также отсутствие подробных данных о возможностях vision и точных требованиях к памяти. Лицензия — Apache-2.0.

Qwen3-VL-4B-Thinking-FP8 — мультимодальная модель семейства Qwen, представленная в репозитории Qwen и основанная на Qwen3-VL-4B-Thinking. Это FP8-квантизированная версия с мелкозернистым квантованием и размером блока 128; заявлено, что её показатели почти идентичны исходной модели в формате BF16. Модель предназначена для генерации текста по изображениям и тексту, а также для анализа видео. Модель ориентирована на визуальное понимание и рассуждение, включая распознавание текста на изображениях, анализ документов, STEM- и математические задачи, пространственное восприятие, понимание динамики видео, локализацию событий по временным меткам и визуальное программирование. Она также рассчитана на сценарии visual agent: распознавание элементов интерфейса ПК и мобильных устройств, понимание их функций, вызов инструментов и выполнение задач. Поддерживаются изображения, видео и текст; заявлен нативный контекст 256K с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный список языков в README не приведён. К архитектурным особенностям относятся Interleaved-MRoPE для позиционного кодирования времени, ширины и высоты, DeepStack для объединения многоуровневых признаков ViT и механизм выравнивания текста с временными метками. Сильными сторонами являются расширенное визуальное и пространственно-временное понимание, обработка длинного контекста, OCR и мультимодальное рассуждение. Ограничение состоит в том, что на момент публикации README Transformers не поддерживал прямую загрузку этих весов; для развёртывания рекомендованы vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

Locutusque/StockQwen-2.5-7B — плотная языковая модель на архитектуре Qwen2, созданная автором репозитория с помощью mergekit методом Model Stock. В слияние вошли Qwen2.5-7B, Qwen2.5-7B-Instruct, Qwen2.5-Coder-7B-Instruct и Qwen2.5-Math-7B-Instruct; базовая модель — Qwen/Qwen2.5-7B. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоги; интерфейс поддерживает вызов инструментов. Для практического использования в README рекомендуется дообучение. Модель работает с текстом и имеет заявленный контекст до 131 072 токенов. Метаданные перечисляют английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. Слияние инструктивной, кодовой и математической моделей предполагает применимость к диалогам, генерации кода и математическим ответам, однако README не приводит оценок качества. Файлы опубликованы в формате safetensors, библиотека — Transformers. Лицензия в предоставленных данных не указана.

FiditeNemini/Unhinged-Qwen2.5-R1-1M-Uncensored-BF16 — объединённая модель автора FiditeNemini, полученная методом TIES из huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2 и mkurman/Qwen2.5-14B-DeepSeek-R1-1M. Это плотная причинно-языковая модель семейства Qwen2 с 14 млрд параметров, предназначенная для диалогов и генерации текста, включая код; интерфейс модели также поддерживает вызов инструментов. Репозиторий содержит веса Safetensors и версию для MLX в точности bfloat16. Метаданные указывают контекст до 1 010 000 токенов, тогда как README приводит 4096 токенов; фактическая поддержка столь длинного контекста может зависеть от конфигурации и используемого преобразования. В тегах указан английский язык. Модель позиционируется как uncensored и основана на вариантах с ослабленными отказами, поэтому её ответы могут включать нежелательный контент. Лицензия — Apache 2.0.

Whittle-Qwen-3.8-35B-A3B-GGUF — это GGUF-квантизированная версия модели Whittle-Qwen-3.8-35B-A3B, разработанной logic65 и подготовленной квантизатором mradermacher. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений, программирования и математических задач. В описании указаны архитектура Mixture-of-Experts, механизмы n-gram memory и conditional memory, hyper-connections и knowledge distillation. Поддерживаются текстовые запросы; заявлены английский, китайский и многоязычный режимы. Размер контекстного окна не указан. Модель распространяется в формате GGUF для запуска через llama.cpp и совместимые инструменты. Доступны варианты квантизации от Q2_K размером около 13,1 ГБ до Q8_0 размером около 37,9 ГБ; варианты Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, а Q6_K — как обеспечивающий очень хорошее качество. Более сильная квантизация обычно требует больше памяти, но лучше сохраняет качество, тогда как малые варианты экономичнее, однако могут заметнее уступать в точности. В README не приведены результаты бенчмарков и подробные ограничения по производительности. Лицензия модели — Apache-2.0.

WizardLM-2-7B-GGUF — это квантизированная в формате GGUF версия языковой модели WizardLM-2-7B, разработанной Microsoft. Квантизацию выполнил bartowski на базе llama.cpp. Модель основана на Mistral, содержит около 7 миллиардов параметров и предназначена для генерации текста и диалогового взаимодействия. Модель ориентирована на многошаговые беседы, общие вопросы и работу с общеизвестными знаниями. README также указывает на улучшенную поддержку сложных диалогов, многоязычных сценариев, рассуждений и агентских задач; модель может применяться для программирования и технических обсуждений. Она обучалась с использованием Progress Learning, AI Align AI, Supervised Learning, Stage-DPO, Evol-Instruct и методов обучения с подкреплением, ориентированных на качество инструкций и корректность ответов. Модель позиционируется как эффективная для своего размера и показывает высокие результаты в автоматической оценке MT-Bench, однако, как и другие языковые модели, может генерировать неточные, вредные или неподходящие ответы. В README не указаны точный набор поддерживаемых языков, размер контекстного окна и конкретные характеристики квантизации. Лицензия — Apache-2.0. Для использования рекомендован шаблон prompt в стиле Vicuna.

XVERSE-MoE-A4.2B — базовая многоязычная языковая модель, разработанная Shenzhen Yuanxiang Technology. Она предназначена для генерации текста и может служить основой для диалоговых и других приложений на базе языковой модели. Модель использует архитектуру Decoder-only Transformer с механизмом смеси экспертов (MoE): всего 25,8 млрд параметров, из которых при вычислении активируются 4,2 млрд. В ней 64 неспециализированных и 2 общих эксперта, а маршрутизатор выбирает экспертов для каждого вычисления. Модель обучалась на последовательностях длиной 8 тысяч токенов; в метаданных также указано контекстное окно 8192 токена. README приводит разные значения объёма обучающих данных: 2,7 трлн токенов в китайской версии и 3,2 трлн в английской. Модель обучалась на более чем 40 языках, включая китайский, английский, русский и испанский; разработчик отмечает особенно сильные результаты на китайском и английском. README приводит результаты тестов по пониманию языка, вопросам и ответам, рассуждениям, математике и программированию. Это базовая модель, а не Chat-версия, поэтому для диалоговых сценариев может потребоваться дополнительное выравнивание. Как и другие большие языковые модели, она может выдавать неточные, предвзятые или оскорбительные ответы; разработчик рекомендует проверять безопасность перед развёртыванием. Лицензия — Apache-2.0.

mncai/yi-34B-v2 — инструкционно дообученная модель MindsAndCompany на базе Yi-34B для генерации текста и ответов на запросы. В карточке приводится пример вопроса на корейском языке; модель может использоваться в диалоговых и корпоративных приложениях, включая чат-ботов и помощников по коду, которые разрабатывает компания. Модель имеет плотную архитектуру LlamaForCausalLM и около 33,9 млрд параметров. Она принимает текст, выдаёт текст и поддерживает контекст до 8192 токенов. Репозиторий содержит веса safetensors. Лицензия — Apache-2.0.

Карточка модели PS4Research/4wvQl2UniBkYhlEJ на Hugging Face совпадает с карточкой PS4Research/0VOz3fgU0qp4lVar, поэтому описание составлено по ней. PS4Research/0VOz3fgU0qp4lVar — дообученная модель генерации текста на архитектуре Olmo 3, созданная PS4Research на основе allenai/Olmo-3.1-32B-Think. В карточке указано, что для обучения использовались Unsloth и библиотека TRL от Hugging Face; модель содержит 31,7 млрд параметров и поддерживает контекст до 65 536 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; интерфейс поддерживает вызов инструментов. Базовая модель ориентирована на английский язык и задачи рассуждений, в том числе математику и программирование. Сведений о специальных улучшениях, полученных при дообучении, в карточке нет. Лицензия — Apache-2.0.

Axeron Forge — объединённая модель генерации текста, созданная TuralBayev с помощью инструмента forgelm. В основе лежит Qwen/Qwen2.5-3B; методом Task Arithmetic объединены веса Qwen2.5-Coder-3B-Instruct и Qwen2.5-3B-Instruct с базовой моделью. Это плотная авторегрессионная модель архитектуры Qwen2 с 3,1 млрд параметров, доступная в формате safetensors и рассчитанная на контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате и выполнения инструкций; наличие компонентов Instruct и Coder позволяет использовать её для вопросов и ответов, помощи с кодом и структурированных ответов. Метаданные отмечают интерфейс вызова инструментов, однако карточка не содержит оценок качества или примеров, подтверждающих надёжность этой возможности. Лицензия в предоставленных данных не указана.

Weyaxi/Dolphin2.1-OpenOrca-7B — текстовая генеративная модель Weyaxi, созданная слиянием TIES двух моделей: ehartford/dolphin-2.1-mistral-7b и Open-Orca/Mistral-7B-OpenOrca. Она предназначена для диалогов, ответов на вопросы и генерации текста. Модель построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Слияние объединяет веса Dolphin 2.1 Mistral 7B и Mistral 7B OpenOrca; в README приведены коэффициенты весов и плотности для каждой исходной модели. Репозиторий содержит веса в формате safetensors. Указанная лицензия — Apache-2.0. Доступны отдельные квантизированные версии GPTQ, GGUF и AWQ от TheBloke.

Gemma 4 26B A4B IT Heretic (FP8 Static) — офлайн-статически квантованная версия модели coder3101/gemma-4-26B-A4B-it-heretic, опубликованная в репозитории cloud19. Модель предназначена для диалоговых и мультимодальных сценариев, включая обработку текста и изображений, а также для высокопроизводительного инференса на оборудовании NVIDIA с FP8 tensor cores, например архитектур Hopper и Blackwell. Модель основана на архитектуре Gemma 4 с MoE-компонентами; заявленный размер — 26B параметров при конфигурации A4B. Квантование выполнено с помощью AutoFP8 в формате FP8 W8A8 со статическим масштабированием активаций. Для калибровки использовано 512 примеров из набора mgoin/ultrachat_2k. Визуальные слои и маршрутизаторы MoE сохранены в исходной точности bfloat16, чтобы сохранить мультимодальность и совместимость с vLLM. Указан контекст до 131072 токенов и поддержка развёртывания через vLLM версии 0.19.0 или новее. Сильные стороны модели — повышенная скорость инференса и эффективность использования NVIDIA-оборудования при сохранении разговорных возможностей, а также поддержка мультимодальности и автоматического выбора инструментов. Ограничения связаны с зависимостью от совместимого FP8-оборудования и актуальной версии vLLM; README не содержит подробных результатов оценки качества, перечня поддерживаемых языков и точных требований к видеопамяти. Модель распространяется по лицензии Apache-2.0.

Gemma-4-E2B-it-qat-MXFP4-CRACK — мультимодальная модель dealignai на базе Google Gemma 4 E2B Instruct. Она предназначена для диалогов, ответов на вопросы, многошаговых рассуждений и генерации кода, а также принимает изображения и аудио. В карточке заявлены сохранённые возможности работы с изображениями и аудио, поддержка нескольких языков и архитектура Gemma 4 с плотной сетью и гибридным скользящим и глобальным вниманием. Модель представлена в формате MXFP4 с 4-битной квантизацией и рассчитана на запуск через vMLX на компьютерах Apple Silicon с достаточной объединённой памятью. Автор сообщает о сохранении результатов MMLU почти на уровне базовой модели и об удалении отказов на HarmBench; эти оценки приведены в README и не являются независимой проверкой. Для запуска требуется vMLX с поддержкой Gemma 4; стандартные mlx_lm и mlx_vlm, согласно карточке, не обеспечивают полной поддержки. Модель опубликована под лицензией Gemma. Автор указывает исследовательское назначение и возлагает на пользователей ответственность за соблюдение применимых законов и правил.

Granite 3.2 8B Instruct — языковая instruction-tuned модель семейства Granite, разработанная IBM (ibm-granite). Представленная версия — GGUF-квантизация исходной модели granite-3.2-8b-instruct, подготовленная bartowski с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи, требующие развитых способностей к рассуждению. Модель имеет размер 8 миллиардов параметров и поддерживает контекст длиной до 128 тысяч токенов. Она работает с текстом и поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Формат GGUF ориентирован на локальный инференс в совместимых инструментах, включая llama.cpp и LM Studio. К сильным сторонам относятся большой контекст, многоязычность и настройка на задачи, связанные с рассуждением. Ограничения включают влияние квантизации на качество по сравнению с исходной моделью, а также возможность получать неточные, неподходящие или вводящие в заблуждение ответы. В README не указаны конкретные параметры квантизации и требования к аппаратным ресурсам. Модель распространяется по лицензии Apache 2.0.

Jhjhugv/kanana-1.5-8b-instruct-2505-Persona-Merged — дообученная диалоговая модель, созданная Jhjhugv на основе kakaocorp/kanana-1.5-8b-instruct-2505. Это плотная Llama-модель с 7,5 млрд параметров, рассчитанная на генерацию текста и чат; метаданные также указывают интерфейс вызова инструментов. Контекстное окно составляет 32 768 токенов. Модель принимает текст и выдаёт текст. Базовая модель предназначена для генерации текста, программирования, математики и работы с инструментами; карточка этой производной версии не уточняет специализацию дообучения. В README указано использование Unsloth и библиотеки TRL при обучении. Модель распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества или конкретных ограничений, поэтому пригодность для специализированных задач следует проверять на собственных примерах.

martyn/llama2-megamerge-dare-13b-v2 — слитая модель на архитектуре LLaMA 2, созданная объединением 17 моделей на 13 млрд параметров с помощью DARE. В состав входят базовая LLaMA 2 13B и модели для генерации кода и Python, математики, диалогов и следования инструкциям; автор отмечает, что модель, по-видимому, обобщает разные стили инструкций. Модель предназначена для генерации текста в ответ на запросы, включая диалоговые ответы, код и математические рассуждения. Она принимает текст и выдаёт текст, поддерживает английский язык и имеет контекст длиной 4096 токенов. Репозиторий содержит веса в формате safetensors. Для использования действует лицензия Llama 2. README указывает, что параметры p и lambda выбраны предположительно; качество и поведение объединённой модели отдельно не охарактеризованы, поэтому результаты стоит проверять на целевых задачах.

Llama-3.1-Tulu-3-405B — большая плотная авторегрессионная языковая модель семейства Llama 3.1, разработанная Allen Institute for AI (Ai2). Она дообучена на основе allenai/Llama-3.1-Tulu-3-405B-DPO и предназначена для следования инструкциям и диалогов, а также для решения широкого круга задач, включая математические рассуждения и выполнение инструкций. В карточке отмечены оценки на MATH, GSM8K и IFEval. Модель содержит 403,7 млрд параметров, принимает текст и генерирует текст; заявленный контекст — до 131 072 токенов. Основной язык — английский. Для запуска доступны веса PyTorch в формате safetensors через Transformers; лицензия — Llama 3.1 Community License Agreement. В карточке указано, что безопасность дообучения ограничена: модель может выдавать проблемный контент, особенно при соответствующих запросах, и не снабжена встроенной фильтрацией ответов. Для развертывания следует учитывать высокие вычислительные требования, характерные для модели такого размера.