II.4Отладка, тестирование и качество ПО

jondurbin/bagel-34b-v0.2 — экспериментальная версия языковой модели, дообученная Jon Durbin на базе yi-34b-200k с помощью Bagel. Это плотная авторегрессионная модель семейства Llama с 33,9 млрд параметров и контекстом до 200 000 токенов; опубликованные веса представлены в формате safetensors. Модель предназначена для диалогов и генерации текста, включая творческое письмо и ролевые сценарии. В README указано, что это версия после этапа SFT, до применения DPO; автор отмечает, что она может лучше подходить для творческих задач и ролевых диалогов, тогда как версия после DPO лучше показывает себя на бенчмарках. При дообучении использовались данные для диалогов, ответов на вопросы, рассуждений, математики, программирования, SQL, понимания прочитанного и ролевых сценариев. Для примеров применялись варианты форматов Vicuna, Llama 2, Alpaca и ChatML. Лицензия — Apache-2.0. Модель рассчитана на текстовый ввод и выдаёт текст; её поведение и качество могут зависеть от формата промпта, а карточка не содержит систематической оценки качества этой версии.

gravitee-io/bert-small-pii-detection — модель Gravitee для обнаружения и разметки персональных и чувствительных данных в тексте. Это BERT для классификации токенов, дообученный на наборе gravitee-io/pii-detection-dataset от базовой модели prajjwal1/bert-small. Модель содержит 32,4 млн параметров и рассчитана на контекст до 512 токенов. Модель помечает такие сущности, как имена людей, возраст, адреса электронной почты и телефоны, платёжные и банковские данные, пароли, IP- и MAC-адреса, URL, организации, местоположения и ряд идентификаторов, характерных для США. Её можно применять для поиска чувствительных фрагментов перед передачей текста в другие системы или для задач защиты данных. Поддерживается английский язык. Доступны веса в форматах Safetensors и ONNX. Модель предназначена для извлечения сущностей из текста; качество на языках и типах данных, отличных от заявленных, не подтверждено. Она лицензирована по Apache-2.0.

Darwin-V9-Chimera-4B-SFT — экспериментальная диалоговая языковая модель, созданная автором проекта Darwin путем объединения компонентов Qwen3-4B и Gemma4-E4B с последующим полным дообучением на инструкциях. Архитектура — плотная Qwen3ForCausalLM; модель содержит около 3,7 млрд параметров, принимает текст и рассчитана на контекст до 40 960 токенов. В README заявлена поддержка корейского и английского языков и переключения между режимами рассуждения и краткого ответа. Модель предназначена для диалогов, следования инструкциям, генерации кода и задач с многошаговым рассуждением. По оценке авторов на KMMLU она набрала 52,2% при разрешении генерировать до 768 токенов; результат короткого ответа они считают нехарактерным из-за необходимости сначала рассуждать. Это частный исследовательский чекпойнт, а весовой отпечаток остаётся преимущественно близким к Qwen3-4B. Указана лицензия Apache-2.0.

DeepSeek-MOE-4X8B-R1-Distill-Llama-3.1-Deep-Thinker-Uncensored-24B-GGUF — языковая модель для генерации текста, разработанная DavidAU. Она основана на объединении четырёх Llama-настроек с технологиями рассуждения DeepSeek и предназначена для общего применения, творческого письма, ролевых сценариев, мозгового штурма, решения логических задач, загадок и многошаговых проблем. Модель использует архитектуру Mixture of Experts: заявлены четыре активируемых эксперта по 8B параметров, при этом размер модели составляет около 24,9B параметров. Указана поддержка английского языка, контекст до 128K токенов и формат GGUF для локального запуска. Модель может генерировать рассуждения и варианты решений, причём их активация и глубина зависят от запроса, температуры и других параметров. Рекомендуется использовать контекст не менее 4096 токенов, температуру примерно 0–0,8 для стабильной работы и повторный штраф 1,02–1,07; для более глубоких и разнообразных рассуждений автор допускает значительно более высокую температуру. К сильным сторонам относятся выраженная способность к многошаговому решению задач, генерации идей, созданию сюжетов и относительно стабильной работе при различных настройках. Ограничениями являются возможная непредсказуемость, чрезмерно длинные или неуместные рассуждения, необходимость иногда повторно запускать генерацию, а также риск появления рассуждений в основном ответе. Модель позиционируется как uncensored и может создавать материалы для взрослых, сцены ужасов и нецензурную лексику, поэтому она подходит не для всех аудиторий. Лицензия модели — Apache-2.0. Для работы требуется шаблон чата Llama 3 Instruct, Command-R или автоматически загружаемый шаблон Jinja, содержащийся в квантизации.

Fireball-Mistral-Nemo-12B-Philos — дообученная методом supervised fine-tuning языковая модель EpistemeAI для генерации текста. По карточке, обучение охватывало философию, математику, программирование и языки; модель предназначена для ответов и генерации текста в этих областях. Модель основана на unsloth/Mistral-Nemo-Base-2407-bnb-4bit и использует плотную архитектуру Mistral с 12,1 млрд параметров. В метаданных указан контекст до 1 024 000 токенов; карточка базовой модели описывает окно в 128 тысяч токенов, поэтому заявленная для этой модели длина контекста может зависеть от конфигурации и реализации. Указан английский язык; карточка также сообщает об обучении на многоязычных и программных данных, не уточняя полный список языков. Модель распространяется по лицензии Apache 2.0. В карточке приведены рекомендации по использованию базовой Mistral Nemo, но нет отдельных оценок качества Fireball и подробных результатов тестирования.

Granite Switch 4.1 30B Preview — модульная языковая модель IBM Research на базе IBM Granite 4.1 30B, объединяющая базовую модель со встроенными адаптерами LoRA из библиотек Granite. В чекпойнте 29,3 млрд параметров и контекст до 131 072 токенов; выбор адаптера выполняется по управляющим токенам шаблона чата. Модель поддерживает диалоговый режим и запускается через Hugging Face Transformers или vLLM. Адаптеры предназначены для задач RAG, проверки требований к ответу, атрибуции использованных фрагментов контекста, оценки неопределённости, выявления рисков безопасности и проверки либо исправления фактических ошибок. В RAG-сценариях они также помогают переписывать и уточнять запросы, а также оценивать, можно ли ответить по найденным материалам. Адаптеры можно вызывать отдельно или сочетать в одном процессе; для прикладной интеграции README рекомендует Mellea. Модель выпущена IBM в мае 2026 года под лицензией Apache 2.0. Описание не подтверждает языковое покрытие адаптеров; характеристики многоязычности базовой модели нельзя автоматически считать подтверждёнными для каждой встроенной функции. Для использования специализированных возможностей требуется корректно активировать соответствующие адаптеры через шаблон чата или поддерживаемую интеграцию.

Huihui-Ornith-1.0-35B-abliterated-MTP-UD-APEX-GGUF — это квантизированная GGUF-версия мультимодальной модели Huihui-Ornith-1.0-35B, разработанной huihui-ai и дополнительно модифицированной автором gbuzhf. Модель основана на архитектуре Qwen3.5 MoE с 256 экспертами и активирует 8 экспертов на токен. В неё встроена MTP-голова для speculative decoding, а также поддержка обработки изображений через отдельный vision projector. Для работы с изображениями требуется файл Huihui-Ornith-1.0-35B-abliterated-mmproj-F16.gguf; без него модель работает только с текстом. Доступны восемь вариантов квантизации объёмом от 14,37 до 30,21 ГБ, включая MTP-UD-Q6_K, MTP-UD-Q5_K_S, MTP-UD-Q4_K_XL и варианты MTP-APEX. Контекст в приведённом примере запуска настроен на 8192 токена. MTP-голова зафиксирована в формате Q8_0. В измерении на смеси запросов для программирования и редактирования текста средняя доля принятых черновых токенов составила 86,4%, а скорость — 44,1 токена в секунду, однако эти показатели относятся только к указанному тестовому стенду и не являются универсальными. Главная особенность модели — abliterated-версия, ориентированная на снижение или устранение отказов, связанных с исходными ограничениями поведения. Это может быть полезно для экспериментов и сценариев, где требуется более свободная генерация, но abliterating намеренно уводит веса от обученного оптимума и может ухудшать качество. Кроме того, imatrix была рассчитана на неabliterated-модели, поэтому распределение точности квантизации и описание маршрутизации экспертов могут быть не полностью оптимальными. Лицензия — MIT.

QuantFactory/Llama3.2-3B-Esper2-GGUF — квантизированная версия модели ValiantLabs/Llama3.2-3B-Esper2, созданная QuantFactory с использованием llama.cpp. Исходная модель разработана Valiant Labs на базе Meta Llama 3.2 3B Instruct и предназначена для генерации текста в формате диалоговых инструкций Llama 3.2 Instruct. Модель ориентирована на задачи DevOps, облачной архитектуры и программирования: AWS, Azure, GCP, Terraform, Dockerfile, CI/CD-пайплайны, shell-скрипты, а также общее написание кода и технические консультации. Она дообучалась на синтетических наборах данных Titanium, Tachibana и Supernova, охватывающих DevOps-инструкции, программирование и общий чат. В карточке указан английский язык; модель работает с текстом и поддерживает сценарии общения с инструкциями. Ключевая сильная сторона — специализация на облачной инфраструктуре, DevOps и коде при компактном размере около 3 млрд параметров, что делает модель подходящей для локального запуска в квантизированном формате GGUF. Ограничения включают меньший размер и, вероятно, более узкие возможности по сравнению с крупными универсальными моделями; конкретные параметры контекста и варианты квантизации в карточке не указаны. В качестве ориентиров приведены результаты 65,27% на Winogrande и 43,17% нормированной точности на ARC Challenge. Лицензия указана как llama3.2.

Llama-3-Teal-Instruct-2x8B-MoE — экспериментальная языковая модель с архитектурой MoE, созданная RDson путём слияния Meta-Llama-3-8B-Instruct и nvidia/Llama3-ChatQA-1.5-8B с помощью Mergekit. Она предназначена для диалогов с ассистентом и генерации текста; в README отдельно выделены запросы на объяснения и общение, а также задачи по Python, математике и программированию. Метаданные указывают 7,5 млрд параметров, контекст до 8192 токенов и формат Safetensors. Модель принимает текст и выдаёт текст. В карточке не приведены результаты оценки качества или подробные ограничения, поэтому пригодность для конкретных задач следует проверять самостоятельно. Лицензия в предоставленных данных не указана.

MOSS-moon-003-sft — языковая модель с 16 млрд параметров, разработанная командой OpenMOSS-Team. Она основана на CodeGen и предварительно обучена на китайских, английских и программных токенах, после чего дообучена с учителем на примерно 1,1 млн многоходовых диалогов. Модель предназначена для диалогов с пользователем, следования инструкциям в нескольких репликах и отказа на неподходящие запросы. Модель принимает текст и генерирует текст; карточка указывает поддержку английского и китайского языков и контекст до 2048 токенов. Её можно применять для ответов на вопросы, простых математических задач, помощи с кодом и китайскоязычных диалогов. Описанные требования к запуску составляют 31 ГБ видеопамяти для загрузки в FP16 и больше при генерации; доступны варианты MOSS в INT8 и INT4, но этот репозиторий содержит веса PyTorch. Модель может выдавать неверную, вводящую в заблуждение или предвзятую информацию, поэтому ответы следует проверять. Лицензия — AGPL-3.0.

Open-Instruct Unnatural Instructions 13B — языковая модель семейства LLaMA с 12,9 млрд параметров, дообученная исследователями AllenAI на наборе Unnatural Instructions для генерации ответов на инструкции. Модель принимает текст и генерирует текст; она рассчитана на англоязычные запросы. Контекстное окно — 2048 токенов. Модель предназначена для следования инструкциям и исследовательской оценки instruction tuning; в карточке приведены результаты на тестах знаний, математики, рассуждений, вопросов и ответов и генерации кода. Для работы нужны исходные веса LLaMA в формате Hugging Face, поскольку опубликована разность весов. Модель распространяется по лицензии AI Model License вместе с исходной лицензией LLaMA.

Phi-3-mini-mango-1 — экспериментальная instruct-дообученная языковая модель Rhys Jones на базе Microsoft/Phi-3-mini-4k-instruct. Она предназначена для диалоговой генерации текста и кода, а также для изучения свойств и поведения Phi-3 после дообучения. Модель имеет плотную архитектуру Phi-3, около 3,7 млрд параметров и контекст до 4096 токенов; принимает текст и генерирует текст. Карточка указывает на использование того же формата чата, что и у Phi-3 Mini-4K-Instruct, без системного промпта. Это первая экспериментальная версия дообучения. Она распространяется в формате Safetensors, а отдельная версия GGUF доступна в другом репозитории. Лицензия — MIT. Для запуска README рекомендует Transformers версии 4.41.0 или новее.

femiari/Qwen2-1.5Moe — языковая модель Mixture of Experts, созданная с помощью LazyMergekit на основе Qwen/Qwen2-1.5B и Replete-AI/Replete-Coder-Qwen2-1.5b. Архитектура Qwen2 MoE, класс Qwen2MoeForCausalLM; размер — 1,5 млрд параметров, формат весов — Safetensors, контекст — до 131 072 токенов. Модель предназначена для генерации текста в диалоге и помощи с программированием. В конфигурации эксперты Qwen2 связаны с запросами к чат-ассистенту и объяснениям, а эксперт Replete Coder — с задачами по Python, JavaScript, программированию и алгоритмам. Поддерживается чатовый сценарий; отдельные гарантии качества для этих задач в карточке не приведены. Лицензия — Apache 2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — это экспериментальная instruction-модель на базе Qwen3.5-9B, опубликованная пользователем W00ds1. В README указано, что она создана в результате многоэтапного fine-tuning и объединения нескольких моделей на локальном оборудовании при участии Nightmedia; базовая модель связана с DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Модель ориентирована на общий диалог, следование инструкциям, reasoning, программирование, творческое письмо и roleplaying, а также заявлена как uncensored и heretic-модель с уменьшенным количеством отказов. Модель поставляется в формате GGUF в обычных и MTP-вариантах, включая квантизации с использованием NEO IMATRIX. MTP предназначен для ускорения генерации за счёт multi-token prediction, но его эффективность зависит от оборудования, температуры и acceptance rate; при низком acceptance rate обычный вариант может работать быстрее. Заявлено контекстное окно 256k токенов. Поддерживаются английский и китайский языки. Vision активирован, однако для обработки изображений требуется отдельный файл mmproj. Указана совместимость со стандартными приложениями, поддерживающими GGUF. В README приведены результаты на ARC-C, ARC-E, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, где модель сравнивается с рядом более крупных моделей; эти результаты следует считать заявленными авторами и не распространять автоматически на все задачи. Ограничения включают зависимость производительности от выбранной квантизации, режима thinking или instruct, параметров генерации и аппаратного обеспечения, а также отсутствие гарантии превосходства над моделями большего размера во всех сценариях. Лицензия указана как Apache-2.0.

timteh673/Qwen3.8-27B-Opus-Reasoning-Control-BF16 — мультимодальная модель для диалога и рассуждений, созданная timteh673 на основе Qwen/Qwen3.8-27B. Это дообученный QLoRA-чекпойнт, объединённый с базовой моделью и опубликованный в формате BF16 для Transformers; архитектура Qwen3_5ForConditionalGeneration объединяет текстовую часть на 27 млрд параметров и визуальный энкодер. Модель принимает текст и изображения и выдаёт текст; заявленный предел контекста — 262 144 токена. Вариант служит контрольным чекпойнтом для сравнения с версией Abliterix и резервной моделью семейства, а не официальной базовой моделью Qwen. Он предназначен для многошаговых рассуждений, диалога и анализа изображений. В локальных тестах проекта контрольная версия чаще отказывала на вредоносных запросах и уступила выбранной версии семейства по ряду метрик, но была сильнее на полном наборе задач по коду. Эти результаты не являются официальными бенчмарками и могут не переноситься на другие условия. Модель распространяется по лицензии Apache-2.0; BF16-чекпойнт велик и требует значительной памяти ускорителя.

Qwen3-Swallow-8B-SFT-v0.2 — диалоговая языковая модель на архитектуре Qwen3, разработанная проектом Swallow LLM Токийского технологического института. Это версия размером 7,6 млрд параметров, полученная supervised fine-tuning модели tokyotech-llm/Qwen3-Swallow-8B-CPT-v0.2. Она предназначена для генерации ответов и диалогов на японском и английском языках, а также для задач перевода, математики и программирования с рассуждениями. Модель принимает текст и генерирует текст, поддерживает контекст до 40 960 токенов по метаданным; разработчики рекомендуют ограничивать длину контекста 32 768 токенами. Для запуска рекомендуют vLLM. Инструментальное использование явно не обучалось, а переключатель режима рассуждений не поддерживается. Разработчики отмечают, что модель находится на ранней стадии разработки и не настроена для надёжного следования человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.

coder3101/Qwen3-VL-4B-Thinking-heretic — дообученная методом abliteration версия мультимодальной модели Qwen3-VL-4B-Thinking от Qwen. Она принимает текст и изображения, поддерживает диалог и предназначена для визуальных вопросов и ответов, анализа изображений и видео, распознавания текста на изображениях, пространственного рассуждения и взаимодействия с графическими интерфейсами. Архитектура — плотная Qwen3-VLForConditionalGeneration; веса опубликованы в формате safetensors. Базовая модель заявляет контекст до 256 тысяч токенов с возможностью расширения до 1 миллиона и поддержку OCR на 32 языках, однако эти характеристики в README относятся к исходной модели и отдельно для производной версии не подтверждены. README описывает уменьшение числа отказов: 3 отказа из 100 против 97 у исходной модели, при KL-дивергенции 0,0259. Это указывает на ослабление отказного поведения, но не гарантирует отсутствие отказов или точность ответов. Модель распространяется по лицензии Apache-2.0.

Reflection-Llama-3.1-70B-GGUF — набор GGUF-квантизованных версий модели, опубликованный leafspark и основанный на mattshumer/ref_70_e3. Модель дообучена с применением LoRA ранга 256 на Llama-3.1-70B-Instruct и предназначена для генерации текста, диалогов и задач, требующих рассуждений. Заявленная особенность — Reflection-Tuning: модель должна выявлять ошибки в рассуждении и корректировать ход решения с использованием секций <thinking>, <reflection> и <output>. Это текстовая авторегрессионная модель семейства Llama с примерно 70 млрд параметров. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель использует стандартный формат чата Llama 3.1 и доступна в вариантах от FP16 размером около 141 ГБ до сильно квантизованных сборок; приведённые размеры отдельных вариантов находятся примерно в диапазоне от 14,6 до 57,9 ГБ. Для некоторых вариантов применялась калибровка iMatrix. Сильной стороной заявляется способность к явному самопроверяемому рассуждению, однако авторы README предупреждают, что опубликованные результаты бенчмарков, вероятно, недостоверны и не воспроизводятся. Также отмечается неопределённость исходного обучения и возможная фиктивность связанной версии модели, поэтому характеристики качества следует проверять самостоятельно. Для запуска рекомендуется системный промпт из README, температура 0,7 и Top P 0,95. Модель распространяется по лицензии llama3.

A3ON-1B-i1-GGUF — это GGUF-квантизация базовой модели A3ON-1B, разработанной Kaiiddo и подготовленной к распространению пользователем mradermacher. Модель предназначена для генерации текста и помощи в программировании; в метаданных указана поддержка английского языка. Формат GGUF рассчитан на локальный запуск в совместимом программном обеспечении. Модель имеет размер 1 млрд параметров, однако сведения об архитектуре, длине контекста и поддерживаемых модальностях в README не приведены. Доступны многочисленные варианты квантизации, включая IQ- и Q-семейства, размером примерно от 0,5 до 1,1 ГБ. В README отмечается, что IQ-квантизации часто обеспечивают лучшее качество при сопоставимом размере; среди вариантов отдельно рекомендуются i1-Q4_K_M и i1-Q4_K_S, а i1-Q6_K по качеству практически соответствует статической Q6_K. Более агрессивные варианты могут заметно снижать качество. Лицензия модели — CC BY 4.0. README не содержит подробных результатов тестирования, поэтому её преимущества и ограничения следует оценивать с учётом выбранного уровня квантизации и конкретного сценария использования.

Airavata-airoboros-slerp — объединённая авторами репозитория модель на базе LLaMA, созданная методом slerp с помощью mergekit из jondurbin/airoboros-7b-gpt4-1.1 и ai4bharat/Airavata. Это плотная авторегрессионная модель объёмом 6,6 млрд параметров для генерации текста; в метаданных указано окно контекста 2048 токенов. Модель подходит для диалоговой генерации, ответов на вопросы и задач, поддерживаемых исходными моделями. Карточка не приводит сравнительных оценок качества или подробных результатов тестирования. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

airoboros-7b-gpt4-1.4 — полноточная дообученная модель семейства LLaMA с плотной архитектурой, созданная jondurbin на синтетических данных, сгенерированных GPT-4. Веса представлены в формате PyTorch; модель содержит около 6,6 млрд параметров и рассчитана на контекст до 2048 токенов. Модель предназначена для диалогов и генерации текста: она отвечает на вопросы, выполняет инструкции, помогает с программированием, письмом, загадками и ролевыми сценариями. Отдельно автор описывает режим ответов по предоставленному контексту, настроенный на использование информации из него. Обучающие примеры кода охватывают десять языков программирования, однако карточка не перечисляет естественные языки, на которых модель обучалась. Автор отмечает, что модель почти не тестировалась, поэтому качество и надёжность ответов не валидированы. В обучающем шаблоне заложено стремление отвечать без отказов независимо от законности или моральной стороны запроса. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

DeepSeek-R1-Distill-Qwen-7B-heretic — языковая модель для генерации текста и рассуждений, разработанная пользователем saidutta69 на основе deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Вариант создан с помощью Heretic v1.4.0 методом directional ablation («abliteration»): целевые изменения весов в выходных проекциях attention и down-проекциях MLP подавляют поведение, связанное с отказами, без дополнительного fine-tuning. Заявляется, что при этом знания и способность следовать инструкциям в основном сохранены. Модель предназначена для разработчиков, которым нужна компактная reasoning-модель примерно на 7,6 млрд параметров для диалогов, генерации текста и задач, требующих рассуждений. Указан английский язык и текстовая модальность. Доступны веса BF16 и GGUF-квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0; модель можно запускать через Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Для работы рекомендуется GPU с 8–12 ГБ памяти, а Q4_K_M подходит для потребительского оборудования и CPU-only или Apple Silicon при наличии достаточного объёма оперативной памяти. Размер контекста в README не указан. К сильным сторонам относятся сохранение базовых возможностей исходной модели, поддержка рассуждений и широкий выбор квантизаций для локального запуска. Ключевое ограничение и одновременно особенность — намеренное подавление отказов: модель может выполнять запросы, от которых базовая версия отказалась бы, включая потенциально небезопасные, и не содержит дополнительного слоя фильтрации. Модель распространяется на условиях deepseek-research-license, унаследованных от базовой модели.

Zynerji/Ektome-Qwen3.8-27B-PristinelyUncensored-GPTQ-MTP — это 4-битная GPTQ-модель для генерации текста, созданная Ektomē на базе Qwen/Qwen3.8-27B. По заявлению автора, модель подверглась «weight surgery»: из языкового декодера удалено направление, связанное с отказами, без дополнительного обучения или fine-tuning. Веса упакованы в формат GPTQ с оптимизациями Marlin; 407 из 503 декодерных Linear-слоёв квантизованы, а исключённые модули оставлены в bfloat16. MTP-голова и vision tower сохранены, однако MTP-голова не квантизована и отключена по умолчанию. Модель предназначена для локального inference и сценариев генерации текста, включая программирование и другие задачи, где полезно speculative decoding с multi-token prediction. Автор сообщает о приросте скорости при включении MTP до 35% на коротких запросах, 30% при batch 8 и 63% на глубоком кодировании, но результаты получены на RTX PRO 6000 Blackwell и не гарантируют аналогичную производительность на другом оборудовании. Размер весов составляет около 17,7 GiB, поэтому модель рассчитана на видеокарты с 24 ГБ памяти с доступным пространством для KV-cache. Для загрузки требуется vLLM или SGLang; стандартный transformers эту конфигурацию не поддерживает. На Python 3.11 может потребоваться удалить flashinfer-python либо использовать Python 3.12. Максимальный контекст именно этой сборки в README не указан. Измерения на тестах автора показывают сохранение базовых возможностей после редактирования, но не подтверждают улучшение качества; speculative decoding также дал не полностью идентичные результаты в одном из тестов. Лицензия — Apache-2.0.

Hy3-heretic — разговорная модель генерации текста на архитектуре HY-V3 с mixture-of-experts, представленная пользователем trohrbaugh. По метаданным, модель содержит 16,6 млрд параметров и поддерживает контекст до 262 144 токенов; формат весов — safetensors, лицензия — Apache-2.0. Она предназначена для диалогов и генерации ответов с ослабленным отказом: в README приведено сравнение, где вариант Hy3-heretic отказал в 1 из 100 запросов против 99 из 100 у исходной модели. Модель можно применять для общения, ответов на запросы и других сценариев генерации текста. Карточка описывает метод abliteration и сообщает о KL divergence 0,2398 относительно исходной модели. README также содержит общие сведения о Hy3 от команды Tencent Hy, включая заявленные возможности для рассуждений, работы с длинным контекстом, программирования и агентных сценариев; эти характеристики относятся к семейству Hy3 и не подтверждены отдельно для данного варианта. В карточке указана лицензия Apache-2.0.

Jais-30b-chat-v3 — диалоговая языковая модель, разработанная Core42 (Inception) совместно с Cerebras Systems и дообученная на парах запросов и ответов на арабском и английском языках. Она предназначена для чат-ассистентов, клиентской поддержки, ответов на вопросы, генерации кода и рассуждений по тексту. Модель использует декодерную архитектуру Transformer, близкую к GPT-3, с активацией SwiGLU и позиционными представлениями ALiBi. README указывает контекст до 8192 токенов. Модель принимает текст и генерирует текст; для загрузки требуется пользовательский класс модели и параметр trust_remote_code=True. Модель оптимизирована для современного стандартного арабского и английского языков. Среди ограничений — возможные ошибки, предвзятость и неподходящие ответы; качество на других языках и диалектах не гарантируется. Не следует использовать её для высокорисковых решений без контроля человека или для работы с чувствительной информацией. Лицензия Apache 2.0.

NVIDIA Kimi-K2-Thinking-NVFP4 — квантизированная версия языковой модели Kimi-K2-Thinking, разработанной Moonshot AI и подготовленной с применением NVIDIA TensorRT Model Optimizer. Модель предназначена для разработчиков и исследователей, создающих большие языковые модели и приложения на их основе, включая задачи генерации и обработки текста. Она принимает текстовые последовательности и генерирует текст. Модель использует трансформерную архитектуру DeepSeek V3 и содержит около 1 трлн параметров. Это текстовая авторегрессионная модель без заявленной поддержки других модальностей или указания поддерживаемых языков и размера контекстного окна. Веса и активации линейных операторов в MoE-компонентах трансформерных блоков квантизированы в формат NVFP4; указана версия nvidia-modelopt 0.39.0. Для инференса предусмотрена интеграция с vLLM, SGLang и TensorRT-LLM, предпочтительно на GPU NVIDIA Blackwell под Linux; тестирование проводилось на B200. К сильным сторонам относятся существенный масштаб модели и снижение требований к хранению и инференсу благодаря NVFP4-квантизации. Ограничения включают необходимость совместимой NVIDIA GPU-инфраструктуры и дополнительного тестирования перед внедрением. Базовая модель может воспроизводить токсичные высказывания и общественные предубеждения, а также выдавать неточные, неполные, нерелевантные или избыточные ответы. Использование регулируется NVIDIA Open Model License с дополнительными условиями Modified MIT License исходной модели; модель разрешена для коммерческого и некоммерческого применения.

Llama-3-Orca-1.0-8B-GGUF — квантизированная версия текстовой генеративной модели Llama-3-Orca-1.0-8B, разработанной Locutusque и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для локального запуска через llama.cpp и совместимые inference-движки, а также для генерации ответов в диалоговом формате. В обучении использовались наборы Open-Orca/SlimOrca-Dedup, jondurbin/airoboros-3.2, microsoft/orca-math-word-problems-200k, m-a-p/Code-Feedback и MaziyarPanahi/WizardLM_evol_instruct_V2_196k. Модель содержит 8 миллиардов параметров и работает только с текстом. В репозитории представлены варианты квантизации от Q8_0 до IQ1_S, что позволяет выбирать баланс между качеством и требованиями к памяти; наиболее предпочтительными в README названы Q6_K, Q5_K_M, Q5_K_S и ряд вариантов Q4. Доступны файлы размером примерно от 2 до 8,5 ГБ. Для общения используется шаблон с ролями system, user и assistant на основе специальных токенов Llama 3. Сильной стороной модели является возможность локального запуска на устройствах с ограниченными ресурсами и выбор уровня квантизации. При уменьшении разрядности снижаются требования к памяти, но ухудшается качество генерации; варианты IQ1 и некоторые Q3/Q2 обозначены как низкокачественные или нерекомендуемые. Длина контекста, поддерживаемые языки и точные показатели качества в README не указаны. Лицензия обозначена как other, без дополнительных условий в предоставленных данных.

mythos-v2-8b-merged — текстовая генеративная модель, разработанная King3Djbl на основе King3Djbl/mythos-v2-8b с использованием дообучения. Модель входит в экосистему FableForge и ориентирована на агентские сценарии, включая использование инструментов, вызов функций, работу с shell-командами, программирование, ролевые диалоги и генерацию текста. Заявлена поддержка английского языка. Модель имеет размер 8B параметров и распространяется в формате GGUF, совместимом с llama.cpp, Ollama и LM Studio. Доступны варианты от F16 до низкобитных квантований, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M и imatrix-квантизации для систем с ограниченной оперативной памятью. Для диалогов используется формат ChatML. Размер контекста в README не указан. К сильным сторонам относятся широкий набор заявленных агентских возможностей, поддержка инструментального взаимодействия и наличие большого выбора квантований с разным компромиссом между качеством и требованиями к памяти. При этом README не содержит результатов бенчмарков, подробностей об архитектуре, данных обучения или проверок качества, поэтому фактические возможности и надежность модели требуют самостоятельной оценки. Также заявлен режим без отказов, что может повышать гибкость в ролевых и автоматизационных сценариях, но требует осторожности при использовании. Модель распространяется по лицензии Apache-2.0.

3MPER0RR/Ornith1.5-9B-3MPER0RR-abliterated — дообученная версия Ornith 1.5 9B, подготовленная 3MPER0RR для экспериментов. Это плотная языковая модель семейства Qwen3.5 с поддержкой диалогового взаимодействия; основная задача — генерация текста. Базовая модель Ornith AI предназначена для программирования, агентных задач и работы с инструментами в длинном контексте. Модель распространяется в формате safetensors по лицензии MIT. Карточка сообщает, что модель прошла испытания и сохранена, но не уточняет набор тестов, контекстное окно или поддерживаемые языки. Суффикс «abliterated» в названии указывает на изменение, связанное с отказами модели, однако карточка не описывает его метод и фактическое влияние.

phixtral-2x2_8 — языковая модель с архитектурой Mixture of Experts, созданная Mlabonne из двух моделей Microsoft Phi-2. Она объединяет cognitivecomputations/dolphin-2_6-phi-2 и lxuechen/phi-2-dpo с помощью модифицированной версии mergekit и вдохновлена архитектурой Mixtral-8x7B. Автор сообщает, что модель превосходит каждого из отдельных экспертов; в README также приведены результаты оценки на наборе Nous suite. Модель предназначена для генерации текста в диалогах и задач с кодом. Она принимает текст и генерирует текст, поддерживает английский язык и имеет контекстное окно 2048 токенов. Репозиторий содержит веса в формате safetensors; указана лицензия MIT. Для модели предлагается запуск в 4-битной точности на GPU T4.