II.4Отладка, тестирование и качество ПО

Calandracas/gpt-oss-120b-Derestricted-GGUF — это GGUF-квантизированная версия модели gpt-oss-120b-Derestricted, созданная Arli AI на базе открытой весовой модели openai/gpt-oss-120b от OpenAI. Модель предназначена для генерации текста, задач общего назначения, сложного рассуждения и агентских сценариев, включая вызов функций, веб-браузинг, выполнение Python-кода и структурированный вывод. Архитектура исходной модели основана на Mixture-of-Experts: заявлено около 117 млрд параметров, из которых примерно 5,1 млрд активируются при обработке запроса. Модель поддерживает настраиваемый уровень рассуждения — low, medium и high — и обучена работать в формате ответов Harmony, без которого, согласно карточке, она функционирует некорректно. В README не указаны поддерживаемые языки и точный размер контекста. GGUF-формат ориентирован на локальный запуск совместимыми средствами. Ключевая особенность версии Derestricted — удаление значительной части отказов и ограничивающего поведения при сохранении возможностей рассуждения исходной модели. Для этого Arli AI применила метод Norm-Preserving Biprojected Abliteration, направленный на сохранение норм весов и снижение деградации логики по сравнению с обычной abliteration. При этом модель может иногда сохранять склонность к отказам, а снижение встроенных ограничений повышает риски небезопасного или нежелательного использования. Для производственного запуска также требуются значительные вычислительные ресурсы; исходная модель рассчитана на размещение в одной GPU с 80 ГБ памяти. Лицензия — Apache 2.0.

unsloth/Hermes-3-Llama-3.1-8B-bnb-4bit — это 4-битно квантованная версия языковой модели Hermes 3 на базе NousResearch/Hermes-3-Llama-3.1-8B, подготовленная и опубликованная Unsloth. Модель предназначена для диалоговых и общих языковых задач, включая многошаговое общение, следование системным инструкциям, рассуждения, ролевые сценарии, генерацию кода, вызов функций и формирование структурированного вывода. Модель относится к семейству Llama 3.1 и содержит 8 млрд параметров; используется библиотека Transformers и формат квантования bitsandbytes 4-bit. Она поддерживает английский язык. Для диалогов применяется шаблон ChatML с ролями system, user и assistant, что обеспечивает управляемость поведения и совместимость с подходом OpenAI API. Сведения о размере контекста и мультимодальных возможностях в README не указаны, поэтому модель следует считать текстовой. К сильным сторонам относятся сниженное потребление памяти благодаря 4-битному представлению, улучшенные возможности управления инструкциями, function calling, структурированный вывод, генерация кода и поддержание многоходового диалога. Ограничения включают возможные потери качества и точности из-за квантования, а также отсутствие подтверждённых характеристик производительности, контекстного окна и поддержки языков, кроме английского. Лицензия указана как llama3.1; условия её применения необходимо проверять по соответствующим лицензионным требованиям Llama 3.1.

K2-Horizon-32B MLX 4-bit — 4-битная квантованная версия плотной авторегрессионной языковой модели IFM/K2-Horizon-32B, разработанной Institute of Foundation Models. Репозиторий преобразует исходную модель в формат MLX для запуска на компьютерах Apple Silicon; заявленный размер после квантования — около 18 ГБ. Модель содержит около 31,2 млрд параметров и поддерживает контекст до 524 288 токенов. Модель предназначена для генерации текста и диалогов с длинным контекстом, рассуждений, программирования и агентных задач. README описывает её как reasoning-модель и приводит результаты на tau3 Banking Agentic, Terminal-Bench 2.1 и SciCode. Для запуска указана библиотека mlx-lm; для поддержки специфичных форматов размышлений и вызовов инструментов README требует oMLX версии 0.6.4 или новее с патчем K2-Horizon. Это квантованная производная исходной модели, а не отдельное дообучение: README называет её равномерной 4-битной квантовкой IFM/K2-Horizon-32B, хотя метаданные помечают связь как finetune. В карточке указано, что опубликован Stage 1 checkpoint и ожидается финальная версия с улучшенными результатами, поэтому приведённые показатели следует считать предварительными. Лицензия — Apache-2.0.

Kimi-VL-A3B-Instruct — открытая мультимодальная модель Moonshot AI для понимания изображений, видео и текста. Она объединяет языковую модель с архитектурой Mixture-of-Experts, визуальный энкодер MoonViT с обработкой изображений в исходном разрешении и MLP-проектор. Всего модель содержит 16 млрд параметров, при генерации активирует около 3 млрд; контекстное окно — 128 тыс. токенов. Модель предназначена для диалогов с визуальными данными, распознавания текста на изображениях, анализа длинных документов и видео, понимания нескольких изображений и выполнения агентных задач по скриншотам. Поддерживает ввод текста, изображений и видео и выдаёт текстовые ответы. В README приведены результаты на задачах OCR, визуального понимания и взаимодействия с агентами; для сложных рассуждений, включая математику, разработчики рекомендуют вариант Kimi-VL-A3B-Thinking. Модель распространяется по лицензии MIT. Для запуска доступны веса в формате safetensors и библиотека Transformers. README рекомендует температуру 0,2 для Instruct-варианта. Указанные результаты основаны на бенчмарках разработчиков; качество может зависеть от задачи и настроек инференса.

Ling-3.0-tiny — компактная гибридная языковая модель семейства Ling, разработанная inclusionAI. Она предназначена для диалогов, многошаговых рассуждений и агентных сценариев с умеренными затратами на инференс, включая локальное развертывание на ограниченных ресурсах. Модель принимает текст и генерирует текст; заявлены задачи программирования, математики, научных рассуждений, понимания длинного контекста и следования инструкциям. В README указаны архитектура MoE с чередованием слоёв KDA и MLA, 128 маршрутизируемых экспертов, 7,9 млрд параметров всего и 1,3 млрд активируемых на токен. Метаданные Hugging Face указывают 977,5 млн параметров и контекст 131072 токена, что расходится с README по числу параметров; число параметров здесь поэтому не следует считать однозначно установленным. Для режимов рассуждения можно включать или выключать thinking mode. Доступны веса BF16, FP8 и INT4; заявлена проверка на NVIDIA DGX Spark и компьютерах Apple Silicon. Модель подходит для локального ассистента, программирования, решения математических задач и агентных рабочих процессов. README приводит результаты внутренних оценок и скорости для конкретных конфигураций оборудования, которые не гарантируют такую же производительность в других условиях. Лицензия — MIT.

Llama3.1-8B-Titanium-Forge — языковая модель, созданная ZeroXClem методом слияния четырёх моделей ValiantLabs на базе семейства Llama 3.1. Она объединяет диалоговые навыки ShiningValiant2, математические способности Cobalt, генерацию кода Enigma и структурированный вывод Fireplace2. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст, выдавая текст; заявленная длина контекста — 131 072 токена. Модель предназначена для технических консультаций, решения математических задач, написания и объяснения кода, создания SQL-запросов и JSON, а также для диалоговых помощников и творческого письма. Карточка заявляет поддержку вызова инструментов через интерфейс модели. Основной язык — английский; метаданные не содержат отдельного перечня поддерживаемых языков. Весовые файлы опубликованы в формате safetensors. Модель распространяется по лицензии Apache-2.0. Заявленные специализации происходят из карточки и не сопровождаются результатами оценивания; точность ответов, качество на длинном контексте и надёжность структурированного вывода следует проверять для конкретного применения.

kuotient/Meta-Llama-3-8B-Instruct — чат-модель, разработанная Meta на основе семейства Llama 3. Это авторегрессионная плотная трансформерная модель класса LlamaForCausalLM с примерно 7,5 млрд параметров и механизмом Grouped-Query Attention. Она принимает текст и генерирует текст или код; версия с инструкционной настройкой предназначена для диалогов и работы в роли помощника. Модель рассчитана прежде всего на английский язык, а её контекстное окно составляет 8192 токена. Модель подходит для диалоговых помощников, ответов на вопросы, генерации и редактирования текста и кода. Инструкционные варианты Llama 3 настроены с помощью supervised fine-tuning и обучения с обратной связью от людей для повышения полезности и безопасности. Модель статична и обучена на офлайн-данных. Для использования действует специальная коммерческая лицензия Meta Llama 3; необходимо соблюдать её условия и политику допустимого использования.

Это GGUF-версия Mistral-Small-4-119B-2603, подготовленная noctrex с квантизацией MXFP4 для тензоров MoE и BF16 для остальных тензоров. Для работы автор рекомендует использовать актуальную версию llama.cpp; для файла mmproj рекомендует вариант F32 для наилучшего качества. Основа — мультимодальная модель Mistral AI для диалогов, рассуждений, программирования, агентных задач и анализа изображений и документов; в карточке репозитория основной pipeline указан как генерация текста. BF16 для неквантизированных тензоров сохраняет их исходную точность и может давать более высокое качество, чем вариант с Q8, но на некоторых архитектурах работает медленнее. Репозиторий создан 17 марта 2026 года. Лицензия в предоставленных данных не указана.

OpenCerebrum-2.0-7B — англоязычная языковая модель от Cognitive Computations, дообученная методом SFT и DPO на базе alpindale/Mistral-7B-v0.2-hf. Она предназначена для генерации текста и ответов на вопросы, включая задачи программирования, математики, естественных наук, рассуждений и диалогов с несколькими ходами. Обучающая выборка содержит около 7 тысяч примеров из 15 источников, подобранных для воспроизведения возможностей закрытой модели Cerebrum. Модель имеет плотную архитектуру Mistral с 7,1 млрд параметров и контекстное окно до 32 768 токенов. Карточка заявляет английский язык; репозиторий содержит веса в формате safetensors. Лицензия — Apache 2.0. Это открытая реплика, обученная на подмножестве данных, поэтому она может уступать оригинальной Cerebrum. На ответы могут влиять смещения и ограничения обучающих данных; размер 7B также ограничивает требования к памяти и вычислительным ресурсам по сравнению с более крупными моделями.

OpenHermes-2.5-DPO-No-Robots — диалоговая языковая модель на архитектуре Mistral, разработанная OpenAccess AI Collective. Это версия OpenHermes-2.5-Mistral-7B, дополнительно обученная методом DPO на датасете предпочтений, созданном на основе наборов HuggingFace No Robots. Модель содержит 7,1 млрд параметров и принимает текстовые запросы, генерируя текстовые ответы; контекст составляет до 32 768 токенов. Модель предназначена для диалога, следования инструкциям, генерации текста и помощи с кодом. Доступна в формате Safetensors. Лицензия Apache-2.0 разрешает использование и распространение на её условиях.

Ornith-1.5-397B-MXFP4 — квантизированная версия модели Ornith-1.5-397B, опубликованная truespirit на базе модели ornith-ai. Это генеративная текстовая модель для задач общего рассуждения, программирования и агентских сценариев; сервер предоставляет OpenAI-совместимый API. README не содержит сведений о поддерживаемых языках и полном наборе модальностей, хотя в архитектуре упоминаются визуальные компоненты. Модель использует архитектуру Qwen3.5 MoE / Ornith 1.5 с 397 млрд параметров. Квантизация выполнена по формату OCP MXFP4 с размером блока 32 с помощью AMD Quark 0.12.post1. В MXFP4 переведены веса маршрутизируемых MoE-экспертов, а attention, shared experts, gates, MTP, визуальные компоненты и lm_head сохранены в BF16. Размер чекпойнта составляет около 239 ГБ, что примерно вдвое меньше исходной версии. Сборка ориентирована на запуск на одной AMD Instinct MI355X с 288 ГБ HBM и TP=1. В протестированной конфигурации с SGLang ROCm достигались примерно 180–200 токенов/с при однопоточном декодировании и около 290 токенов/с при четырёх одновременных запросах; измеренный предел входа составлял около 86 тысяч токенов, а в конфигурации сервера задан контекст до 81920 токенов. Эти показатели зависят от оборудования и программного окружения и не являются оценкой качества модели. Квантизация может приводить к численным отличиям от исходного FP8-чекпойнта. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

Qwen2.5-7B-Instruct-1M-heretic — это модифицированная версия Qwen2.5-7B-Instruct-1M, разработанная автором репозитория saidutta69 с использованием Heretic v1.4.0. Модель предназначена для генерации текста, диалогов, ролевых сценариев, программирования, анализа длинных документов и рассуждений по большим контекстам, включая анализ целых кодовых баз. Она ориентирована на локальный запуск разработчиками и пользователями потребительских GPU. Модель относится к семейству Qwen 2.5, имеет около 7 млрд параметров и поддерживает контекст до 1 млн токенов. Это instruction-tuned текстовая авторегрессионная модель; заявленный язык — английский. Доступны веса BF16 и квантованные варианты GGUF Q4_K_M, Q5_K_M, Q6_K и Q8_0, что позволяет запускать её на GPU с 8–24 ГБ памяти, а также на CPU и Apple Silicon при наличии достаточного объёма оперативной памяти. Модификация выполнена методом directional ablation, или abliteration: целевые изменения весов attention output и MLP down-projections подавляют поведение, связанное с отказами, без дообучения. Сильной стороной модели являются большой контекст, возможность локального запуска и сохранение большей части знаний и возможностей базовой модели после модификации. При этом подавление отказов является осознанным ограничением безопасности: модель может выполнять запросы, которые исходная версия отклоняла, в том числе потенциально опасные, и не содержит дополнительной фильтрации. Поэтому её не рекомендуется использовать за незащищённым публичным интерфейсом без собственной модерации. Модель распространяется по лицензии other, унаследованной от базовой Qwen2.5-7B-Instruct-1M.

Карточка модели p-e-w/Qwen3-4B-Instruct-2507-heretic на Hugging Face совпадает с карточкой Tolu49ja/Qwen3-4B-Instruct-2507-heretic, поэтому описание составлено по ней. Tolu49ja/Qwen3-4B-Instruct-2507-heretic — производная чат-модель семейства Qwen3, созданная на основе Qwen/Qwen3-4B-Instruct-2507 методом abliteration, направленным на снижение частоты отказов. В приведённом сравнении доля отказов снизилась с 99 до 21 из 100 запросов; KL-дивергенция относительно исходной модели составляет 0,43. Репозиторий содержит веса safetensors для Transformers, лицензия — Apache-2.0. Модель предназначена для генерации ответов по инструкциям, рассуждений, работы с математическими и научными вопросами, кодом и инструментами, а также для задач на длинном контексте. Это плотная причинная языковая модель с 3,7 млрд параметров и контекстом до 262 144 токенов; README указывает, что она работает в режиме без пошагового рассуждения. Заявлена поддержка нескольких языков, но конкретные языки не перечислены. Меньшая частота отказов может быть полезна для запросов, которые исходная модель отклоняет, однако приведённая оценка основана на тесте из 100 запросов и не характеризует все сценарии. Как и другие языковые модели, она может ошибаться, а ответы требуют проверки; применение в чувствительных областях требует дополнительной оценки.

Это GGUF-представление модели Qwen3.6-35B-A3B от команды Qwen компании Alibaba, подготовленное FreedomAISVR и основанное на NVFP4 Fast-квантизации Unsloth. Модель мультимодальная, с архитектурой MoE: 35 млрд параметров всего и около 3 млрд активных на токен; текстовая часть использует 40 слоёв с гибридом Gated DeltaNet и полнослойного внимания, а для изображений и видео предусмотрен визуальный энкодер на базе SigLIP. В репозитории есть файл модели NVFP4 и отдельный vision-проектор F16. Модель предназначена для диалогов, анализа изображений и видео, работы с инструментами и агентных задач, включая программирование. Заявлены контекст 262 тыс. токенов с возможностью расширения через YaRN и поддержка Multi-Token Prediction для ускорения декодирования. README сообщает о более высокой пропускной способности Fast-варианта по сравнению с другими NVFP4-квантованиями при конкурентных результатах бенчмарков; фактическая скорость зависит от оборудования и среды запуска. Для полной выгрузки на GPU рекомендуется не менее 32 ГБ видеопамяти; оптимальная производительность заявлена на NVIDIA Blackwell B200. Модель распространяется по лицензии Apache-2.0. Это производная модель в формате GGUF с NVFP4-квантизацией; для обработки изображений нужен отдельный файл vision-проектора. Указаны английский и китайский языки, поэтому качество на других языках не следует считать подтверждённым.

malvavisc0/Qwen3.8-9B-gptq-int4 — квантизированная версия модели empero-ai/Qwen3.8-9B, разработанная в формате GPTQ Int4. Модель относится к семейству Qwen и представляет собой плотную модель примерно на 9 млрд параметров, дистиллированную из Qwen3.8 2.4T A95B. Квантизация выполнена для текстовых модулей; заявлена гибридная архитектура с 24 слоями GatedDeltaNet и 8 слоями полнотекстового внимания. Нативный контекст составляет до 262 тысяч токенов. В репозитории также присутствует необработанная vision tower, однако подробности о поддерживаемых визуальных сценариях не приведены. Модель предназначена для генерации текста, рассуждений, решения математических задач, программирования и агентских сценариев с вызовом инструментов. Она поддерживает reasoning с блоками <think>, управление интенсивностью рассуждений через chat template и XML-формат вызова инструментов. Предусмотрена интеграция с vLLM и Transformers, а также совместимость с OpenAI API через локальный сервер vLLM. Указан английский язык; сведения о полноценной поддержке других языков отсутствуют. Ключевое преимущество — снижение потребления памяти: размер весов составляет около 8,5 ГБ против примерно 18 ГБ у версии BF16. Для работы рекомендуется не менее 12 ГБ общей памяти, комфортный режим начинается примерно с 16 ГБ, а видеокарты с 24 ГБ позволяют использовать длинный контекст. На CPU модель запускается, но медленно. К ограничениям относятся потери, связанные с Int4-квантизацией, необходимость правильно настраивать длину контекста и размер пакета, а также потенциально длинные рассуждения в блоках <think>, которые может потребоваться удалять перед показом пользователю. Модель распространяется по лицензии Apache-2.0, унаследованной от исходной модели.

Qwen3-Nemotron-32B-RLBFF — текстовая диалоговая модель NVIDIA на архитектуре Transformer Qwen3, дообученная на базе Qwen/Qwen3-32B для повышения качества ответов в режиме рассуждения. Она принимает многоходовый текстовый диалог и генерирует ответ на последнее сообщение пользователя; подходит для общих вопросов, анализа данных, планирования, программирования и творческих задач. В метаданных указано 29,7 млрд параметров и контекст до 40 960 токенов; README сообщает, что обучение велось на диалогах длиной до 4 тыс. токенов, хотя заявленный там максимальный вход — 128 тыс. токенов. Модель предназначена для запуска через Transformers или vLLM на GPU NVIDIA; README рекомендует один или несколько GPU с 80 ГБ памяти. В опубликованных оценках модель превосходит исходную Qwen3-32B на Arena Hard V2, WildBench и MT-Bench, однако эти результаты не гарантируют качество в конкретных сценариях. Карточка называет модель исследовательской и приводит результаты тестирования на общих диалоговых бенчмарках. Язык в метаданных — английский; лицензия указана как other, поэтому конкретные условия использования следует сверить с лицензией репозитория NVIDIA.

Spark-X2.5-1.7B-GGUF — компактная универсальная языковая модель семейства Spark-X2.5, представленная командой SparkLLM и основанная на XHToken/Spark-X2.5-1.7B-Base. Эта версия распространяется в формате GGUF и предназначена для запуска через llama.cpp и совместимые инструменты. Модель ориентирована на диалог, написание и перевод текстов, рассуждения, программирование, работу с инструментами и агентские сценарии. Архитектура использует гибридное внимание: один слой полного внимания сочетается с тремя слоями внимания со скользящим окном. Заявлена поддержка контекста до 1 млн токенов и более 200 языков. Модель обучалась примерно на 20 трлн токенов из веб-страниц, книг, научных публикаций, кода и энциклопедических материалов; дополнительное обучение включало длинный контекст, supervised fine-tuning и reinforcement learning. Размер модели — 1,7 млрд параметров, модальность — текстовая. К сильным сторонам относятся компактность, сниженные требования к вычислениям и KV-кэшу при работе с длинным контекстом, а также заявленная эффективность в задачах программирования, следования инструкциям, рассуждений и агентской работы среди моделей сопоставимого размера. Поддерживаются различные аппаратные платформы и инструменты, включая vLLM, SGLang, llama.cpp, MLX, Ollama и LM Studio. Ограничения, конкретные показатели тестов и сведения о качестве на отдельных языках в карточке подробно не приведены. Лицензия — Apache-2.0.

Yi-1.5-34B — базовая языковая модель компании 01.AI, построенная на плотной архитектуре семейства Llama. В репозитории представлена версия примерно на 33,9 млрд параметров в формате Safetensors; метаданные указывают контекст 4096 токенов. Модель создана на основе Yi: семейство Yi-1.5 прошло дополнительное предобучение на высококачественном корпусе объёмом 500 млрд токенов и дообучение на 3 млн разнообразных примеров. Модель предназначена для генерации текста, понимания инструкций, рассуждений, чтения и ответов на вопросы, а также задач по математике и программированию. Разработчик отмечает улучшения относительно Yi в программировании, математике, рассуждениях и следовании инструкциям. В README перечислены также варианты Yi-1.5 с контекстом 16K и 32K, но метаданные этого репозитория указывают 4096 токенов. Модель распространяется по лицензии Apache-2.0. Это базовая версия, а не одна из перечисленных в README чат-версий; заявленные сильные стороны и результаты бенчмарков относятся к семейству, а не гарантируют качество на конкретных задачах. В карточке нет сведений о специальных ограничениях применения.

Карточка модели DIYIN/Youtu-LLM-2B на Hugging Face совпадает с карточкой tencent/Youtu-LLM-2B, поэтому описание составлено по ней. Youtu-LLM-2B — инструктивная языковая модель Tencent для диалогов, рассуждений и выполнения задач агентного типа. Это плотная авторегрессионная модель с архитектурой YoutuForCausalLM и механизмом Dense MLA; в ней около 2 млрд параметров, 32 слоя и словарь из 128 256 токенов. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и режим рассуждений, включаемый через шаблон диалога. Модель предназначена для чат-ботов, ответов на вопросы, задач STEM и программирования, работы с длинными контекстами и многошаговых агентных сценариев. Карточка приводит сравнительные результаты на общих и агентных бенчмарках, но эти оценки не гарантируют качество на конкретных данных. В репозитории указана лицензия other; конкретные условия следует сверять с текстом лицензии проекта.

InternScience/Agents-A1-4B-Q8_0-GGUF — квантованная версия Agents-A1-4B, разработанная командой InternScience и предназначенная для локального запуска в формате GGUF с квантованием Q8_0. Модель относится к классу агентных языковых моделей и ориентирована на работу в связке с инструментами и внешними источниками данных. Модель предназначена для многошагового поиска, инженерных и научных задач, следования сложным инструкциям, профессиональных вопросов, планирования и вызова инструментов. Она умеет разбивать сложные задачи на последовательность действий, учитывать промежуточные результаты и взаимодействовать с API, интерпретаторами кода, поисковыми системами и другими инструментами. Базовая версия Agents-A1-4B является плотной моделью примерно на 4 млрд параметров; заявлена поддержка текстовой генерации, function calling и агентных сценариев. Языки и максимальная длина контекста в README не указаны. К сильным сторонам относятся агентное рассуждение, работа с длинными горизонтами задач, инструментами, научной и профессиональной информацией, а также высокая эффективность по сравнению с более крупными моделями. Ограничения этой конкретной GGUF-сборки, требования к оборудованию, совместимые рантаймы и возможное влияние квантования на качество отдельно не описаны. Модель распространяется по лицензии Apache-2.0.

Карточка модели jondurbin/airoboros-l2-7b-gpt4-m2.0 на Hugging Face совпадает с карточкой jondurbin/airoboros-33b-gpt4-m2.0, поэтому описание составлено по ней. airoboros-33b-gpt4-m2.0 — плотная авторегрессионная языковая модель семейства LLaMA с 32,3 млрд параметров, созданная Джоном Дурбином как дообучение с инструкциями на синтетических примерах Airoboros. Версия m2.0 объединяет набор данных версии 1.4.1 с данными серии 2.0 без дубликатов и категории system; данные серии 2.0 были сгенерированы GPT-4 от 14 июня 2023 года. Модель работает с текстом и предназначена для диалогов и выполнения инструкций. Модель подходит для ответов на вопросы по заданному контексту, помощи с программированием, планирования действий с инструментами и генерации структурированных ответов в JSON или YAML. Для контекстных вопросов README рекомендует явно размечать блоки входных данных и инструкций; автор также предупреждает, что модель может выдумывать ответы, если контекст не содержит нужной информации. Формат диалога использует префикс USER/ASSISTANT и системное описание помощника. Указанное в метаданных ограничение контекста — 2048 токенов. Для версии на 33 млрд параметров README сообщает о QLoRA-дообучении и исследовательском, некоммерческом назначении. Лицензия репозитория — CC BY-NC 4.0, поэтому коммерческое использование не допускается по указанным условиям.

Bagel 8B v1.0 — диалоговая языковая модель, созданная jondurbin дообучением Meta Llama 3 8B на наборе инструкций Bagel. Она использует плотную архитектуру Llama и формат запросов Llama 3 Instruct; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель предназначена для генерации ответов в чате и выполнения разнообразных инструкций: ответы на вопросы, рассуждения, математика, программирование, суммаризация, творческое письмо и ролевой диалог. В обучающие данные также входили примеры вызова функций и работы с контекстом. В карточке приведено сравнение с Mistral 7B v0.2 по MT-Bench, где Bagel 8B v1.0 получила среднюю оценку 7,296875; это результат, заявленный автором, а не гарантия качества для конкретной задачи. Модель принимает текст и генерирует текст. В карточке перечислены многоязычные данные, включая Belebele, но основной язык отдельно не заявлен. Репозиторий содержит веса Safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели.

mlx-community/DeepSeek-R1-Distill-Qwen-7B — языковая модель на архитектуре Qwen2, преобразованная сообществом mlx-community из deepseek-ai/DeepSeek-R1-Distill-Qwen-7B в формат MLX с помощью mlx-lm 0.21.1. В основе лежит дистиллированная модель DeepSeek R1 Distill Qwen 7B с 7,1 млрд параметров. Модель предназначена для диалогов и генерации текста, в том числе для многошаговых рассуждений, решения математических задач и программирования. Она поддерживает контекст до 131 072 токенов. В метаданных указаны чат-возможности и интерфейс вызова инструментов. Репозиторий содержит преобразованную версию для MLX; README описывает использование через mlx-lm. Это преобразование формата, а не отдельное дообучение или квантизация. Сведений о лицензии и ограничениях применения в предоставленных данных нет.

puwaer подготовил сжатый вариант DeepSeek-V4-Flash-0731 методом REAP: в каждом MoE-блоке число маршрутизируемых экспертов сокращено с 256 до 132, при этом сохранены все 43 слоя и 6 экспертов на токен. Это причинная языковая модель с архитектурой DeepseekV4ForCausalLM и 10,7 млрд параметров в опубликованном чекпойнте; веса представлены в safetensors FP8. Модель предназначена для диалоговой генерации текста, рассуждений, решения математических задач и генерации кода. Поддерживает контекст до 1 048 576 токенов. По приведённым в карточке тестам, сжатый вариант сохраняет близкие к базовой модели результаты на математических и программных бенчмарках. Стандартная генерация работает, но модули многотокенного предсказания удалены, поэтому ускоренное спекулятивное декодирование на их основе недоступно. Результаты тестов получены при контексте 4096 токенов и отключённом thinking, что ограничивает переносимость этих показателей на другие настройки. Модель основана на deepseek-ai/DeepSeek-V4-Flash-0731; лицензия — MIT.

Dolphin-2.9.2-Phi-3-Medium-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Dolphin 2.9.2 на базе unsloth/Phi-3-mini-4k-instruct. Оригинальную модель разработала команда cognitivecomputations, а квантизации подготовил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалогов, следования инструкциям, программирования, математических задач и агентских сценариев. В README указана поддержка английского языка и текстовая модальность. Доступны варианты от Q8_0 до Q2_K и IQ-квантизаций размером примерно от 4,19 до 14,83 ГБ. Для запуска используется шаблон чата с ролями system, user и assistant. Точное число параметров и размер контекста в README явно не указаны, однако базовая модель идентифицируется как Phi-3-mini-4k-instruct. Более высокие квантизации обеспечивают лучшее качество, но требуют больше памяти; варианты Q4–Q6 и Q5_K_M указаны как рекомендуемые, тогда как низкобитные варианты экономят память ценой снижения качества. Модель распространяется по лицензии MIT.

Карточка модели AlexHung29629/gemma-4-E2B на Hugging Face совпадает с карточкой unsloth/gemma-4-E2B-it, поэтому описание составлено по ней. unsloth/gemma-4-E2B-it — дообученная Unsloth версия мультимодальной Gemma 4 E2B IT от Google DeepMind. Это плотная модель условной генерации с гибридным вниманием: локальные окна чередуются с глобальным вниманием. Она предназначена для диалогов, рассуждений, работы с инструментами, программирования и анализа изображений; карточка указывает контекст до 128 тыс. токенов для E2B/E4B и поддержку более чем 35 языков. Репозиторий содержит веса в формате safetensors. Модель подходит для визуальных вопросов и ответов, извлечения данных из документов, распознавания текста и содержимого диаграмм, понимания интерфейсов и генерации кода. Gemma 4 E2B также поддерживает аудиораспознавание и перевод речи в текст, однако карточка этого репозитория и его pipeline tag обозначают задачу image-text-to-text. Ответы могут содержать фактические ошибки, а качество зависит от формулировки запроса и охвата обучающих данных; модель может ошибаться в нюансах языка и здравом смысле. Лицензия — Apache-2.0.

GLM-5.2-NVFP4 — квантизированная версия языковой модели GLM-5.2 от zai-org, опубликованная lukealonso. Модель предназначена для генерации текста, диалоговых сценариев, программирования, многошагового агентного взаимодействия, вызова инструментов и function calling. Она поддерживает английский и китайский языки и работает через библиотеку Transformers. В основе лежит Mixture-of-Experts-модель с 744 млрд параметров, из которых 40 млрд активируются для каждого токена. В каждом MoE-слое используются 256 экспертов, восемь из которых выбираются для обработки токена; также применяется архитектура DeepSeek Sparse Attention (DSA). Неквантизированная часть модели включает attention-веса, плотные MLP-слои и общие эксперты в формате BF16. MLP-проекции необщих MoE-экспертов квантизированы в NVFP4 — 4-битный формат с блочными FP8-масштабами для групп по 16 элементов. Ключевое преимущество модели — существенное снижение требований к памяти при сохранении специализированных экспертных весов и калибровке по естественной маршрутизации токенов. Калибровочные данные включали программирование, вызов инструментов, реальные пользовательские диалоги на разных языках и длинные последовательности свыше 8 тысяч токенов. Ограничения — необходимость мощной инфраструктуры: рекомендована конфигурация из восьми RTX PRO 6000 Blackwell по 96 ГБ с b12x MoE runner. Лицензия MIT.

INTELLECT-3-REAP-50-heretic — текстовая чат-модель jtl11, созданная на основе PrimeIntellect/INTELLECT-3. Это версия INTELLECT-3 с удалением 50% экспертов методом REAP (Router-weighted Expert Activation Pruning) и изменением поведения отказов с помощью abliteration. Модель сохраняет архитектуру GLM-4 MoE; в репозитории указано 8,5 млрд параметров и контекст до 131 072 токенов. Модель предназначена для генерации текста в диалоге, включая ответы на запросы, код и сложные многошаговые задачи. Калибровка REAP использовала примеры генерации кода, вызова функций и многоходовых сценариев для агентов. В сравнении с исходной моделью в README указано 3 отказа из 100 запросов против 60 из 100; измеренная KL-дивергенция составляет 0,0413. Модель доступна в формате safetensors по лицензии Apache-2.0.

WhiskyAKM публикует GGUF-версию K2-Horizon-MoVA-36B-A4B, производной от IFM/K2-Horizon-MoVA-36B-A4B. Это разрежённая языковая модель архитектуры MoE с механизмом внимания Mixture-of-Values: всего 36 млрд параметров, из которых активны 4 млрд на токен. Модель предназначена для генерации текста и диалогов, рассуждений, программирования и агентных задач с использованием инструментов. Репозиторий содержит квантизованные в NVFP4 веса в формате GGUF для запуска через llama.cpp и совместимые движки. Заявленное контекстное окно — 524 288 токенов. Карточка отмечает английский язык. Лицензия — Apache-2.0. Для NVFP4 автор указывает оптимизацию под NVIDIA Blackwell и совместимое оборудование; фактическая производительность и доступность поддержки зависят от движка и аппаратуры.

Ling-3.0-flash-VL-fp8 — нативная мультимодальная модель, разработанная командой inclusionAI. Она предназначена для понимания и анализа изображений и видео, мультимодального рассуждения, проверки выводов по визуальным данным, работы с документами, графиками и сложными макетами, а также для взаимодействия с веб- и программными интерфейсами и выполнения агентских задач. Модель поддерживает сценарии, где требуется не только восприятие визуальной информации, но и планирование, выполнение действий и последующая верификация. Модель имеет 124 млрд параметров, при этом на каждый токен активируется около 5,5 млрд благодаря разреженной архитектуре Mixture-of-Experts. В состав входят визуальный энкодер ViT, двухслойный MLP-проектор и 42-слойная гибридная языковая основа, чередующая слои KDA и Gated MLA в соотношении 5:1. VideoRoPE кодирует пространственные позиции и временной порядок, что важно для анализа изменений в видео, поиска событий и ответов на вопросы по длинным видеозаписям. Поддерживаются изображения, видео и текстовый контекст объёмом до 256 тысяч токенов. Доступна версия с квантованием FP8. К сильным сторонам относятся сочетание мультимодального понимания, рассуждения и агентского взаимодействия, эффективная активация параметров при большой общей ёмкости и поддержка длинного контекста. В Artificial Analysis Intelligence Index v4.1.1 модель получила 42 балла, что на 4 балла выше результата Ling-3.0-flash. README не приводит полного перечня поддерживаемых языков, детальных ограничений, требований к качеству входных данных или результатов по всем отдельным бенчмаркам. Модель распространяется по лицензии MIT.