II.3Рефакторинг, миграция и модернизация

Карточка модели hdcase/AliceAI-Foundation-80B-A3B-Base на Hugging Face совпадает с карточкой yandex/AliceAI-Foundation-80B-A3B-Base, поэтому описание составлено по ней. AliceAI-Foundation-80B-A3B-Base — базовая авторегрессионная языковая модель, разработанная Yandex и обученная с нуля. Это предобученная модель с гибридной архитектурой и смесью экспертов: всего 80 млрд параметров, из которых на каждом токене активируются около 3 млрд. Архитектура включает 48 слоёв, 512 экспертов и механизмы KDA и Gated Attention; контекст — до 262 144 токенов. Модель предназначена для генерации текста и дальнейшей адаптации под задачи рассуждений, математики, программирования, работы с фактами и взаимодействия с инструментами. По данным карточки, особенно сильна в фактологических задачах на русском языке; доступны русскоязычные бенчмарки WikiWebFacts и HardMultiQA. Это базовая модель, поэтому для диалогового применения и следования инструкциям может потребоваться дообучение и подходящий шаблон сообщений. Веса опубликованы в формате Safetensors и доступны по лицензии Apache 2.0. В README описан запуск через Transformers и vLLM; для выполнения KDA-слоёв на GPU требуется совместимая версия flash-linear-attention. Заявленные в README 80 млрд общих параметров расходятся с метаданными Hugging Face, где указано 3,1 млрд параметров.

Locutusque/DareQwen-2.5-7B — объединённая языковая модель, созданная автором репозитория с помощью mergekit на основе Qwen2.5. В слиянии DARE TIES использованы Qwen2.5-7B, Qwen2.5-7B-Instruct, Qwen2.5-Coder-7B-Instruct и Qwen2.5-Math-7B-Instruct; параметры сохранены в формате bfloat16. Модель содержит 7,1 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов, а объединение вариантов Instruct, Coder и Math ориентировано на сочетание общих инструкций, программирования и математических задач. В метаданных также отмечен интерфейс вызова инструментов. Указана поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. README предупреждает, что объединённая модель требует дообучения, поэтому её готовность к практическому использованию без дополнительной настройки не подтверждена. Лицензия в предоставленных данных не указана.

DeepSeek-V3.1-Base — базовая языковая модель, разработанная DeepSeek AI. Она предназначена как основа для последующего дообучения и создания прикладных версий, включая варианты с режимами рассуждения и без рассуждения, поддержкой вызова инструментов и агентскими сценариями. Модель ориентирована на обработку длинного контекста и сложных текстовых запросов. Модель построена на архитектуре Mixture-of-Experts: общий размер составляет 671 млрд параметров, из которых для одного токена активируется 37 млрд. Максимальная длина контекста — 128K токенов. В README не указаны точный набор поддерживаемых языков и мультимодальные возможности, поэтому подтверждённо описать её можно только как текстовую языковую модель. Для обучения использовалось расширение длинного контекста в два этапа, а веса и активации представлены в формате UE8M0 FP8. К сильным сторонам относятся большой контекст, высокая вычислительная ёмкость при меньшем числе активируемых параметров и пригодность в качестве базы для специализированного дообучения. Ограничения включают очень высокие требования к ресурсам для развёртывания и отсутствие в предоставленных данных подробных результатов оценки, перечня языков и описания мультимодальности. Модель распространяется по лицензии MIT.

RedHatAI/gemma-4-31B-it-FP8-block — квантизированная версия мультимодальной модели google/gemma-4-31B-it, разработанная RedHatAI на базе модели Google. Архитектура — Gemma4ForConditionalGeneration; модель принимает текст и изображения и генерирует текст. Поддерживаются генерация текста, выполнение инструкций и tool calling, включая function calling через vLLM. Режим рассуждений включён по умолчанию в настройках шаблона чата. Модель использует FP8-квантизацию весов и активаций: веса масштабируются поблочно блоками 128×128, активации — динамически группами размера 128. Квантизация применяется к линейным операторам трансформерных блоков, тогда как vision tower, embedding и output head сохраняют исходную точность. Это примерно вдвое сокращает размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением, что делает её подходящей для эффективного инференса. Модель предназначена прежде всего для развёртывания с vLLM; заявлена проверка совместимости с vLLM 0.24.0, RHOAI 3.5 и RHAIIS 3.5. В примере развёртывания используется контекст до 32768 токенов и поддержка изображений. Среди ограничений — необходимость совместимой инфраструктуры и специальных параметров vLLM для рассуждений и вызова инструментов; влияние FP8-квантизации на качество зависит от задачи, хотя в README приведены оценки на наборах GSM8K Platinum, MMLU-Pro, IFEval, MATH-500, AIME 2025, GPQA Diamond, LiveCodeBench v6 и BFCLv4. Модель распространяется по лицензии Apache-2.0.

mlx-community/gemma-4-e2b-it-qat-OptiQ-4bit — квантованная версия модели Gemma 4 E2B, разработанной Google и адаптированной сообществом mlx-community с использованием MLX-native инструментария mlx-optiq. В основе лежит quantization-aware-trained модель google/gemma-4-E2B-it-qat-q4_0-unquantized. Модель предназначена для локальной генерации текста на устройствах Apple Silicon, включая задачи общего понимания и генерации текста, рассуждений, программирования, следования инструкциям, вызова инструментов и работы с агентными сценариями. Также поддерживается мультимодальный режим image-text-to-text через vision-компонент в формате bf16; текстовый режим загружается через mlx-lm, а обработка изображений — через mlx-optiq. Используется смешанная разрядность: большинство компонентов имеют точность 4-bit, чувствительные слои — 8-bit. Всего квантовано 276 компонентов, достигнуто 5,24 bits per weight, размер модели на диске составляет около 4,9 ГБ. Квантование выполнено с группой 64 и распределением битов на основе чувствительности слоёв. По заявленным тестам модель превосходит равномерную 4-bit-квантизацию той же базы по среднему Capability Score: 57,23 против 55,14; особенно заметен выигрыш в HumanEval и тесте длинного контекста HashHop. При этом в IFEval результат немного ниже, чем у равномерной 4-bit-версии. Контекстное окно и полный перечень поддерживаемых языков в README не указаны. Модель ориентирована на локальное использование без PyTorch и облачных сервисов, преимущественно на Apple Silicon. Доступна по условиям Gemma Terms of Use; применимые условия также зависят от лицензии базовой модели Google Gemma.

TIGER-Lab разработала General-Reasoner-Qwen2.5-14B — дообученную причинно-следственную языковую модель семейства Qwen2.5 с 14 млрд параметров. Она предназначена для диалоговой генерации текста и решения задач, требующих рассуждений в разных областях: математике, программировании, физике, химии, финансах и гуманитарных дисциплинах. Модель обучена на наборе из более чем 230 тысяч проверяемых вопросов; подход General-Reasoner использует проверку ответов компактной генеративной моделью-верификатором и не включает отдельный этап RL-обучения. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и рассчитана прежде всего на английский язык. Репозиторий использует формат safetensors и библиотеку Transformers; метаданные указывают интерфейс для диалога и вызова инструментов. Лицензия — Apache-2.0. Карточка сообщает о результатах на нескольких бенчмарках, но не приводит конкретных значений в предоставленном фрагменте; ответы модели могут требовать проверки.

QuantTrio/GLM-5.2-Int4-Int8Mix — квантизированная версия языковой модели GLM-5.2, разработанной командой zai-org. Репозиторий содержит data-free квантизацию без использования калибровочного набора данных и подготовлен прежде всего для инференса через vLLM с форматом compressed-tensors. Модель предназначена для генерации текста, диалоговых приложений, программирования и выполнения сложных долгосрочных задач. Базовая GLM-5.2 поддерживает контекст до 1 млн токенов и использует архитектурные улучшения IndexShare, разреженное внимание и MTP для спекулятивного декодирования. В данной версии применено смешанное weight-only-квантизирование: обычные линейные веса преимущественно W8A16, веса MoE-экспертов W4A16, с group size 128; отдельные компоненты сохранены в BF16, FP32 или квантизированы поканально. Размер файлов модели составляет около 378 GiB. Основное преимущество версии — снижение требований к памяти по сравнению с полноразмерными весами при сохранении высокой производительности. В приведённом ориентировочном тесте AIME25 результат составил 92,92% при reasoning_effort=max и 86,46% при medium-high, однако это не является полноценным формальным бенчмарком. Ограничение — заявлена совместимость прежде всего с vLLM и compressed-tensors; совместимость с SGLang и другими runtime не гарантируется. Проверка проводилась на конфигурации из 8 GPU H200 с vLLM 0.23.0 и Transformers 5.12.1. Модель распространяется по лицензии MIT.

Это квантованная версия Qwen3.5-35B-A3B, доработанная huihui-ai в стиле Claude 4.6 Opus и опубликованная cesarsal1nas в формате GGUF. Модель предназначена для диалогов, следования инструкциям, программирования, рассуждений, генерации структурированных ответов и работы с инструментами. Она также поддерживает обработку изображений при использовании отдельного vision-проектора. Архитектура — qwen35moe: 35 млрд параметров всего, около 3 млрд активных на токен, 256 экспертов, из которых активируются 8. Используется квантование Q4_K_M с размером основного файла около 20 ГБ; vision-проектор F16 занимает около 858 МБ. Заявленная длина контекста — 262 144 токена, однако в примерах запуска рекомендуется 131 072. Языки в README не указаны. К сильным сторонам относятся сочетание MoE-архитектуры с относительно небольшим числом активных параметров, поддержка текста и изображений, а также заявленная пригодность для reasoning, coding и tool use. Модель подвергнута abliteration: механизмы отказа и ограничения выравнивания удалены, поэтому её ответы могут быть менее безопасными и требуют особенно внимательного контроля. Указанные возможности основаны преимущественно на тестировании автора в Hermes Agent; независимые оценки качества не приведены. Лицензия — Apache 2.0.

LLaDA2.0-flash-preview — открытая инструктивно настроенная диффузионная языковая модель от InclusionAI для диалогов и практических задач. Она использует архитектуру Mixture-of-Experts: в README указано 100 млрд параметров, из которых около 6,1 млрд активируются при инференсе; метаданные каталога указывают 5,5 млрд параметров. Архитектура включает 32 слоя, 32 головы внимания, RoPE и словарь размером 157 184 токена. Модель предназначена для генерации текста, ответов на вопросы, написания кода, математических рассуждений и сценариев с вызовом инструментов. Это diffusion language model (dLLM), доступная в формате safetensors через Transformers. В README указан контекст 4 096 токенов, тогда как метаданные каталога сообщают нативный контекст 16 384 токена. Репозиторий распространяется по лицензии Apache-2.0. README рекомендует температуру 0 и параметры block_length=32, steps=32; при повышении температуры возможно смешение языков и снижение качества. Модель обозначена как preview, поэтому её зрелость следует считать экспериментальной.

PlumChat 70b — объединённая языковая модель sequelbox, созданная с помощью mergekit на основе Meta Llama 3.1 70B Instruct и моделей NVIDIA Llama 3.1 Nemotron 70B Instruct HF и ValiantLabs Llama3.1-70B-ShiningValiant2. Она предназначена для диалогов общего назначения, следования инструкциям, научных запросов и сложных вопросов. Модель использует плотную архитектуру LlamaForCausalLM, содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов; карточка указывает английский язык. Веса опубликованы в формате safetensors, библиотека — Transformers. Слияние выполнено методом Della с нормализацией весов. Модель рассчитана на генерацию текста и чат, в том числе на научные и технические темы. Лицензия — Llama 3.1; условия её использования определяются лицензией Meta Llama 3.1.

QuantFactory/Llama-3-8B-Instruct-Gradient-1048k-GGUF — это квантизированная версия Gradient Llama-3-8B-Instruct-Gradient-1048k в формате GGUF, созданная с использованием llama.cpp. Базовая модель разработана Gradient на основе Meta Llama 3 8B Instruct; исходное семейство Llama 3 разработано Meta. Модель предназначена для генерации текста и кода, диалоговых сценариев, создания ассистентов и обработки очень больших текстовых документов. Модель использует авторегрессионную архитектуру оптимизированного Transformer с Grouped-Query Attention, содержит около 8 млрд параметров и работает только с текстом на входе и выходе. Заявленное контекстное окно расширено с 8 тысяч до более чем 1,04 млн токенов. Расширение выполнено с помощью оптимизации RoPE theta, NTK-aware interpolation и последовательного обучения на контекстах длиной 65K, 262K, 524K и 1048K токенов. В README указан английский язык, а для обучения длинного контекста использовались данные на основе SlimPajama. Ключевое преимущество модели — сочетание относительно компактного размера, формата GGUF для использования в экосистеме llama.cpp и поддержки сверхдлинного контекста, что может быть полезно при анализе крупных документов и длинных последовательностей. Ограничения включают текстовую модальность, отсутствие подробных результатов оценки качества и конкретных характеристик квантизации в представленном README, а также возможное снижение точности по сравнению с полной или менее квантизированной версией. В качестве лицензии указана llama3.

mergekit-community/mergekit-model_stock-anvdilz — объединённая разговорная языковая модель на архитектуре Llama 3.1, созданная с помощью mergekit методом Model Stock. В слияние вошли FuseChat, Polypsyche, Tulu, LongCite и Skywork-o1; в качестве основы README называет Stheno v3.4 abliterated вместе с Llama-3.1-8b-smart-lora. Модель содержит около 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов. Объединённые модели ориентированы на следование инструкциям, программирование, математику, рассуждения и работу с длинными текстами, однако карточка не приводит отдельных оценок качества или подробных инструкций по применению. Доступные веса представлены в формате Safetensors. Лицензия в предоставленных данных не указана, поэтому условия использования следует сверить с карточкой модели и лицензиями исходных компонентов слияния. Как и другие языковые модели, она может генерировать неверную или вымышленную информацию.

MiniCPM5-2B — плотная причинная языковая модель семейства MiniCPM5, разработанная командой MiniCPM. Она предназначена для локальных помощников, запуска на устройствах и в условиях ограниченных ресурсов, а также для задач программирования, рассуждений и работы с инструментами. Модель построена на архитектуре LlamaForCausalLM, содержит 2,2 млрд параметров по метаданным и поддерживает контекст до 131 072 токенов. Модель подходит для диалогов, агентных сценариев и обработки длинного контекста. В карточке отмечены сильные результаты относительно моделей сопоставимого размера в программировании, математике, работе с длинным контекстом и инструментами. Указаны английский и китайский языки. Доступны веса safetensors и запуск через Transformers, в том числе на CPU и GPU. Лицензия — Apache-2.0. Ответы могут содержать ошибки, предвзятые или оскорбительные сведения; выводы по медицине, финансам, праву и политике не являются профессиональной консультацией. Модель предоставляется без гарантий.

megabytes/Nanbeige4.1-3B-heretic — англо-китайская диалоговая языковая модель на базе Nanbeige/Nanbeige4.1-3B. Разработчик описывает исходную модель как компактную модель для рассуждений, программирования и агентных задач; эта версия создана с помощью Heretic v1.2.0 и abliteration для снижения частоты отказов. Она содержит 3,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и поддерживает контекст до 262 144 токенов. Модель предназначена для генерации диалоговых ответов, решения многошаговых задач, написания кода и сценариев с поиском и вызовом инструментов. README приводит для этой версии частоту отказов 8 из 100 и KL-дивергенцию 0,0003 относительно исходной модели; в карточке также отмечено, что существует улучшенная версия от Heretic Organization. Модель может выдавать предвзятый или иной нежелательный контент. Лицензия — Apache-2.0.

Nemotron-Cascade-2-30B-A3B-AWQ-4bit — 4-битная AWQ-версия диалоговой языковой модели семейства NVIDIA Nemotron-Cascade-2. В README исходная модель описана как модель Mixture of Experts на 30 млрд параметров с 3 млрд активируемых параметров; она дообучена на базе Nemotron-3-Nano-30B-A3B-Base и поддерживает режимы рассуждений и обычных инструкций. Метаданные указывают задачу генерации текста, библиотеку Transformers и базовую модель nvidia/Nemotron-Cascade-2-30B-A3B. Модель предназначена для диалогов, решения сложных задач и агентных сценариев; README сообщает о высоких результатах на математической олимпиаде IMO и олимпиаде по информатике IOI 2025. Она использует шаблон ChatML, а для запуска исходной версии README описывает контекст до 262 144 токенов. AWQ-квантизация снижает точность весов до 4 бит; показатели качества и требования к ресурсам именно этой сборки в предоставленных сведениях не приведены. Лицензия указана как other, конкретные условия следует сверять с карточкой модели.

weathermanj/Nemotron-nano-9b-fp8 — FP8-квантованная версия языковой модели NVIDIA Nemotron Nano 9B v2, подготовленная jwjohns (Emendat.io). Модель использует гибридную архитектуру Mamba-Transformer с 8,89 млрд эффективных параметров: 27 слоёв Mamba2 и 4 слоя внимания. Веса линейных слоёв представлены в FP8 E4M3, а эмбеддинги, нормализации и смещения сохранены в BF16. Размер файлов модели составляет 9,48 ГБ; заявленная длина контекста — до 128 тысяч токенов. Модель предназначена для генерации текста и диалогов, следования инструкциям, программирования и задач с управляемым рассуждением; метаданные также указывают интерфейс вызова инструментов. Квантование сокращает размер весов относительно исходной BF16-версии, сохраняя совместимость с исходным токенизатором и архитектурой. Карточка заявляет лицензию NVIDIA Open Model License; в метаданных лицензия обозначена как other, поэтому перед использованием следует свериться с условиями исходной лицензии.

Модель mlx-community/NVIDIA-Nemotron-3-Nano-30B-A3B-MLX-BF16 — версия NVIDIA Nemotron 3 Nano, подготовленная сообществом mlx-community для запуска в формате MLX. README указывает, что она преобразована из nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 с помощью mlx-lm 0.29.1; метаданные связывают её с этой базовой моделью и задачей генерации текста. Модель предназначена для диалоговой генерации текста. Описание базовой модели в каталоге указывает на сценарии рассуждений, программирования и создания агентных приложений; в карточке отмечена поддержка английского, испанского, французского, немецкого, японского и итальянского языков. Репозиторий использует библиотеку MLX и файлы safetensors. Лицензия указана как other, поэтому конкретные условия использования следует сверить с лицензией базовой модели и карточкой репозитория.

OpenCerebrum-1.0-7B-DPO — открытая языковая модель Locutusque, дообученная методом DPO на базе alpindale/Mistral-7B-v0.2-hf. Это плотная Mistral-модель с 7,1 млрд параметров и контекстом до 32 768 токенов; для обучения использовался формат ChatML. Модель предназначена для генерации текста, ответов на вопросы и следования инструкциям, в том числе для задач программирования, математики, естественных наук и рассуждений. Обучение примерно на 21 тысяче примеров из шести публичных наборов данных было направлено на воспроизведение возможностей Cerebrum; модель работает на английском языке. Модель распространяется по лицензии Apache 2.0. Авторы предупреждают, что она может уступать оригинальной Cerebrum, отражать смещения обучающих данных и требовать заметных вычислительных ресурсов из-за размера 7B.

openNemo-Cascade-2-30B-A3B — реализация модели NVIDIA Nemotron-Cascade-2-30B-A3B от Empero AI, в которой CUDA-зависимые операции заменены на операции PyTorch. Это позволяет использовать веса исходной модели без преобразования и применять 4-битную квантизацию bitsandbytes и QLoRA дообучение на совместимых потребительских GPU. Модель предназначена для генерации текста в диалогах и задач сложного рассуждения; в карточке приведены результаты исходной модели на математических и программных олимпиадах. Архитектура гибридная: 52 слоя сочетают блоки Mamba2, смесь экспертов MoE с выбором 6 из 128 экспертов и несколько блоков Grouped Query Attention. В README указано около 30,87 млрд параметров всего и около 3 млрд активных на токен; метаданные каталога сообщают 1,9 млрд параметров, поэтому оценка размера противоречива. Метаданные указывают контекст до 262 144 токенов и поддержку английского, испанского, французского, немецкого, итальянского и японского языков. Репозиторий сохраняет имена весов NVIDIA и заявляет совместимость с исходным чекпойнтом. Для 4-битной загрузки README оценивает потребление видеопамяти примерно в 17 ГБ, а для QLoRA — около 19 ГБ. Лицензия в метаданных обозначена как «other»; конкретные условия использования следует проверять в файлах репозитория и у базовой модели.

Phi-3-medium-128k-instruct-GGUF — квантизированная версия инструкционной языковой модели Microsoft Phi-3-medium-128k-instruct, подготовленная пользователем bartowski в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель предназначена для генерации текста, диалогового взаимодействия и задач, связанных с обработкой естественного языка и программным кодом. В README заявлена поддержка multilingual-сценариев и контекстное окно до 128 000 токенов. Доступны варианты от F32 до низкобитных квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2, а также форматы IQ. Размер файлов составляет примерно от 5,14 до 55,84 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее сохранение качества, тогда как компактные варианты снижают требования к памяти ценой качества ответов. Ключевые характеристики исходной архитектуры, точное число параметров, перечень поддерживаемых языков и результаты тестирования в README не указаны. Модель подходит для локального инференса, чат-ботов, генерации и анализа текста, а также помощи с кодом при наличии оборудования с достаточным объёмом оперативной или видеопамяти. Ограничениями являются зависимость качества и требований к ресурсам от выбранной квантизации, а также отсутствие в предоставленных данных подробных оценок производительности и гарантий точности. Указана лицензия MIT, унаследованная от исходной модели Microsoft.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная версия модели Qwen3.6-35B-A3B, переобработанная и опубликованная HauhauCS. Это MoE-модель для генерации и понимания текста, изображений и видео, предназначенная для общего общения, рассуждений, программирования, анализа визуального контента и других задач, где требуется модель без встроенных отказов. По данным README, модель полностью сохраняет заявленные возможности исходной модели, но ориентирована на максимально свободную генерацию; иногда она может добавлять короткие оговорки, не являющиеся отказом. Модель содержит 35 млрд параметров, из которых около 3 млрд активируются на каждом проходе. Архитектура включает 256 экспертов, 8 экспертов выбираются для каждого токена, 40 слоёв и гибридное сочетание linear attention и full softmax attention в соотношении 3:1. Заявлен нативный контекст 262 тыс. токенов. Поддерживаются текст, изображения и видео; указаны английский, китайский и другие языки. Распространяется в формате GGUF с вариантами квантования от Q2 до Q8, включая оптимизированные HauhauCS K_P-кванты; для визуального ввода требуется отдельный файл mmproj. Сильными сторонами являются мультимодальность, большой контекст, MoE-эффективность по числу активных параметров, широкий выбор квантований и отсутствие встроенных отказов, что подходит для сценариев, где нужна максимально неограниченная генерация. Ограничения включают потенциально менее безопасное поведение, необходимость достаточных вычислительных ресурсов для крупных квантов и зависимость мультимодального режима от дополнительного mmproj-файла. Модель распространяется по лицензии Apache-2.0.

Это мультимодальная 27,8-миллиардная плотная модель семейства Qwen3.5, опубликованная True2456 как AWQ-квантизованный вариант Qwen/Qwen3.8-27B для запуска на Apple Silicon через oMLX. Она принимает текст и изображения и предназначена для диалогов, анализа визуальных материалов, программирования и многошаговых задач; метаданные также отмечают интерфейс вызова инструментов. Контекст модели — 256 тысяч токенов. Калибровка AWQ с размером группы 64 включала текст и изображения; файлы занимают около 17,36 ГБ при 5 битах на вес. Карточка приводит замеры скорости и памяти на M5 Max, а также описывает встроенные MTP-головы и ускорение SpecPrefill для длинных запросов. Эти результаты относятся к указанной конфигурации оборудования и oMLX. Квантизация может влиять на качество относительно исходной точности, а автор отдельно отмечает, что влияние несовпадения токенизаторов на точность длинноконтекстного поиска не измерялось. Лицензия — Apache-2.0. Модель является производной от Qwen/Qwen3.8-27B и рассчитана на локальный инференс; карточка указывает оптимизацию под M5 NAX.

Abiray/Qwen3.8-27B-Q4_K_M-GGUF — это квантизированная версия мультимодальной vision-language модели Qwen3.8-27B, разработанной командой Qwen. Модель распространяется в формате GGUF и предназначена для локального запуска с помощью llama.cpp и совместимых инструментов, включая LM Studio, Ollama и GPT4All. Модель поддерживает текстовые и мультимодальные сценарии: работу с изображениями и видео, программирование, профессиональные задачи, исследования и длительные агентские процессы. Основной файл имеет размер 16,8 ГБ и использует квантизацию Q4_K_M, выполненную с помощью llama.cpp b10430. Для обработки изображений и других мультимодальных входов требуется дополнительный vision adapter mmproj-F16.gguf; без него доступен текстовый режим. Сведения о точной архитектуре, размере контекста и поддерживаемых языках в карточке не указаны. К сильным сторонам относятся сочетание возможностей языковой модели и анализа визуального контента, а также возможность локального запуска в широко поддерживаемых форматах. К ограничениям относятся необходимость отдельного vision adapter для мультимодальных задач и потенциальные компромиссы точности, обусловленные квантизацией Q4_K_M. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next 4-bit — экспериментальная 4-битная квантованная версия модели Qwen/Qwen3.8-Flash-Next, подготовленная и обслуживаемая проектом Rapid-MLX для компьютеров Apple Silicon. Модель предназначена для генерации текста, диалоговых приложений, программирования и других задач локального инференса через MLX; поддерживаются OpenAI- и Anthropic-совместимые серверные интерфейсы. В данной реализации доступен только текстовый режим: vision tower не включён. Архитектура исходной модели включает около 180 млрд параметров, примерно 6 млрд активируемых на токен, 512 экспертов с маршрутизацией 10 экспертов и одного общего, 48 слоёв, гибрид Gated DeltaNet и sparse attention, а также нативный контекст до 262 144 токенов. Артефакт использует смешанную 4-битную аффинную квантализацию, занимает около 105 ГБ при скачивании и требует примерно 103–105 ГБ активной unified memory во время работы. Поддержка native multi-token prediction доступна как опция и может ускорять генерацию длинных ответов, однако увеличивает требования к памяти и время до первого токена. Сильными сторонами модели являются большой контекст, высокая вычислительная эффективность за счёт разреженной смеси экспертов, локальная работа на Apple Silicon и оптимизации Rapid-MLX для длинного контекста и повторного использования промптов. Ограничения — экспериментальный статус, значительные требования к unified memory, отсутствие физического тестирования на системах с 128 ГБ памяти и недоступность визуального режима. Для использования требуется Rapid-MLX версии 0.13.2 или новее; в Rapid-MLX Desktop модель допускается на Mac с объёмом unified memory от 128 ГБ. Указана лицензия qwen-community-1.0.

Qwen3.8-Flash-Next-Uncensored-MLX-Serve-4bit — 4-битная версия модели Qwen3.8-Flash-Next, преобразованная в формат MLX-Serve для локального запуска на компьютерах Apple Silicon. Базовая модель разработана командой Qwen, а вариант без ограничений получен orcarouter с помощью abliteration — удаления направлений весов, связанных с отказами; в этой сборке дополнительных изменений модели не заявлено. Модель предназначена для диалогов, генерации текста и кода, агентских сценариев и мультимодальных задач с изображениями и видео. Она поддерживает контекст до 262 144 токенов, vision tower, спекулятивную декодирующую голову MTP и работу через совместимые с OpenAI, Anthropic и Ollama API. Архитектура qwen4_exp включает 48 слоёв, гибридное внимание с 36 слоями Gated-DeltaNet и 12 слоями полного внимания, MoE с 512 экспертами и выбором 10 экспертов на токен, а также общим экспертом. Объём модели составляет 125 млрд параметров, из которых активно около 6 млрд на токен; заявленная поддержка языков в README не указана. Ключевые преимущества — большой контекст, поддержка текста, изображений и видео, высокая скорость на Apple Silicon, а также сниженная склонность к отказам. Пакет требует Apple Silicon с не менее чем 96 ГБ unified memory, рекомендуется 128 ГБ, и около 107 ГБ места на внутреннем SSD. Скорость и объём памяти зависят от оборудования; приведённые значения измерены на M5 Max с 128 ГБ. Для запуска требуется mlx-serve версии 26.8.11-pre-release.1 или новее. Ограничения включают высокие аппаратные требования, необходимость использования специализированного движка и потенциальные риски, связанные с отсутствием встроенных отказов. Лицензия — Apache 2.0.

Qwen3-VL-12B-Thinking-Brainstorm20x-NEO-MAX-GGUF — мультимодальная instruct-модель в формате GGUF, созданная DavidAU на базе Qwen3-VL-8B-Thinking с адаптером Brainstorm 20x и дополнительной обработкой квантов NEO Imatrix. Модель предназначена для работы с текстом и изображениями, включая image-to-text, описание изображений, программирование, генерацию кода, чат, творческие задачи и рассуждения. В метаданных указан английский язык; заявлена поддержка видео, однако подробности о формате и ограничениях видеовхода не приведены. После применения адаптера размер модели увеличен до 12B параметров; указаны 55 слоёв и 608 тензоров. Максимальный контекст составляет 256k токенов. Для полноценной мультимодальной работы требуется отдельный файл mmproj в формате GGUF, размещённый вместе с основной моделью. Поддерживаются шаблоны Jinja или ChatML. Brainstorm 20x заявлен как модификация, улучшающая детализацию, связность, качество прозы, творческую генерацию и глубину рассуждений, но автор отдельно отмечает, что это не означает кратного повышения интеллектуальных способностей. Сильными сторонами модели являются сочетание обработки текста и изображений, пригодность для сложного многошагового программирования, подробных инструкций, творческих сценариев и работы с длинным контекстом. К ограничениям относятся отсутствие опубликованных в README бенчмарков и примеров, а также возможное зацикливание генерации; для его уменьшения рекомендуются повышенная температура, repetition penalty около 1.1 и presence penalty 2.0. Модель распространяется по лицензии Apache-2.0.

RedHatAI/DeepSeek-R1-Distill-Llama-70B-FP8-dynamic — квантизированная версия модели DeepSeek-R1-Distill-Llama-70B, разработанная Neural Magic на базе модели DeepSeek. Это текстовая авторегрессионная модель с архитектурой LlamaForCausalLM: принимает текст и генерирует текст. Модель предназначена для задач рассуждения, ответов на вопросы, математических и общих языковых задач, а также для развертывания через vLLM и OpenAI-совместимый сервер. Модель содержит около 70 миллиардов параметров и использует FP8-квантизацию весов и активаций. Квантизации подвергаются линейные операции внутри трансформерных блоков; веса квантизируются по симметричной поканальной схеме, а активации — по симметричной потокенной схеме. Переход с 16-битного представления на 8-битное примерно вдвое сокращает размер модели на диске и требования к памяти GPU. Для квантизации использован LLM Compressor. В README не указаны поддерживаемые языки и максимальная длина контекста. По приведенным оценкам, FP8-версия сохраняет близкую к исходной точность на тестах рассуждения и OpenLLM Leaderboard, включая AIME 2024, MATH-500, GPQA Diamond, GSM8K и MMLU. Основное преимущество модели — снижение требований к памяти и возможность эффективного инференса на GPU, однако фактическая производительность зависит от оборудования и конфигурации vLLM. Модель распространяется по лицензии MIT.

GLM-5.3-Flash-NVFP4 — квантованная версия мультимодальной модели GLM-5.3-Flash, разработанной Z.ai. Данный вариант подготовлен сообществом пользователем vcruz305 на основе zai-org/GLM-5.3-Flash-BF16 с использованием NVIDIA ModelOpt NVFP4. Модель предназначена для генерации текста, работы с мультимодальными данными, программирования и агентских сценариев. Заявлены поддерживаемые языки английский и китайский. Модель имеет архитектуру Mixture-of-Experts с 320 млрд общих и 18 млрд активных параметров, сочетает разреженное и линейное внимание и использует Manifold-Constrained Hyper-Connections. Эксперты слоёв 3–44 представлены в формате NVFP4, а слой MTP/NextN сохраняет точность BF16. Это снижает требования к памяти и стоимость инференса, сохраняя возможности исходной модели, однако качество и производительность именно этой квантованной сборки отдельно не подтверждены: приведённые в README результаты относятся к официальной версии Z.ai. Для локального развёртывания указана совместимость с SGLang, vLLM, TokenSpeed и KTransformers. Лицензия — MIT.

Hermes-Dolphin-out — объединённая языковая модель на архитектуре Llama, созданная автором harkov000 методом SLERP из NousResearch/Hermes-3-Llama-3.1-8B и cognitivecomputations/dolphin-2.9.4-llama3.1-8b. Модель содержит около 7,5 млрд параметров, работает с текстом и имеет контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно использовать для ответов на вопросы, рассуждений, написания кода и сценариев с вызовом инструментов; эти возможности унаследованы от моделей, участвовавших в объединении. В метаданных основная задача — text-generation. Карточка не сообщает результаты оценки качества именно этого объединения. Языковая ориентация и отдельные ограничения модели не описаны; базовая Hermes 3 характеризуется как англоязычная. Модель распространяется в формате safetensors. Сведения о лицензии в предоставленных данных отсутствуют.

Карточка модели Cdsnutz/K2-Horizon-3.7B-heretic-xortron на Hugging Face совпадает с карточкой darkc0de/K2-Horizon-3.7B-heretic-xortron, поэтому описание составлено по ней. Это версия IFM/K2-Horizon-3.7B с уменьшенным числом отказов, созданная разработчиком darkc0de методом Heretic v1.4.0. В основе — плотная авторегрессионная модель K2-Horizon с 3,7 млрд параметров ядра и контекстом до 524 288 токенов; метаданные указывают 4,1 млрд параметров всего. Модель предназначена для диалоговой генерации текста, включая рассуждения, задачи по коду и агентные сценарии. По сравнению с исходной моделью в приведённом README тесте частота отказов снизилась с 98 до 11 из 100, а расхождение по KL-дивергенции составило 0,0088. Модель доступна в формате Safetensors и использует библиотеку Transformers. README приводит настройки запуска через vLLM и SGLang. Заявлена лицензия Apache-2.0; уменьшение отказов может повлиять на поведение защитных механизмов.