I.11Классификация, ранжирование и сопоставление

EpistemeAI2/Fireball-Phi-3-medium-4k-inst-Philos — дообученная на базе Phi-3 Medium Instruct модель для генерации ответов в диалоговом формате. Карточка описывает семейство Phi-3 Medium как плотную авторегрессионную языковую модель примерно на 13,8 млрд параметров; контекст составляет 4096 токенов. Эта версия ориентирована на английский язык и общие коммерческие и исследовательские сценарии, включая работу в условиях ограниченных вычислительных ресурсов и низкой задержки. Модель подходит для диалоговых помощников, ответов на вопросы, а также задач рассуждения, математики, логики и программирования. Базовая Phi-3 Medium Instruct прошла supervised fine-tuning и direct preference optimization для следования инструкциям и повышения безопасности. Репозиторий содержит веса в формате safetensors; лицензия — Apache 2.0. Как и другие языковые модели, она может выдавать неточные или вымышленные сведения, предвзятые или оскорбительные ответы. Качество на языках помимо английского ниже; сгенерированный код и ответы для чувствительных или высокорисковых сценариев требуют проверки. README преимущественно описывает базовую Phi-3 Medium Instruct, поэтому отдельные характеристики дообучения EpistemeAI2 на философских данных в предоставленной карточке подробно не раскрыты.

FluentlyQwen3 1.7B — языковая модель Project Fluently на архитектуре Qwen3ForCausalLM, дообученная с помощью SFT и GRPO и собранная поэтапным слиянием. Она предназначена для генерации текста, диалогов и выполнения инструкций; разработчик сообщает об улучшениях в обычном общении, переводе и математике. Модель содержит 1,7 млрд параметров, имеет 28 слоёв и контекст до 40 960 токенов по метаданным. Поддерживает режим рассуждений, который можно отключить для более быстрой генерации. Заявлены английский и русский языки, а также работа с кодом. Модель доступна в формате Safetensors и распространяется по лицензии Apache-2.0. Как и другие компактные языковые модели, она может ошибаться в фактах, переводах, математике и коде; заявленные улучшения не сопровождаются в карточке количественными результатами оценки.

Gemma-4-26B-A4B-it-NVFP4A16 — пользовательская NVFP4-квантизация инструкционной модели google/gemma-4-26B-A4B-it, выполненная Mario Iseli. Это мультимодальная Mixture-of-Experts-модель для генерации текста и диалоговых сценариев с поддержкой текста, изображений и видео. Всего модель содержит 25,2 млрд параметров, из которых 3,8 млрд активируются для каждого токена; архитектура включает 128 экспертов, 8 из которых выбираются на токен. Контекстное окно составляет до 256 тысяч токенов. Модель использует квантизацию W4A16: веса представлены в FP4, а активации — в FP16. Размер на диске уменьшен примерно с 49 до 16,5 ГБ, то есть примерно в три раза, при сохранении исходного числа параметров. Vision encoder оставлен в BF16. Квантизация выполнена с помощью NVIDIA Model Optimizer на данных CNN/DailyMail; это общественная, а не официальная сборка Google или NVIDIA. Основное преимущество — существенное снижение требований к памяти при сохранении мультимодальности, MoE-архитектуры и длинного контекста. Для запуска через vLLM требуется версия с transformers не ниже 5.4, backend Marlin для MoE и специальный патч gemma4_patched.py для корректной загрузки NVFP4 scale-параметров; конфигурация ориентирована, в частности, на NVIDIA DGX Spark с GB10 Blackwell. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Infinity-Instruct-3M-0613-Mistral-7B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), дообученная на наборах инструкций Infinity-Instruct-3M и Infinity-Instruct-0613. Это плотная авторегрессионная модель семейства Mistral на 7,1 млрд параметров с контекстом 32 768 токенов, предназначенная для диалогов и следования инструкциям. Она принимает текст и генерирует текст; карточка указывает английский язык. Модель обучена методом supervised instruction tuning без обучения с подкреплением по человеческим оценкам (RLHF). Авторы сообщают о результатах 25,5 на AlpacaEval 2.0 и 8,1 на MT-Bench, сопоставляя её с рядом более крупных и близких по размеру моделей. Эти результаты приведены авторами и не гарантируют качество на пользовательских задачах. Модель подходит для многошаговых диалогов, ответов на вопросы, написания текстов, а также задач по коду и математике. В README нет подробных сведений об ограничениях по конкретным сценариям; авторы предупреждают, что точность ответов не гарантируется. Лицензия метаданных — Apache-2.0, однако README ограничивает использование связанных ресурсов, включая веса, академическими исследованиями и запрещает коммерческое применение; это ограничение следует учитывать при использовании модели.

Карточка модели muhamad-geosurge/invert-polarity-6f435ef6-ae86-4cda-8529-4ab6f5393b5b на Hugging Face совпадает с карточкой google/gemma-3-12b-it, поэтому описание составлено по ней. Gemma 3 12B IT — мультимодальная модель с открытыми весами от Google, дообученная для следования инструкциям на основе google/gemma-3-12b-pt. Она принимает текст и изображения и генерирует текст; относится к семейству Gemma 3 и доступна в формате safetensors для Transformers. Модель предназначена для диалоговых приложений, ответов на вопросы и задач понимания изображений, а также для создания и обобщения текста. Контекстное окно — до 128 тысяч токенов, поддерживается более 140 языков. Размер модели — 12 млрд параметров. Модель подходит для извлечения сведений из изображений, составления черновиков, суммаризации и исследовательских задач. Google отмечает, что ответы могут содержать фактические ошибки, отражать предвзятость обучающих данных и хуже справляться со сложными открытыми запросами, языковыми нюансами и задачами, требующими здравого смысла. Лицензия — Gemma; при использовании следует соблюдать условия лицензии и политику запрещённого использования Gemma.

Keural-Cortex-8B-SFT-step903 — исследовательский контрольный чекпойнт модели Keural, разработанной MKD Co., Ltd. Это плотная авторегрессионная языковая модель семейства Qwen3 с 7,6 млрд параметров, дообученная методом supervised fine-tuning на базе Qwen/Qwen3-8B. Модель рассчитана на диалоги на корейском и английском языках, ответы на вопросы, суммаризацию, перевод, генерацию кода, математические рассуждения, вызов инструментов и работу с длинными документами. Контекстное окно составляет до 65 536 токенов; доступны режимы с рассуждениями и без них, а веса опубликованы в формате safetensors для Transformers. Корейский язык — основной акцент обучения; также предусмотрены англоязычные задачи. Вызов функций поддерживается через совместимую с OpenAI схему, однако выбор инструментов ненадёжен. В README описаны воспроизводимые дефекты: модель может неверно представляться, отвечать пустым сообщением на короткий запрос без системной инструкции, ошибочно вызывать инструмент и иногда выдавать незакрытый маркер рассуждений. Для этого чекпойнта рекомендуется задавать системную инструкцию и передавать только уместные для запроса инструменты. Лицензия — Apache-2.0.

Ling-2.6-flash — открытая инструктивная языковая модель компании InclusionAI для диалога и агентных сценариев. Она предназначена для вызова инструментов, многошагового планирования и выполнения задач, включая работу в агентных и программных фреймворках; также подходит для ответов на общие вопросы, математических рассуждений, следования инструкциям и обработки длинного контекста. Архитектура — гибридная MoE семейства Bailing; в карточке заявлены 104 млрд параметров всего и 7,4 млрд активных, тогда как метаданные репозитория указывают 6,4 млрд параметров. Метаданные указывают контекст до 131 072 токенов, текстовый ввод и генерацию текста; карточка отмечает интерфейс вызова инструментов. Заявлены оптимизация скорости вывода и экономии токенов, а также результаты на агентных бенчмарках. Модель распространяется по лицензии MIT. Ограничения включают возможные галлюцинации при вызове инструментов в сложных сценариях, недостаточную глубину рассуждений, не всегда естественное переключение между китайским и английским и трудности со сложными инструкциями. Карточка описывает преимущественно китайско-английские сценарии, а метаданные указывают английский язык; другие языки отдельно не подтверждены.

Llama 2 70B Chat — это диалоговая языковая модель семейства Llama 2, разработанная Meta. Данный репозиторий содержит её квантизированные файлы в формате GGUF, подготовленные TheBloke на основе оригинальной модели meta-llama/Llama-2-70b-chat-hf. Модель предназначена для генерации текста и ведения диалогов: ответов на вопросы, выполнения инструкций и создания связных текстовых ответов. Указан английский язык. Архитектура — Llama, размер — 70 миллиардов параметров, модальность — текстовая. Максимальный размер контекста в README не указан. Для работы используется специальный шаблон запросов Llama 2 Chat с системными инструкциями о полезных, безопасных и честных ответах. Формат GGUF поддерживает метаданные и специальные токены и совместим с llama.cpp, а также рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, ctransformers и llama-cpp-python. Доступны варианты квантизации от 2 до 8 бит для CPU+GPU-инференса, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством ответов; конкретные характеристики зависят от выбранного варианта. Репозиторий распространяется по лицензии Llama 2.

MistralLite — языковая модель Amazon, дообученная на базе Mistral-7B-v0.1 для работы с длинными контекстами. Это плотная авторегрессионная модель Mistral с 7,1 млрд параметров, принимающая текст и генерирующая текст; заявленная длина контекста — до 32 768 токенов. При дообучении использованы адаптация Rotary Embedding с rope_theta=1000000 и скользящее окно размером 16 384 токена. Модель предназначена для извлечения строк и тем из длинных текстов, суммаризации и ответов на вопросы по предоставленному контексту. По карточке, она лучше справляется с рядом задач извлечения и ответа по длинному контексту и может обслуживаться на одном экземпляре AWS g5.2xlarge, а также через TGI или vLLM. README сравнивает её с Mistral-7B-Instruct-v0.1, но указывает дообучение именно от Mistral-7B-v0.1. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов сравнительных тестов, а длина контекста в конкретном обслуживании зависит от настроек сервера; приведённые примеры задают пределы ниже заявленных 32 768 токенов.

Muse-Glimmer-30B-heretic — модифицированная версия мультимодальной модели Meta Muse-Glimmer-30B, подготовленная richardyoung с помощью воспроизводимого запуска Heretic. Это плотный трансформер с энкодером восприятия и примерно 29,6 млрд параметров: модель принимает текст и изображения и поддерживает диалог, управляемое рассуждение и вызов инструментов. Abliteration изменяет веса, ослабляя отказы модели без повторного обучения; в README указано, что выбран один из 200 вариантов с меньшим числом отказов при ограниченном отклонении от исходной модели. Модель предназначена для локальных агентов и сценариев, где нужно анализировать изображения вместе с текстом, планировать шаги, вызывать инструменты, писать и отлаживать код, создавать синтетические данные или оценивать ответы других моделей. Она может соглашаться на запросы, от которых исходная модель отказывается, поэтому ответы могут быть неточными, предвзятыми или нежелательными; многошаговое рассуждение ошибается, а качество на языках вне основного набора может снижаться. Видео не является целевой модальностью, аудио не поддерживается. Веса распространяются по Apache-2.0; README также указывает на политику использования исходной модели Meta, требования которой следует учитывать.

Nanbeige4.2-3B-Base — базовая языковая модель семейства Nanbeige, разработанная командой Nanbeige и обученная с нуля. Это плотная модель с архитектурой Looped Transformer: она повторно использует те же слои, что позволяет увеличить вычислительную ёмкость без увеличения числа параметров. Размер модели — 3,2 млрд параметров, нативная длина контекста — 131 072 токена. Модель распространяется в формате safetensors и рассчитана на работу через Transformers. Модель предназначена для генерации текста и служит базой для задач рассуждения, математики, программирования, STEM и ответов на вопросы. В карточке сообщается об увеличении объёма обучающих данных до 28 трлн токенов и усиленном представлении математических, кодовых, STEM-данных и синтетических вопросов и ответов. Указаны английский и китайский языки; доступен разговорный режим. Лицензия — Apache-2.0. Модель может выдавать недостоверную информацию, предвзятые или вредные ответы; результаты требуют проверки.

OpenHermes 7B — англоязычная модель для генерации текста, разработанная Teknium и дообученная на базе NousResearch/Llama-2-7b-hf. Она предназначена для выполнения инструкций, диалогов, ролевых сценариев, ответов на общие вопросы и задач по программированию. Модель содержит 6,6 млрд параметров, использует плотную архитектуру Llama и принимает контекст до 4096 токенов. При обучении использовался набор из 242 тысяч примеров, преимущественно сгенерированных GPT-4 и собранных из открытых наборов данных, включая инструкции общего назначения, ролевые диалоги и примеры по программированию. Обучение применяло упаковку примеров для ускорения процесса. Репозиторий распространяется в формате PyTorch по лицензии MIT. Карточка приводит результаты нескольких тестов, но они сами по себе не гарантируют качество ответов в конкретных сценариях.

Ornith-1.0-35B-1M-GGUF — GGUF-сборка модели Ornith-1.0-35B от DeepReinforce, опубликованная satgeze. Это текстовая генеративная модель на базе 35B MoE-архитектуры семейства Qwen3.5 с примерно 3B активных параметров. Сборка предназначена для локального запуска через llama.cpp и Ollama и расширена поддержкой длинного контекста, speculative decoding через MTP и обработки изображений. Ключевая особенность — контекстное окно до 1 048 576 токенов: масштабирование RoPE по YaRN встроено в метаданные GGUF, поэтому для llama.cpp и Ollama не требуются дополнительные параметры. В README заявлена проверка поиска информации по длинному контексту: 50 из 50 тестовых фрагментов найдены на диапазоне до 1M токенов. MTP-сборка Q6_K показала рост скорости декодирования с 267,9 до 382,9 токена в секунду, или примерно на 43%; для APEX-Compact заявлен прирост 14%. Визуальный модуль подключается отдельным файлом mmproj и, по данным README, распознаёт текст на изображениях и объекты. Модель подходит для генерации текста, работы с большими документами и другими задачами, требующими очень длинного контекста, а также для мультимодальных сценариев с изображениями. Доступны варианты квантования различного размера; рекомендуемые MTP-файлы занимают 17,0 и 29,2 ГБ, а визуальный модуль — 899 МБ. Ограничения включают высокие требования к оперативной или видеопамяти, зависимость производительности от оборудования и потенциальные потери качества при выборе более агрессивного квантования. Модель распространяется по лицензии MIT.

Это компактная языковая модель Phi-3 Mini Instruct семейства Phi-3, представленная в репозитории tuong-nguyen-prd. Модель имеет плотную архитектуру Phi3ForCausalLM и около 3,7 млрд параметров; она дообучена следовать инструкциям с помощью supervised fine-tuning и direct preference optimization. В README вариант назван 128K, однако метаданные этой копии указывают длину контекста 4096 токенов. Модель предназначена для генерации текста в диалоговом формате, включая рассуждения, математику и программирование. Её позиционируют для сценариев с ограниченными вычислительными ресурсами и требованиями к низкой задержке; карточка также описывает улучшения в следовании инструкциям, структурированном выводе и понимании длинного контекста. Основной заявленный язык — английский. Репозиторий содержит веса в формате safetensors. Модель выпущена под лицензией MIT. Как и другие языковые модели, она может выдавать неточные, ненадёжные, предвзятые или оскорбительные ответы; её качество и безопасность следует оценивать для конкретного применения, особенно в сценариях с высокими рисками.

Phi-4-mini-instruct-4bit — это 4-битная версия модели Phi-4-mini-instruct, разработанной Microsoft и преобразованная в формат MLX с использованием mlx-lm 0.21.5. Модель предназначена для генерации текста в диалоговом формате, решения задач обработки естественного языка и работы с кодом. Модель относится к семейству text-generation, поддерживает мультиязычные сценарии согласно карточке и использует базовую модель microsoft/Phi-4-mini-instruct. Ключевая особенность этой версии — 4-битное представление в формате MLX, что ориентировано на запуск через библиотеку mlx-lm. Архитектура, количество параметров, максимальная длина контекста и точный перечень языков в README не указаны. Сильными сторонами являются инструктивная настройка, поддержка диалогового шаблона и компактное 4-битное представление. Ограничения связаны с отсутствием в карточке подробных характеристик качества, производительности, размера модели и контекста; поэтому область применимости и результаты на конкретных задачах следует оценивать отдельно. Модель распространяется по лицензии MIT.

plato-9b — диалоговая языковая модель на 9 млрд параметров, разработанная DeepVK дообучением google/gemma-2-9b-it. Она предназначена прежде всего для генерации ответов на русском языке и общения в формате диалога. Модель обучали с supervised fine-tuning и оптимизацией предпочтений на инструкционных данных, включавших диалоги, математику, биологию, химию, код и общие знания. Архитектура — плотная Gemma 2 для причинной генерации текста; контекст — до 8192 токенов. Метаданные указывают поддержку русского и английского языков. В карточке приведены оценки на русскоязычных наборах arena-general-ru и arena-hard-ru с оцениванием LLM-as-a-judge. Эти результаты характеризуют конкретные тесты и не гарантируют качество для каждой задачи. Модель принимает текст и генерирует текст. Распространяется по лицензии Apache-2.0.

MaziyarPanahi/Qwen2.5-14B-Instruct-GGUF — это квантованные файлы модели Qwen2.5-14B-Instruct в формате GGUF. Исходную модель разработала команда Qwen, а набор GGUF-файлов подготовил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и локальных сценариях инференса. Формат GGUF поддерживается llama.cpp и совместимыми инструментами, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, candle и рядом других решений. Это позволяет запускать модель локально, в том числе с ускорением на GPU и через OpenAI-совместимые серверные интерфейсы, в зависимости от выбранного инструмента. Размер исходной модели составляет 14B параметров. В репозитории доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью и качеством генерации. Модель относится к текстовым; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Конкретные требования к оборудованию зависят от выбранного варианта квантования. Лицензия в предоставленных данных не указана.

Qwen3.6-27B-Q8_0-dequant-bf16-vllm — конвертированная версия весов Qwen3.6-27B, подготовленная exolabs для запуска через vLLM. Веса взяты из GGUF-квантизации Q8_0 репозитория unsloth/Qwen3.6-27B-GGUF, деквантизированы, преобразованы в формат Transformers и сохранены в BF16 как safetensors. Это плотная модель семейства Qwen3.5 с поддержкой чата и интерфейса вызова инструментов. Исходная архитектура предусматривает обработку текста и изображений, однако в этом репозитории отсутствует визуальная башня. README рекомендует запускать модель в режиме только языковой части, поэтому для данного набора весов следует рассчитывать на текстовый ввод и генерацию текста. Конфигурация проверена на H200 с vLLM 0.23.0; автор указывает максимальную длину контекста 4096 токенов в рекомендуемой команде запуска. Это преобразование уже квантизированных весов Q8_0 в BF16, а не исходный чекпойнт BF16: точность деквантизации ограничена исходной квантизацией. Лицензия в предоставленных данных не указана.

Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored-i1-GGUF — это квантизированная GGUF-версия модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored, подготовленная mradermacher. Модель предназначена для генерации текста, диалогов, рассуждений, решения математических и STEM-задач, программирования и многоязычного использования. В README указана поддержка английского, китайского, японского и испанского языков. Модель описана как vision model, поэтому для работы с изображениями могут потребоваться дополнительные файлы mmproj из статического репозитория. Вариант доступен в нескольких форматах квантизации i1, включая Q2_K, Q3, IQ3, IQ4, Q4, Q5 и Q6; размеры файлов составляют примерно от 13,3 до 29,3 ГБ. Квантизация позволяет запускать модель с меньшими требованиями к памяти, однако качество и скорость зависят от выбранного варианта: Q4_K_M отмечен как рекомендуемый, а Q4_0 — как быстрый, но менее качественный. К сильным сторонам относятся широкий набор заявленных сценариев, мультиязычность, поддержка изображений и наличие вариантов с разным компромиссом между размером, качеством и скоростью. Ограничения включают отсутствие в README сведений о размере контекста, точной архитектуре, числе активных параметров, результатах тестирования и фактическом качестве мультимодальной обработки. Модель распространяется под лицензией Apache-2.0.

Mirai’s Qwen3.8-27B Medium Quantization — это 4-битная квантованная версия модели Qwen3.8-27B, подготовленная Mirai Labs для эффективного локального запуска на устройствах Apple с Apple silicon. Модель предназначена для генерации текста и локальных сценариев использования, включая агентские задачи, диалоги и работу с длинным контекстом; подробности об исходной архитектуре, языках и размере контекста в представленном описании не указаны. Модель использует асимметричную целочисленную 4-битную квантизацию с 4-битными zero points, масштабами bfloat16 и размером группы 64. Для уменьшения выбросов активаций и весов применяются блочно-диагональные Random Hadamard Transforms. Квантование выполнено после обучения и дополнено quantization-aware distillation. По сочетанию размера и KL-дивергенции разработчики относят чекпойнт к Pareto-фронту; по уровню квантизации и размеру он сопоставим с Unsloth UD-Q4_K_M. Сильная сторона модели — компромисс между качеством и эффективностью при локальном инференсе на Apple silicon. Основные ограничения заключаются в текущей поддержке только Apple silicon и необходимости использовать совместимое программное обеспечение, например пакет mirai или сборку uzu. Лицензия — Apache-2.0. Для архитектурных характеристик, языков, контекстного окна, оценок и ограничений следует обращаться к карточке исходной модели Qwen3.8-27B.

kelnei/Qwen3.8-27B-NVFP4 — это квантизированная версия мультимодальной модели Qwen3.8-27B, разработанная на основе исходной модели Qwen/Qwen3.8-27B. Она предназначена для генерации текста и обработки изображений с текстом, включая сценарии чат-взаимодействия и инференса на NVIDIA Blackwell GPU с архитектурой SM 12.0 и выше. Модель использует смешанную квантизацию: большинство линейных слоёв работают в NVFP4 (W4A4, group-16), отдельные компоненты — в FP8, а vision tower, merger, embeddings, norms и часть DeltaNet-слоёв сохранены в BF16. Размер чекпойнта и требуемой видеопамяти составляет около 21,8 ГБ против примерно 56 ГБ у версии BF16. Поддерживаются KV-кэш FP8 и multi-token prediction (MTP); заявленная точность относительно BF16-оригинала — 94,1% совпадения top-1 при эмулированном W4A4-инференсе. Главное преимущество модели — существенное снижение требований к памяти при сохранении близкого к исходному качеству и повышение скорости декодирования, особенно при MTP speculative decoding. Рекомендуемый сервер — vLLM с оптимизированными NVFP4-ядрами; для SGLang необходимо использовать более раннюю ревизию с BF16-головой, поскольку текущая FP8-голова может приводить к вырожденным результатам. Для работы требуется совместимый NVIDIA Blackwell GPU, поэтому модель не является универсальной для старых видеокарт. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-ROCmFPX-Q8_0-AGENT-GGUF — это 8-битная квантизированная GGUF-версия модели Qwen3.8-27B, опубликованная пользователем kingjones777. Модель предназначена для локального запуска через специализированную ветку ROCmFPX, ориентированную на GPU AMD с архитектурой gfx1151, включая Ryzen AI MAX+ 395 и платформу Strix Halo. Она поддерживает генерацию текста, агентские сценарии и вызовы инструментов. Модель имеет архитектуру Qwen, размер 27B параметров и контекст до 32 768 токенов в рекомендуемой конфигурации. Указан английский язык. Файл занимает около 26,28 GiB, использует тип квантизации Q8_0_ROCMFPX_AGENT с точностью 8,39 бит на вес и сохраняет повышенную точность для части attention-output projections. В README заявлена совместимость с MTP-спекулятивным декодированием: на Ryzen AI MAX+ 395 измерена скорость 26,62 токена в секунду, что на 6,2% выше обычной сборки ROCmFPX Q8.0. В тестах модель показала корректные ответы на базовые вопросы и 7 из 7 успешных сценариев tool calling в режимах с рассуждением и без него. Основные преимущества — высокая точность 8-битной версии, согласованное агентское поведение, поддержка сложных вызовов инструментов и прирост скорости при использовании MTP. Ограничения существенны: стандартная версия llama.cpp не загружает этот файл, требуется сборка ROCmFPX; модель ориентирована на совместимое AMD-оборудование. Для MTP на некоторых конфигурациях Windows 11, gfx1151 и HIP SDK 7.2 описаны ошибки в устаревшей ветке ROCmFPX, поэтому рекомендуется официальный репозиторий. Модель распространяется по лицензии Apache-2.0.

Qwopus-GLM-18B-Healed — плотная языковая модель примерно на 18 млрд параметров, собранная Kyle Hessling как 64-слойное слияние двух дообученных моделей Qwen3.5-9B от Jackrong. Первые 32 слоя взяты из Jackrong/Qwopus3.5-9B-v3.5, остальные — из Jackrong/Qwen3.5-9B-GLM5.1-Distill-v1; границу между частями сгладили 1000 шагами QLoRA-дообучения. В репозитории размещены исходные веса BF16 в формате safetensors для дальнейшей квантизации или дообучения. Модель предназначена для генерации текста в диалоге, рассуждений, вызова инструментов и агентных сценариев. Автор сообщает о результатах на собственной серии из 44 тестов, включая проверки вызова инструментов и агентных задач; это заявление автора, а не независимая оценка. Метаданные указывают поддержку английского, китайского, корейского, японского, французского, немецкого и испанского языков. Лицензия — Apache-2.0. Для запуска и квантизации требуются подходящие вычислительные ресурсы; готовая квантизированная версия размещена отдельно.

Sakalti/ultiima-108B — языковая модель для генерации текста, созданная автором репозитория с помощью mergekit из слоёв Sakalti/ultiima-72B. Использован метод passthrough: в итоговую модель включены диапазоны слоёв базовой модели, а веса записаны в формате float16. Архитектура — плотная Qwen2ForCausalLM с 106,6 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для диалогов и генерации текста; метаданные также указывают интерфейс вызова инструментов. Лицензия обозначена как other, поэтому условия использования следует уточнять по карточке репозитория. README описывает способ сборки, но не приводит оценки качества или подробные ограничения применения.

Nous-Yarn-Mistral-7b-64k — языковая модель семейства Mistral, разработанная NousResearch и участниками проекта YaRN. Она основана на Mistral-7B-v0.1 и дополнительно обучена на данных с длинным контекстом в течение 1000 шагов с использованием метода YaRN для расширения контекстного окна. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и предназначена для генерации текста с контекстом до 64 тысяч токенов. Метаданные указывают native context в 32 768 токенов. Модель подходит для продолжения текста, работы с длинными документами и других сценариев генерации, где важно учитывать большой объём предшествующего текста. В карточке приведены результаты тестов на длинном контексте и стандартных языковых бенчмарках; они показывают сохранение близкого к исходной Mistral-7B-v0.1 качества на коротком контексте. В карточке указана лицензия Apache-2.0. Для загрузки авторы рекомендуют свежую версию Transformers и параметр trust_remote_code=True.

jeiku/Zephyr_beta_32k_7B — диалоговая языковая модель, полученная автором репозитория слиянием моделей методом DARE TIES. В основе лежит mistralai/Mistral-7B-Instruct-v0.2; также в слияние включена typeof/zephyr-7b-beta-lora. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста в формате диалога и ответов на инструкции. Она принимает текст и рассчитана на контекст до 32 768 токенов. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0.

Aya Vision 8B — мультимодальная модель Cohere Labs с открытыми весами, содержащая 8 млрд параметров. Она принимает изображения и текст и генерирует текст для задач понимания визуального содержимого и диалога по изображениям. Модель построена на мультиязычной языковой модели на основе Command R7B, дополнительно обученной по рецепту Aya Expanse, и визуальном кодировщике SigLIP2-patch14-384, соединённых мультимодальным адаптером. Контекст составляет 16K токенов; изображения произвольного размера преобразуются в поддерживаемое разрешение и кодируются с использованием до 12 тайлов и миниатюры. Модель предназначена для OCR, описания изображений, визуальных рассуждений, суммаризации и ответов на вопросы по изображениям; также поддерживает текстовый ввод. Заявлена работа с 23 языками, включая русский, английский, китайский, арабский, японский и хинди. Веса распространяются по лицензии CC-BY-NC 4.0; использование также должно соответствовать политике допустимого использования Cohere Labs. Лицензия ограничивает коммерческое применение.

huihui-ai/DeepSeek-R1-Distill-Qwen-32B-abliterated — версия DeepSeek-R1-Distill-Qwen-32B, созданная разработчиком huihui-ai методом abliteration для удаления отказов модели. Это плотная языковая модель семейства Qwen2, предназначенная для диалоговой генерации текста и решения задач рассуждения, математики и программирования с меньшим числом отказов на запросы. Модель содержит 32 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов; для работы указана библиотека Transformers и формат Safetensors. В README разработчик называет реализацию грубой проверкой концепции. Удаление отказов не гарантирует корректности или безопасности ответов. Базовая модель — DeepSeek-R1-Distill-Qwen-32B. Условия лицензии в предоставленных материалах не описаны.

Это конверсия модели DeepSeek-R1-Distill-Qwen-7B в формат MLX для локального запуска на графическом процессоре Apple Silicon. Конверсию подготовил SirSahOl на базе архитектуры Qwen2ForCausalLM; модель содержит 7,1 млрд параметров и распространяется в формате safetensors с 16-битными весами bfloat16. Контекст составляет до 131 072 токенов. Модель предназначена для диалогов и генерации текста, в том числе для многошаговых рассуждений, решения математических задач и помощи с программированием. Вариант 16-bit сохраняет исходную точность весов и ориентирован на оценивание, сравнение результатов и локальную работу на компьютерах Apple Silicon с достаточной объединённой памятью; для весов требуется около 15,2 ГБ, а README рекомендует не менее 24 ГБ памяти. Лицензия — MIT. Это преобразование весов в формат MLX, специализированный для Apple Silicon; README указывает, что репозиторий предназначен для GPU этих устройств. На длинных контекстах потребление памяти существенно возрастает, а скорость зависит от оборудования и длины контекста.

AtomicChat/DeepSeek-V4-Flash-0731-GGUF — это квантизированная GGUF-версия модели DeepSeek-V4-Flash-0731, разработанной DeepSeek и упакованной и квантизированной AtomicChat. Модель предназначена для генерации текста, диалоговых сценариев и conversational-приложений, включая локальный запуск через llama.cpp. Заявлены поддерживаемые языки английский и китайский. Модель построена на архитектуре mixture-of-experts и содержит 284 млрд параметров, из которых 13 млрд активируются для каждого токена. Она включает 43 слоя, 256 маршрутизируемых экспертов, 6 активных экспертов и одного общего эксперта. Контекстное окно составляет 1 млн токенов, размер словаря — 129 280. Исходная модель обучалась с учетом квантизации: маршрутизируемые эксперты хранятся в MXFP4, остальные компоненты — в FP8 или BF16. В репозитории доступны варианты от AD-BF16 и AD-MXFP4 до низкобитных AD-IQ1 и AD-IQ2, позволяющие выбирать компромисс между качеством и объёмом памяти. Главные преимущества — большое контекстное окно, высокая ёмкость MoE-архитектуры и варианты размещения с разным размером файлов. При этом для запуска требуются значительные объёмы оперативной или видеопамяти: размеры вариантов составляют примерно от 70 до 162 ГБ. Квантизация ниже исходного уровня 4,25 бит может заметно ухудшать качество, особенно в вариантах с 1–3 битами. Встроенный chat template устарел и может терять рассуждения в агентских циклах и игнорировать reasoning_effort; для корректной работы рекомендуется использовать отдельный исправленный шаблон из репозитория. Модель распространяется по лицензии MIT.