I.11Классификация, ранжирование и сопоставление

DeepSeek-V4-Flash-GGUF — набор GGUF-квантизаций базовой модели DeepSeek-V4-Flash, разработанной deepseek-ai и опубликованной пользователем teamblobfish. Модель предназначена для генерации текста, агентских сценариев и задач с вызовом инструментов, включая рабочие процессы наподобие Claude Code. Варианты представлены с разной степенью квантизации: от Q8_0 размером около 282 ГиБ до IQ1_S-XL размером около 57 ГиБ. Рекомендуемый вариант Q4_K_M-XL занимает около 163 ГиБ и сочетает 4-битное тело модели с хранением ряда важных тензоров в Q8_0; заявлена поддержка tool calling. GGUF-файлы используют архитектуру DeepSeek V4 с MoE-компонентами и специализированными операциями, включая compressor decode, hyperconnection, lightning indexer, FP8 KV simulation и NextN heads. Для запуска требуется форк llama.cpp с поддержкой V4; стандартный upstream llama.cpp не подходит. Поддерживаются Apple Silicon через Metal, NVIDIA CUDA на совместимых GPU и CPU. ROCm, Vulkan и Metal на AMD не поддерживают необходимые V4-ядра. В репозитории также присутствуют встроенный DSML chat template и калибровочные данные для некоторых вариантов. Проект находится в статусе WIP. Квантизации позволяют уменьшить требования к диску и памяти, однако качество и производительность зависят от выбранного варианта и оборудования; для некоторых старых GPU CUDA-путь FP8 не был проверен в работе. Модель и материалы репозитория распространяются по лицензии MIT.

m8than/gemma-3-12b-it-lenientchatfix — мультимодальная разговорная модель сообщества на архитектуре Gemma 3, дообученная на предобученной модели Google google/gemma-3-12b-pt. Она принимает текст и изображения и генерирует текст; объём модели — 12 млрд параметров. Карточка описывает возможности семейства Gemma 3: контекст до 128 тыс. токенов и поддержку более 140 языков. Модель предназначена для диалогов, ответов на вопросы по изображениям и тексту, суммаризации и генерации текста. Её можно использовать для извлечения сведений из изображений, создания черновиков и разговорных интерфейсов. Название указывает на вариант с более lenient-настройкой поведения, но README не уточняет, как она реализована и оценивалась. К ограничениям относятся возможные фактические ошибки, смещения в ответах и трудности с неоднозначными запросами и сложными задачами. В метаданных указана лицензия Gemma; использование регулируется её условиями и политикой запрещённого использования Gemma.

Gemma 4 26B A4B IT Heretic (FP8 Static) — офлайн-статически квантованная версия модели coder3101/gemma-4-26B-A4B-it-heretic, опубликованная в репозитории cloud19. Модель предназначена для диалоговых и мультимодальных сценариев, включая обработку текста и изображений, а также для высокопроизводительного инференса на оборудовании NVIDIA с FP8 tensor cores, например архитектур Hopper и Blackwell. Модель основана на архитектуре Gemma 4 с MoE-компонентами; заявленный размер — 26B параметров при конфигурации A4B. Квантование выполнено с помощью AutoFP8 в формате FP8 W8A8 со статическим масштабированием активаций. Для калибровки использовано 512 примеров из набора mgoin/ultrachat_2k. Визуальные слои и маршрутизаторы MoE сохранены в исходной точности bfloat16, чтобы сохранить мультимодальность и совместимость с vLLM. Указан контекст до 131072 токенов и поддержка развёртывания через vLLM версии 0.19.0 или новее. Сильные стороны модели — повышенная скорость инференса и эффективность использования NVIDIA-оборудования при сохранении разговорных возможностей, а также поддержка мультимодальности и автоматического выбора инструментов. Ограничения связаны с зависимостью от совместимого FP8-оборудования и актуальной версии vLLM; README не содержит подробных результатов оценки качества, перечня поддерживаемых языков и точных требований к видеопамяти. Модель распространяется по лицензии Apache-2.0.

GLM-5.3-Flash-NVFP4-FTW — подготовленный к запуску артефакт модели GLM-5.3 Flash, первоначально разработанной и опубликованной Z.ai. Версию NVFP4 выпустила Red Hat AI, FreeToken предоставил формат FTW и runtime-компоненты, SparkLab — средства подготовки и развёртывания на NVIDIA DGX Spark, а OakMind AI выполнила конвертацию, измерения и публикацию артефакта. Повторного обучения не проводилось. Модель предназначена для генерации текста и диалоговых сценариев с текстовым вводом и выводом. Она основана на Mixture-of-Experts архитектуре: содержит 320 млрд параметров, из которых 18 млрд активируются для отдельного запроса. Артефакт оптимизирован для одного NVIDIA DGX Spark с чипом Grace Blackwell GB10 и использует unified memory, хранение экспертных блоков на локальном NVMe и разреженное выполнение MoE. В исходной модели присутствуют компоненты для работы с изображениями, но в данном пути SparkLab они отключены. Приведённый профиль демонстрирует около 4,98 токена в секунду при пакетном размере 1, однако задержка зависит от NVMe-доступа и состояния кэша экспертов. К сильным сторонам относятся возможность запуска полной модели на одном DGX Spark, снижение объёма резидентных весов за счёт сочетания NVFP4 и FP8 W8A16, а также совместимые с OpenAI и Anthropic API сценарии обслуживания через SparkLab. Ограничения включают зависимость производительности от дискового ввода-вывода, заметную задержку первого запроса при холодном кэше, отсутствие активной поддержки vision-компонентов и то, что опубликованные показатели являются единичным performance-тестом, а не гарантией качества или ёмкости в любых сценариях. Лицензия в README не указана.

munekazu/Huihui-Qwen3.8-27B-abliterated-FP8 — FP8-квантизированная версия модели Huihui-Qwen3.8-27B-abliterated от huihui-ai, созданная на основе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и мультимодальных сценариев с использованием текста и изображений, а также для развёртывания через vLLM. Это abliterated-версия, в которой удалены ограничения на отказы, присутствующие в исходной модели. Модель имеет размер 27B параметров и использует block-wise FP8-квантизацию формата e4m3 с блоками 128×128 и динамическими активациями. Объём хранения сокращён примерно с 52 GiB в BF16 до 29 GiB в FP8. Vision tower, нормализационные слои и отдельные компоненты MTP-головы сохранены в BF16, что обеспечивает поддержку мультимодального пути vLLM и speculative decoding. Заявлена поддержка контекста до 262 144 токенов; для рассуждений используется шаблон чата с параметром reasoning_effort. Сильные стороны модели — уменьшенные требования к памяти, поддержка мультимодальности, MTP speculative decoding и сохранение значительной части поведения базовой модели благодаря абляции только среднего диапазона слоёв. Ограничения включают зависимость от совместимости vLLM и аппаратного обеспечения: на GPU Ampere FP8 не использует нативные tensor cores и применяется kernel Marlin W8A16, поэтому экономия памяти не сопровождается ускорением вычислений. В vLLM 0.24.0 также наблюдалась проблема с возвратом reasoning_content через API, хотя качество ответов не страдает. Модель распространяется по лицензии Apache-2.0.

InternVL2-4B — мультимодальная инструктивно настроенная модель OpenGVLab для диалога по изображениям и тексту. Она объединяет визуальный энкодер InternViT-300M-448px, MLP-проектор и языковую модель Phi-3-mini-128k-instruct; размер модели в карточке указан как 4,2 млрд параметров. Модель доступна через Transformers, веса опубликованы в формате Safetensors по лицензии MIT. Модель предназначена для понимания изображений и видео, ответов на вопросы о визуальном содержимом, чтения документов и диаграмм, OCR, решения научных и математических задач с изображениями. Она также принимает несколько изображений в одном запросе. Обучение проводилось с контекстом 8 тысяч токенов и данными с длинными текстами, несколькими изображениями и видео. Карточка сообщает о конкурентных результатах на тестах понимания документов, диаграмм, сценического текста и видео, но эти оценки зависят от конкретных бенчмарков и не гарантируют качество в каждом сценарии. Для видео в описанных тестах использовалось извлечение 16 кадров с изменением размера до 448×448; это не свидетельствует о полноценной обработке непрерывного видеопотока. В метаданных отмечена многоязычность, но конкретный перечень языков не приведён.

K2-Horizon-0.9B GGUF — набор общественных GGUF-квантизаций компактной плотной reasoning-модели класса 0,9 млрд параметров K2-Horizon-0.9B, разработанной IFM. Квантизации подготовлены сообществом; этот выпуск не является официальным релизом или одобрением IFM. Модель предназначена для локального запуска через llama.cpp. Модель рассчитана на англоязычные и китайскоязычные диалоги, рассуждения, программирование, научные задачи и сценарии с использованием инструментов. Она поддерживает контекст до 128K токенов и использует масштабирование RoPE методом YaRN. В выпуск входят варианты от Q8_0 до Q1_0 и IQ1_M/IQ2_XS; размер файлов составляет примерно от 0,21 до 1,07 ГиБ, что позволяет выбирать баланс между качеством, скоростью и требованиями к памяти. Высокобитные варианты обеспечивают более высокую точность, а Q4_K_M заявлен как рекомендуемый начальный вариант для общего применения. Агрессивные низкобитные варианты снижают требования к памяти, но могут заметно ухудшать рассуждения, следование инструкциям и надёжность вызова инструментов. Поддержка K2-Horizon в llama.cpp находится на стадии предварительного релиза: полнофункциональный шаблон для tool calling не разбирается используемой версией runtime, поэтому вызов инструментов этим выпуском не сертифицирован. Релиз распространяется по Apache License 2.0 с требованием сохранять атрибуцию и лицензию исходной модели при перераспределении.

K2-Horizon-MoVA-36B-A4B-GGUF — это набор общественных GGUF-квантизаций модели K2-Horizon-MoVA-36B-A4B, разработанной IFM и опубликованной пользователем ngquocvinh. Модель предназначена для запуска через llama.cpp и задач генерации текста, рассуждений, программирования, агентских сценариев и работы с длинным контекстом. Исходная модель использует разреженную архитектуру Mixture-of-Experts с механизмом Mixture-of-Values attention (MoVA): всего заявлено 36 млрд параметров, из которых на каждый токен активируется около 4 млрд. Указано нативное контекстное окно до 524 288 токенов и поддержка английского языка. В набор входят варианты квантизации от Q8_0 до крайне компактных профилей Q1_0; они различаются размером файлов, требованиями к памяти и близостью поведения к эталонной BF16-модели. Практическими вариантами названы Q5_K_M с повышенной точностью, Q4_K_M как сбалансированный профиль и IQ3_M как компактный вариант с квантизацией с учётом важности. Измерения на ограниченном наборе WikiText показывают высокое совпадение старших вариантов с BF16, однако не являются прямой оценкой сохранённых способностей. Профили с экстремальным сжатием, особенно Q1_0, существенно отклоняются от эталона и должны рассматриваться как экспериментальные. Для работы требуется совместимая сборка llama.cpp; длинный контекст может потребовать значительно больше памяти, а полная выгрузка модели на ускоритель может быть недоступна. В метаданных указана лицензия Apache-2.0. README описывает именно квантизированные GGUF-файлы и не содержит полного набора результатов или подробностей исходной модели; за ними рекомендуется обращаться к официальной карточке IFM/K2-Horizon-MoVA-36B-A4B.

LD-Zephyria-37b_HEALED — дообученная версия TheSkullery/LD-Zephyria-37b, созданная автором athirdpath. Для обучения применён LoRA-адаптер ранга 128, нацеленный на проекции q и down; использована одна эпоха датасета TheSkullery/Aether-Lite-PurHyDe. Модель представляет собой плотную авторегрессионную языковую модель семейства Mistral с 37,3 млрд параметров и контекстом до 131 072 токенов. Она предназначена для генерации текста и диалогового использования; метаданные также отмечают интерфейс вызова инструментов. Доступны веса в формате safetensors. Лицензия в предоставленных данных не указана.

unsloth/Llama-3.2-1B-bnb-4bit — 4-битная версия модели Meta Llama 3.2 с базовой моделью meta-llama/Llama-3.2-1B, подготовленная Unsloth для эффективного запуска и дообучения. Это авторегрессионная языковая модель на оптимизированной архитектуре Transformer с поддержкой библиотеки Transformers. Модель работает в режиме текст-ввод — текст-вывод и предназначена для генерации текста, диалоговых приложений, суммаризации и агентных сценариев поиска информации. Модель имеет размер 1B параметров и использует квантование bnb 4-bit, что снижает требования к памяти по сравнению с полноразмерными вариантами. Для семейства Llama 3.2 заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; модель обучалась на более широком наборе языков, однако качество для языков вне официально поддерживаемых может отличаться. Контекстное окно и другие архитектурные параметры в предоставленных данных не указаны. Сильные стороны модели — компактный размер, экономичное использование памяти и удобство последующего дообучения с помощью инструментов Unsloth. Ограничения включают статичный характер обучения на офлайн-данных, возможное снижение качества из-за 4-битного квантования и отсутствие в карточке подробных результатов бенчмарков, параметров контекста и сведений о конкретной версии дообучения. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy Meta; лицензия является специальной коммерческой лицензией.

Llama-3.2-3B-Instruct-GGUF — квантованная версия инструкционной языковой модели Llama-3.2-3B-Instruct, разработанной Meta и преобразованной в формат GGUF компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая чат-взаимодействие и вызов инструментов с формированием JSON-запросов функций. Модель содержит около 3 миллиардов параметров, работает с текстом и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленный размер контекста составляет 128 000 токенов. Доступны варианты квантования от Q2_K до Q8_0 и F16 с размером файлов примерно от 581 МБ до 1,32 ГБ. В README рекомендуются варианты Q4_K_M, Q5_K_M и Q5_K_S как компромисс между размером и качеством; более агрессивное квантование уменьшает размер, но может заметно ухудшать качество ответов. Модель подходит для локального запуска на устройствах с ограниченными ресурсами и интеграции через LlamaEdge, включая сервисный и командный режимы. Для работы требуется совместимая версия LlamaEdge; в README указана версия v0.16.5 или новее. Ограничения включают снижение качества в младших вариантах квантования, а также отсутствие сведений о мультимодальности и подробных результатах оценки. Модель распространяется по лицензии Llama 3.2.

RDson/Llama-3-Peach-Instruct-4x8B-MoE — экспериментальная языковая модель RDson, созданная с помощью Mergekit путём объединения четырёх моделей семейства Llama 3 в архитектуру MoE. Она предназначена для диалоговой генерации текста и может применяться для ответов на вопросы, следования инструкциям и решения задач с рассуждением. В README приведены результаты GSM8K для варианта Q4_K_M; в репозитории указаны веса safetensors, а GGUF-версия доступна отдельно. Модель имеет около 7,5 млрд параметров и контекстное окно 8192 токена. В состав объединения вошли Meta-Llama-3-8B-Instruct, SFR-Iterative-DPO-LLaMA-3-8B-R, Hermes-2-Theta-Llama-3-8B и Llama-3-8B-Instruct-Coder. README называет её экспериментальной; сведения о лицензии в предоставленных данных отсутствуют.

RedHatAI/Meta-Llama-3.1-8B-Instruct-quantized.w4a16 — это квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Модель предназначена для генерации текста и диалоговых сценариев в формате ассистента, включая коммерческое и исследовательское применение на английском языке. Она принимает текст на вход и генерирует текст на выходе, поддерживает чатовый режим и может использоваться с backend vLLM, включая OpenAI-совместимую службу. Модель имеет архитектуру LlamaForCausalLM и содержит 8 миллиардов параметров в исходной версии. Веса линейных операторов трансформерных блоков квантизированы в формат INT4 с симметричным покомпонентным масштабированием для групп по 128 параметров. По сравнению с представлением FP16 это примерно на 75% снижает размер модели на диске и требования к памяти GPU. Квантизация выполнена с использованием AutoGPTQ и калибровочного набора Neural Magic. В README приведены результаты восстановления качества относительно неквантизированной версии: 93,0% для Arena-Hard, 98,9% для OpenLLM v1, 96,1% для OpenLLM v2, 99,7% для HumanEval pass@1 и 97,4% для HumanEval+ pass@1. К сильным сторонам относятся уменьшенные требования к памяти и возможность эффективного развертывания при сохранении большей части качества исходной instruct-модели. Ограничением является заявленная область применения преимущественно на английском языке; использование на других языках указано как выходящее за рамки назначения, несмотря на наличие нескольких языков в метаданных карточки. Лицензия — Llama3.1; также необходимо соблюдать ограничения исходной лицензии Meta и применимые законы и нормы.

Карточка модели jknottllm/Meta-Llama-3-8B-Instruct-FineTuned на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. NousResearch/Meta-Llama-3-8B-Instruct — инструктивная версия семейства больших языковых моделей Llama 3, разработанного Meta. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с Grouped-Query Attention и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, включая код. Контекст — до 8192 токенов. Модель настроена для диалоговых сценариев и работы в роли ассистента: она отвечает на вопросы, поддерживает беседу и выполняет инструкции на английском языке. Настройка включает supervised fine-tuning и обучение с подкреплением на основе человеческой обратной связи. Модель можно запускать через Transformers и использовать в приложениях, которым нужна генерация текста. В карточке указана пользовательская коммерческая лицензия Meta Llama 3. README ориентирует модель прежде всего на английский язык и предостерегает от использования в других языках, хотя допускает дообучение для них при соблюдении условий лицензии и политики допустимого использования. Это статичная модель, обученная на офлайн-данных; для прикладного развёртывания могут потребоваться дополнительные меры безопасности, а ответы модели могут быть ошибочными.

MiMo-V2.5-Pro-Base — базовая языковая модель Xiaomi семейства MiMo-V2.5. Это плотная модель с архитектурой Mixture-of-Experts: в README указаны 1,02 трлн параметров всего и 42 млрд активных, тогда как метаданные репозитория указывают 27,7 млрд параметров; размер следует считать противоречивым. Веса опубликованы в формате safetensors с FP8, библиотека для работы — Transformers, лицензия — MIT. Модель предназначена как базовый чекпойнт для генерации текста и дальнейшей адаптации под агентные сценарии, программирование и сложные задачи с длинным контекстом. В карточке описаны гибридное внимание, сочетание локального скользящего и глобального внимания и три модуля Multi-Token Prediction. Для варианта Base README указывает контекст до 256 тысяч токенов; заявленный для основной версии Pro контекст до 1 млн токенов не следует автоматически относить к этому варианту. В метаданных также отмечены чат, код и интерфейс вызова инструментов; поддерживаемые языки — английский и китайский. Xiaomi сообщает о предварительном обучении на 27 трлн токенов и последующем обучении с инструкциями, агентным обучением с подкреплением и дистилляцией от нескольких учителей. В README приведены результаты тестов, однако они не гарантируют качество в конкретном применении. Лицензия MIT разрешает использование на её условиях.

Mistral-7B-Instruct-v0.2-expanded — разговорная языковая модель, созданная Arcee AI на основе mistralai/Mistral-7B-Instruct-v0.2. Авторы расширили блоки модели с помощью метода passthrough из mergekit: после каждого пятого слоя добавлен новый слой, в котором параметры o_proj и down_proj инициализированы нулями по подходу LLaMA Pro. Модель имеет плотную архитектуру MistralForCausalLM, содержит 8,9 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев. Репозиторий содержит веса в формате safetensors; использовать модель можно через библиотеку Transformers. Лицензия в предоставленных данных не указана.

Mistral-7B-Instruct-v0.3-4bit — это 4-битная квантованная версия инструкционной языковой модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI. Модель была конвертирована сообществом mlx-community в формат MLX с использованием mlx-lm версии 0.14.3. Модель предназначена для генерации текста и выполнения пользовательских инструкций в сценариях, поддерживаемых исходной инструкционной моделью. Она рассчитана на запуск через библиотеку mlx-lm и формат MLX, что делает её ориентированной на совместимые устройства и программное окружение Apple MLX. Размер модели — 7 миллиардов параметров, используется 4-битное представление весов. К преимуществам относятся компактность по сравнению с полноформатной версией и возможность локального запуска в MLX-окружении. Ограничения включают возможную потерю качества из-за 4-битной квантования, зависимость от mlx-lm и совместимого оборудования, а также отсутствие в предоставленных данных сведений о поддерживаемых языках, размере контекста, конкретных модальностях и результатах тестирования. Модель распространяется по лицензии Apache-2.0.

Mistral-Large-Extra — языковая модель для генерации текста, созданная автором softwareweaver с помощью mergekit на основе mistralai/Mistral-Large-Instruct-2407. В README описано объединение модели с самой собой методом passthrough: в конфигурации используются слои 0–70 и 17–87, а веса представлены в bfloat16. Модель предназначена для творческого письма, диалога и других задач генерации текста; метаданные также указывают интерфейс для вызова инструментов. Архитектура — плотная MistralForCausalLM, размер — 194,2 млрд параметров, заявленный контекст — до 131 072 токенов. Базовая модель Mistral Large Instruct поддерживает диалог, рассуждения и программирование. Лицензия в предоставленных данных не указана.

win10/Mistral-Nemo-Instruct-2407-20b — текстовая разговорная модель на архитектуре Mistral, созданная с помощью mergekit методом passthrough на основе unsloth/Mistral-Nemo-Instruct-2407. В метаданных указаны 23 млрд параметров и контекст до 1 024 000 токенов. Модель предназначена для генерации текста в диалогах и поддерживает интерфейс вызова инструментов. Модель принимает текст и выдаёт текст; репозиторий содержит веса в формате safetensors и рассчитан на работу с Transformers. Данные подтверждают английскую маркировку семейства, но не задают перечень естественных языков модели. Лицензия в предоставленных источниках не указана.

Jackrong/MLX-Qwen3.5-9B-DeepSeek-V4-Flash-4bit — языковая генеративная модель, разработанная Jackrong и преобразованная в формат MLX из базовой модели Jackrong/Qwen3.5-9B-DeepSeek-V4-Flash с использованием mlx-lm 0.30.7. Модель предназначена для генерации текста и может применяться в сценариях, требующих рассуждений, дистилляции, работы с длинными цепочками рассуждений, агентных задач и эффективного инференса на совместимом оборудовании Apple MLX. Модель имеет размер 9B параметров, использует 4-битное квантование и поддерживает библиотеку MLX. Заявлена поддержка английского, китайского, корейского, японского, испанского и русского языков. Доступная модальность — текст; модель относится к классу text generation. Максимальная длина контекста и точные архитектурные характеристики в README не указаны. Для запуска требуется mlx-lm, предусмотрена работа через chat template. Модель удобна для локального и эффективного вывода в экосистеме MLX, а 4-битное представление снижает требования к памяти. Ограничения включают отсутствие данных о результатах оценки, качестве на отдельных языках, производительности и максимальном контексте. Модель распространяется по лицензии Apache-2.0; в качестве датасета указано Jackrong/DeepSeek-V4-Distill-8000x.

Это неизменённая копия Muse-Glimmer-30B от Meta, размещённая Positron AI как закреплённый снимок исходного репозитория для сборки и тестирования в CI. Веса, токенизатор и конфигурация побайтово совпадают с указанной ревизией upstream; изменений Positron AI нет. Базовая модель — плотная мультимодальная модель семейства Muse-Glimmer примерно на 29,6 млрд параметров, предназначенная для диалогов и локальных агентных задач, включая работу с инструментами, программирование и анализ изображений. Для этой копии не приведены отдельные оценки качества или подробные инструкции по использованию; назначение и оценки отсылаются к карточке базовой модели. Репозиторий содержит веса Safetensors, библиотека для работы — Transformers. Лицензия — Apache-2.0.

Muse-Glimmer-30B-Abliterated-GGUF — экспериментальная версия 30-миллиардной агентной on-device-модели Muse Glimmer, разработанная Blackfrost на базе meta-models/Muse-Glimmer-30B от Meta. Модель распространяется в формате GGUF для локального запуска через llama.cpp на одной потребительской видеокарте или CPU, полностью офлайн. Вариант abliterated получен изменением весов, направленным на удаление отказов модели; заявленные тесты на 450 запросах показали отсутствие истинных отказов, однако эти результаты относятся к родительской модели и могут не отражать все сценарии использования. Архитектура muse_glimmer включает 52 слоя, скрытое пространство размером 6656, GQA с 32 query- и 2 key/value-головами, sliding-window attention и vision tower. Поддерживаются текстовые и визуальные входы, при этом для обработки изображений требуется отдельный mmproj-проектор. Контекстное окно составляет 131 072 токена. Доступны квантизации от Q2_K до Q8_0 размером примерно от 10 до 27,6 ГБ; рекомендуемым балансом качества и размера назван Q4_K_M. Для ускорения генерации предусмотрен DFlash drafter со speculative decoding в llama-server. Модель предназначена для локальных агентных, мультимодальных, кодовых и общих диалоговых сценариев, включая работу в условиях ограниченного или отсутствующего сетевого доступа. К сильным сторонам относятся большое контекстное окно, локальная работа, широкий выбор квантизаций и поддержка спекулятивного декодирования. Ограничения включают экспериментальный статус, необходимость совместимой свежей версии llama.cpp, значительные требования к памяти, а также потенциальные риски и непредсказуемость поведения из-за удаления защитных отказов. Базовая модель и производная распространяются по лицензии Apache-2.0.

NVIDIA-Nemotron-3-Ultra-550B-A55B-Base-BF16 — базовая большая языковая модель, разработанная NVIDIA Corporation и выпущенная в версии v1.0 GA. Она предназначена для разработчиков и исследователей, которые создают и адаптируют LLM. Модель предварительно обучена на данных по программированию, математике, науке и общим знаниям; заявлены 550 млрд параметров всего и 55 млрд активных параметров. Архитектура Nemotron Hybrid LatentMoE сочетает слои Mamba-2, MoE и выборочные слои Attention. Слои Multi-Token Prediction помогают ускорить генерацию, в том числе посредством speculative decoding. Метаданные указывают контекст до 262 144 токенов; в README заявлена поддержка до 1 млн токенов. Модель принимает и генерирует текст и поддерживает английский, французский, испанский, итальянский, немецкий, португальский, японский, корейский, хинди, арабский, китайский и иврит согласно тегам метаданных; README отдельно называет бразильский вариант португальского и не упоминает арабский и иврит. Модель заявлена для коммерческого и некоммерческого использования, однако в метаданных лицензия обозначена как «other», поэтому конкретные условия следует проверить на странице модели. Для запуска NVIDIA рекомендует GPU-ускоренные системы; README перечисляет интеграцию с NeMo и совместимое оборудование NVIDIA. Перед внедрением требуется проверка на данных конкретного сценария. (Размер файлов BF16 и практические требования к памяти в предоставленных данных не раскрыты.)

OpenHermes-13B — англоязычная модель генерации текста, разработанная Teknium и дообученная на базе NousResearch/Llama-2-13b-hf. Она обучалась следовать инструкциям на наборе из примерно 242 тысяч примеров, преимущественно созданных GPT-4 и собранных из открытых датасетов; примеры охватывают общие запросы, ролевые диалоги и программирование. Модель имеет плотную архитектуру LlamaForCausalLM, около 12,9 млрд параметров и контекст до 4096 токенов. Модель предназначена для ответов на инструкции, диалоговой генерации и помощи с задачами на естественном языке и кодом. В опубликованном сравнении OpenHermes немного улучшила результаты Nous-Hermes на GPT4All и BigBench, но показала снижение на AGIEval, поэтому качество зависит от типа задачи. Репозиторий распространяется по лицензии MIT.

mlx-community/Qwen2.5-14B-Instruct-1M-bf16 — преобразованная в формат MLX версия модели Qwen/Qwen2.5-14B-Instruct-1M, подготовленная сообществом mlx-community с помощью mlx-lm 0.21.1. Это плотная авторегрессионная языковая модель семейства Qwen2 с 14 млрд параметров, предназначенная для диалогов и генерации текста; метаданные также указывают интерфейс вызова инструментов. Контекст модели достигает 1 010 000 токенов, что позволяет работать с очень длинными текстами. Модель поддерживает английский язык; данные карточки не подтверждают поддержку других языков. Репозиторий содержит веса в формате safetensors и предназначен для использования с MLX. Лицензия Apache-2.0 допускает коммерческое использование при соблюдении её условий. Это преобразование базовой модели в другой формат, а не отдельное дообучение; фактическая производительность зависит от оборудования и используемой конфигурации MLX.

Qwen3.5-4B Claude-Distill — дообученная методом полной настройки параметров плотная модель семейства Qwen, разработанная автором репозитория clzoro на базе Qwen/Qwen3.5-4B. Модель содержит 4 млрд параметров и предназначена для генерации текста в диалоге. В обучении использовались примерно 14,9 тыс. примеров с рассуждениями, дистиллированными из Claude Opus; заявлены задачи по математике, логике, программированию, STEM, творческому письму и многошаговым инструкциям. Модель унаследовала от базовой Qwen3.5 возможности понимания изображений и использует архитектуру с визуальным энкодером, однако карточка указывает основной сценарий как генерацию текста. В метаданных заявлены английский и китайский языки. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Качество рассуждений зависит от качества и разнообразия сравнительно небольшого набора дистилляции; модель может наследовать смещения обучающих данных и обобщать хуже за пределами представленных примеров. Ответы по медицине, праву и финансам требуют проверки.

LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V12-GGUF — мультимодальная модель в формате GGUF, основанная на HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive. В модель также перенесены данные дообучения DJLougen/hermes-qwen3.5-35b-a3b-GGUF на наборе NousResearch/hermes-function-calling-v1, что ориентирует её на агентские сценарии и вызов функций. В README указаны поддержка текста и изображений, языки English, Chinese и multilingual, а также архитектура MoE с 35B общих параметров и 3B активных параметров. Размер контекста не указан. Модель предназначена для диалогов, генерации текста, мультимодального анализа, программирования и задач, где требуется следование инструкциям, использование инструментов и функция вызова. Заявлена как uncensored-модель с отсутствием отказов в приведённом автором тесте 0/465; это может быть преимуществом для менее ограниченных сценариев, но одновременно повышает риски генерации небезопасного или нежелательного контента. Для работы рекомендуется использовать соответствующий chat template, включить thinking, применять F16 для K/V-cache, максимально задействовать GPU и настроить CPU offload MoE-слоёв. Автор заявляет, что применил собственный метод Genesis — численную обработку весов GGUF на основе статистического анализа и закона Марченко—Пастура, без обычного обучения или дообучения. Эти заявления и описанные улучшения стабильности, ясности контекста и следования инструкциям не сопровождаются независимыми бенчмарками в представленном README, поэтому их следует воспринимать как авторскую характеристику. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-NVFP4-RTX5090-LMHead4 — это производный вариант модели Qwen3.8-27B-NVFP4-RTX5090 от gittensor-model-hub, созданный с использованием инструментов NVIDIA ModelOpt. Модель предназначена для генерации текста, рассуждений, решения математических и академических задач, программирования, диалоговых сценариев и агентских приложений с вызовом инструментов. Вариант сохраняет исходные веса родительской модели, за исключением lm_head, который дополнительно квантизован в NVFP4 вместо BF16. Модель имеет размер 27B параметров и поддерживает контекст до 65 536 токенов. Указаны интеграции с Transformers, SGLang и vLLM, а также поддержка спекулятивного декодирования с черновой моделью DSpark. На одной RTX 5090 размер чекпойнта составляет 18,77 ГБ, а занимаемый весами объём VRAM — около 17,10 ГБ. По данным README, скорость декодирования достигает 88,45 токена/с без спекуляции и 181,7 токена/с при использовании DSpark. Квантизация lm_head не показала измеримого ухудшения качества на указанном небольшом наборе тестов, однако результаты нельзя считать доказательством улучшения и они зависят от конфигурации запуска. Ограничения модели связаны с узкой специализацией сборки под высокопроизводительные GPU RTX 5090 и необходимостью совместимой конфигурации инференса. Репозиторий помечен как устаревший: рекомендуется использовать более новый Qwen3.8-27B-NVFP4-RTX5090, в котором удалены NVFP4 lm_head и MTP head и заявлены меньший размер и два шарда. Модель распространяется по лицензии Apache 2.0.

Qwen3.8 4B Distilled — созданная сообществом модель генерации текста от Ma7ee7, полученная дообучением Qwen/Qwen3-4B-Thinking-2507 на примерах ответов и рассуждений, сгенерированных моделью qwen3.8-max-preview. Это плотная decoder-only языковая модель архитектуры Qwen3 примерно с 3,7 млрд параметров; она принимает текст и выдаёт текст, поддерживает чатовый формат и интерфейс вызова инструментов. Заявленная длина контекста — 262 144 токена. Модель предназначена для математических и логических задач, программирования, научных вопросов, следования инструкциям, длинных ответов и локальных разговорных ассистентов. Обучающая смесь преимущественно англоязычная; дистилляция переносит некоторые поведенческие шаблоны учителя, но модель не наследует его архитектуру или полный набор возможностей. Доступна по лицензии Apache-2.0. Это компактная модель для экспериментов и практических задач рассуждения, но её ответы могут содержать фактические, математические и программные ошибки, а видимые цепочки рассуждений не гарантируют правильность. Примеры использования инструментов составляют небольшую часть обучения, поэтому результаты в важных сценариях следует проверять.

SR²AM-v1.0-30B — агентная языковая модель, разработанная командой sailing-lab на базе Qwen3-30B-A3B-Thinking-2507. Она разделяет рассуждение на реактивное выполнение действий, симулятивное планирование последствий и конфигуратор, который выбирает, когда и насколько глубоко планировать. Модель дообучена методом SFT с последующим обучением с подкреплением GRPO; архитектура — Qwen3 MoE, формат весов — Safetensors, библиотека — Transformers. Заявленная длина контекста — 262 144 токена. Модель предназначена для агентных задач с использованием инструментов: веб-поиска и просмотра страниц, выполнения Python-кода в изолированной среде, а также решения задач по математике, естественным наукам и табличным данным. В README сообщается Pass@1 71,3 на 11 бенчмарках и сокращение числа токенов рассуждения на 25–95% относительно сопоставимых агентных моделей; это результаты авторской оценки. Метаданные указывают 2,6 млрд параметров. Модель распространяется по лицензии Apache-2.0.