I.11Классификация, ранжирование и сопоставление

Hermes-4.3-36B-GGUF — языковая модель для генерации текста, разработанная Nous Research на основе ByteDance-Seed/Seed-OSS-36B-Base. Она предназначена для диалогов, рассуждений, решения математических и логических задач, программирования, STEM-сценариев, творческого письма, ролевого общения, вызова функций и работы со структурированными ответами. Модель имеет размер 36 млрд параметров и поддерживает гибридный режим с рассуждением: при необходимости она формирует сегменты <think>...</think>, а также может работать без явного рассуждения. В обучении использовался посттренировочный корпус примерно из 5 млн примеров и 60 млрд токенов. Hermes 4.3 ориентирована на соблюдение схем JSON, исправление некорректных структурированных объектов, управляемость и широкий спектр форматов вывода. В README заявлен английский язык; размер контекстного окна и полный перечень поддерживаемых языков не указаны. К сильным сторонам относятся улучшенные результаты в математике, коде, логике, STEM и следовании инструкциям, а также поддержка function calling, tool use и structured outputs. Ограничения модели включают отсутствие в представленном README сведений о конкретной GGUF-квантизации, требованиях к оборудованию и размере контекста. Результаты на SimpleQA заметно ниже других приведённых показателей, поэтому фактические ответы следует проверять. Модель распространяется по лицензии Apache-2.0.

genevaquant/Hermes-4-405B-u — вариант Hermes 4 405B от GenevaQuant, созданный на основе NousResearch/Hermes-4-405B. Это плотная авторегрессионная модель семейства Llama 3.1 с 403,7 млрд параметров и контекстом до 131 072 токенов. Репозиторий содержит веса Safetensors и исправления шаблона чата Unsloth; для llama.cpp в карточке рекомендуется режим --jinja. Модель предназначена для диалогов и следования инструкциям, рассуждений, задач по математике, программированию, STEM и логике, а также генерации ответов в заданном формате, включая JSON. Поддерживает интерфейс вызова инструментов. README описывает гибридный режим рассуждений и заявляет улучшения в управляемости, качестве рассуждений и структурированной генерации. Карточка указывает английский язык. Это крупная модель, для обслуживания которой README рекомендует многопроцессорные серверы с SGLang или vLLM; качество и корректность структурированного вывода зависят от промпта и настроек инференса. Лицензия репозитория — Llama 3; ознакомьтесь с её условиями перед использованием.

InternLM2-7B — плотная авторегрессионная языковая модель второго поколения InternLM, разработанная командой InternLM. Это базовая модель для продолжения текста и адаптации под прикладные задачи; README отдельно рекомендует версию internlm2 для большинства применений, а чат-версии описывает как отдельные варианты. Модель содержит 7,4 млрд параметров и поддерживает контекст до 32 768 токенов согласно метаданным. Разработчик заявляет о сильных результатах на задачах длинного контекста, рассуждений, математики и программирования, включая поиск сведений в длинных текстах. Модель принимает текст и генерирует текст; сведения о конкретных поддерживаемых естественных языках в источниках отсутствуют. Как и другие вероятностные языковые модели, InternLM2-7B может выдавать фактические ошибки, предвзятые или вредоносные ответы. Код распространяется по Apache-2.0; для весов README указывает академический доступ и возможность запросить бесплатное коммерческое разрешение, поэтому условия использования весов следует сверять с лицензией и соответствующим разрешением.

unsloth/Kimi-K2-Instruct-GGUF — это GGUF-квантизированная версия Kimi-K2-Instruct, разработанного Moonshot AI и подготовленная Unsloth. Модель предназначена для общего диалога, решения задач на знания и рассуждения, программирования, использования инструментов и агентских сценариев. Версия Instruct ориентирована на готовое применение без длительного режима пошагового размышления. Модель использует архитектуру Mixture-of-Experts (MoE): 1 триллион общих параметров, из которых 32 миллиарда активируются для каждого токена. Архитектура включает 61 слой, 384 эксперта с выбором 8 экспертов на токен, один общий эксперт, 64 головы внимания, механизм MLA, активацию SwiGLU и словарь размером 160 тысяч токенов. Длина контекста составляет 128 тысяч токенов. В README языки и дополнительные модальности не указаны. GGUF-версии предназначены для локального запуска, в частности через актуальную версию llama.cpp. Для небольших квантов рекомендуется не менее 128 ГБ объединённой оперативной памяти; при наличии 16 ГБ VRAM и 256 ГБ RAM ожидается скорость свыше 5 токенов в секунду. Для наилучшего качества рекомендуются 2-битные XL-кванты или более высокие варианты, а температура 0,6 помогает снизить повторения и несвязность. Ограничениями являются очень высокие требования к памяти и возможные потери качества, зависящие от выбранного уровня квантования. Лицензия указана как modified MIT; также приведена ссылка на файл LICENSE.md.

unsloth/Llama-3.3-70B-Instruct-GGUF — GGUF-версия мультиязычной большой языковой модели Llama 3.3, разработанной Meta и подготовленной для распространения Unsloth. Это авторегрессионная instruction-tuned модель для генерации текста, диалогов, ответов на вопросы и работы с кодом в текстовых сценариях. Модель содержит 70 млрд параметров и использует оптимизированную архитектуру Transformer с Grouped-Query Attention (GQA). Она принимает и генерирует мультиязычный текст, поддерживает контекст до 128 тыс. токенов и обучалась на более чем 15 трлн токенов публично доступных онлайн-данных; срез знаний — декабрь 2023 года. Указанные языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Для выравнивания поведения применялись supervised fine-tuning (SFT) и reinforcement learning with human feedback (RLHF). К сильным сторонам относятся большой контекст, диалоговая оптимизация, поддержка нескольких языков и генерация кода. Модель является статичной и обучена на офлайн-данных, поэтому не обладает актуальными знаниями без внешних источников; README также не содержит результатов конкретных бенчмарков или требований к оборудованию для запуска GGUF-версии. Использование регулируется кастомной коммерческой лицензией Llama 3.3 Community License Agreement.

Карточка модели Pq234/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16 на Hugging Face совпадает с карточкой lactroiii/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16, поэтому описание составлено по ней. NVIDIA Nemotron 3 Nano Omni — мультимодальная большая языковая модель семейства Nemotron, разработанная NVIDIA и дополнительно обученная на базе нескольких моделей, включая Qwen3-VL-30B-A3B-Instruct, Qwen3.5-122B-A10B, Qwen3.5-397B-A17B, Qwen2.5-VL-72B-Instruct и gpt-oss-120b. Репозиторий содержит веса в формате safetensors для Transformers; модель поддерживает чат и интерфейс вызова инструментов. В README рекомендуют начинать с контекста 131072 токена при развертывании на Spark. Модель предназначена для корпоративного мультимодального анализа видео, аудио, изображений и текста: ответов на вопросы, суммаризации, транскрибирования речи, OCR и анализа документов, а также понимания GUI. Примеры применения — поиск и краткое изложение видео, проверка заказов по видеозаписям, анализ договоров и финансовых документов, автоматизация браузера и почты. Ключевые ограничения и характеристики, включая точное число параметров и перечень поддерживаемых естественных языков, в предоставленных данных не раскрыты. Модель доступна для коммерческого использования; метаданные указывают лицензию other, поэтому перед внедрением следует свериться с условиями лицензии в карточке репозитория.

Nemotron-Cascade-8B-Thinking — универсальная языковая модель NVIDIA для диалогов и задач, требующих пошагового рассуждения. Она построена на архитектуре Qwen3 и дообучена на базе Qwen3-8B-Base: после многоэтапного SFT применялось последовательное обучение с подкреплением в разных областях. Модель содержит 7,6 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов; карточка указывает английский язык. Модель предназначена для рассуждений на общие знания, математики, программирования и разработки ПО, следования инструкциям и использования инструментов. Она работает в режиме thinking и использует шаблон чата в стиле Qwen3. Для локального запуска NVIDIA рекомендует температуру 0,6 и top-p 0,95; для поддержки более длинного контекста предлагается масштабирование RoPE методом YaRN. Лицензия указана как other, поэтому условия использования следует проверить в файлах репозитория.

Карточка модели TreezzZ/opd-teacher-search-7b на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

unsloth/Phi-3.5-mini-instruct — инструктивная языковая модель, представленная Unsloth как вариант Microsoft Phi-3.5-mini-instruct. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM и 3,7 млрд параметров; репозиторий содержит веса Safetensors и поддерживает Transformers. Модель рассчитана на диалоги, генерацию текста и использование в приложениях с ограничениями по памяти или задержке. Модель подходит для ответов на вопросы, многоязычных диалогов, суммаризации длинных документов, извлечения сведений из текста, а также задач на код, математику и логику. В карточке базовой модели заявлена поддержка контекста до 128 тысяч токенов, однако метаданные этого репозитория указывают нативный контекст 4096 токенов, поэтому для данного варианта следует ориентироваться на значение из метаданных. README описывает семейство как многоязычное, но не перечисляет конкретные языки. Модель дообучена на основе microsoft/Phi-3.5-mini-instruct; README отмечает улучшения многоязычных диалогов, следования инструкциям и рассуждений, но предупреждает о возможных ошибках и уязвимости к многошаговым обходам защит. Лицензия репозитория — MIT; перед применением в критичных сценариях необходимо оценить точность и безопасность ответов.

Phi-3-Medium-128K-Instruct — языковая модель Microsoft из семейства Phi-3 с плотной архитектурой Phi3ForCausalLM и 13,8 млрд параметров. Это версия с настройкой для следования инструкциям и диалогового формата; постобучение включало supervised fine-tuning и direct preference optimization. Модель предназначена для генерации текста, ответов на вопросы и задач, требующих рассуждений, в частности программирования, математики и логики. Вариант рассчитан на контекст до 128 тысяч токенов согласно карточке модели. Он ориентирован прежде всего на английский язык; карточка также отмечает многоязычность, но качество на языках помимо английского может быть ниже. Модель поддерживает сценарии генерации кода, однако её обучающие данные для кода в основном охватывают Python и распространённые библиотеки. Модель может генерировать недостоверные ответы, воспроизводить стереотипы и выдавать оскорбительный или неподходящий контент даже после настройки безопасности. Результаты, особенно код и ответы для чувствительных областей, следует проверять. Лицензия — MIT.

duyntnet/Qwen2.5-7B-Instruct-imatrix-GGUF — набор imatrix-квантизированных версий инструкционно дообученной текстовой модели Qwen2.5-7B-Instruct. Исходную модель разработала команда Qwen компании Alibaba Cloud. Репозиторий предназначен для локального запуска и генерации текста через llama.cpp, KoboldCPP, text-generation-webui и Ollama. Модель представляет собой авторегрессионную causal language model на базе архитектуры Transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV-внимании. Она содержит 7,61 млрд параметров, 28 слоёв и использует GQA с 28 головами запросов и 4 головами ключей и значений. Модель ориентирована на диалог, следование инструкциям, генерацию длинных текстов, работу со структурированными данными и создание структурированных ответов, включая JSON, а также на задачи программирования и математики. Поддерживается более 29 языков, включая русский, английский, китайский, французский, немецкий, испанский, японский и корейский. Заявленная длина контекста составляет до 131 072 токенов, а максимальная длина генерации — 8192 токена. При этом исходная конфигурация рассчитана на 32 768 токенов; для работы с более длинными входами требуется включение расширения YaRN с указанными параметрами. Квантизация снижает требования к ресурсам и упрощает локальный запуск, но конкретные характеристики качества, скорости и потребления памяти зависят от выбранного варианта GGUF. В репозитории указана лицензия other, без подробного описания условий использования.

NVIDIA Qwen3-235B-A22B-Instruct-2507-NVFP4 — квантизированная версия языковой модели Qwen3-235B-A22B-Instruct-2507 от Alibaba, подготовленная с помощью TensorRT Model Optimizer. NVIDIA указывает, что модель не принадлежит и не разработана NVIDIA, а создана на основе сторонней модели для соответствующих сценариев применения. Модель предназначена для генерации текста и может использоваться в AI Agent системах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Это авторегрессионная текстовая модель с архитектурой Transformers и сетевой архитектурой Qwen3MoeForCausalLM. Она принимает текстовые строки и генерирует текст; число параметров не раскрыто. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Ключевое преимущество версии NVFP4 — квантизация весов и активаций линейных операторов внутри transformer-блоков с 16 до 4 бит, что примерно в 3,4 раза снижает требования к дисковому пространству и памяти GPU. Модель оптимизирована для инференса через TensorRT-LLM и систем на базе NVIDIA Blackwell, предпочтительно под Linux. Ограничения включают неизвестное количество параметров, отсутствие раскрытых сведений о тренировочных и тестовых данных, а также необходимость дополнительного тестирования на данных конкретного сценария. Модель распространяется по лицензии Apache 2.0 и допускает коммерческое и некоммерческое использование.

QuantFactory/Qwen3-4B-Thinking-2507-GGUF — квантизированная версия Qwen3-4B-Thinking-2507, созданная QuantFactory с использованием llama.cpp на основе модели Qwen. Это каузальная языковая модель для генерации текста, ориентированная на задачи, требующие рассуждений: логика, математика, естественные науки, программирование, академические задания, следование инструкциям, использование инструментов и взаимодействие с агентными системами. Модель содержит около 4 млрд параметров, из которых 3,6 млрд не относятся к эмбеддингам, и имеет 36 слоёв. Архитектура внимания использует GQA: 32 головы для запросов и 8 для ключей и значений. Нативная длина контекста составляет 262 144 токена. Модель поддерживает только режим рассуждений; используется автоматическое добавление маркера <think>, поэтому в выводе могут присутствовать специальные маркеры рассуждений. В README явно описана текстовая модальность; перечень поддерживаемых языков не указан. Сильными сторонами являются улучшенные возможности рассуждения, следования инструкциям, генерации текста, работы с инструментами и обработки длинного контекста. Модель рассчитана на сложные задачи и может генерировать длинные цепочки рассуждений, что следует учитывать при настройке лимита вывода и потреблении ресурсов. Ограничения включают работу только в thinking-режиме, отсутствие сведений о конкретном формате и уровне квантизации в карточке, а также отсутствие опубликованных требований к аппаратному обеспечению и подробных характеристик производительности именно этой GGUF-сборки. Указанная лицензия — Apache-2.0.

Hyper-AI/Qwen3.5-9B-fp8 — квантизированная FP8-версия мультимодальной модели Qwen3.5-9B, основанная на Qwen/Qwen3.5-9B-Base. Модель предназначена для задач понимания и генерации текста, визуального анализа и сценариев vision-language, включая рассуждение, программирование, работу с изображениями и агентские приложения. Квантизация выполнена с использованием lightvl — инструментария, разработанного автором репозитория; модель совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers, а запуск через vLLM заявлен как поддерживаемый. Это causal language model с vision encoder и 9 млрд параметров. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженный Mixture-of-Experts; языковая часть содержит 32 слоя, скрытое измерение 4096 и поддерживает контекст длиной 262 144 токена с расширением до 1 010 000 токенов. Qwen3.5 заявляет поддержку 201 языка и диалекта, однако конкретные языки и характеристики визуального энкодера для этой версии отдельно не раскрыты. Основные преимущества версии — снижение потребления памяти примерно с 19 до 12 ГБ и заявленное ускорение примерно на 30% по сравнению с исходной моделью, что делает её более подходящей для локального и высокопроизводительного инференса. Ограничения связаны с использованием FP8-квантизации: фактическая точность и совместимость могут зависеть от оборудования и программного стека, а в README не приведены подробные результаты сравнения именно с неквантизированной версией. Модель распространяется по лицензии Apache-2.0.

Карточка модели ArliAI/Qwen3.5-9B-RpRMax-v1 на Hugging Face совпадает с карточкой Qwen/Qwen3.5-9B, поэтому описание составлено по ней. Qwen3.5-9B — мультимодальная модель Qwen, разработанная командой Qwen и представленная в формате Hugging Face Transformers. Это дообученная версия Qwen/Qwen3.5-9B-Base: причинная языковая модель с визуальным энкодером, 9 млрд параметров и гибридной архитектурой с Gated Delta Networks и разреженными Mixture-of-Experts. Модель принимает текст и изображения и генерирует текст; поддерживает чат и вызов инструментов. Модель предназначена для диалога, рассуждений, программирования, визуального понимания и агентных сценариев с использованием инструментов. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000; в режиме по умолчанию перед ответом генерируется содержимое рассуждений. В карточке заявлена поддержка 201 языка и диалекта, но список языков в предоставленных данных опущен. В README заявлены высокая эффективность гибридной архитектуры и улучшенные результаты на задачах рассуждения, кода и визуального понимания; независимых оценок в предоставленном тексте недостаточно для проверки этих утверждений. Для длинного контекста могут потребоваться значительные ресурсы, а совместимость и пропускная способность зависят от версии и конфигурации сервера. Лицензия — Apache-2.0.

cyankiwi/Qwen3.6-27B-AWQ-INT4 — квантизированная версия мультимодальной модели Qwen3.6-27B, разработанной командой Qwen. Модель представлена в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Вариант использует квантизацию AWQ в формате INT4; размер файлов модели составляет около 20,44 ГБ. Лицензия — Apache 2.0. Модель предназначена для генерации текста, программирования, работы с агентными сценариями и анализа изображений с текстовым ответом. В README отдельно отмечены улучшения в агентном программировании, включая работу с frontend-задачами и рассуждение на уровне репозитория, а также возможность сохранять контекст рассуждений из предыдущих сообщений. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Архитектура представляет собой авторегрессионную языковую модель с vision encoder, 27 миллиардами параметров, 64 слоями и контекстом 262 144 токена с заявленной возможностью расширения до 1 010 000 токенов. В составе используются Gated DeltaNet, Gated Attention и многошаговое обучение MTP. Квантизация снижает требования к памяти и упрощает локальное развертывание, но может несколько ограничивать точность по сравнению с полноразмерной версией; конкретные потери качества для данного варианта в README не указаны.

Lorbus/Qwen3.6-27B-int4-AutoRound — это квантизированная версия мультимодальной модели Qwen3.6-27B, разработанная на базе Qwen/Qwen3.6-27B с использованием Intel AutoRound. Модель предназначена для обработки текста и изображений, включая диалоговые сценарии, генерацию текста, объяснение сложных тем, программирование и задачи с визуальным вводом. Она совместима с Transformers и vLLM, поддерживает OpenAI-совместимый интерфейс, вызов инструментов и reasoning-сценарии. Модель представляет собой плотную VLM с 27 млрд параметров. Используется схема W4A16: веса хранятся в INT4, активации обрабатываются в FP16; размер группы — 128, квантование симметричное. Объём модели составляет около 18 ГБ вместо примерно 54 ГБ в BF16. Мультитокенная предсказательная голова MTP сохранена в BF16, что позволяет применять нативное speculative decoding в vLLM и получать примерно двукратное ускорение генерации в указанных тестах. Максимальная длина контекста в README демонстрируется до 262144 токенов. Сильные стороны модели — существенно сниженные требования к памяти, высокая скорость инференса и сохранение качества благодаря неквантизированным нормализующим слоям, router-слоям, отдельным проекциям и MTP-компоненту. Ограничения связаны с компромиссом INT4-квантования между точностью и эффективностью; заявленные показатели производительности получены на RTX 5090 и зависят от версии vLLM, аппаратного обеспечения и настроек KV-кэша. Визуальный энкодер MoonViT оставлен в исходной точности, поэтому выигрыш от квантования в основном относится к языковой части. Модель распространяется по лицензии Apache-2.0.

Это квантованная версия NVFP4 модели Qwen3.6-35B-A3B, подготовленная WhiskyAKM в формате GGUF для llama.cpp и других совместимых движков. В основе лежит WhiskyAKM/Qwen3.6-35B-A3B-GGUF, происходящая от Qwen/Qwen3.6-35B-A3B. Исходная мультимодальная модель разработана командой Qwen и использует архитектуру Mixture-of-Experts с гибридным линейным и полным вниманием: всего 35 млрд параметров, из которых на токен активируются 3 млрд. Модель принимает текст, изображения и видео и генерирует текст. Она предназначена для диалога, рассуждений, агентного программирования, анализа изображений и видео, а также вызова инструментов; контекст достигает 262 144 токенов и может расширяться примерно до 1 млн с YaRN. Для мультимодального ввода требуется файл проектора mmproj.gguf. Модель поддерживает более 140 языков. NVFP4 снижает размер весов для инференса, но требует совместимой сборки llama.cpp с поддержкой этого формата. Лицензия репозитория — Apache-2.0.

Tooony133/Qwen-3.8-27B-DinkyDoo — модель семейства Qwen3.8, представленная как дообученный вариант Qwen3.8-27B с объединёнными с базовыми весами LoRA-адаптерами. Это плотная причинная языковая модель с визуальным энкодером на 27 млрд параметров, предназначенная для диалогов, анализа изображений и видео, программирования, профессиональных задач, исследований и многошаговых агентных сценариев. Модель принимает текст и изображения, а также поддерживает понимание видео. В README указана длина контекста 262 144 токена с возможностью расширения до 1 000 000. Режим рассуждения включён по умолчанию; его можно отключать и настраивать глубину. Модель распространяется в формате Transformers и совместима с рядом средств инференса. Сильные стороны, заявленные в карточке: мультимодальное понимание, работа с длинным контекстом, кодирование и выполнение многошаговых задач. Карточка не приводит отдельных измерений качества именно этой производной модели. Лицензия — Apache-2.0; README также просит соблюдать требования об указании авторства и изменениях из файлов LICENSE и NOTICE.

rapid-mlx/Qwen3.8-27B-mixed-3.5bpw-MLX — это мультимодальная MLX-сборка модели Qwen3.8-27B от Qwen, подготовленная в виде активационно-ориентированной смешанной квантизации. Модель поддерживает ввод изображений и текста с генерацией текста, а также может работать в текстовом режиме. Сборка рассчитана прежде всего на компьютеры Apple Silicon с unified memory и запускается через Rapid-MLX, совместимый с OpenAI API. Модель предназначена для диалогов, анализа изображений, работы со знаниями, математического рассуждения и генерации кода. Средний размер квантизации составляет 3,5 bits-per-weight: языковые Linear-слои распределены между 2-, 3- и 4-битными представлениями, а vision tower сохранён в 4-битном виде. Размер модели на диске составляет около 13 ГБ; заявлены языки English и Chinese. По приведённым измерениям, модель обычно укладывается в 24 ГБ памяти Apple Silicon, использует примерно 14,6–16,5 ГБ в зависимости от сценария и не помещается в 16 ГБ. Сильная сторона сборки — заметное сокращение размера и пикового потребления памяти при сохранении результатов, близких к 4-битной и исходной bf16-версиям в задачах знаний, рассуждения и кода. Поддерживается опциональное ускорение через Multi-Token Prediction, однако его эффект зависит от чипа Apple. Ограничение — качество работы с изображениями ниже 4-битной версии: в MMBench-EN указано 86,7 против 90,3 балла. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-NVFP4-all — текстовая генеративная модель на базе Qwen3.8-27B, разработанная сообществом thomasgardiner с использованием базовых чекпойнтов Qwen и RadixArk. Архитектура сочетает Gated DeltaNet и полное внимание, включает 64 слоя и поддерживает ввод и вывод текста. Модель предназначена для генерации текста, решения математических задач, ответов на сложные вопросы, следования инструкциям и генерации кода. Ключевая особенность — оптимизация NVFP4-квантизации для ускорения декодирования на GPU NVIDIA RTX 5090 и платформах SM120. Часть линейных проекций переведена из FP8 в NVFP4 с симметричной блочной схемой квантизации, тогда как отдельные компоненты сохраняют формат BF16. Размер чекпойнта уменьшен с 20,6 до 18 ГБ. Заявлено ускорение декодирования на 13–17% относительно RadixArk/Qwen3.8-27B-NVFP4 при сопоставимой точности; в полном стеке оптимизаций прирост относительно стандартного SGLang достигает 25–33% на фиксированных запросах. По представленным тестам модель сохраняет близкую к исходному NVFP4-чекпойнту точность на GSM8K, MATH-500, GPQA Diamond, IFEval и HumanEval, однако небольшое снижение наблюдается на части математических и кодовых задач. Для эффективного использования требуются совместимые версии SGLang и FlashInfer, CUDA 13.0, а на SM120 — специальный патч backend b12x; рекомендуемая конфигурация использует спекулятивное декодирование DFlash2. Лицензия — Apache-2.0.

mlx-community/Qwen3.8-27B-OptiQ-4bit — квантованная MLX-версия модели Qwen3.8-27B, разработанной Qwen, с оптимизацией mlx-optiq для локального запуска на компьютерах Apple Silicon. Модель поддерживает работу с текстом и изображениями и предназначена для генерации текста, рассуждений, программирования, следования инструкциям, вызова инструментов и других сценариев мультимодального помощника. В режиме text-only её можно загружать через mlx-lm, а для image+text и расширенных возможностей требуется mlx-optiq. Модель использует гибридную архитектуру: три четверти из 64 блоков применяют linear attention, остальные — full attention. Квантование выполнено в смешанной точности: 237 чувствительных к потере качества слоёв представлены в 8-bit, а 261 менее чувствительный слой — в 4-bit; размер группы — 64. Vision tower сохранён в формате bf16 и поставляется отдельным файлом размером около 0,9 ГБ. Общий размер модели на диске составляет примерно 18,9–19 ГБ. Данные о размере контекстного окна и поддерживаемых языках в карточке не указаны. К сильным сторонам относятся сочетание мультимодальности, локальный запуск без облака и PyTorch, а также экономия памяти за счёт квантования при сохранении высокой производительности в тестах: 84,1% на MMLU, 96,1% на GSM8K, 92,1% на HumanEval и 93,5% на BFCL-V3 simple. Ограничения включают зависимость от экосистемы MLX и Apple Silicon для целевого сценария, необходимость mlx-optiq для обработки изображений и расширенного сервера, а также возможное снижение качества по сравнению с полноразмерной моделью из-за квантования. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-NVFP4 — квантизированная версия модели orcarouter/Qwen3.8-27B-Uncensored, созданная preetpatel на базе Qwen3.8-27B от Qwen. Исходная модель представляет собой abliteration/fine-tune без встроенных ограничений, ориентированный авторами на red teaming и исследования. Данный репозиторий изменяет числовой формат весов и не выполняет дополнительное обучение. Модель предназначена для генерации текста, рассуждений, программирования, работы в составе coding-agent, вызова инструментов и обработки изображений. Поддерживаются текстово-графические сценарии, function calling и вывод рассуждений через тег <think>. Заявлены английский и китайский языки. Модель использует гибридную архитектуру с gated-DeltaNet и linear-attention блоками; квантизация NVFP4 по схеме W4A4 применяется к весам и активациям линейных слоёв, а vision tower, lm_head и некоторые слои сохраняются в BF16. Размер весов составляет около 19 ГБ вместо примерно 56 ГБ в BF16. На одной RTX 5090 с 32 ГБ памяти заявлена работа с контекстом до 160 тысяч токенов при использовании vLLM и FP8 KV-cache. К сильным сторонам относятся низкое потребление видеопамяти, поддержка длинного контекста, изображений, структурированных вызовов инструментов и сценариев автономного агента. README сообщает об успешных тестах извлечения данных из контекста длиной до 155 тысяч токенов, параллельной обработке запросов и tool calling. Ограничения включают привязку оптимизаций к GPU Blackwell и совместимому окружению vLLM, а также небольшое дополнительное округление при слиянии некоторых квантизированных слоёв; возможное влияние на точные бенчмарки следует учитывать. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Qwen3.8-Flash-Next-MLX-Serve-iQ-MLX-3.3bpw — это квантованный пакет модели Qwen3.8-Flash-Next, разработанной Qwen и адаптированной пользователем ddalcu для запуска через mlx-serve на компьютерах Mac с 64 ГБ памяти. Модель предназначена для генерации текста, работы с агентами, кодом, прозой и математическими задачами, а также поддерживает обработку изображений и видео благодаря встроенной vision tower. Доступен формат вызова инструментов Qwen3.8 с XML-синтаксисом; режим рассуждений включён по умолчанию и может быть отключён. Пакет использует экспериментальную архитектуру Qwen4 с MoE, gated residual streams, n-gram embedding и Qwen Sparse Attention. Полный исходный чекпойнт включает около 180 млрд параметров: 125 млрд параметров основного ствола, 51 млрд параметров n-gram-таблицы и 4 млрд параметров MTP-головы. В данном варианте веса квантованы примерно до 3,3 бит на параметр с imatrix-калибровкой. Заявлена нативная длина контекста до 262 тысяч токенов, а для 64-ГБ Mac рекомендован размер контекста 65 536 токенов. Пакет занимает около 52 ГБ оперативной памяти; измеренная скорость на M4 Max составляет примерно 52,6 токена в секунду при декодировании и 762 токена в секунду при предварительной обработке. Главное преимущество — возможность разместить крупную мультимодальную MoE-модель на Mac с 64 ГБ памяти при сохранении около 99% вероятностной массы более тяжёлого варианта mixed-4-8bit. Ограничения связаны с потерями качества из-за агрессивной квантизации, требованиями к памяти и специфической инфраструктурой MLX. N-gram-таблица объёмом 32 ГБ подгружается через отображение файла и при холодном кэше может замедлять обработку длинного первого запроса. Для использования требуется mlx-serve и macOS с настройкой лимита GPU-памяти. Лицензия указана как qwen-community-1.0.

Unsloth SmolLM3-3B — инструктивная языковая модель, производная от HuggingFaceTB/SmolLM3-3B. Это плотный decoder-only Transformer с GQA и NoPE, рассчитанный на генерацию текста, диалоги, рассуждения и вызов инструментов. Модель содержит 3,1 млрд параметров и доступна в формате safetensors; карточка указывает лицензию Apache-2.0. Модель поддерживает многоязычные диалоги и задачи рассуждения, в том числе математику и программирование. В README заявлены обучение на контексте 64 тыс. токенов и расширение до 128 тыс. с YaRN; метаданные каталога указывают нативный контекст 65 536 токенов. Доступен режим расширенного рассуждения, включённый по умолчанию, и интерфейс вызова инструментов. README описывает SmolLM3 как открытую модель с опубликованными сведениями об обучении; версия Unsloth представлена как вариант с динамической квантизацией 2.0, хотя метаданные этого репозитория указывают формат safetensors. Сгенерированный текст может содержать фактические ошибки, противоречия и смещения, поэтому важные ответы следует проверять.

Tri-21B — авторская причинная языковая модель компании Trillion Labs для диалогов и генерации текста. Она предназначена для повседневного общения, ответов на вопросы, рассуждений, математических задач и генерации кода. По данным карточки, модель использует декодерный Transformer с RoPE, SwiGLU, RMSNorm и GQA, содержит 20,73 млрд параметров и имеет контекстное окно 8 192 токена. Модель обучалась на 2,3 трлн токенов; разработчики сообщают об улучшениях в обучении с подкреплением и настройке данных для рассуждений. Tri-21B оптимизирована для английского, корейского и японского языков. В README приведены результаты тестов на знания, рассуждения, программирование, математику и следование инструкциям. Эти результаты заявлены разработчиком и зависят от условий оценки. Для других языков качество может снижаться; знания ограничены данными примерно до февраля 2025 года. Модель распространяется под лицензией с обозначением «other»; конкретные условия следует проверять на странице репозитория Hugging Face.

Tri-70B-preview-SFT — исследовательская предварительная версия крупной языковой модели компании Trillion Labs. Это плотная авторегрессионная модель на архитектуре Transformer Decoder с 69,5 млрд параметров, обученная с нуля на 1,5 трлн токенов и затем прошедшая supervised fine-tuning. В архитектуре используются iRoPE, скользящее внимание с окном 4096 токенов, SwiGLU, RMSNorm и GQA; размер контекста — 32 768 токенов. Модель предназначена для генерации текста в диалогах, рассуждений по шагам, ответов на вопросы, решения математических задач и программирования. Она специально оптимизирована для английского, корейского и японского языков. Выпуск прошёл только supervised fine-tuning без обширного RLHF, поэтому модель может быть полезна для исследований и экспериментов с методами выравнивания, но ответы могут быть менее отполированными и безопасно настроенными, чем у моделей с более полной постобработкой. Модель выпущена под лицензией Apache-2.0. Заявленная дата отсечения знаний — февраль 2025 года; качество на языках, отличных от английского, корейского и японского, может быть ниже.

Yi-1.5-34B-32K — базовая большая языковая модель семейства Yi, разработанная компанией 01.AI. Это плотная авторегрессионная модель архитектуры Llama с 33,9 млрд параметров; она принимает текст и генерирует текст. Контекстное окно составляет 32 768 токенов. Модель предназначена для генерации и продолжения текста, понимания инструкций, рассуждений, решения математических задач, программирования и ответов на вопросы по длинным текстам. Yi-1.5 получена продолжением предобучения Yi на высококачественном корпусе из 500 млрд токенов и дообучением на 3 млн разнообразных примеров. README отмечает улучшения в коде, математике, рассуждениях и следовании инструкциям, сохраняя способности к пониманию языка и чтению. Репозиторий содержит веса в формате safetensors. Модель выпущена по лицензии Apache-2.0. В карточке нет сведений о поддерживаемых естественных языках или об отдельных ограничениях качества.

Agnes-3.0-Flash Preview — открытая мультимодальная модель с весами от Agnes AI, предназначенная для рассуждений, программирования и выполнения инструкций. Это отдельный предварительный чекпойнт: заявленные характеристики относятся к нему, а не к более новой производственной версии через API. Модель использует гибридный декодер из 72 слоёв: 54 слоя с рекуррентным gated delta rule чередуются с 18 слоями глобального внимания. Контекстное окно составляет 262 144 токена. Модель обрабатывает текст, изображения и видео, поддерживает управляемый уровень рассуждений и интерфейс вызова инструментов. Карточка указывает поддержку английского и китайского языков. Модель подходит для анализа длинных материалов, диалога, задач по коду и мультимодального понимания. Для запуска требуются Transformers с удалённым кодом модели; README рекомендует GPU уровня H100 80 ГБ или H200 141 ГБ для bf16. Лицензия — Apache-2.0.

AriannaV4 — мультимодальная модель-ассистент, созданная SurgeFF на базе google/gemma-4-12B с объединёнными весами Aria v4. Это самостоятельная модель для локального запуска; доступны веса в формате safetensors и варианты GGUF разной точности для llama.cpp, Ollama и LM Studio. Архитектура относится к Gemma 4 Unified, размер базовой модели — 12 млрд параметров. Модель предназначена для диалогов, рассуждений, работы с текстом и кодом, математических задач, выбора инструментов, а также понимания изображений, аудио и видео. Для голосового ввода и вывода в реальном времени, генерации изображений и видео и получения эмбеддингов README описывает отдельные подключаемые компоненты: эти возможности не встроены в веса AriannaV4. Репозиторий предназначен для локального развертывания и позиционируется автором как production-ассистент. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространяет производные работы на тех же условиях и запрещает коммерческое использование.