I.1Поиск и навигация по информации

Kimi-Linear-REAP-35B-A3B-Instruct — разговорная причинно-языковая MoE-модель, созданная Cerebras на основе moonshotai/Kimi-Linear-48B-A3B-Instruct методом REAP: из исходной модели удалены избыточные эксперты. По README, в модели 35 млрд параметров, из которых около 3 млрд активируются на токен; заявлены 27 слоёв, 180 экспертов и выбор 8 экспертов на токен. В метаданных размер указан как 2,7 млрд параметров. Модель предназначена для диалога и генерации текста, включая код, математические рассуждения, вызов функций и ответы на вопросы по длинному контексту. Заявлена длина контекста до 1 048 576 токенов; README отмечает, что отдельные оценки на LongBench v2 и FRAMES проводились с ограничением входа до 128 тысяч токенов. Карточка сообщает о близком к исходной модели качестве при снижении размера примерно на 30%, а также о совместимости с актуальной версией vLLM, поддерживающей Kimi-Linear. Модель распространяется по лицензии MIT. README указывает, что после однократного прореживания дополнительное дообучение не выполнялось; при этом метаданные обозначают связь с базовой моделью как finetune. Заявления о качестве основаны на оценках карточки и могут не переноситься на все задачи; для отдельных тестов отмечено снижение точности после удаления экспертов.

RedHatAI/Llama-3.1-8B-Instruct — текстовая инструкционно настроенная модель Meta на архитектуре Llama 3.1, опубликованная Red Hat AI. Это авторегрессионный трансформер с 7,5 млрд параметров, использующий Grouped-Query Attention; карточка описывает настройку SFT и RLHF для диалоговых задач. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и оснащена интерфейсом для вызова инструментов. Модель предназначена для многоязычного общения в роли ассистента, ответов на запросы и генерации текста, в том числе в коммерческих и исследовательских сценариях. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Метаданные указывают на производность от meta-llama/Llama-3.1-8B-Instruct; основание этой связи с описанным в README инструкционным вариантом Meta не уточняется. Карточка сообщает о проверке на платформах Red Hat AI и описывает меры безопасности, но не приводит результаты бенчмарков именно этой копии. К ограничениям относятся возможные ошибки и риски небезопасных ответов, а также рекомендованная поддержка только перечисленных языков; интеграцию и защиту инструментов должен обеспечивать разработчик приложения. Лицензия — Llama 3.1 Community License с условиями допустимого использования.

MyAwesomeModel — языковая модель, опубликованная в репозитории mcptester0606/MyAwesomeModel-TestRepo. Разработчик явно не указан. Модель реализована на базе библиотеки Transformers и ориентирована на задачи рассуждения, понимания и генерации текста, включая математику, программирование, логику, ответы на вопросы, классификацию, анализ тональности, суммаризацию, перевод, диалоговую генерацию и следование инструкциям. Также заявлены поддержка function calling, системных промптов, загрузки файлов и генерации с использованием результатов веб-поиска через специальные шаблоны запросов. По данным README, обновлённая версия получила более глубокое рассуждение и улучшенные алгоритмы постобучения. На тесте AIME 2025 точность выросла с 70% до 87,5%, а средний объём рассуждений увеличился примерно с 12 до 23 тысяч токенов на задачу. В сравнительных оценках модель показывает наиболее заметные результаты в логическом рассуждении, генерации кода, понимании текста и следовании инструкциям, однако README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках и размере контекста. Увеличенная глубина рассуждений может повышать вычислительные затраты и задержку ответа; конкретные ограничения и результаты независимой оценки не указаны. Лицензия модели — MIT.

Furiosa-AI Qwen3-30B-A3B-FP8 — оптимизированная сборка модели Qwen3-30B-A3B-FP8, распространяемая вместе с Furiosa Executable Bundle для запуска на ускорителях FuriosaAI RNGD с помощью Furiosa-LLM. Исходная модель относится к семейству Qwen3; карточка Furiosa-AI предназначена для работы с этой моделью в специализированной инфраструктуре. Это авторегрессионный текстовый Transformer с архитектурой Mixture-of-Experts (MoE): всего около 30,5 млрд параметров, из которых примерно 3,3 млрд активируются для каждого токена. Модель работает в режимах с рассуждением и без него, поддерживает переключение режима для каждого запроса, генерацию текста, следование инструкциям, мультиязычные сценарии и вызов инструментов. Входная и выходная модальности — текст; конкретный размер контекста и перечень поддерживаемых языков в README не указаны. Веса статически квантизованы в FP8, активации во время выполнения используют динамическую FP8-квантизацию, а KV-кэш сохраняется в 16-битной точности. Поддерживаются reasoning-parser для отделения рассуждений от ответа и hermes-парсер для вызова функций. Сборка рассчитана на Furiosa-LLM и FuriosaAI RNGD; на этой платформе используется тензорный параллелизм на 32 вычислительных элементах, что соответствует четырём картам RNGD. Это ограничивает непосредственную применимость сборки вне совместимой аппаратной и программной инфраструктуры, хотя исходная модель также запускается в других фреймворках. Модель распространяется по лицензии Apache 2.0.

apolo13x/Qwen3.5-27B-quantized.w4a16 — квантованная версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen и опубликованной пользователем apolo13x. Модель принимает текст и изображения, а генерирует текст, поэтому предназначена для диалоговых сценариев, анализа визуального и текстового контента, а также общих задач рассуждения и следования инструкциям. Веса сжаты до формата INT4 W4A16 с использованием GPTQ и инструмента llm-compressor. Для калибровки использовано 512 образцов из датасета HuggingFaceH4/ultrachat_200k. Размер модели уменьшен с 51,8 до 17,3 ГБ, примерно в 3 раза, при заявленном среднем восстановлении точности 100,3% относительно исходной модели. В README не указаны точное количество контекстных токенов и поддерживаемые языки. Модель демонстрирует высокие результаты в GPQA Diamond, IFEval и MMLU-Redux: средняя оценка составила 90,05% против 89,76% у исходной Qwen3.5-27B. Ключевые ограничения связаны с 4-битным квантованием и зависимостью от совместимой инфраструктуры; на 27 февраля 2026 года заявлена поддержка в nightly-версии vLLM. Модель распространяется по лицензии Apache-2.0.

Blackfrost-AI/Qwen3.8-27B-ABLITERATED-GGUF — локальная GGUF-версия модифицированной модели Qwen3.8-27B, разработанная Blackfrost. Это плотная гибридная vision-language модель для запуска через llama.cpp, предназначенная для диалогов, рассуждений, обработки текста, изображений и видео, а также сценариев с tool-calling. Модель генерирует текст и ориентирована на локальное развертывание; релиз обозначен как экспериментальный и требует проверки поведения в конкретных рабочих нагрузках. Архитектура включает 64 текстовых слоя с сочетанием Gated DeltaNet и full attention, а также vision tower из 27 слоёв. Поддерживаются текстовые, графические и видео-входы, контекст до 262 144 токенов, девять стандартных квантованных вариантов от Q2_K до Q8_0 и встроенная MTP speculative head. Для ускорения доступен отдельный BF16 DFlash2 sidecar, совместимый с экспериментальной версией llama.cpp. В качестве сбалансированного варианта рекомендуется Q4_K_M размером 16,8 ГБ; фактические требования зависят от доступной RAM/VRAM и параллелизма. Это abliterated-сборка: поведение отказов было изменено на уровне весов, без fine-tuning, merge, LoRA или pruning. В заявленном внутреннем тесте R1-HARMFUL-BENCH-450 зафиксировано 11 остаточных отказов из 450 случаев, однако результат получен на производном варианте W4A4 NVFP4 и не является полноценным тестом всех GGUF-квантов в финальной конфигурации. Ограничениями являются экспериментальный статус, возможные компромиссы качества при низких уровнях квантования и зависимость длинного контекста от ресурсов системы. Базовая модель и указанный DFlash2-компонент распространяются по лицензии Apache-2.0.

TaterTotterson/Qwen3.8-27B-GGUF-Tater-NoThink — это упаковка официальной модели Qwen3.8-27B в формате GGUF для работы с llama.cpp. Базовую модель разработала команда Qwen, а автор репозитория изменил только метаданные chat template, добавив режим Tater NoThink. Тензоры, квантизация, vision projector и MTP draft model не изменялись. Модель представляет собой плотную vision-language модель с 27 млрд параметров. Она предназначена для понимания текста, изображений и видео, поддерживает вызов инструментов, контекстное окно размером 262K токенов и Multi-Token Prediction (MTP) для speculative decoding. В комплект входят основная модель Q4_K_M, vision projector Q8_0 и MTP draft model Q8_0. Для использования мультимодальных возможностей требуется vision projector, а для speculative decoding — отдельная MTP-модель; эффективность ускорения зависит от аппаратного обеспечения, бэкенда, промпта и длины контекста. Главная особенность варианта NoThink — принудительное отключение режима рассуждений: генерация начинается с пустого блока <think></think> и сразу переходит к ответу, даже если клиент запрашивает thinking mode. Это может быть удобно для получения более прямых ответов и сокращения служебного вывода, но ограничивает использование явного режима рассуждений. Модель распространяется по лицензии Apache License 2.0.

Ring-2.6-1T — большая языковая модель компании InclusionAI для рассуждений и выполнения сложных многошаговых задач. В README заявлено триллион параметров, тогда как метаданные репозитория указывают 59 млрд; фактический размер по доступным сведениям определить однозначно нельзя. Метаданные описывают архитектуру как MoE на базе BailingMoE V2.5 и указывают формат safetensors с compressed-tensors; для запуска README упоминает поддержку BF16 и FP8 в SGLang. Модель предназначена для агентных сценариев: планирования шагов, вызова инструментов, продолжительных диалогов и автоматизации рабочих процессов. Среди заявленных применений — разработка ПО, научный анализ, сложные логические и математические задачи, а также корпоративная автоматизация. README сообщает о режимах интенсивности рассуждений high и xhigh и контексте 128K с расширением до 256K через YaRN; метаданные указывают нативный контекст 131072 токена. Карточка приводит результаты ряда бенчмарков, но они являются заявлениями разработчика. Метаданные подтверждают текстовую генерацию и возможность чата; конкретные языки не указаны. Лицензия репозитория — MIT.

RedHatAI/gemma-4-26B-A4B-it-NVFP4 — квантизированная версия мультимодальной модели google/gemma-4-26B-A4B-it, разработанная RedHatAI на базе модели Google. Она предназначена для генерации текста, диалоговых и текстовых задач, обработки изображений с выдачей текстового ответа, а также вызова инструментов и function calling. Модель поддерживает режим рассуждений и ориентирована на развёртывание через vLLM. Архитектура модели обозначена как Gemma4ForConditionalGeneration. На вход она принимает текст и изображения, на выходе генерирует текст. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат NVFP4/FP4: для весов используется размер группы 16, для активаций — локальное масштабирование по группам. Vision tower, эмбеддинги, выходная голова и маршрутизаторы MoE сохранены в исходной точности. Квантизация сокращает число бит на параметр с 16 до 4 и примерно на 75% уменьшает размер модели на диске и требования к GPU-памяти. В документации для vLLM указан максимальный контекст 32768 токенов. Сильные стороны модели — мультимодальность, поддержка рассуждений и вызова инструментов, а также сниженные требования к памяти по сравнению с неквантизированной версией. Квантизация может приводить к некоторому снижению качества относительно исходной модели; README приводит результаты сравнительных оценок, но не содержит полного описания языков и всех ограничений. Для вызова инструментов и режима рассуждений требуются соответствующие настройки vLLM и парсеры Gemma 4. Модель распространяется по лицензии Apache 2.0.

Карточка модели Openintelligent123/Llama-3.3-70B-Instruct на Hugging Face совпадает с карточкой unsloth/Llama-3.3-70B-Instruct, поэтому описание составлено по ней. unsloth/Llama-3.3-70B-Instruct — инструктивная мультиязычная языковая модель Meta на архитектуре Llama 3.3, представленная в формате safetensors. Это авторегрессионный трансформер с 69,5 млрд параметров, обученный следовать инструкциям с помощью SFT и RLHF. Модель принимает и генерирует текст; поддерживает диалоговые сценарии и интерфейс вызова инструментов, который разработчики интегрируют самостоятельно. Контекст — до 131 072 токенов. Модель предназначена для чат-ассистентов и генерации текста, в том числе для коммерческого и исследовательского применения. README указывает поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Условия распространения определяются пользовательской лицензией Llama 3.3 Community License; перед использованием следует соблюдать её положения и Acceptable Use Policy. Модель статична и обучена на офлайн-данных; качество и безопасность ответов требуют проверки, а для неподдерживаемых языков разработчик рекомендует дообучение и дополнительные системные меры.

WeMake/Llama-3-8B-Instruct-V41-1048k — разговорная языковая модель WeMake на архитектуре Llama 3 с 7,5 млрд параметров. Модель создана на основе gradientai/Llama-3-8B-Instruct-Gradient-1048k и meta-llama/Meta-Llama-3-8B; в карточке указано, что она объединяет их с настройками WeMake V41 и обучалась методом WeMake ICU. Репозиторий содержит веса в формате safetensors, лицензия — llama3. Модель предназначена для диалоговых агентов, создания текстов, анализа данных и извлечения выводов. Заявлены учёт эмоционального контекста, согласование ответов с человеческими ценностями и поддержка нескольких языков. Максимальная длина контекста — 1 048 576 токенов, однако карточка не приводит независимых оценок качества и не перечисляет поддерживаемые языки помимо английского в метаданных. Перед использованием следует проверять точность и уместность ответов; заявления об эмоциональном интеллекте и согласовании приводятся разработчиком.

NeoHorse-1-9B-GGUF — текстовая causal language model на 9 млрд параметров, разработанная TokenRhythm и представленная в формате GGUF сообществом prithivMLmods. Модель создана на основе Qwen3.5-9B и дообучена для text-based agent harnesses, использования инструментов, программирования, рассуждений и следования инструкциям. Релиз содержит только языковые веса без vision-компонентов и предназначен для text-only inference. Модель поддерживает английский язык, имеет нативное контекстное окно 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявленная особенность — routing harness, который распределяет задачи между разнородными моделями, учитывает результаты взаимодействия с инструментами и использует эти сигналы для формирования обучающих данных и последующего дообучения. Доступны варианты квантования от BF16 до Q3_K_S, что позволяет выбирать между качеством и требованиями к памяти. По данным README, NeoHorse-1-9B показала лучший общий macro average среди сравниваемых моделей, с заметными улучшениями на агентных тестах VitaBench, PinchBench и QwenClawBench, а также высокими результатами на tau2-Bench и BFCL v4. При этом улучшения в следовании инструкциям были неоднородными, а заявленные результаты зависят от условий тестирования. Модель можно обслуживать через SGLang или vLLM с Qwen3-совместимыми механизмами рассуждений и парсерами tool calls. Распространяется по лицензии Apache License 2.0.

NVIDIA Nemotron 3 Nano Omni — мультимодальная большая языковая модель, разработанная NVIDIA в рамках семейства Nemotron. Эта версия распространяется в формате GGUF и предназначена для понимания видео, аудио, изображений и текста с применением в корпоративных системах: вопросно-ответных сервисах, суммаризации, транскрипции, анализе документов и интеллектуальной автоматизации графического интерфейса. Модель использует гибридную архитектуру Mamba2-Transformer с Mixture of Experts (MoE), включает языковую модель Nemotron 3 Nano LLM 30B A3B, визуальный энкодер CRADIO v4-H и речевой энкодер Parakeet. Общее число параметров — около 31 млрд (30B A3B). Поддерживаются видео MP4 длительностью до 2 минут, аудиофайлы WAV и MP3 длительностью до 1 часа, изображения JPEG и PNG, а также текст. Заявлена максимальная длина контекста до 256 тысяч токенов. Хотя в метаданных перечислены английский, французский, испанский, итальянский, немецкий, японский и китайский языки, в описании входных данных явно указана поддержка только английского языка. Модель подходит для анализа видеозаписей и речи, поиска и суммаризации медиаконтента, обработки контрактов и финансовых документов, OCR, GUI-автоматизации и агентных сценариев. Она поддерживает JSON-вывод, вызов инструментов, рассуждения и временные метки слов при транскрипции. Основные ограничения — ориентация на NVIDIA GPU и Linux, а также заявленная поддержка только аппаратуры NVIDIA и английского языка. Для работы указаны vLLM, NeMo, Megatron и NeMo-RL. Использование регулируется NVIDIA Open Model Agreement; в README также указана возможность коммерческого применения.

Ornith-1.5-9B-OptiQ-4bit — квантованная версия языковой reasoning-модели Ornith-1.5-9B-MLX, разработанной ornith-ai и адаптированной сообществом mlx-community для MLX. Модель предназначена для локального запуска на устройствах Apple Silicon без PyTorch и облачных сервисов, а также для генерации текста, рассуждений, работы с длинным контекстом, function calling, tool use и агентских сценариев. Указан английский язык. Модель основана на архитектуре Qwen3.5 с 9 млрд параметров и 32 слоями. Используется смешанная покомпонентная квантизация OptiQ: 116 компонентов представлены в 4-битном формате, 134 — в 8-битном, размер группы — 64. На диске модель занимает около 7 ГБ; обозначение 4bit относится к семейству квантов, а не к среднему числу бит на параметр. Для запуска используются mlx-lm и mlx-optiq, доступен совместимый с OpenAI и Anthropic серверный интерфейс с поддержкой смешанной точности KV-кэша. Сильными сторонами являются уменьшенный размер, локальная работа на Apple Silicon и сохранение более высокой точности в чувствительных слоях за счёт смешанной квантизации. Ограничения включают специализацию на экосистеме MLX и Apple Silicon, а также необходимость выделять модели достаточный бюджет токенов для reasoning-сценариев. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-VL-7B-Instruct-AWQ — мультимодальная instruction-tuned модель семейства Qwen, разработанная командой Qwen. Это AWQ-квантованная версия модели Qwen2.5-VL-7B-Instruct с 7 миллиардами параметров, предназначенная для задач vision-language. Модель принимает текст, изображения и видео и может распознавать объекты, анализировать текст, графики, таблицы, иконки и макеты, извлекать структурированные данные из счетов и форм, локализовать объекты с помощью bounding boxes или точек, а также поддерживать сценарии визуального агента, включая взаимодействие с компьютером и телефоном. Она способна анализировать видео длительностью более часа и находить релевантные временные фрагменты. В архитектуре заявлены динамическое разрешение и частота кадров для видео, временная версия mRoPE и оптимизированный vision encoder на базе ViT с window attention, SwiGLU и RMSNorm. К сильным сторонам относятся широкий набор мультимодальных возможностей, обработка документов и структурированный вывод, визуальная локализация и понимание длительных видео. Модель позиционируется как более эффективная за счет AWQ-квантования, а использование flash attention 2 может снизить потребление памяти и ускорить инференс. README не содержит результатов оценки, точного размера контекстного окна и подробного перечня поддерживаемых языков; в метаданных указан английский язык. Для работы рекомендуется актуальная версия Transformers и соответствующие инструменты обработки изображений и видео. Модель распространяется по лицензии Apache-2.0.

Myric/Qwen3.6-35B-A3B-APEX-GGUF — это квантизированная GGUF-версия модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель предназначена для генерации текста и запуска через llama.cpp; доступна в вариантах APEX i-quality и i-compact, включая версии v2 с более точным хранением отдельных коэффициентов состояния. Лицензия — Apache 2.0. Модель использует разреженную MoE-архитектуру с 40 слоями, 256 маршрутизируемыми и одним общим экспертом, гибридом GatedDeltaNet и периодического полноразмерного внимания, а также головкой NextN/MTP. Объём параметров — 35 млрд, из которых около 3 млрд активируются на токен. Квантизация выполнена со специально рассчитанной PyTorch importance matrix, охватывающей все слои и MTP-головку; заявлена высокая близость к эталонной квантизации по perplexity. Доступны текстовый режим и мультимодальный режим с отдельным vision-проектором, однако сам проектор в состав репозитория не входит. Рекомендуемый размер контекста в примере запуска — 32 768 токенов. Сильными сторонами являются MoE-эффективность, сохранение качества при уменьшении размера модели, поддержка tool calling через шаблоны llama.cpp и возможность работы с vision при подключении совместимого проектора. Ограничения связаны с крупным размером файлов: 23,5 ГБ для i-quality и 17,4 ГБ для i-compact; для видеокарт с 16 ГБ требуется размещать маршрутизируемые эксперты на CPU. Для мультимодального запуска нужен отдельный mmproj-файл, а качество и скорость зависят от выбранного уровня квантизации и доступной памяти.

Qwen3.8-27B-Q4_0_ROCMFP4_STRIX_LEAN — квантизированная версия базовой модели Qwen/Qwen3.8-27B, подготовленная pugant в формате GGUF для llama.cpp. Это плотная гибридная модель с 48 слоями gated-delta-net и 16 слоями полного внимания, нативным контекстом до 262 тысяч токенов и поддержкой MTP для спекулятивного декодирования. В метаданных указаны английский и мультиязычный режимы, а основное назначение — генерация текста, включая программный код, структурированные ответы и задачи RAG. Модель использует квантизацию Q4_0_ROCMFP4_STRIX_LEAN с эффективной точностью около 4,34 BPW и размером примерно 13,82 ГиБ. Она оптимизирована для AMD Strix Halo с графикой RDNA 3.5 и ROCmFPX, поддерживает ROCm и Vulkan-бэкенды, а встроенный MTP-слой может заметно ускорять декодирование на предсказуемом и структурированном контенте. Наиболее высокое ускорение ожидается при генерации кода, детерминированных и структурированных данных; для обычной прозы эффект ограничен. Главное ограничение — модель несовместима со стандартной сборкой llama.cpp и требует форка ROCmFPX с пользовательскими типами тензоров. Она протестирована на Radeon 8060S в составе AMD Ryzen AI Max+ 395, поэтому работоспособность и производительность на другом оборудовании не гарантируются. Лицензия — Apache-2.0.

Qwen3.8-27B-NVFP4-MTP-VL-GGUF — пользовательская GGUF-сборка базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Сборка предназначена для локального запуска через llama.cpp и Ollama и объединяет языковую модель с поддержкой изображений и видео, механизмом MTP для ускоренного спекулятивного декодирования и отдельным F16 CLIP-проектором для обработки зрения. Это не официальный checkpoint в формате Transformers, а квантованная упаковка сообщества. Языковая часть и MTP используют NVFP4, выходные и embedding-слои — Q5_K, размер языкового файла составляет около 14,6 ГиБ, а проектор занимает около 888 МиБ. Нативный контекст модели — 262 144 токена; в GGUF добавлены метаданные статического YaRN с коэффициентом 4, позволяющие запрашивать окно до 1 048 576 токенов без изменения весов. Поддерживаются английский и китайский языки. Сильные стороны — существенно меньшие требования к памяти по сравнению с BF16, сохранение визуальных возможностей и MTP, а также совместимость с локальными рантаймами. Для работы требуются сборки, поддерживающие архитектуру qwen35, NVFP4, mmproj и draft-mtp. Окно в миллион токенов требует очень большого объёма памяти для KV-кэша, а статический YaRN может ухудшать качество на коротких запросах, поэтому для обычного диалога рекомендуется меньший контекст. Модель распространяется по лицензии Apache License 2.0.

RadixArk Qwen3.8-Flash-Next-NVFP4 — кандидатный релиз RadixArk, представляющий квантованную версию мультимодальной модели Qwen3.8-Flash-Next. Это гибридная архитектура Transformer с Mixture-of-Experts, объединяющая GDN и разреженное QSA-внимание, multi-hyperconnection streams и PLE n-gram injection. Модель содержит около 180 млрд параметров, 48 декодерных слоёв, до 512 маршрутизируемых экспертов на MoE-слой с маршрутизацией top-10, общий эксперт и один MTP-слой. Модель принимает текст, изображения и видео, а выдаёт текст; заявленная длина контекста — до 262 тысяч токенов. Она предназначена для оценки инференса Qwen3.8-Flash-Next в задачах агентных систем, диалогов, программирования и мультимодального рассуждения. Квантование выполнено с помощью NVIDIA Model Optimizer по схеме NVFP4 W4A4 преимущественно для маршрутизируемых экспертов; размер контрольной точки уменьшен примерно с 360 до 135 ГБ. Для запуска указана интеграция с SGLang и поддержка GPU NVIDIA Blackwell, включая GB300 и B300, в Linux. По приведённым оценкам, квантование сохраняет качество в однопроходных задачах GSM8K и AIME, однако длительные агентные генерации могут выполняться дольше, чем в BF16-версии. Модель может порождать неточные, неполные, избыточные или токсичные ответы и воспроизводить предвзятость обучающих данных. Лицензия обозначена как other; условия использования необходимо смотреть у исходной модели Qwen3.8-Flash-Next.

Qwen3.8-Flash-Next-oQ4e-100K-MTP — это нативно квантованная версия Qwen3.8-Flash-Next, разработанная jedisct1 для среды oMLX и OpenAI-совместимого API на базе MLX. Модель предназначена для coding agents, других агентных сценариев, работы с текстом и изображениями, а также tool calling через совместимые клиенты. Она сохраняет vision tower Qwen4, MTP-голову и нативную архитектурную настройку контекста 262 144 токена, однако для конфигурации с 128 ГиБ памяти рекомендован безопасный общий лимит контекста 100 000 токенов. Основной формат весов — аффинное квантование oQ4e с размером группы 64; крупная PLE-таблица использует 4-битное квантование с размером группы 32. Часть компонентов оставлена в BF16 для сохранения качества вывода и эффективности MTP, а отдельные маршрутизируемые проекции — в Q8. Размер весов составляет примерно 108,8 млрд байт в 22 файлах safetensors. Модель поддерживает визуальный ввод, а README подтверждает успешное распознавание изображений и проверку вызова инструментов, но точный набор поддерживаемых языков не указан. Сильными сторонами являются очень длинный контекст, поддержка изображений и инструментов, совместимость с OpenAI API, prompt caching через SSD и оптимизация для локального запуска на Mac с 128 ГиБ памяти. Ограничения — необходимость oMLX, SSD-offload для полного контекста, значительные требования к памяти и рекомендация отключать MTP для coding agents: при включении MTP в тестах один из десяти защитных сценариев tool calling не был пройден. Модель распространяется по лицензии qwen-community-1.0; это лицензия с обозначением other, а её полный текст находится в файле LICENSE.

Firefly-LLaMA2-7B-Chat — китайско-английская разговорная модель команды Firefly на архитектуре LLaMA 2. Она создана на базе LLaMA 2 с расширенным китайским словарём: модель прошла дополнительное предобучение на китайских и английских текстах, а затем дообучение на многоходовых инструкциях и диалогах. В репозитории указаны размер 6,7 млрд параметров, контекст 4096 токенов и формат PyTorch. Модель предназначена для диалоговых ответов, генерации и преобразования текста, включая ответы на вопросы, краткое изложение, перевод, извлечение информации, классификацию, математические задачи и генерацию кода. Расширенный китайский словарь уменьшает число токенов при обработке китайского текста; авторы также сообщают о сохранении английских возможностей базовой LLaMA 2 и улучшении китайских навыков по сравнению с LLaMA 2 Chat. Указанные в карточке оценки относятся к авторским тестам и не гарантируют качество в конкретных сценариях. Модель генерирует текст по текстовым запросам. В README отмечено, что прирост по китайским знаниям ограничен объёмом и составом дополнительного предобучения; авторы использовали около 2 млрд токенов из подготовленного корпуса. Лицензия для конкретного репозитория в предоставленных данных не указана.

Gemma 3n E4B — мультимодальная генеративная модель Google с открытыми весами, предназначенная для эффективной работы на устройствах с ограниченными ресурсами. Она принимает текст, изображения, видео и аудио, а выдаёт текст; карточка описывает запуск через библиотеку Transformers. Модель содержит 8 млрд параметров, но благодаря выборочной активации параметров и выгрузке редко используемых матриц рассчитана на объём памяти, сопоставимый с обычной моделью на 4 млрд параметров. Архитектура MatFormer позволяет использовать вложенную подмодель E2B и создавать варианты других размеров методом Mix-and-Match. Обучение охватывает более 140 разговорных языков. Модель подходит для диалоговых помощников, генерации и суммаризации текста, анализа изображений и видео, транскрибирования и перевода речи. Возможны предвзятые, фактически неверные или устаревшие ответы; модель может испытывать трудности с нюансами языка и сложными открытыми задачами. Лицензия — Gemma; условия использования определяются лицензией Gemma.

Gemma-4-31B-it 4-bit W4A16 AWQ — это квантизированная версия мультимодальной instruction-tuned модели Google Gemma-4-31B-it, опубликованная ebircak. Модель предназначена для генерации текста, диалоговых приложений, программирования, вызова инструментов и обработки задач, требующих работы с текстом и изображениями. Она оптимизирована для развертывания через vLLM. Модель использует архитектуру Gemma4ForConditionalGeneration с 60 декодерными слоями и размером скрытого представления 5376. Текстовый декодер квантизирован до 4-битных асимметричных весов W4A16 с активациями FP16 или BF16, размером группы 128 и форматом compressed-tensors. Vision tower на базе SigLIP и мультимодальный проектор сохранены в BF16 и не квантизированы. Заявлено контекстное окно до 262 тысяч токенов, при этом работа с контекстом 128 тысяч токенов подтверждена. Поддерживаемые языки в README не указаны. Ключевые преимущества — существенно сниженные требования к памяти по сравнению с полноразмерной моделью, сохранение мультимодальных компонентов и поддержка длинного контекста. Для работы рекомендуется vLLM с параметром --quantization compressed-tensors; указание режима awq несовместимо с используемой схемой сериализации. Для коротких контекстов требуется около 24 ГБ VRAM, для 128K токенов — около 48 ГБ, а для производственного использования с длинным контекстом рекомендуется 48 ГБ и более. Ограничения включают зависимость от совместимых сборок vLLM и GPU, а также отсутствие в README данных о качестве, бенчмарках и влиянии квантизации на точность. Модель распространяется по лицензии Apache-2.0.

RedHatAI/gemma-4-31B-it-FP8-block — квантизированная версия мультимодальной модели google/gemma-4-31B-it, разработанная RedHatAI на базе модели Google. Архитектура — Gemma4ForConditionalGeneration; модель принимает текст и изображения и генерирует текст. Поддерживаются генерация текста, выполнение инструкций и tool calling, включая function calling через vLLM. Режим рассуждений включён по умолчанию в настройках шаблона чата. Модель использует FP8-квантизацию весов и активаций: веса масштабируются поблочно блоками 128×128, активации — динамически группами размера 128. Квантизация применяется к линейным операторам трансформерных блоков, тогда как vision tower, embedding и output head сохраняют исходную точность. Это примерно вдвое сокращает размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением, что делает её подходящей для эффективного инференса. Модель предназначена прежде всего для развёртывания с vLLM; заявлена проверка совместимости с vLLM 0.24.0, RHOAI 3.5 и RHAIIS 3.5. В примере развёртывания используется контекст до 32768 токенов и поддержка изображений. Среди ограничений — необходимость совместимой инфраструктуры и специальных параметров vLLM для рассуждений и вызова инструментов; влияние FP8-квантизации на качество зависит от задачи, хотя в README приведены оценки на наборах GSM8K Platinum, MMLU-Pro, IFEval, MATH-500, AIME 2025, GPQA Diamond, LiveCodeBench v6 и BFCLv4. Модель распространяется по лицензии Apache-2.0.

unsloth/Llama-3.3-70B-Instruct — инструктивная мультиязычная языковая модель Meta на архитектуре Llama 3.3, представленная в формате safetensors. Это авторегрессионный трансформер с 69,5 млрд параметров, обученный следовать инструкциям с помощью SFT и RLHF. Модель принимает и генерирует текст; поддерживает диалоговые сценарии и интерфейс вызова инструментов, который разработчики интегрируют самостоятельно. Контекст — до 131 072 токенов. Модель предназначена для чат-ассистентов и генерации текста, в том числе для коммерческого и исследовательского применения. README указывает поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Условия распространения определяются пользовательской лицензией Llama 3.3 Community License; перед использованием следует соблюдать её положения и Acceptable Use Policy. Модель статична и обучена на офлайн-данных; качество и безопасность ответов требуют проверки, а для неподдерживаемых языков разработчик рекомендует дообучение и дополнительные системные меры.

Qwen3.8-27B-abliterated-AWQ-MTP — квантизированная модель, опубликованная пользователем twolven на базе JonathanColetti/Qwen3.8-27B-Uncensored и исходной Qwen3.8-27B от Qwen. Модель использует AWQ-квантизацию W4A16 с размером группы 128, сохраняя модуль MTP для speculative decoding. Лицензия — Apache-2.0. Модель предназначена для генерации и понимания текста, диалоговых приложений, tool calling и обработки изображений с текстовыми запросами. Это vision-language model с гибридной архитектурой: 64 слоя, включая 48 слоёв linear attention на базе Qwen3_5GatedDeltaNet и 16 полноценных attention-слоёв. Зрительная башня содержит 27 слоёв и оставлена в формате bfloat16. Заявленный контекст — 262 144 токена; модуль MTP содержит один скрытый слой и также не квантизирован. Ключевые преимущества — заметно меньшее потребление памяти по сравнению с FP8-версией, поддержка изображений без дополнительного ухудшения со стороны квантизации vision tower и ускорение генерации при корректно работающем MTP. На конфигурации с двумя RTX 3090 автор получил медианную скорость около 84 токенов в секунду и подтвердил работу извлечения данных из длинного контекста, tool calling и распознавания содержимого изображений. Точность относительно исходной bfloat16-модели отдельно не оценивалась, поэтому степень потери качества из-за W4A16 неизвестна. Модель имеет ограничения: MTP требует правильной настройки и при некорректной загрузке может снизить производительность; абсолютные показатели скорости зависят от характера запросов. Не рекомендуется использовать greedy decoding с temperature 0, поскольку возможны зацикливание и повторение предложений. Следует применять repetition_penalty около 1.05 и ненулевую temperature. Термин «abliterated» означает удаление исходных механизмов отказа, поэтому поведение модели в отношении безопасных ограничений может отличаться от оригинальной Qwen3.8-27B.

ulkaa/Qwen3.8-27B-AWQ-INT4 — это квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем ulkaa. Модель предназначена для генерации и понимания текста, работы с изображениями и задач с большим контекстом. Она использует архитектуру Qwen3_5ForConditionalGeneration, поддерживает сохранённую vision tower в формате BF16 и рассчитана на применение через Transformers и SGLang, в частности на GPU Intel Arc Pro. Модель сжимает веса методом AWQ в формате compressed-tensors pack-quantized по схеме W4A16 с асимметричной квантизацией и размером группы 128. Размер артефакта составляет 18,2 GiB против 55,6 GiB у исходной BF16-версии. Большая часть параметров хранится в четырёхбитном виде, а vision tower, MTP head, embeddings, lm_head, нормализации и отдельные малые компоненты сохраняются в BF16. Основная конфигурация поддерживает контекст до 262 144 токенов; ревизия 1m с YaRN расширяет его до 1 048 576 токенов. К сильным сторонам относятся существенно сниженные требования к памяти, поддержка мультимодальных сценариев, длинного контекста и спекулятивного декодирования через встроенный MTP head либо внешнюю модель Qwen3.8-27B-DFlash2. К ограничениям относятся ожидаемое расхождение результатов с BF16-версией, необходимость проверки качества на собственных данных и зависимость оптимизированного сценария обслуживания от SGLang, Intel XPU и соответствующей конфигурации. Для DFlash2 не поддерживаются запросы с возвратом logprob. Модель распространяется по лицензии Apache-2.0.

philbert440/Qwen3.8-27B-NVFP4 — это 4-битная NVFP4-квантизованная версия плотной мультимодальной модели Qwen3.8-27B, разработанной Qwen. Модель предназначена для работы с текстом и изображениями, включая задачи рассуждения, ответов на вопросы, анализа визуальной информации и генерации текста. Режим рассуждений включён по умолчанию, а визуальная часть модели и голова MTP для спекулятивного декодирования сохранены. Модель содержит 27 млрд параметров и использует гибридную архитектуру из 64 слоёв: 16 слоёв с полноценным вниманием и 48 слоёв GatedDeltaNet с линейным вниманием. Основная часть весов представлена в формате NVFP4 E2M1 с групповым масштабированием FP8, при этом отдельные чувствительные компоненты, эмбеддинги, выходная голова, vision tower и MTP-head сохранены в BF16. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 млн токенов посредством YaRN. Доступный размер файлов модели — около 25,2 ГБ. Главное преимущество этой сборки — оптимизация под инференс на видеокартах NVIDIA V100: она рассчитана на запуск на двух V100 с 32 ГБ памяти через 1Cat-vLLM и, согласно приведённым измерениям, обеспечивает около 42–47 токенов в секунду в однопоточном режиме рассуждений. К ограничениям относятся зависимость от совместимого стека 1Cat-vLLM и особенности поддержки аппаратных платформ; заявленные показатели получены на конкретной конфигурации и могут отличаться в других условиях. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-8B-Instruct-GGUF — мультимодальная vision-language модель серии Qwen, разработанная командой Qwen. Репозиторий содержит веса модели Qwen3-VL-8B-Instruct в формате GGUF, разделённые на языковую модель и vision encoder. Модель предназначена для понимания и генерации текста по текстовым и визуальным данным, включая изображения и видео, а также для визуального анализа, OCR, пространственного рассуждения, STEM-задач и взаимодействия с графическими интерфейсами. Доступны варианты языковой части FP16, Q8_0 и Q4_K_M, а vision encoder — FP16 и Q8_0, что позволяет выбирать баланс качества, скорости и требований к памяти. Формат совместим с llama.cpp, Ollama и другими GGUF-инструментами, поддерживает CPU, NVIDIA GPU, Apple Silicon и Intel GPU. Для семейства Qwen3-VL заявлены контекст до 256K токенов с возможностью расширения до 1M, улучшенное понимание длительных видео, OCR на 32 языках, распознавание объектов и документов, визуальное кодирование, 2D- и 3D-заземление, а также механизмы Interleaved-MRoPE, DeepStack и временного выравнивания текста с событиями видео. Сильными сторонами являются сочетание текстовых и визуальных возможностей, поддержка видео, расширенный контекст, работа с документами и возможность локального запуска на разнообразном оборудовании. Ограничения включают зависимость требований к ресурсам и качества от выбранной точности квантования, необходимости использовать актуальную версию совместимого ПО и наличия подходящего оборудования; конкретные языки, точные результаты бенчмарков и детальные ограничения именно версии 8B в README не указаны. Лицензия — Apache-2.0.

Qwen-SEA-LION-v4.5-27B-IT — мультимодальная инструктивная модель AI Singapore для языков Юго-Восточной Азии, дообученная на основе Qwen3.6-27B. Это плотная модель на 27 млрд параметров с гибридной архитектурой Linear и Full Attention и визуальным энкодером; она принимает текст и изображения и генерирует текст. Контекстное окно составляет 262 тыс. токенов. Модель прошла постобучение с дистилляцией и слиянием моделей на наборе SEA-Instruct-2602. Модель предназначена для многоязычного диалога, ответов на вопросы, перевода, суммаризации, рассуждений и работы с изображениями. В карточке заявлена поддержка английского, бирманского, индонезийского, филиппинского, малайского, тамильского, тайского и вьетнамского языков; метаданные также указывают китайский. Доступны интерфейсы чата и вызова инструментов. Модель распространяется по лицензии MIT. Разработчик предупреждает, что модель может галлюцинировать, давать нерелевантные или непоследовательные ответы и не проверялась на устойчивость к состязательным запросам. Она не проходила выравнивание по безопасности, поэтому перед использованием следует самостоятельно оценить риски и при необходимости провести дополнительную настройку.