I.1Поиск и навигация по информации

Qwen3-Next-80B-A3B-Instruct-REAM — сжатая версия диалоговой модели Qwen3-Next-80B-A3B-Instruct, созданная методом REAM, описанным в статье об объединении экспертов для улучшения их прореживания. Разработчик уменьшил число экспертов в слоях MoE с 512 до 384; по README, объём модели сократился с 80 до 60 млрд параметров, а требования к хранению и памяти GPU — примерно на 25%. Метаданные указывают архитектуру MoE семейства Qwen3-Next и 2,3 млрд параметров, что расходится с числом в README. Модель предназначена для диалогов и генерации текста, в том числе для задач с длинным контекстом до 262 144 токенов; метаданные также отмечают интерфейс вызова инструментов. README сообщает о сохранении не менее 95% исходного качества на ряде тестов: опубликованные результаты охватывают следование инструкциям, математику, общие знания и программирование. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Это доработка Qwen/Qwen3-Next-80B-A3B-Instruct методом сжатия экспертов; README также описывает версию v2 с изменённым составом данных сжатия, настройкой групп экспертов и сжатием слоя MTP. Лицензия — Apache-2.0. Число параметров в метаданных противоречит README, а приведённые результаты относятся к конкретным тестам и не гарантируют качество во всех сценариях.

Карточка модели TreezzZ/r2s-alfworld-qwen3-8b-student на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Карточка модели TreezzZ/r2s-scienceworld-qwen3-8b-student на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

CyberNeurova разработала эту мультимодальную разговорную модель на основе Qwen/Qwen3.8-Flash-Next. Она принимает текст и изображения и предназначена для диалога, рассуждений, программирования, ответов на вопросы по изображениям и работы с инструментами. Модель использует разреженную MoE-архитектуру: заявлены 125 млрд параметров всего и около 6 млрд активных на токен; контекст — 262 тыс. токенов с возможностью расширения до 1 млн с помощью YaRN. Поддерживается явный режим рассуждений, а стиль ответа можно задавать системным промптом. Разработчик позиционирует модель как нейтрального помощника с уменьшенным числом встроенных отказов; заявлено, что рассуждения, программирование и общие знания сохранены. Для запуска в README приведена конфигурация vLLM с выделенным образом для этой архитектуры. Модель распространяется по лицензии Apache-2.0. Уменьшение числа отказов означает, что поведение и безопасность ответов сильнее зависят от системного промпта и приложения; заявленные характеристики производительности и качества в предоставленных материалах независимо не подтверждены.

DeepSeek-V3.2-Speciale — крупная языковая модель, разработанная DeepSeek AI. Она представляет собой высокоресурсный вариант DeepSeek-V3.2, дообученный на базе DeepSeek-V3.2-Exp-Base, и ориентирована на сложное рассуждение, решение математических и алгоритмических задач, использование инструментов и работу в агентных сценариях. Модель использует механизм разреженного внимания DeepSeek Sparse Attention (DSA), предназначенный для снижения вычислительной сложности при работе с длинным контекстом. В DeepSeek-V3.2 также применяются масштабируемое обучение с подкреплением и конвейер синтеза данных для агентных задач, включая взаимодействие с инструментами. В README не указаны размер модели, точная архитектура, максимальная длина контекста, поддерживаемые языки и модальности; заявлена текстовая работа с сообщениями и инструментами. К сильным сторонам относятся развитое рассуждение, эффективность на длинном контексте и способность выполнять сложные интерактивные задачи. Для версии Speciale заявлены результаты на уровне или выше GPT-5, а также золотые медали на IMO и IOI 2025, однако эти утверждения приведены в README без подробностей о методике оценки. Ограничения включают отсутствие встроенного Jinja-шаблона чата и необходимость использовать предоставленный Python-код для кодирования сообщений и разбора ответов; функция разбора рассчитана только на корректно оформленный вывод. Модель распространяется по лицензии MIT.

Карточка модели ApocalypseParty/G4-26B-SFT-v2-1 на Hugging Face совпадает с карточкой vmo247/vmo-gemma-4-26b-a4b-ft, поэтому описание составлено по ней. vmo247/vmo-gemma-4-26b-a4b-ft — мультимодальная модель, дообученная на базе Google Gemma 4 26B A4B. Она построена на архитектуре Gemma 4 для генерации текста по текстовым и графическим запросам и поддерживает диалоговый режим и анализ изображений. Вариант 26B A4B относится к MoE-моделям семейства; для Gemma 4 этого размера заявлено контекстное окно до 256K токенов и поддержка более 140 языков на уровне семейства. Модель подходит для ответов на вопросы по изображениям и документам, распознавания текста на изображениях, анализа графиков и интерфейсов, а также для диалогов, рассуждений, написания и исправления кода. В карточке этой производной модели не приведены отдельные результаты оценки качества; возможности видео и аудио, упомянутые для семейства Gemma 4, не подтверждены для данного 26B-варианта. Распространяется по лицензии Apache 2.0.

unsloth/gemma-3-27b-it-unsloth-bnb-4bit — это 4-битная версия instruction-tuned модели Gemma 3 27B, подготовленная Unsloth на базе google/gemma-3-27b-it. Исходная модель разработана Google DeepMind в рамках семейства Gemma, созданного с использованием исследований и технологий Gemini. Модель предназначена для генерации текста и мультимодального понимания изображений: она принимает текст и изображения, а на выходе генерирует текст. Подходит для ответов на вопросы, суммаризации документов, рассуждений, анализа содержимого изображений и диалоговых сценариев. Для размеров 4B, 12B и 27B заявлено контекстное окно до 128K токенов, максимальный объём генерируемого ответа — 8192 токена; изображения нормализуются до 896×896 и кодируются в 256 токенов. Поддерживается более 140 языков, при этом в метаданных данной версии явно указан английский язык. Ключевое преимущество версии — 4-битное квантование, снижающее требования к памяти и упрощающее локальное развёртывание, однако оно может сопровождаться потерей точности по сравнению с полноразмерными вариантами. Модель рассчитана на работу через Transformers и может быть полезна на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Использование регулируется лицензией Gemma и соответствующими Terms of Use.

GPT-5.6 Luna Pro — вариант GPT-5.6 Luna от OpenAI, работающий с режимом рассуждений `pro` для получения более качественных ответов на сложные задачи. По карточке модели это тот же базовый модельный экземпляр, что и GPT-5.6 Luna, с другим режимом обслуживания.

Hunyuan-1.8B-Instruct — компактная инструктивная языковая модель Tencent из семейства Hunyuan. Это плотная авторегрессионная модель на 1,8 млрд параметров для генерации текста и диалогового взаимодействия; она поддерживает вызов инструментов через соответствующий интерфейс. Модель предназначена для ответов на вопросы, следования инструкциям, рассуждений, задач по математике и программированию, а также агентных сценариев. Поддерживаются быстрый и медленный режимы рассуждения и контекст до 256K токенов. В карточке приведены результаты тестирования разных вариантов семейства, но отдельные цифры для модели 1.8B не следует считать гарантией качества в реальных задачах. Модель разработана Tencent и опубликована 30 июля 2025 года. Для запуска описана поддержка Transformers, TensorRT-LLM, vLLM и SGLang. Сведения о лицензии в предоставленных данных отсутствуют.

Qwen2.5-VL-72B-Instruct-AWQ — мультимодальная instruction-tuned модель семейства Qwen, разработанная командой Qwen. Это AWQ-квантизированный вариант Qwen2.5-VL-72B-Instruct с 72 млрд параметров, предназначенный для обработки текста, изображений и видео в задачах vision-language. Модель умеет распознавать и анализировать объекты, текст, графики, диаграммы, иконки и компоновку изображений, извлекать структурированные данные из счетов, форм, таблиц и других документов, локализовать объекты с помощью bounding boxes или точек, а также понимать видео длительностью более часа и указывать релевантные временные отрезки. Она также ориентирована на агентные сценарии, включая управление компьютером и телефоном, и может формировать структурированные JSON-ответы. В архитектуре используются динамическое разрешение изображений, динамическая частота выборки кадров, временные идентификаторы mRoPE и оптимизированный vision encoder на базе ViT с window attention, SwiGLU и RMSNorm. К сильным сторонам относятся широкий спектр визуальных задач, работа с длинными видео, визуальная локализация и извлечение структурированной информации. AWQ-квантизация может снизить требования к памяти и ускорить развертывание по сравнению с полноразмерной версией, однако модель остается крупной и может требовать значительных вычислительных ресурсов. В README не указаны точное максимальное окно контекста, полный перечень поддерживаемых языков и подробные результаты оценки; в метаданных указан английский язык. Лицензия обозначена как qwen; условия приведены в файле лицензии репозитория.

SassyDiffusion/Qwen3.8-27B-heretic-GGUF — GGUF-сборка модели SassyDiffusion/Qwen3.8-27B-heretic, основанной на Qwen3.8-27B и изменённой методом abliteration. Это разговорная причинная языковая модель с визуальным энкодером, рассчитанная на диалог, анализ изображений и видео, программирование, профессиональные и исследовательские задачи, а также многошаговое планирование. Модель содержит 27 млрд параметров; базовая архитектура Qwen3.8 использует 64 слоя и поддерживает контекст 262 144 токена с возможностью расширения до 1 000 000. Метаданные указывают формат GGUF BF16. В карточке базовой модели заявлена поддержка понимания изображений и видео, гибкого управления режимом рассуждений и агентных сценариев. Для этой версии README приводит результат abliteration: 4 отказа из 100 запросов против 99 из 100 у исходной модели в указанной проверке; это означает заметно меньше отказов, но не гарантирует поведение на других запросах. Лицензия — Apache-2.0. Перед использованием следует учитывать, что README описывает параметры abliteration, но не приводит отдельной оценки качества именно этой GGUF-сборки.

Qwen3.8-27B Hi-Fi (fraQtl) — это текстовая GGUF-версия модели Qwen3.8-27B, подготовленная участником сообщества fraQtl на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, включая задачи программирования, математики, общие текстовые сценарии и работу с длинным контекстом. Визуальная башня исходной модели не конвертирована, поэтому мультимодальные возможности в этой сборке отсутствуют. Модель использует квантизацию Q4_K_M с эффективностью около 4,8 бит на параметр и занимает примерно 16,5 ГБ, что ориентирует её на системы класса Snapdragon X-Elite и AI-PC, а не на смартфоны. Заявлен нативный контекст до 262 144 токенов; тестирование извлечения информации подтверждено для последовательностей длиной до 131 072 токенов. По данным README, по сравнению с эталонными сборками того же класса она обеспечивает более близкое к исходным весам поведение на задачах кода и математики, а также сопоставимые результаты на GSM8K и MATH-500. Ограничения включают возможное небольшое ухудшение качества: perplexity на Wikitext-2 выше на 0,7%, а совпадение ответов с исходной моделью в общих задачах ниже на 0,2 процентного пункта. Поддерживаемые языки отдельно не указаны. Модель распространяется по лицензии Apache-2.0.

MKRWW/Qwen3.8-27B-int4-AutoRound — производная квантизованная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для локального запуска и сервинга через vLLM на потребительских GPU, включая обработку текста, изображений и аудио, задачи рассуждения, программирования, математики, вызова инструментов и описания изображений. Архитектура определяется базовой моделью Qwen3.8-27B и представлена в Transformers как Qwen3_5ForConditionalGeneration; заявлена поддержка мультимодальных сценариев и контекста до 262 144 токенов. В модели применена весовая квантизация INT4 методом Intel AutoRound с group_size 128 и форматом auto_round:auto_gptq. Квантизованы 64 блока языкового декодера, тогда как vision- и audio-компоненты, эмбеддинги, lm_head и отдельные малые проекции сохранены в FP16. Размер весов составляет около 17,45–17,5 ГБ, благодаря чему модель запускается на одной видеокарте с 24 ГБ памяти; для полного контекста 262K рекомендуется конфигурация из двух таких карт. Для CPU и небольшого объёма VRAM этот репозиторий не предназначен. Сильные стороны — заметно сниженное потребление памяти, сохранение мультимодальных возможностей и совместимость с vLLM, включая reasoning и tool calling. Модель по умолчанию использует рассуждение, поэтому при малом лимите вывода ответ может быть обрезан; видимое отдельное поле reasoning_content также требует дополнительной настройки. Приведённые в README результаты являются внутренним сравнением, а не формальным независимым бенчмарком. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

RedHatAI/Apertus-8B-Instruct-2509-FP8-dynamic — инструкционная языковая модель, разработанная Red Hat на базе swiss-ai/Apertus-8B-Instruct-2509. Она предназначена для генерации и преобразования текста, диалоговых приложений и других сценариев обработки естественного языка. Модель поддерживает более 1000 языков и рассчитана на работу с длинным контекстом, однако его максимальный размер в README не указан. Входом и выходом служит текст; архитектура обозначена как ApertusForCausalLM. Модель использует динамическое квантование весов и активаций линейных операторов трансформерных блоков в формате FP8. Это примерно вдвое уменьшает число битов на параметр, размер на диске и требования к GPU-памяти по сравнению с исходным представлением FP16, что упрощает развертывание. Модель валидирована с vLLM 0.11.2, Red Hat OpenShift AI 3.2 и Red Hat AI Inference Server 3.2.5; README также указывает поддержку развертывания через vLLM. К сильным сторонам относятся многоязычность, длинный контекст, открытые и полностью соответствующие требованиям источники обучающих данных, а также сниженные требования к ресурсам благодаря FP8-квантизации. Ограничения включают текстовую модальность, потенциальные особенности качества и совместимости, связанные с квантизацией, и отсутствие в предоставленных данных подробных бенчмарков, точного размера контекста и результатов по отдельным языкам. Модель распространяется по лицензии Apache 2.0.

winterthurquants/DeepSeek-V4-Pro-DSpark — это вариант чекпойнта DeepSeek-V4-Pro с подключённым модулем спекулятивного декодирования DSpark; README уточняет, что это не новая модель. Семейство разработано DeepSeek и предназначено для генерации текста, диалога, рассуждений, программирования, планирования и агентных сценариев. Каталог указывает 44,9 млрд параметров, плотную архитектуру DeepseekV4ForCausalLM и формат safetensors FP8; README описывает для семейства гибридное внимание CSA/HCA и контекст до 1 048 576 токенов. Модель поддерживает режимы ответа без рассуждений и с повышенным усилием рассуждения. DSpark предназначен для ускорения вывода посредством спекулятивного декодирования; README приводит пример запуска через vLLM. В карточке не перечислены языки, поэтому языковой охват конкретного чекпойнта не уточняется. Лицензия — MIT. README описывает существенно более крупную MoE-версию DeepSeek-V4-Pro с 1,6 трлн параметров, что расходится с каталоговыми метаданными данного репозитория; характеристики размера и архитектуры в описании приведены по метаданным каталога.

AEON-7/Gemma-4-26B-A4B-it-Uncensored-NVFP4 — инструкцияная мультимодальная модель семейства Gemma 4, разработанная AEON-7 на основе TrevorJS/gemma-4-26B-A4B-it-uncensored. Модель предназначена для диалогов, генерации текста и кода, агентских сценариев, рассуждений, вызова инструментов и обработки изображений вместе с текстом. Заявлена поддержка английского языка. Архитектура — разреженная Mixture-of-Experts: 26 млрд параметров всего и около 4 млрд активных параметров. Веса квантизованы в NVFP4, используется формат safetensors. Для развёртывания предусмотрена интеграция с vLLM и OpenAI-совместимым API; в документации указана конфигурация с контекстом до 262 144 токенов, chunked prefill, prefix caching и speculative decoding через DFlash. Модель ориентирована на GPU-платформы NVIDIA Grace Blackwell, включая DGX Spark/GB10, а также на локальное или периферийное развёртывание. К сильным сторонам относятся сочетание мультимодальности, MoE-архитектуры с небольшим числом активных параметров, поддержки function calling и reasoning, а также оптимизации для высокопроизводительного инференса. Ограничения связаны с зависимостью от совместимого оборудования NVIDIA и специализированной конфигурации vLLM; заявленные параметры производительности относятся к конкретному серверному стеку и не гарантируют аналогичные результаты в других средах. Модель обозначена как uncensored/unfiltered, поэтому встроенные ограничения безопасности могут быть ослаблены. Лицензия указана как Gemma.

Arabic250/gemma-4-E4B-it-GGUF — это 4-битная GGUF-версия instruction-tuned модели Gemma 4 E4B, разработанной Google DeepMind и подготовленной в формате GGUF командой Unsloth. Модель предназначена для локального запуска и дообучения, включая работу на ноутбуках и мобильных устройствах, а также для использования в Unsloth Studio и средах на базе llama.cpp. Модель принимает текст и изображения, поддерживает аудио на нативном уровне и генерирует текст. Вариант E4B имеет около 4,5 млрд эффективных параметров, 42 слоя, контекстное окно до 128K токенов и словарь размером 262K токенов. Архитектура использует гибридное внимание: локальные скользящие окна чередуются с глобальным вниманием. Gemma 4 поддерживает более 140 языков, режимы рассуждения, генерацию текста, программирование, мультимодальное понимание, tool calling и агентские сценарии. К сильным сторонам относятся компактный размер, возможность эффективного локального развертывания, длинный контекст, мультимодальность и поддержка структурированных диалогов с системными инструкциями. Ограничением являются возможные потери точности из-за 4-битной квантизации, а также требования к совместимому программному обеспечению и оборудованию; конкретные показатели производительности для данной сборки в README не приведены. Модель распространяется по лицензии Apache 2.0.

Карточка модели kizzlah/granite-4.2-3b на Hugging Face совпадает с карточкой ibm-granite/granite-4.2-3b, поэтому описание составлено по ней. Granite-4.2-3B — компактная языковая модель IBM Granite Team на базе плотного декодирующего трансформера GraniteForCausalLM с 3,4 млрд параметров. Она дообучена на Granite-4.1-3B-Base и рассчитана на диалог, рассуждения и следование инструкциям; доступны режимы полного, облегчённого и отключённого рассуждения. Модель предназначена для решения математических и логических задач, программирования, многошагового анализа и вызова инструментов в агентных сценариях. Она поддерживает контекст до 131 072 токенов по метаданным; в README заявлено окно 512 тысяч токенов. Поддерживаемые языки включают английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский; качество может быть ниже английского. Модель использует архитектуру decoder-only dense Transformer, формат весов safetensors и библиотеку Transformers. Она выпущена по лицензии Apache 2.0, допускающей коммерческое и академическое использование. Ответы могут быть неточными, предвзятыми или небезопасными; промежуточные рассуждения не всегда отражают итоговый ответ.

Карточка модели RedHatAI/granite-4.2-3b на Hugging Face совпадает с карточкой ibm-granite/granite-4.2-3b, поэтому описание составлено по ней. Granite-4.2-3B — компактная языковая модель IBM Granite Team на базе плотного декодирующего трансформера GraniteForCausalLM с 3,4 млрд параметров. Она дообучена на Granite-4.1-3B-Base и рассчитана на диалог, рассуждения и следование инструкциям; доступны режимы полного, облегчённого и отключённого рассуждения. Модель предназначена для решения математических и логических задач, программирования, многошагового анализа и вызова инструментов в агентных сценариях. Она поддерживает контекст до 131 072 токенов по метаданным; в README заявлено окно 512 тысяч токенов. Поддерживаемые языки включают английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский; качество может быть ниже английского. Модель использует архитектуру decoder-only dense Transformer, формат весов safetensors и библиотеку Transformers. Она выпущена по лицензии Apache 2.0, допускающей коммерческое и академическое использование. Ответы могут быть неточными, предвзятыми или небезопасными; промежуточные рассуждения не всегда отражают итоговый ответ.

Dingdust/granite-4.2-8b-heretic — дообученная и модифицированная версия модели семейства Granite от IBM. Это плотный decoder-only Transformer GraniteForCausalLM с 8,4 млрд параметров, рассчитанный на генерацию текста, диалог, рассуждения и вызов инструментов. Веса опубликованы в формате safetensors; лицензия Apache 2.0 разрешает коммерческое и академическое использование. Модель предназначена для ответов на сложные вопросы, решения многошаговых задач, математики, программирования и агентных сценариев с инструментами. Карточка описывает режимы рассуждения с разной глубиной и контекст до 512 тыс. токенов, однако метаданные указывают нативный контекст 131 072 токена. README также сообщает об abliteration: в приведённом сравнении доля отказов снизилась с 96 до 3 из 100 запросов; поэтому модель менее склонна отказывать, но может отвечать на небезопасные запросы. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; качество может быть ниже английского. Возможны неточные, предвзятые или небезопасные ответы. Текст рассуждений может содержать промежуточные выводы и не отражать итоговый ответ.

Hy3 — разговорная модель с открытыми весами, разработанная командой Tencent Hy. Это MoE-модель для генерации текста; карточка Hugging Face описывает вариант репозитория как модель на 16,6 млрд параметров, а README — семейство Hy3 как модель на 295 млрд параметров с 21 млрд активных параметров и 3,8 млрд параметров MTP-слоя. Модель предназначена для рассуждений, работы с длинным контекстом, вызова инструментов и задач продуктивности, включая программирование, офисную работу, финансовое моделирование, фронтенд-разработку и создание игр. В метаданных указан контекст 262 144 токена, поддержка чата и формат Safetensors. Разработчик сообщает об улучшениях надёжности вызова инструментов, следования форматам, удержания контекста и снижения галлюцинаций по внутренним оценкам. README рекомендует серверный запуск через vLLM или SGLang и отмечает значительные требования к памяти: для полного варианта предлагается конфигурация из восьми GPU H20-3e или устройств с сопоставимой памятью. Лицензия — Apache-2.0. Языки в источниках не установлены.

winglian опубликовал текстовую генеративную модель на архитектуре Meta Llama 3 с 7,5 млрд параметров. Модель использует плотный авторегрессионный Transformer с Grouped-Query Attention и распространяется в формате safetensors. Метаданные указывают на контекст до 131 072 токенов; название репозитория также содержит «64k» и «PoSE».

NVIDIA Nemotron 3.5 Lightning 30B-A3B — APEX GGUF — это набор измеренно распределённых и оптимизированных GGUF-квантизаций базовой модели NVIDIA Nemotron 3.5 Lightning 30B-A3B от NVIDIA. Рецепт APEX и инструментарий предоставлены LocalAI, а движок квантизации — llama.cpp. Модель предназначена для генерации текста, диалоговых приложений и сценариев с инструментами, включая последовательный tool-calling, при запуске через llama.cpp. Архитектура Nemotron-H гибридная: 52 слоя сочетают Mamba2 SSM и MoE, причём полное attention используется только в 6 слоях. MoE включает 128 маршрутизируемых экспертов и общий эксперт; активно используется около 3B параметров из примерно 31,6B. Контекст поддерживается до 128k токенов, а благодаря архитектуре KV-кэш занимает около 6 KiB на токен, или примерно 0,75 GiB при контексте 128k. В комплект включена MTP-голова для speculative decoding. Доступны варианты mini на 3,56 bpw и 13,66 GiB, compact на 4,42 bpw и 16,91 GiB, а также i-quality на 5,62 bpw и 21,53 GiB; compact и i-quality на момент описания ещё загружались. Сильные стороны модели — большой контекст при сравнительно небольших требованиях к памяти, специализированная importance matrix-квантизация, измеренное распределение битов по тензорам и сохранённая поддержка speculative decoding. Вариант mini рассчитан на видеокарту с 16 ГБ памяти и полный контекст 128k. Ограничения включают необходимость достаточно новой версии llama.cpp, явной настройки размера контекста и учёт того, что модель генерирует подробные рассуждения, увеличивая расход выходных токенов. Лицензия указана как openmdw-1.1.

Qwen1.5-4B-Chat — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это бета-версия Qwen2 на архитектуре Transformer с декодером для авторегрессионной генерации текста; в репозитории указано около 3,6 млрд параметров. Модель предназначена для диалогов и генерации текста по запросу. Модель поддерживает несколько естественных языков, а её контекстное окно составляет 32 768 токенов. Карточка описывает улучшенную для разных языков и программного кода токенизацию и отмечает улучшение предпочтений пользователей в чат-сценариях относительно предыдущей версии Qwen. Для запуска рекомендуется Transformers версии 4.37.0 или новее. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить с лицензией репозитория. В карточке также отмечено, что при переключении между языками и некоторых других проблемах генерации могут помочь параметры из generation_config.json.

Qwen3-30B-A3B-Thinking-2507-FP8 — текстовая авторегрессионная модель семейства Qwen3, разработанная командой Qwen и адаптированная для запуска на аппаратной платформе FuriosaAI RNGD с помощью Furiosa-LLM. Это thinking-вариант, работающий только в режиме рассуждений: перед итоговым ответом модель формирует цепочку рассуждений, которую совместимый сервер может возвращать отдельно. Модель предназначена для генерации текста, следования инструкциям, решения задач, многоязычного общения и вызова инструментов. Архитектура — Mixture-of-Experts (MoE) на базе Qwen3: около 30,5 млрд общих параметров, из которых примерно 3,3 млрд активируются для каждого токена. Поддерживаются ввод и вывод в текстовом формате, вызов функций через parser Hermes и OpenAI-совместимый API Furiosa-LLM. Веса статически квантованы в FP8, активации используют динамическую FP8-квантизацию, а KV-кэш хранится в 16-битной точности. Ключевое преимущество модели — сочетание возможностей рассуждения, следования инструкциям, многоязычности и использования инструментов при сниженной вычислительной нагрузке на токен благодаря MoE-архитектуре и FP8-квантизации. Ограничения включают работу только в режиме рассуждений, необходимость совместимого стека Furiosa-LLM и аппаратуры FuriosaAI RNGD для описанной конфигурации, а также отсутствие в README сведений о поддерживаемых языках и размере контекста. Для запуска на RNGD требуется тензорный параллелизм на 32 PE, соответствующий четырём картам RNGD. Модель распространяется по лицензии Apache 2.0.

HauhauCS/Qwen3.5-122B-A10B-Uncensored-HauhauCS-Aggressive — мультимодальная версия модели Qwen3.5-122B-A10B, разработанная HauhauCS на базе исходной модели Qwen. Это вариант в формате GGUF с усиленным снятием ограничений на отказы; по заявлению автора, изменения наборов данных и базовых возможностей не вносились. Модель предназначена для генерации и понимания текста, программирования, рассуждений, а также работы с изображениями и видео. Поддерживаются текстовая, графическая и видео-модальности, 201 язык и контекст до 262 тысяч токенов. Модель использует гибридную архитектуру MoE с 122 млрд общих параметров и примерно 10 млрд активных параметров на один проход. В ней 256 экспертов, из которых для каждого токена выбираются 8 маршрутизируемых и 1 общий; архитектура включает Gated DeltaNet linear attention и полноформатное softmax-внимание в соотношении 3:1, всего 48 слоёв. Доступны квантизации от IQ2_M до Q8_K_P размером примерно от 40 до 145 ГБ; специальные квантизации K_P оптимизированы для сохранения качества. Модель совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-совместимыми средами, а для поддержки изображений требуется отдельный файл mmproj. Сильными сторонами являются большой контекст, мультимодальность, высокая ёмкость MoE при меньшем числе активных параметров и широкий выбор квантизаций. Агрессивный вариант практически не использует отказы и защитные оговорки, поэтому может быть удобен для сценариев, где требуется минимальная модерация, но одновременно повышает риск небезопасных или нежелательных ответов. Для запуска необходимы значительные объёмы оперативной или видеопамяти, особенно для высококачественных квантизаций. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3.5-9B-OptiQ-4bit — это квантизированная MLX-версия языковой модели Qwen/Qwen3.5-9B, разработанная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локального запуска на устройствах с Apple Silicon без PyTorch и облачных сервисов, а также для генерации текста, рассуждений, программирования, следования инструкциям, работы с инструментами и агентских сценариев. Модель использует смешанную точность: большинство слоёв представлены в 4-битном формате, а чувствительные к квантизации слои — в 8-битном. Всего квантизировано 248 слоёв: 132 в 8-битном и 116 в 4-битном формате; размер группы — 64. Калибровка выполнена на данных из шести доменов: проза, рассуждения, код, агенты, вызовы инструментов и инструкции с ограничениями. Размер модели на диске составляет около 6,6 ГБ. В комплект входит MTP-голова для спекулятивного декодирования, обеспечивающая примерно 1,4-кратное ускорение генерации при использовании mlx-optiq. По приведённым тестам, смешанная квантизация немного превосходит стандартную равномерную 4-битную версию по совокупному Capability Score, а наиболее заметное преимущество показано в HumanEval. При этом она уступает равномерной квантизации в BFCL и тесте длинноконтекстного извлечения HashHop, а размер файла примерно на 1,1 ГБ больше. README не указывает архитектурные детали, длину контекста или языковой охват базовой модели. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

GestaltLabs/Qwen3.6-35B-A3B-NSC-ACE-SABER-GGUF — набор квантованных сборок модели GestaltLabs/Qwen3.6-35B-A3B-NSC-ACE-SABER в формате GGUF для запуска через llama.cpp и совместимые среды. Модель основана на Qwen/Qwen3.6-35B-A3B и имеет конфигурацию на 35B параметров с обозначением A3B; точные архитектурные детали в карточке не раскрыты. Указан английский язык. Репозиторий также содержит компоненты для мультимодальной работы с изображениями и видео, включая visual tower sidecar, поэтому модель предназначена для текстовой генерации и сценариев image-text-to-text при наличии поддержки со стороны используемого runtime. Основные сценарии применения — диалоговые приложения, локальный inference, агентные системы и вызов инструментов. NSC-ACE ориентирован на более стабильный выбор функций, заполнение аргументов и снижение повторяющихся циклов вызова инструментов, а SABER использован как этап калибровки. На исходной safetensors-модели показатель tool-call rate в проверке BFCL составил 95%, точность имён функций — 95%, точность значений обязательных аргументов — 83,54%, а exact required-call accuracy — 77,50%; эти результаты не гарантируются для каждой квантованной версии. В примерах запуска используется контекст 32768 токенов, но максимальный размер контекста явно не указан. Доступны варианты от F16 и Q8_0 до Q2_K. F16, Q8_0, Q6_K и Q5_K_M лучше сохраняют качество, тогда как Q4_K_M предназначен для более ограниченных систем, а Q3 и Q2 требуют компромиссов по качеству, форматированию, точности аргументов и калибровке отказов. Метрики HarmBench-300 и KLD приведены для исходной модели до квантования, поэтому квантованные файлы следует проверять отдельно. Лицензия — Apache-2.0.

Qwen3.8-27B-GGUF — это мультимодальная модель для работы с текстом и изображениями, основанная на Qwen/Qwen3.8-27B. Репозиторий подготовлен Feiteng при спонсорской поддержке Draw Things. Модель распространяется в формате GGUF и предназначена прежде всего для локального запуска через llama.cpp, а также совместима с экосистемой Transformers. Заявленные языки включают английский, китайский, испанский, русский и японский. Основная особенность репозитория — квантизированные варианты языковой модели с эффективностью ниже 4 бит на вес: DT-bpw2.96-IQ3_XXS размером 9,71 GiB и DT-bpw2.48-IQ2_S размером 8,20 GiB. Доступны мультимодальные сценарии благодаря отдельным квантизированным vision encoder-файлам; для Q4_K его размер составляет 314,46 MiB, а сходство выходов с исходной FP32-моделью — 0,99537 по косинусной метрике. Модель поддерживает генерацию текста, рассуждения, программирование, использование инструментов и function calling. Для DT-bpw2.96-IQ3_XXS также заявлена поддержка MTP и предварительная доля принятия черновых токенов около 60% при максимальной длине черновика 3. По приведённым оценкам обе DT-версии набрали 100% на AIME 2026; DT-bpw2.96-IQ3_XXS показала 86,36% на GPQA Diamond, 93,90% на IFEval и 68,06% на BFCL v4, а DT-bpw2.48-IQ2_S — 77,27%, 93,16% и 69,56% соответственно. Квантизация существенно уменьшает требования к хранению, но может снижать точность по сравнению с BF16-версией, особенно на более агрессивных уровнях. Для vision encoder доступны варианты BF16, FP16, Q8_0, Q6_K, Q5_K и Q4_K; их показатели зависят от формата. Лицензия модели — Apache-2.0.

btbtyler09/Qwen3.8-27B-GPTQ-8bit — квантизированная 8-битная версия мультимодальной модели Qwen/Qwen3.8-27B. Модель разработана на базе семейства Qwen и распространяется пользователем btbtyler09. Она предназначена для обработки текста и изображений, генерации ответов, анализа изображений, программирования и других задач общего назначения, а также поддерживает speculative decoding через модуль MTP. Модель имеет плотную архитектуру примерно на 27 млрд параметров без MoE, 64 слоя, включая 48 слоёв линейного внимания и 16 слоёв полного внимания, скрытый размер 5120 и контекст до 262 144 токенов. Полный vision encoder на базе ViT и MTP-модуль сохранены в формате BF16, а основные квантизируемые линейные слои текстового декодера переведены в INT8 с использованием GPTQ. Размер модели составляет около 31 ГБ против примерно 56 ГБ у исходной BF16-версии. Поддерживаются текстовая и визуальная модальности; конкретный набор языков в README не указан. Ключевое преимущество — существенно меньшее потребление дискового пространства и видеопамяти при заявленной практически неизменной perplexity относительно BF16-оригинала. Модель рассчитана на развёртывание через vLLM и загрузку с помощью GPTQModel или transformers. Ограничения включают высокие требования к ресурсам, необходимость совместимого программного окружения и возможную проблему конфигурации в некоторых версиях vLLM, для которой в README приведён обходной патч. Модель распространяется по лицензии Apache-2.0.