I.14Автоматизация процессов и AI-агенты

JiRack Ultra 1B — компактная языковая модель от CMSManhattan для генерации текста и диалогов. Она построена на архитектуре Qwen2, содержит около 1,5 млрд параметров и оптимизирована для инференса на CPU. В карточке заявлены переработанная архитектура с поддержкой тернарных BitNet-признаков, обновлённый токенизатор с тегами маршрутизации, вызова инструментов и робототехники, а также контекст до 131 072 токенов. Доступны веса Safetensors и варианты GGUF с разными уровнями квантования. Модель предназначена для локального запуска на малоресурсном оборудовании, диалоговых сценариев, использования как экспертной модели в RAG-системах и интеграции с агентами и инструментами. Карточка также описывает применение в задачах программирования и робототехники, однако метаданные подтверждают только задачу генерации текста, а заявленные возможности токенизатора не доказывают качество этих специализированных сценариев. В метаданных перечислены 14 языков: английский, китайский, японский, корейский, французский, испанский, португальский, немецкий, итальянский, русский, арабский, вьетнамский и тайский. Веса опубликованы по лицензии MIT, разрешающей коммерческое использование и распространение. При этом Docker-образ, готовые Ollama-сборки и клиенты интерфейса, согласно карточке, распространяются на отдельных коммерческих условиях.

K2-Horizon-32B MLX 4-bit — 4-битная квантованная версия плотной авторегрессионной языковой модели IFM/K2-Horizon-32B, разработанной Institute of Foundation Models. Репозиторий преобразует исходную модель в формат MLX для запуска на компьютерах Apple Silicon; заявленный размер после квантования — около 18 ГБ. Модель содержит около 31,2 млрд параметров и поддерживает контекст до 524 288 токенов. Модель предназначена для генерации текста и диалогов с длинным контекстом, рассуждений, программирования и агентных задач. README описывает её как reasoning-модель и приводит результаты на tau3 Banking Agentic, Terminal-Bench 2.1 и SciCode. Для запуска указана библиотека mlx-lm; для поддержки специфичных форматов размышлений и вызовов инструментов README требует oMLX версии 0.6.4 или новее с патчем K2-Horizon. Это квантованная производная исходной модели, а не отдельное дообучение: README называет её равномерной 4-битной квантовкой IFM/K2-Horizon-32B, хотя метаданные помечают связь как finetune. В карточке указано, что опубликован Stage 1 checkpoint и ожидается финальная версия с улучшенными результатами, поэтому приведённые показатели следует считать предварительными. Лицензия — Apache-2.0.

NVIDIA Kimi-K2-Thinking-Eagle3 — текстовая авторегрессионная модель NVIDIA, представляющая собой Eagle3 speculative decoding head для Moonshot AI Kimi-K2-Thinking. Она основана на трансформерной архитектуре DeepSeek V3 и обучена с NVIDIA Model Optimizer. Веса модели занимают 1,8 млрд параметров; метаданные указывают контекст до 262 144 токенов, тогда как README приводит длину 4096 токенов. Эти значения расходятся, поэтому фактическую длину контекста следует сверить с выбранной конфигурацией запуска. Модель предназначена для разработчиков чат-ботов, AI-агентов, RAG-систем и других приложений, а также для выполнения инструкций, генерации кода и рассуждений. Она принимает текст и генерирует текст; для ускоренного инференса NVIDIA указывает TensorRT-LLM и совместимость с GPU Blackwell. Лицензия обозначена как other; README требует соблюдать NVIDIA Open Model License и упоминает Modified MIT License Kimi-K2-Thinking. Перед использованием следует проверить условия обеих лицензий и протестировать модель на целевых данных.

Карточка модели macintushar/Kimi-K3 на Hugging Face совпадает с карточкой moonshotai/Kimi-K3, поэтому описание составлено по ней. Kimi K3 — модель с открытыми весами от Moonshot AI для диалогов, рассуждений и агентных задач. В README указаны 2,8 трлн параметров, архитектура Kimi Delta Attention (KDA) и Attention Residuals (AttnRes), а также разреженная смесь экспертов Stable LatentMoE: активируются 16 из 896 экспертов. Метаданные Hugging Face определяют архитектуру как плотную; поэтому тип архитектуры в доступных источниках описан неоднозначно. Модель принимает текст, изображения и видео и рассчитана на контекст до 1 млн токенов. Среди сценариев применения — длительные сессии программирования и работы с большими репозиториями, исследовательская работа с материалами и мультимодальные задачи. В README заявлена поддержка инструментов для агентных сценариев; метаданные подтверждают возможность диалогового взаимодействия. Веса опубликованы по лицензии Kimi K3 License, обозначенной в метаданных как other. README не приводит текст лицензии, поэтому конкретные условия распространения и коммерческого использования по имеющимся данным уточнить нельзя. Заявления о возможностях и эффективности приведены разработчиком; независимые результаты оценки здесь не доступны.

Ling-3.0-flash-heretic — производная модель на основе inclusionAI/Ling-3.0-flash, в которой применена abлитерация для снижения частоты отказов. В README приведено сравнение: 0 отказов из 100 запросов у этой версии против 87 из 100 у исходной модели; KL-дивергенция относительно оригинала составляет 0,0526. Модель предназначена для диалоговой генерации текста, рассуждений, работы с длинным контекстом и задач программирования и агентных сценариев. В метаданных указаны архитектура Bailing hybrid MoE и 3,5 млрд параметров; README описывает исходную Ling-3.0-flash как гибридную модель с MoE, 124 млрд общих и 5,1 млрд активных параметров. Заявленное окно контекста — 262 144 токена. Репозиторий содержит веса safetensors, интерфейс чата отмечен в метаданных. Лицензия — MIT. Указанное снижение отказов не гарантирует отсутствие отказов во всех ситуациях и может уменьшать встроенные ограничения исходной модели.

Ling-3.0-tiny — компактная гибридная языковая модель семейства Ling, разработанная inclusionAI. Она предназначена для диалогов, многошаговых рассуждений и агентных сценариев с умеренными затратами на инференс, включая локальное развертывание на ограниченных ресурсах. Модель принимает текст и генерирует текст; заявлены задачи программирования, математики, научных рассуждений, понимания длинного контекста и следования инструкциям. В README указаны архитектура MoE с чередованием слоёв KDA и MLA, 128 маршрутизируемых экспертов, 7,9 млрд параметров всего и 1,3 млрд активируемых на токен. Метаданные Hugging Face указывают 977,5 млн параметров и контекст 131072 токена, что расходится с README по числу параметров; число параметров здесь поэтому не следует считать однозначно установленным. Для режимов рассуждения можно включать или выключать thinking mode. Доступны веса BF16, FP8 и INT4; заявлена проверка на NVIDIA DGX Spark и компьютерах Apple Silicon. Модель подходит для локального ассистента, программирования, решения математических задач и агентных рабочих процессов. README приводит результаты внутренних оценок и скорости для конкретных конфигураций оборудования, которые не гарантируют такую же производительность в других условиях. Лицензия — MIT.

NVIDIA Llama 3.1 70B Instruct FP8 — квантованная до FP8 версия диалоговой языковой модели Meta Llama 3.1 70B Instruct. В README указано, что модель разработана не NVIDIA: веса и активации линейных операторов в блоках трансформера преобразованы в FP8 с помощью TensorRT Model Optimizer. Архитектура — авторегрессионный трансформер Llama 3.1 с 69,5 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и интерфейс для вызова инструментов. Модель предназначена для диалоговых ассистентов и генерации текста. FP8-квантование примерно вдвое сокращает требования к дисковому пространству и памяти GPU; в описанном тесте на H100 заявлено ускорение примерно в 1,5 раза. Для инференса указаны TensorRT-LLM и vLLM, совместимое оборудование включает NVIDIA Blackwell, Hopper и Lovelace. Лицензия — Llama 3.1; README сообщает о возможности коммерческого и некоммерческого использования. Следует учитывать условия лицензии Meta и ограничения исходной модели. Модель текстовая, поэтому она не принимает изображения, аудио или видео.

unsloth/Llama-3.2-1B — текстовая модель генерации на базе Meta Llama 3.2, представленная Unsloth. Это плотная авторегрессионная трансформерная архитектура Llama с 1,2 млрд параметров; репозиторий содержит веса в формате safetensors и предназначен для использования через Transformers. В README Unsloth также предлагает ноутбуки для дообучения модели и экспорта полученных моделей. Модель принимает текст и генерирует текст. Семейство Llama 3.2 предназначено для генерации и диалога; в карточке указаны сценарии суммаризации и агентного поиска, а также поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Контекстное окно составляет 131072 токена. Модель опубликована 25 сентября 2024 года и распространяется по лицензии Llama 3.2 Community License, условия которой следует соблюдать при использовании и распространении.

Nanonets-OCR-s-GGUF — GGUF-версия модели Nanonets-OCR-s, разработанной Nanonets и подготовленной Unsloth. Это мультимодальная модель класса image-to-text, предназначенная для распознавания содержимого документов и преобразования изображений страниц в структурированный Markdown, пригодный для последующей обработки большими языковыми моделями. Модель поддерживает распознавание текста, математических формул с преобразованием в LaTeX, сложных таблиц с выводом в Markdown и HTML, описаний изображений через теги <img>, а также обнаружение подписей, водяных знаков, номеров страниц и элементов форм. Флажки и радиокнопки преобразуются в стандартизированные Unicode-символы. В метаданных указана поддержка английского языка и библиотек Transformers; конкретные размер, архитектура, размер контекста и перечень дополнительных языков не указаны. Сильные стороны модели — извлечение не только текста, но и структуры и семантических элементов сложных документов, включая таблицы, формулы, изображения и подписи. Она подходит для OCR документов, конвертации страниц в Markdown и подготовки данных для LLM-пайплайнов. Ограничения README не описывает; также в предоставленных данных отсутствует информация о лицензии и точных требованиях к аппаратному обеспечению.

Nexa-AI-4x4B-Instruct — мультиязычная инструктивная языковая модель, совместно разработанная Neura Tech AI и Lumina AI на архитектурной основе Qwen3. Это модель семейства Qwen3 с разреженной архитектурой Mixture of Experts; в README описаны четыре эксперта примерно по 4 млрд параметров и около 4 млрд активных параметров на токен, тогда как метаданные указывают 3,7 млрд параметров в репозитории. Контекст составляет до 262 144 токенов. Модель предназначена для диалогов и следования инструкциям, рассуждений, математики, помощи в программировании, работы с длинными документами и вызова инструментов во внешних агентных сценариях. В карточке заявлена поддержка английского, хинди, китайского, урду и других языков; метаданные также содержат теги санскрита, каннада и маратхи. Доступна под лицензией Apache-2.0. Заявления о производительности приведены в README; независимые результаты здесь не подтверждены.

North Mini Code 1.0 — открытая по весам исследовательская модель, разработанная Cohere и Cohere Labs. Она предназначена для генерации кода, агентной разработки программного обеспечения и выполнения задач через терминал, включая работу с инструментами и решение сложных задач программирования. Модель принимает только текст и генерирует текст. Это decoder-only Transformer со sparse Mixture-of-Experts: всего 30 млрд параметров, из которых 3 млрд активируются для каждого токена. Архитектура использует 128 экспертов, 8 из них выбираются на токен, активацию SwiGLU, а также чередование sliding-window attention с RoPE и глобального attention без позиционных embedding в соотношении 3:1. Перед sparse-слоями используется один dense-слой. Модель дообучалась в два этапа с помощью supervised fine-tuning и reinforcement learning with verifiable rewards, ориентированных на агентное программирование. Контекст составляет до 256K токенов, максимальная длина вывода — до 64K токенов. Сильные стороны модели — специализация на коде, агентных сценариях разработки и терминальных задачах, большой контекст и сравнительно небольшое число активных параметров на токен. Ограничения включают текстовую модальность и исследовательский статус; README не приводит конкретные результаты бенчмарков и не описывает поддерживаемые естественные языки. FP8-чекпойнт предназначен для запуска с vLLM и несовместим с Transformers из-за используемого алгоритма квантования; для Transformers рекомендуется BF16-версия. Модель распространяется по лицензии Apache 2.0.

NuExtract-2.0-2B-GGUF — мультимодальная и многоязычная модель компании NuMind, предназначенная для извлечения структурированной информации из текста и изображений. Модель принимает входные данные вместе с JSON-шаблоном, в котором задаются требуемые поля и их типы, и возвращает заполненный JSON-объект. Модель имеет размер 2B параметров и основана на Qwen2-VL-2B-Instruct. Версия GGUF предназначена для запуска с совместимыми inference-инструментами, включая llama.cpp. Поддерживаются строки с дословным извлечением или перефразированием, целые и дробные числа, даты и время в формате ISO, массивы, перечисления и многозначные категориальные поля. Если значение не найдено, модель возвращает null или пустой массив. Она подходит для обработки документов, форм, заявок и других текстовых или визуальных источников, где требуется привести данные к заданной схеме. К сильным сторонам относятся специализация на структурированном извлечении, поддержка текста и изображений, небольшой размер и возможность коммерческого использования. Для надёжной работы рекомендуется температура, близкая к 0; качество зависит от корректности JSON-шаблона и входных данных. В README не указаны конкретные поддерживаемые языки, максимальный контекст и результаты бенчмарков в числовом виде. Модель распространяется по лицензии MIT.

Orca-2-4B-hight — текстовая модель генерации на архитектуре Qwen3ForCausalLM, опубликованная roskosmos19. Это производная от Qwen3-4B модель с фокусом на программирование и агентные сценарии: она может вести диалог, рассуждать и формировать вызовы инструментов. По описанию автора, переход к генерации за один проход вместо обязательной трёхэтапной схемы сокращает задержку и стоимость работы; длинный ответ генерируется по необходимости. Модель содержит 3,7 млрд параметров и поддерживает контекст до 32 768 токенов. Для развёртывания указана библиотека Transformers; файлы репозитория представлены в формате safetensors. Автор рекомендует квантованные варианты Q4_K_M или AWQ для ускорения, но они не заявлены как формат файлов этой модели. Модель предназначена для генерации и анализа кода, решения задач с использованием инструментов и диалоговой помощи при разработке. В README нет сведений о поддерживаемых естественных языках. Лицензия — Apache 2.0.

Qwen2.5-VL-72B-Instruct-GGUF — мультимодальная instruct-модель семейства Qwen2.5-VL, разработанная Qwen и представленная в формате GGUF. Квантизация выполнена bartowski на основе llama.cpp версии b5317. Модель предназначена для работы с текстом и изображениями. Модель подходит для анализа изображений, распознавания объектов, чтения и интерпретации текста, таблиц, графиков, значков, схем и элементов макета. Она также рассчитана на сценарии визуального агента с рассуждением и динамическим управлением инструментами, включая взаимодействие с компьютером и телефоном. Поддерживает структурированный вывод и формирование стабильного JSON, а также многоязычную работу. Заявленная длина контекста составляет 128 тысяч токенов. README не уточняет точную архитектуру, перечень поддерживаемых языков и параметры конкретного файла квантизации, поэтому производительность и требования к ресурсам зависят от выбранного варианта GGUF. Как и другие генеративные модели, модель может выдавать неточные, вредоносные или неподходящие результаты. Лицензия указана как qwen и other; подробные условия приведены в лицензии исходной модели Qwen2.5-VL-72B-Instruct.

Qwen3-30B-A3B-Thinking-2507-FP8 — языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-версия причинной языковой модели с обучением на этапах pretraining и post-training, предназначенная для генерации текста и решения сложных задач, требующих рассуждений. Модель ориентирована на логическое и математическое рассуждение, научные и академические задачи, программирование, следование инструкциям, использование инструментов и работу с длинным контекстом. Она поддерживает только thinking mode, поэтому рассчитана прежде всего на сложные запросы с увеличенной длиной рассуждений. README не указывает точный список поддерживаемых языков и не заявляет о мультимодальных возможностях, поэтому модель следует считать текстовой. Архитектура — Mixture-of-Experts с 30,5 млрд параметров всего и 3,3 млрд активируемых параметров; модель содержит 48 слоёв, 128 экспертов, из которых активируются 8, и использует Grouped-Query Attention с 32 головами Q и 4 головами KV. Нативная длина контекста составляет 262 144 токена. К сильным сторонам относятся улучшенные результаты в рассуждениях, математике, кодировании, агентных сценариях и обработке длинного контекста. Ограничения включают режим работы только с рассуждениями, высокие требования к вычислительным ресурсам и необходимость актуальной версии Transformers; конкретные аппаратные требования в README не приведены. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3.5-27B-MTP-GGUF — GGUF-версия модели Qwen3.5-27B, подготовленная Unsloth на основе Qwen/Qwen3.5. Это мультимодальная causal language model с vision encoder, предназначенная для диалога, анализа изображений, рассуждений, программирования, агентских сценариев и вызова инструментов. Вариант поддерживает MTP speculative decoding для ускорения генерации примерно в 1,5–2 раза при использовании совместимой версии llama.cpp. Модель содержит 27B параметров, 64 слоя и скрытое измерение 4096. Архитектура сочетает Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; заявлена ранняя интеграция мультимодальных токенов. Поддерживается 201 язык и диалект, а входные данные могут включать текст и изображения. В README не указана длина контекста. GGUF-варианты используют imatrix-данные, оптимизированные для диалога, программирования, длинного контекста и tool calling. Сильные стороны модели — мультимодальность, широкое языковое покрытие, поддержка рассуждений и инструментов, а также ускоренная генерация с MTP. Ограничения связаны с требованиями к совместимому llama.cpp и специальным режимам запуска: для MTP пока не поддерживаются параллельные последовательности с -np > 1 и параметр --mmproj. Модель распространяется по лицензии Apache-2.0.

FreedomAISVR/Qwen3.5-9B-MTP-MXFP4-GGUF — мультимодальная модель семейства Qwen, представленная в формате GGUF с квантизацией MXFP4. Репозиторий содержит веса модели размером 5,18 ГБ и мультимодальный проектор SigLIP в формате F16 размером 875 МБ. Указаны 32 трансформерных блока, гибридная архитектура с attention, FFN и SSM, дополнительная голова Multi-Token Prediction и контекст до 262 144 токенов. Модель предназначена для генерации текста на нескольких языках, понимания изображений и видео, рассуждений и вызова инструментов. Вариант из карточки включает режим рассуждений по умолчанию; его можно отключить параметром генерации. В метаданных базовой моделью указана Qwen/Qwen3.5-9B; лицензия — Apache-2.0. Квантизация уменьшает требования к хранению и вычислениям, но может влиять на точность относительно исходных весов.

Карточка модели ArliAI/Qwen3.5-9B-RpRMax-v1 на Hugging Face совпадает с карточкой Qwen/Qwen3.5-9B, поэтому описание составлено по ней. Qwen3.5-9B — мультимодальная модель Qwen, разработанная командой Qwen и представленная в формате Hugging Face Transformers. Это дообученная версия Qwen/Qwen3.5-9B-Base: причинная языковая модель с визуальным энкодером, 9 млрд параметров и гибридной архитектурой с Gated Delta Networks и разреженными Mixture-of-Experts. Модель принимает текст и изображения и генерирует текст; поддерживает чат и вызов инструментов. Модель предназначена для диалога, рассуждений, программирования, визуального понимания и агентных сценариев с использованием инструментов. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000; в режиме по умолчанию перед ответом генерируется содержимое рассуждений. В карточке заявлена поддержка 201 языка и диалекта, но список языков в предоставленных данных опущен. В README заявлены высокая эффективность гибридной архитектуры и улучшенные результаты на задачах рассуждения, кода и визуального понимания; независимых оценок в предоставленном тексте недостаточно для проверки этих утверждений. Для длинного контекста могут потребоваться значительные ресурсы, а совместимость и пропускная способность зависят от версии и конфигурации сервера. Лицензия — Apache-2.0.

pragmaticcs/Qwen-35B-A3B-SignOfFour-Coder-GGUF — слитая MoE-модель семейства Qwen для программной инженерии, генерации кода и агентного выполнения инструментов. Она объединяет базовую модель Jackrong/Qwopus3.6-35B-A3B-Coder и три специализированные модели с помощью DARE-TIES и масштабирования изменений по слоям. Архитектура содержит 35 млрд параметров, из которых активно около 3 млрд на токен, и 40 декодерных слоёв. Модель принимает текст и генерирует текст, в том числе код и ответы в диалоговом формате; карточка указывает поддержку английского и китайского языков. Веса представлены в GGUF, включая варианты BF16, Q4_K_M, Q5_K_M, Q6_K и Q8_0. Мультимодальные веса для зрения и головы Multi-Token Prediction удалены, чтобы снизить требования к памяти и повысить пропускную способность при задачах программирования. Для локального запуска крупных вариантов может требоваться значительный объём видеопамяти или разгрузка части модели на CPU. Лицензия — Apache-2.0.

Richard Young выпустил эту версию Qwen3.6-27B, обработанную методом abliteration с помощью Heretic v1.4.0, чтобы снизить частоту отказов. Это плотная модель Qwen с 27 млрд параметров, причинной языковой моделью и визуальным энкодером; карточка описывает её как мультимодальную разговорную модель с поддержкой зрения. Веса опубликованы в формате Safetensors и совместимы с Transformers и указанными в README движками инференса. Модель предназначена для диалога, анализа изображений, программирования и агентных сценариев с использованием инструментов. Она поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. В сравнении с исходной Qwen3.6-27B в README указаны 38 отказов из 100 против 91 из 100 и KL-дивергенция 0,0254. Это может означать более редкие отказы, но не гарантирует точность или безопасность ответов. Лицензия — Apache-2.0.

llmfan46/Qwen3.6-27B-uncensored-heretic-v2-Native-MTP-Preserved — производная модель автора llmfan46 на основе Qwen/Qwen3.6-27B. Это мультимодальная причинная языковая модель с визуальным энкодером на 27 млрд параметров; в версии сохранены все 15 компонентов MTP, а параметры модели изменены для снижения числа отказов. Она предназначена для диалогов, работы с изображениями, программирования и агентных сценариев, включая вызовы инструментов. Модель принимает текст и изображения и генерирует текст; заявленный нативный контекст — 262 144 токена с расширением до 1 010 000. В README приведены результаты тестов на отказах и MMLU, однако они не гарантируют качество на других задачах. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

RedHatAI/Qwen3.6-35B-A3B-NVFP4 — предварительная NVFP4-квантизованная версия модели Qwen3.6-35B-A3B, разработанной Alibaba Cloud и опубликованной Red Hat AI. Веса и активации преобразованы в формат NVFP4 с использованием llm-compressor; модель распространяется в формате compressed-tensors и предназначена для запуска через vLLM. Модель ориентирована на генерацию текста, рассуждения, решение математических и академических задач, программирование, работу с инструментами и агентские сценарии. В метаданных также заявлена поддержка обработки изображений вместе с текстом. Поддерживаются tool calling и режим рассуждений Qwen3; для запуска рекомендуются reasoning parser qwen3, tool-call parser qwen3_coder, prefix caching и MoE-бэкенд flashinfer_cutlass. Вариант содержит 35 млрд параметров в MoE-архитектуре с конфигурацией A3B; максимальная длина контекста 96 000 токенов указана для проведённого запуска в vLLM. Языки модели в README не перечислены. Сильная сторона модели — существенное снижение требований к памяти благодаря квантизации весов и активаций при сохранении большей части качества исходной Qwen3.6-35B-A3B. По опубликованным тестам результаты близки к базовой модели на задачах GSM8K, GPQA, Math 500, MMLU-Pro и IFEval, однако наблюдается более заметное снижение на LiveCodeBench, BFCL Multi-Turn и SWE-bench Verified. Модель является предварительной версией и может изменяться; совместимость проверена с RHOAI 3.5, RHAIIS 3.5 и vLLM 0.24.0. Лицензия — Apache 2.0.

Qwen3.6-35B-A3B-NVFP4 — это посттренированная квантованная версия открытой модели Qwen3.6-35B-A3B, разработанной командой Qwen и опубликованной пользователем ykarout. Модель представлена в формате Hugging Face Transformers и предназначена для генерации текста, программирования, агентных сценариев и обработки задач с изображениями благодаря архитектуре с vision encoder. Модель использует причинную языковую архитектуру с Mixture of Experts: всего 35 млрд параметров, из которых активируется около 3 млрд. Она включает 40 слоёв, 256 экспертов, 8 маршрутизируемых и 1 общего активируемого эксперта, а также сочетает Gated DeltaNet и Gated Attention. Квантование выполнено в формате NVFP4 с 4-битными весами и FP8 KV-кэшем; конфигурация оптимизирована для архитектуры NVIDIA Blackwell. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Поддерживаемые языки в README не указаны. Сильными сторонами модели заявлены агентное программирование, работа с интерфейсами и репозиториями, сохранение контекста рассуждений между сообщениями и высокая эффективность за счёт MoE-архитектуры и квантования. Ограничения включают зависимость производительности от совместимого программного и аппаратного окружения, особенно при использовании Blackwell-оптимизаций, а также возможные потери качества, характерные для 4-битного квантования. В README приведены результаты SWE-bench, включая 73,4 для SWE-bench Verified и 67,2 для SWE-bench Multilingual, но полная методика оценки не описана. Лицензия — Apache 2.0.

abhishekchohan/Qwen3.8-27B-AWQ-INT4-FP8KV — квантизированная версия Qwen/Qwen3.8-27B, опубликованная abhishekchohan. Модель предназначена для диалогов, следования инструкциям, математических и научных задач, агентного программирования, многоязычных сценариев и работы с очень длинным контекстом. В карточке указано image-text-to-text позиционирование, однако подробности о поддерживаемых изображениях не приведены. Модель использует AWQ-квантизацию весов INT4 с защищёнными компонентами BF16 и FP8 E4M3 KV-кэшем с калиброванными послойными масштабами. Архитектура Qwen3.8-27B содержит 16 глобальных attention-слоёв, накапливающих KV-кэш, и 48 слоёв DeltaNet с рекуррентным состоянием. Поддерживается контекст до 262 144 токенов; заявлена возможность расширения до 524 288 токенов через YaRN, но результаты за пределами 262 144 токенов не проверялись. Заявленная оценка требований для полного контекста — около 33,5 ГБ VRAM, включая примерно 20 ГБ на веса и 8,5 ГБ на KV-кэш. Ключевое преимущество — примерно двукратное снижение памяти KV-кэша по сравнению с BF16 при сохранении качества: тесты показывают близкие результаты к AWQ-INT4 с BF16 KV, а retrieval-тест на контекстах 32 768, 131 072 и 262 144 токена дал 9/9 успешных результатов. Ограничения включают возможные небольшие колебания качества на отдельных бенчмарках, неподтверждённую работу за пределами 262 144 токенов и несовместимость MTP speculative decoding с FP8 KV в текущем JIT-пути FlashInfer на системах Blackwell. Для запуска рекомендуется vLLM с включённым FP8-кэшем; модель распространяется по лицензии Apache-2.0.

Это квантованная версия Qwen3.8-27B, подготовленная FreedomAISVR в формате GGUF MXFP4 для запуска через llama.cpp на видеокартах NVIDIA Blackwell. В основе — плотная мультимодальная архитектура Qwen3_5ForConditionalGeneration с языковой частью на 27 млрд параметров и отдельным визуальным проектором; веса модели используют MXFP4, проектор — F16. Карточка указывает лицензию Apache-2.0. Модель предназначена для диалогов с текстом и изображениями, анализа видео, программирования, профессиональных и исследовательских задач, а также многошагового планирования и работы с агентскими сценариями. Режим рассуждений включён по умолчанию; его можно отключать и настраивать глубину. В README приведены примеры запуска с контекстом 32K и тесты производительности на RTX 5060 Ti 16GB, но это рекомендованные настройки и результаты для конкретной конфигурации, а не гарантии для другого оборудования. Квантизация уменьшает размер текстовых весов примерно до 14,2 ГБ; для обработки изображений также нужен визуальный проектор около 928 МБ. README рекомендует видеокарты RTX 50-й серии с 16 ГБ видеопамяти и не менее 16 ГБ оперативной памяти. Указанный в README контекст 32K — настройка примера запуска, а не подтверждённый максимальный контекст модели. Качество и скорость могут зависеть от оборудования и сборки llama.cpp.

Qwen3.8-27B-NVFP4-MTP-GGUF — квантизированная версия модели Qwen3.8-27B от Qwen, подготовленная Avifenesh как артефакт сервинга для движка tiyuvta. Модель предназначена для генерации текста, диалоговых и агентных сценариев, включая вызов инструментов и работу с рассуждениями. Артефакт ориентирован на GPU NVIDIA Blackwell и поддерживает спекулятивное декодирование с MTP (multi-token prediction). Модель использует 4-битную квантизацию NVFP4 с масштабами FP8 для каждого блока из 16 значений; эмбеддинги и выходная голова имеют формат Q5_K, нормы — F32. В файл встроена MTP-голова NextN, а дополнительные masked draft heads позволяют ускорять декодирование. Указан текстовый контекст до 262 144 токенов, словарь содержит 248 320 токенов, встроен chat template с поддержкой tool calling и thinking blocks. В этой сборке нет upstream VL tower, поэтому визуальная модальность не поддерживается. Сильные стороны модели — большой контекст, совместимость с GGUF, низкое потребление памяти благодаря квантизации и возможность ускоренного декодирования. В README приведены измерения производительности на RTX PRO 6000 Blackwell и RTX 5090 Laptop, однако скорость зависит от длины вывода и нагрузки. Masked MTP-голова ограничивает множество кандидатов только на этапе чернового предсказания и, согласно описанию, не изменяет итоговый вывод; артефакт требует движка, поддерживающего соответствующие MTP-файлы и спекулятивное декодирование. Модель распространяется по лицензии Apache-2.0.

Furiosa-AI Qwen3-8B-FP8 — это версия модели Qwen3-8B-FP8, подготовленная для запуска на аппаратной платформе FuriosaAI RNGD с использованием Furiosa-LLM. Модель разработана на базе Qwen3 компании Qwen и предназначена для генерации текста, диалоговых приложений, решения задач, программирования, математического рассуждения, вызова инструментов и построения агентных систем. Доступен OpenAI-совместимый API. Модель представляет собой плотный causal transformer с grouped-query attention и примерно 8,2 млрд параметров. Она работает только с текстом на входе и выходе; в README явно указан английский язык. Qwen3-8B поддерживает гибридный режим рассуждений: по умолчанию модель может формировать рассуждение перед ответом, а для отдельных запросов рассуждения можно отключать. Также поддерживается вызов функций через parser hermes. Веса статически квантизированы в FP8 с размером блока 128, а активации динамически квантизируются в FP8 во время выполнения. К сильным сторонам относятся сочетание качества рассуждений и эффективного режима без рассуждений, поддержка инструментов и агентных сценариев, а также оптимизация для FuriosaAI RNGD. Ограничения включают зависимость от Furiosa-LLM и оборудования RNGD для описанного способа запуска, а также то, что характеристики языковой поддержки и контекстного окна в данной карточке не раскрыты. На RNGD используется tensor parallelism с размером 8 PE, соответствующий одной карте RNGD. Модель распространяется по лицензии Apache 2.0.

continuum-ai/qwen3-coder-30b-a3b-compacted-19b-256k — компактная версия Qwen3-Coder-30B-A3B-Instruct, разработанная на основе модели Qwen. При создании удалено 35% MoE-экспертов с использованием калибровочного ранжирования по частоте активаций. Модель предназначена прежде всего для генерации, дополнения и инфиллинга кода, агентного программирования и вызова функций, включая локальный и периферийный запуск на потребительских GPU, компьютерах Apple и мобильных устройствах. Это разреженная Mixture-of-Experts-модель с заявленным классом 30B и компактированной эффективной конфигурацией 19B. Сохраняет контекст до 256K токенов и работает с текстом; в README заявлена поддержка английского, китайского и широкого набора языков программирования, включая Python, JavaScript, TypeScript, C, C++, Java, Kotlin, Go, Rust, Swift, PHP, Ruby, SQL, HTML и CSS. Доступны квантованные форматы GGUF Q4_K_M, Q5_K_M и Q8_0 для llama.cpp, Ollama и LM Studio, а также варианты для локального запуска через Transformers и MLX. На HumanEval модель получила 88,4 балла против 92,1 у исходной версии, а на HumanEval+ — 85,4 против 88,4. К сильным сторонам относятся сочетание кодировочных возможностей 30B-класса с меньшими требованиями к памяти, длинный контекст и варианты для локального выполнения. Ограничения включают неполное восстановление качества исходной модели, отсутствие отдельного измерения обобщения на языки, отличные от Python, отсутствие тестирования генерации длиннее 32K токенов и пока не измеренные результаты на MBPP+ и LiveCodeBench. Калибровка выполнялась на 300 примерах Python. Модель распространяется по лицензии Apache-2.0. В README также заявлена криптографически проверяемая цепочка происхождения через ForgeAlloy, однако доверие к аттестации обозначено как self-attested.

Карточка модели tomhu/Qwen3-Coder-Next-SWE-Prune-GATE-70 на Hugging Face совпадает с карточкой Qwen/Qwen3-Coder-Next, поэтому описание составлено по ней. Qwen3-Coder-Next — открытая модель семейства Qwen3 от команды Qwen, предназначенная для кодирующих агентов и локальной разработки. Это причинная языковая модель архитектуры MoE с гибридным сочетанием Gated DeltaNet и Gated Attention. В README указано 80 млрд параметров всего и 3 млрд активных; метаданные каталога указывают 2,3 млрд параметров, поэтому точный размер расходится между источниками. Модель рассчитана на генерацию и изменение кода, многошаговые задачи разработки, вызов инструментов и восстановление после ошибок выполнения. Контекстное окно — 262 144 токена; поддерживаются чат и интерфейс вызова инструментов. README описывает её как пригодную для интеграции с CLI и IDE, а также локального развёртывания. Модель работает только в режиме без reasoning и, согласно README, не генерирует блоки ````. Карточка не перечисляет поддерживаемые естественные языки, поэтому языковые коды не включены. Лицензия — Apache-2.0.

unsloth/Qwen3-Coder-REAP-363B-A35B-GGUF — сжатая версия Qwen3-Coder-480B-A35B-Instruct, разработанная с применением метода REAP (Router-weighted Expert Activation Pruning). Модель предназначена для генерации кода, агентного программирования, понимания репозиториев, математического и творческого текста, а также вызова функций и инструментов. Разработчики заявляют сохранение характеристик исходной модели при снижении требований к памяти примерно на 25%, что делает её пригодной для ресурсоограниченных сред, локального развёртывания и исследовательских задач. Это разреженная causal language model архитектуры Mixture-of-Experts: 363 млрд параметров всего, около 35 млрд активируются на токен; используется 120 экспертов, из которых 8 выбираются для каждого токена, 62 слоя и Grouped Query Attention с 96 головами Q и 8 головами KV. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 млн с YaRN. В README указана FP8-квантизация для описанного варианта, совместимость с vLLM и лицензия Apache 2.0. Ограничением является крайне большой общий размер модели и высокие требования к оборудованию; результаты оценки для BF16-варианта на момент публикации не представлены.