I.14Автоматизация процессов и AI-агенты

harkov000 создал объединённую модель Hermes-Dolphin-8B-v0.2-alt методом SLERP с помощью mergekit. Она сочетает Hermes-3-Llama-3.1-8B и Dolphin-2.9.4-Llama3.1-8B и предназначена для диалогов, выполнения инструкций, рассуждений, генерации текста и кода, а также взаимодействия с инструментами. Модель построена на плотной архитектуре Llama с классом LlamaForCausalLM и содержит 7,5 млрд параметров. Она принимает текст и генерирует текст; заявленный контекст — до 131 072 токенов. В метаданных указаны возможности чата и интерфейс вызова инструментов. Базовая Hermes 3 описана как англоязычная, однако сведения не устанавливают полный набор языков объединённой модели. Файлы представлены в формате safetensors, а веса объединения заданы в bfloat16. Лицензия в предоставленных данных не указана.

Inkling-Small-GGUF — квантованная версия Inkling-Small, разработанного Thinking Machines и опубликованная в формате GGUF с использованием подходов Unsloth. Это мультимодальная авторегрессионная модель с открытыми весами, предназначенная для исследований, дообучения и интеграции в сторонние продукты. Модель принимает текст, изображения и аудио, а генерирует текст. Она рассчитана на диалоговые сценарии, следование инструкциям, создание AI-агентов и систем с использованием инструментов, разработку кодовых ассистентов, чат-ботов и решений с retrieval-augmented generation. Поддерживаются английский и другие языки с общими мультиязычными возможностями, а также различные языки программирования. Изображения должны быть пиксельными; рекомендуемый размер каждой стороны составляет от 40 до 4096 пикселей. Аудио подаётся в формате WAV с частотой 16 кГц, предпочтительно длительностью менее двух минут. Архитектура представляет собой 42-слойный decoder-only transformer со sparse Mixture-of-Experts: всего 276 млрд параметров, из которых для каждого токена активно около 12 млрд. Каждый токен направляется к 6 из 256 экспертов, дополнительно используются 2 общих эксперта; механизм внимания сочетает локальные и глобальные слои. Изображения обрабатываются иерархическим patch encoder, аудио — через дискретное токенизирование, после чего все модальности переводятся в общее скрытое пространство. Поддерживаются числовые форматы BF16 и NVFP4. Ограничения включают отсутствие заявленного в карточке размера контекстного окна и зависимость качества и требований к ресурсам от выбранного уровня квантования и среды запуска. Модель распространяется по лицензии Apache-2.0. Для локального запуска заявлена совместимость с SGLang, vLLM, TokenSpeed, Unsloth и Hugging Face; также доступны API и сторонние провайдеры инференса.

InternLM2.5-7B-Chat-1M — диалоговая языковая модель команды InternLM, вариант InternLM2.5-7B-Chat для работы с контекстом до 262 144 токенов по метаданным. Это плотная авторегрессионная модель семейства InternLM2 с 7,4 млрд параметров, предназначенная для генерации текста в ответ на запросы и ведения диалога. Модель рассчитана на анализ длинных документов, поиск сведений в большом контексте, математические рассуждения и сценарии с использованием инструментов. В README заявлена оценка на текстах длиной до миллиона токенов и приводится рекомендация использовать LMDeploy для инференса с таким контекстом; Transformers не поддерживает этот режим напрямую. Поэтому заявленную длину в миллион токенов следует считать характеристикой описанного в README режима, тогда как метаданные указывают native context в 262 144 токена. Репозиторий содержит веса в формате safetensors. README сообщает, что код распространяется по Apache-2.0, а для весов открыто академическое исследование и предусмотрена бесплатная коммерческая лицензия по запросу. Модель ориентирована на практическое применение, но её заявления о качестве приведены разработчиком по результатам собственных оценок.

QuantFactory/internlm2-chat-7b-sft-GGUF — квантизированная версия языковой модели InternLM2-Chat-7B-SFT, созданная QuantFactory с использованием llama.cpp на базе модели internlm/internlm2-chat-7b-sft. Это текстовая causal language model для генерации текста и диалоговых сценариев. Модель предназначена для общения, следования инструкциям, рассуждений, решения математических задач, написания и анализа кода, творческого письма, анализа данных, а также использования в агентных системах с инструментами и многошаговыми вызовами. Указано контекстное окно до 200 000 токенов и размер 7 миллиардов параметров. Модель работает с текстом; конкретный набор поддерживаемых языков в README не указан. Версия SFT предназначена также для исследования влияния RLHF, поскольку последующая версия InternLM2-Chat-7B дополнительно обучалась с помощью Online RLHF. К сильным сторонам относятся заявленные результаты в рассуждениях, математике, программировании, следовании инструкциям и задачах с длинным контекстом, а также преимущества квантизированного формата для запуска через llama.cpp. Ограничения включают возможные ошибки, предвзятость, дискриминационные или иные вредные ответы; качество зависит от квантизации и условий запуска. В README указана лицензия «other», без подробного описания условий, поэтому точные правила использования следует уточнять в исходной карточке модели.

WhiskyAKM подготовил GGUF-сборку K2-Horizon-7B в формате NVFP4 на основе модели IFM/K2-Horizon-7B. Это плотная авторегрессионная языковая модель с 7 млрд параметров и контекстом до 524 288 токенов; репозиторий предназначен для запуска через llama.cpp и другие движки с поддержкой GGUF. Модель рассчитана на диалоги, рассуждения, программирование, работу с длинным контекстом и агентные сценарии. В карточке приведены результаты исходной модели на математических, программных и других бенчмарках. Квантизация NVFP4 уменьшает точность представления весов и ориентирована на оборудование NVIDIA Blackwell. Репозиторий содержит файл модели в формате GGUF. Лицензия — Apache-2.0.

unsloth/Llama-3.3-70B-Instruct — инструктивная мультиязычная языковая модель Meta на архитектуре Llama 3.3, представленная в формате safetensors. Это авторегрессионный трансформер с 69,5 млрд параметров, обученный следовать инструкциям с помощью SFT и RLHF. Модель принимает и генерирует текст; поддерживает диалоговые сценарии и интерфейс вызова инструментов, который разработчики интегрируют самостоятельно. Контекст — до 131 072 токенов. Модель предназначена для чат-ассистентов и генерации текста, в том числе для коммерческого и исследовательского применения. README указывает поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Условия распространения определяются пользовательской лицензией Llama 3.3 Community License; перед использованием следует соблюдать её положения и Acceptable Use Policy. Модель статична и обучена на офлайн-данных; качество и безопасность ответов требуют проверки, а для неподдерживаемых языков разработчик рекомендует дообучение и дополнительные системные меры.

MinerU2.5-Pro-2604-1.2B — модель Op enDataLab для разбора документов и преобразования PDF в структурированный Markdown. Она принимает изображения страниц и текстовые запросы, а выдаёт текст с распознанной структурой документа; предназначена для подготовки данных для LLM и систем RAG. В README заявлены разбор таблиц, формул, изображений и диаграмм, объединение оборванных абзацев и распознавание изображений внутри таблиц. В карточке указана архитектура Qwen2-VL, библиотека Transformers, контекст 32 768 токенов и размер 494 млн параметров. README описывает обучение на корпусе из 65,5 млн страниц и сообщает результаты на OmniDocBench v1.6; это заявления авторов, а не независимая оценка. Лицензия — Apache-2.0. README отмечает, что объединение таблиц между страницами ещё интегрируется. Хотя название модели и README указывают на архитектуру 1,2B, метаданные каталога сообщают 494 млн параметров; эти сведения расходятся.

MuXodious выпустил дообученную версию Ministral-3-8B-Reasoning-2512, созданную с помощью движка Heretic и метода abliteration. Это плотная мультимодальная модель семейства Mistral 3: языковая часть содержит 8,4 млрд параметров, а зрительный энкодер — 0,4 млрд. Репозиторий содержит веса Safetensors; для запуска указана библиотека vLLM, а README также сообщает о необходимости Transformers v5 для работы через Transformers. Модель предназначена для диалогов и многошаговых рассуждений, включая математические и научные вопросы, программирование, анализ изображений и документов, перевод и агентные сценарии с вызовом функций и JSON-выводом. Она принимает текст и изображения, отвечает текстом и поддерживает контекст до 256 тыс. токенов. Заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Автор описывает модель как сильно менее склонную к отказам после abliteration; это может привести к выдаче небезопасных ответов, поэтому её следует применять с осторожностью. Для работы с изображениями рекомендуется сохранять близкое к квадратному соотношение сторон. Лицензия Apache 2.0 разрешает использование и модификацию, в том числе в коммерческих целях.

Ministral-8B-Instruct-2410 — инструктивно дообученная языковая модель компании Mistral AI для локального запуска, вычислений на устройствах и периферийных системах. Это плотный трансформер семейства Mistral с примерно 8 млрд параметров; модель поддерживает диалог и вызов функций. В карточке заявлено окно контекста до 128 тыс. токенов, но метаданные каталога указывают 32 768 токенов, а README уточняет, что vLLM ограничивает контекст 32 тыс. токенов; полный размер окна доступен при использовании Mistral Inference. Модель рассчитана на генерацию ответов по инструкциям, диалог, программирование, математические задачи и вызов функций. Она обучена на значительной доле многоязычных и программных данных; заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Рекомендуемая библиотека для инференса — vLLM. Модель распространяется по Mistral Research License; для коммерческого использования README предлагает обратиться к Mistral AI за коммерческой лицензией. Для запуска на одном GPU требуется 24 ГБ видеопамяти. Качество ответов и многоязычные возможности зависят от языка и задачи.

Mistral-7B-Instruct-v0.3-GGUF — это GGUF-квантизированная версия Mistral-7B-Instruct-v0.3, разработанной Mistral AI. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста, следования инструкциям и использования в качестве универсального ассистента, включая сценарии с вызовом функций. Модель содержит около 7 млрд параметров, использует архитектуру Mistral и поддерживает контекст длиной 32 768 токенов. В версии 0.3 расширен словарь с 32 000 до 32 768 токенов, добавлен новый токенизатор и реализована поддержка function calling через специальные токены TOOL_CALLS, AVAILABLE_TOOLS и TOOL_RESULTS. Для работы в LM Studio рекомендуется шаблон Mistral Instruct с форматом <s> [INST] запрос [/INST] </s>. Сильные стороны модели — качественное следование инструкциям, универсальность и поддержка вызова функций. README не содержит сведений о поддерживаемых языках, конкретных размерах файлов или характеристиках отдельных уровней квантизации. Модель распространяется по лицензии Apache 2.0.

Nexa-AI-4B-Instruct — мультиязычная инструкционная языковая модель, совместно разработанная Neura Tech AI и Lumina AI на основе Qwen/Qwen3-4B-Instruct-2507. Это плотный декодерный Transformer с 3,7 млрд параметров, предназначенный для диалогов и выполнения инструкций; модель распространяется в формате Safetensors через библиотеку Transformers. Модель подходит для генерации ответов, помощи с программированием, математических и логических задач, а также сценариев с вызовом инструментов и агентами. Она поддерживает английский, хинди и китайский; в карточке также заявлены другие языки. Контекстное окно составляет до 262 144 токенов. Разработчики сообщают о дообученной настройке на полезные ответы и приводят результаты сравнительных тестов, но в карточке нет достаточных подробностей об условиях оценки для независимой проверки этих заявлений. Лицензия — Apache-2.0.

Next 32B — плотная языковая модель с архитектурой Qwen3 для генерации текста, диалога и выполнения инструкций. В карточке она представлена как разработка Lamapi; модель содержит 29,7 млрд параметров, использует формат safetensors и имеет контекстное окно 40 960 токенов. Модель предназначена для многошаговых рассуждений, анализа сложных запросов и стратегического планирования. Среди заявленных сценариев — генерация кода, работа с длинными документами, исследовательские задачи и агентные системы. README особо выделяет турецкий и английский языки; в метаданных карточки также перечислены немецкий, испанский, французский, русский, китайский, японский и корейский. Модель принимает текст и генерирует текст. README заявляет высокие результаты в рассуждениях и пригодность для корпоративных сценариев, однако не приводит проверяемых результатов бенчмарков; эти заявления следует считать заявлениями разработчика. Для запуска крупной модели потребуется существенная память GPU: в README приведены рекомендации от 24 ГБ для 4-битной квантизации и от 48 ГБ для 8-битной или FP16. Лицензия — MIT.

OYM-Qimi-122B-A10B-K2.6 — мультимодальная модель OpenYourMind на архитектуре Qwen3.5 MoE с 122 млрд общих и примерно 10 млрд активных параметров. Она дообучена на базе Qwen/Qwen3.5-122B-A10B через дистиллированную и аблитерированную линию Qwopus3.5: в карточке описаны два этапа SFT примерно на 20 тысячах примеров с трассами рассуждений. Модель принимает текст и изображения, а также обрабатывает видео; выдаёт текст. Веса BF16 совместимы по форме с исходной моделью, включают зрительную башню и восстановленную голову MTP для спекулятивного декодирования. Модель предназначена для диалогов, рассуждений, анализа изображений и видео, программирования и использования инструментов. В опубликованных тестах результаты по генерации кода совпали с базовой моделью, а показатели использования инструментов были близки к ней. Разработчик сообщает, что модель полностью «разцензурирована»; это может означать меньше отказов, но также требует осторожного контроля ответов при внедрении. Для полной точности BF16 требуются несколько ускорителей: в карточке указаны конфигурации из двух H200/B200 или четырёх H100 по 80 ГБ. Лицензия обозначена как Other и наследует условия лицензии базовой Qwen3.5; перед использованием следует проверить её условия.

mlx-community/Qwen2.5-Coder-32B-Instruct-bf16 — конверсия модели Qwen/Qwen2.5-Coder-32B-Instruct в формат MLX, выполненная сообществом mlx-community с помощью mlx-lm 0.19.3. Это плотная авторегрессионная модель семейства Qwen2 с 32 млрд параметров, предназначенная для генерации кода и диалогового взаимодействия с инструкциями. Она может применяться для написания и объяснения кода, его анализа и исправления, а также для создания кодовых агентов. Контекст модели — до 32 768 токенов; вход и выход представлены текстом. Модель рассчитана на работу с кодом и поддерживает английский язык. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Это преобразованная копия базовой модели, а не самостоятельное дообучение.

lmstudio-community/Qwen2.5-Coder-7B-Instruct-GGUF — это квантованная в формате GGUF версия модели Qwen2.5-Coder-7B-Instruct, разработанной командой Qwen. Квантование выполнено bartowski на основе llama.cpp release b3772; LM Studio распространяет модель в рамках Community Model Program, но не является её разработчиком. Модель предназначена для генерации и анализа программного кода, решения задач программирования, рассуждений, исправления ошибок и создания coding agents. Это текстовая модель с архитектурой и точными параметрами, не раскрытыми в README; размер исходной модели составляет 7B параметров. Указан английский язык. Поддерживается контекст до 128K токенов с настройками YaRN RoPE, что подходит для работы с крупными файлами и длинными описаниями проектов. Обучение основано на данных объёмом 5,5 триллиона токенов. Сильными сторонами модели являются специализация на коде, возможности генерации, рассуждений и поиска ошибок, а также длинный контекст. К ограничениям относятся зависимость качества и скорости от выбранного уровня GGUF-квантования и оборудования, отсутствие в README подробностей о конкретном варианте квантования, поддерживаемых языках программирования и результатах оценивания. Как и другие языковые модели, она может выдавать неточный, небезопасный или неподходящий код и требует проверки человеком. Лицензия модели указана как Apache 2.0. Условия использования квантованной версии следует сопоставлять с лицензией оригинальной Qwen2.5-Coder-7B-Instruct и условиями распространения конкретного файла GGUF.

Qwen3-0.6B-FP8 — компактная причинно-следственная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия базовой модели Qwen3-0.6B, предназначенная для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, перевода и мультиязычных сценариев. Модель также поддерживает интеграцию с внешними инструментами и агентские приложения. Модель содержит 0,6 млрд параметров, из них 0,44 млрд не относятся к embedding, и включает 28 слоёв. Она использует Grouped-Query Attention с 16 головами для запросов и 8 для ключей и значений, поддерживает контекст до 32 768 токенов и более 100 языков и диалектов. В одной модели можно переключаться между thinking mode для сложных рассуждений, математики и кода и non-thinking mode для более быстрой генерации и обычного диалога. FP8-квантизация с размером блока 128 снижает требования к ресурсам и подходит для развёртывания через Transformers, SGLang и vLLM. Сильные стороны модели — небольшой размер, поддержка мультиязычности, режимов рассуждения и обычного ответа, а также применимость к диалоговым и агентским задачам. Ограничения включают возможные бесконечные повторы при неподходящих параметрах генерации и известные проблемы fine-grained FP8 в Transformers при распределённом инференсе на нескольких устройствах. Модель распространяется по лицензии Apache 2.0.

Qwen3-1.7B — компактная плотная причинная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит 1,7 млрд параметров, 28 слоёв и поддерживает контекст до 40 960 токенов по метаданным. Модель дообучена на базе Qwen/Qwen3-1.7B-Base и распространяется в формате safetensors под лицензией Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с внешними инструментами через соответствующий интерфейс. Она поддерживает более 100 языков и диалектов. Заявлены режимы рассуждения и обычного диалога; компактный размер подходит для приложений с ограниченными ресурсами по сравнению с более крупными моделями семейства. В README указана длина контекста 32 768 токенов, тогда как метаданные каталога приводят 40 960; для характеристики использовано значение метаданных. В README также отмечен риск бесконечных повторов при некоторых настройках генерации и рекомендована настройка presence_penalty. Качество ответов и точность фактов требуют проверки в целевом сценарии.

Qwen/Qwen3-1.7B-MLX-bf16 — языковая модель семейства Qwen3, представленная в формате MLX и весах BF16. По метаданным, это производная Qwen/Qwen3-1.7B-Base; модель плотная, с архитектурой Qwen3ForCausalLM и 1,7 млрд параметров. Она предназначена для генерации текста и диалогов, выполнения инструкций, рассуждений, математических и программных задач, а также интеграции с инструментами. Модель переключается между режимом рассуждений и обычным режимом диалога. README указывает поддержку более 100 языков и диалектов, а метаданные задают контекст до 40 960 токенов. Разработчик рекомендует MLX для запуска; веса опубликованы в формате safetensors. Лицензия Apache-2.0 разрешает свободное использование на её условиях. Компактный размер упрощает запуск по сравнению с крупными моделями семейства, а интерфейс вызова инструментов подходит для агентных сценариев. Как модель на 1,7 млрд параметров, она может уступать более крупным моделям в сложных задачах; в режиме рассуждений не рекомендуется жадное декодирование, поскольку оно может ухудшать ответы и приводить к повторениям.

Это версия Qwen3-30B-A3B-Thinking-2507, опубликованная Unsloth на базе Qwen/Qwen3-30B-A3B-Thinking-2507. Модель представляет собой причинную языковую модель с архитектурой MoE и предназначена для генерации текста в диалоговом режиме. Она работает только в режиме рассуждения и рассчитана на сложные задачи: логические выводы, математику, науку, программирование, следование инструкциям и использование инструментов. В модели около 30,5 млрд параметров, из которых активируются 3,3 млрд; указанный в метаданных размер составляет 2,6 млрд параметров. Она поддерживает контекст до 262 144 токенов. Карточка сообщает об улучшениях в рассуждении, работе с длинным контекстом и общих диалоговых возможностях. Лицензия — Apache-2.0.

YOYO-AI/Qwen3-30B-A3B-YOYO-V6 — объединённая модель YOYO-AI, созданная методом YOYO-Fusion V2 с фиксированной опорной точкой на базе instruction-модели. В слиянии использованы Qwen3-30B-A3B-Base, Qwen3-30B-A3B-Instruct-2507, Qwen3-30B-A3B-Thinking-2507 и Qwen3-Coder-30B-A3B-Instruct. Архитектура — Qwen3 MoE для генерации текста; метаданные указывают 2,6 млрд параметров и формат safetensors с точностью bfloat16. Модель предназначена для диалога, выполнения инструкций, генерации текста и взаимодействия с инструментами. Заявленная длина контекста — 262 144 токена; README также упоминает 1 010 000 токенов, но не поясняет условия для такого значения. Указаны английский и китайский языки. Рекомендованные параметры генерации: температура 0,7, TopP 0,8 и TopK 20. Лицензия — Apache-2.0.

furiosa-ai/Qwen3-4B-FP8 — это версия модели Qwen3-4B-FP8, подготовленная FuriosaAI для запуска на ускорителях FuriosaAI RNGD с использованием Furiosa-LLM. Модель представляет собой плотный causal transformer с grouped-query attention и примерно 4 млрд параметров. Разработчик базовой модели — команда Qwen, а FuriosaAI предоставляет исполняемый пакет FXB и интеграцию с собственным программным стеком. Модель предназначена для генерации текста, общего диалога, сложных рассуждений, математических и программных задач, вызова инструментов и агентских сценариев. Она поддерживает гибридный режим: по умолчанию может формировать рассуждение перед ответом, а для отдельных запросов рассуждение можно отключить ради более эффективной работы. Также поддерживается multilingual-использование, однако в карточке явно указан английский язык. Входные и выходные данные — текстовые, доступен OpenAI-совместимый API. Веса статически квантизированы в FP8, активации во время выполнения используют динамическую FP8-квантизацию, а KV-cache сохраняется в 16-битной точности. На FuriosaAI RNGD модель работает с tensor parallelism на 8 вычислительных элементах одной карты. Ограничения связаны с зависимостью данной сборки от Furiosa-LLM и оборудования RNGD; сведения о размере контекста и точном перечне поддерживаемых языков в README не приведены. Модель распространяется по лицензии Apache 2.0.

txn545/Qwen3.5-122B-A10B-NVFP4 — квантизированная версия языковой модели Qwen3.5-122B-A10B от Alibaba, подготовленная с использованием NVIDIA Model Optimizer. Это авторегрессионная модель на архитектуре Transformers с разреженной экспертной архитектурой: всего 122 млрд параметров, из которых 10 млрд активируются при обработке запроса. Модель принимает текст, изображения и видео, а генерирует текст; заявленная длина контекста — до 262 тысяч токенов. Языки README не уточняет. Модель предназначена для развертывания в AI Agent-системах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Квантизация весов и активаций линейных операторов в MoE-блоках выполнена в формате NVFP4 и ориентирована на инференс через SGLang на GPU NVIDIA Blackwell под Linux. Указанная версия квантизации создана с помощью nvidia-modelopt v0.43.0.dev52+g35e60991c; для запуска требуется актуальная версия SGLang с поддержкой соответствующих изменений. Сильной стороной модели являются крупный общий объём параметров, мультимодальный ввод, длинный контекст и оптимизация для аппаратного ускорения NVIDIA. Ограничения включают зависимость от совместимого оборудования и программного окружения, а также возможные неточности, токсичные ответы и усиление предубеждений, присутствовавших в исходных данных обучения. Сведения о полном обучающем и тестовом наборах, а также подробные языковые характеристики не раскрыты. Модель распространяется по лицензии Apache 2.0 и допускает коммерческое и некоммерческое использование с учётом условий базовой модели Qwen3.5-122B-A10B.

mattbucci/Qwen3.8-27B-AWQ — квантованная версия модели Qwen3.8-27B, разработанной Qwen и опубликованной mattbucci. Модель предназначена для задач генерации текста, рассуждений, вызова инструментов, анализа изображений и понимания видео, прежде всего в сценариях серверного инференса через SGLang. Она рассчитана на однопользовательскую работу с длинным контекстом до 262 144 токенов при конфигурации с двумя видеокартами RTX 3090. Модель использует 4-битное квантование AWQ/GPTQ в формате W4A16 с размером группы 128 и симметричными весами INT4. Веса занимают около 18,7 ГБ; архитектура включает 64 слоя, из которых 48 используют Gated DeltaNet, а 16 — полное внимание. Башня обработки изображений, lm_head и отдельные параметры Gated DeltaNet сохранены в BF16. Проверены текстовые, математические, программные, визуальные и видео-сценарии; в указанных тестах модель показала высокие результаты на MMLU и HumanEval, а также успешно работала с контекстом свыше 250 тысяч токенов. Сильные стороны модели — поддержка нескольких модальностей, длинного контекста, рассуждений и инструментов при существенно меньшем объёме памяти по сравнению с полноразмерной моделью. Ограничения включают отсутствие MTP и недоступность MTP-ускоренного speculative decoding, снижение доступного контекста при параллельной обработке нескольких запросов, а также относительно низкий результат LAB-Bench, поэтому модель следует отдельно проверять для научных задач и специализированного протокольного QA. Квантование и валидация выполнялись на архитектуре Ampere с AWQ_Marlin; другие GPU не тестировались разработчиком. Лицензия — Apache-2.0, унаследованная от базовой модели.

Tooony133/Qwen-3.8-27B-DinkyDoo — модель семейства Qwen3.8, представленная как дообученный вариант Qwen3.8-27B с объединёнными с базовыми весами LoRA-адаптерами. Это плотная причинная языковая модель с визуальным энкодером на 27 млрд параметров, предназначенная для диалогов, анализа изображений и видео, программирования, профессиональных задач, исследований и многошаговых агентных сценариев. Модель принимает текст и изображения, а также поддерживает понимание видео. В README указана длина контекста 262 144 токена с возможностью расширения до 1 000 000. Режим рассуждения включён по умолчанию; его можно отключать и настраивать глубину. Модель распространяется в формате Transformers и совместима с рядом средств инференса. Сильные стороны, заявленные в карточке: мультимодальное понимание, работа с длинным контекстом, кодирование и выполнение многошаговых задач. Карточка не приводит отдельных измерений качества именно этой производной модели. Лицензия — Apache-2.0; README также просит соблюдать требования об указании авторства и изменениях из файлов LICENSE и NOTICE.

palmfuture/Qwen3.8-27B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия Qwen3.8-27B, опубликованная palmfuture и основанная на модели Qwen/Qwen3.8-27B. Модель предназначена для диалогов, следования инструкциям, генерации кода, математических рассуждений и работы с изображениями. Заявлены английский, китайский и тайский языки, а также сценарии codeswitching. Модель использует гибридную архитектуру с обычным attention и линейным attention на основе Gated DeltaNet/Mamba; визуальный encoder сохранён в формате bf16, как и embeddings, lm_head, нормализации и MTP-компоненты. Основной набор линейных слоёв квантизован в int4 с uniform group_size=32. Указана поддержка контекста до 262144 токенов в конфигурации SGLang; пример для vLLM ограничен 8192 токенами. В комплект входят веса Multi-Token Prediction для speculative decoding, совместимые с SGLang и vLLM. К сильным сторонам относятся существенное снижение требований к памяти, совместимость с популярными inference-системами, поддержка vision-задач и ускорение генерации за счёт speculative decoding. К ограничениям относятся необходимость корректной настройки runtime: для SGLang рекомендуется mamba-ssm-dtype=float32, поскольку float16 может вызывать дрейф состояния и ошибки в тайских диакритических знаках на длинных диалогах. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-mlx-uniform-4bit — MLX-версия модели Qwen3.8-27B, подготовленная caslca на основе unsloth/Qwen3.8-27B. Модель преобразована в равномерный аффинный 4-битный формат с группами по 64 значения; заявленный размер — около 27 млрд параметров, объём весов — 15,13 ГБ. В сборку также включены 333 визуальных тензора, поэтому модель предназначена для сценариев image-text-to-text и поддерживает работу с текстом и изображениями. В README не указаны полный перечень языков и точное максимальное окно контекста, однако тесты проводились с ограничением до 262 144 токенов. Основные сценарии применения — агентное программирование, исследовательская работа, проектирование, математические задачи, генерация и анализ кода, а также базовое описание изображений. Для ускорения декодирования рекомендуется использовать отдельный MTP-компаньон caslca/Qwen3.8-27B-mlx-uniform-4bit-mtp-drafter; одобренная конфигурация предполагает MTP ON, среднюю интенсивность рассуждений и temperature 0,6. Модель ориентирована на запуск через MLX/Metal, в частности на системах Apple Silicon. К сильным сторонам относятся компактное 4-битное представление, поддержка визуального ввода, высокая производительность в проверенных тестах программирования и математики, а также сохранение качества при включённом предикторе MTP в большинстве проведённых сравнений. Результаты имеют ограничения: сравнение на MBPPPlus признано неокончательным, визуальная проверка была небольшой и не подтверждает качество на произвольных изображениях, OCR или сложных диаграммах, а отдельные тесты были exploratory и не заменяют широкую сертификацию. Модель распространяется по лицензии Apache-2.0.

NVIDIA Qwen3.8-27B NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3.8-27B, разработанной Alibaba, подготовленная с использованием NVIDIA Model Optimizer. Модель основана на архитектуре Transformer, содержит около 27 млрд параметров и предназначена для генерации текста и мультимодального понимания. Модель рассчитана на AI-агентов, чат-ботов, RAG-системы и другие приложения на базе искусственного интеллекта. Она принимает текст, изображения и видео, а выдаёт текст; заявленная длина контекста достигает 262 тысяч токенов. Квантизация использует смешанный формат NVFP4/FP8: NVFP4 применяется к MLP-слоям и языковой голове, а FP8 — к слоям self-attention и linear attention. Для запуска указаны vLLM и SGLang на GPU NVIDIA Blackwell, предпочтительно в Linux. К сильным сторонам относятся большой контекст, поддержка мультимодальных входных данных, оптимизация для ускоренного вывода на совместимом оборудовании NVIDIA и снижение требований к памяти благодаря квантизации. Ограничения включают зависимость от NVIDIA Blackwell и поддерживаемых сред выполнения, а также отсутствие раскрытых сведений о полном обучающем наборе данных, его размере и языковом составе. Перед промышленным использованием необходимы тестирование на прикладных данных и проверка безопасности. Модель распространяется по лицензии Apache 2.0 и заявлена для коммерческого и некоммерческого использования.

MrFuzzihead/Qwen3.8-35B-A3B-Distill-APEX-GGUF — это набор GGUF-квантизаций модели Qwen3.8-35B-A3B-Distill, разработанной Empero и квантизированной MrFuzzihead методом APEX при участии команды LocalAI. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая сценарии генерации текста, рассуждений, программирования, следования инструкциям, вызова функций и агентного использования. В основе лежит разреженная Mixture-of-Experts-архитектура примерно на 35 млрд параметров, из которых для каждого токена активируются 8 из 256 маршрутизируемых экспертов, а также общий эксперт. Модель использует 40 слоёв с гибридной схемой Gated DeltaNet и Gated Attention; полный attention применяется только в 10 слоях, что снижает нагрузку на KV-кэш. Заявлен нативный контекст до 262 144 токенов. Базовая модель мультимодальная и сохраняет vision tower, однако дистилляция выполнялась только для текста, а визуальные возможности не были проверены. Поддерживаются отдельные vision-проектор и MTP-компоненты для мультимодальности и спекулятивного декодирования. Ключевая особенность — APEX-квантизация с разной точностью для типов тензоров и позиций слоёв, учитывающая разреженность MoE. Доступны варианты размером примерно от 10,9 до 25,3 ГБ, рассчитанные на видеокарты с 12–24 ГБ памяти и различные компромиссы между качеством, размером и скоростью. I-варианты используют importance matrix на разнообразных данных, включая диалоги, код, рассуждения, вызов инструментов и агентные трассы, и ориентированы на более высокую точность. Модель использует постоянно включённое дистиллированное пошаговое рассуждение с блоком <think>, поэтому адаптивного переключателя уровня рассуждений нет. Распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3-VL-8B-Instruct-AWQ-8bit — мультимодальная vision-language модель семейства Qwen3, разработанная командой Qwen; базовая модель — Qwen/Qwen3-VL-8B-Instruct. Вариант предназначен для генерации текста по текстовым и визуальным входным данным, включая изображения и видео, а также для задач визуального понимания, распознавания текста, анализа документов, STEM- и математического рассуждения, пространственного анализа и взаимодействия с графическими интерфейсами. Модель также заявлена для генерации Draw.io, HTML, CSS и JavaScript по изображениям или видео. Модель имеет плотную архитектуру с 8 млрд параметров и использует мультимодальные механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Заявлена нативная длина контекста 256 тысяч токенов с возможностью расширения до 1 миллиона, что подходит для длинных документов и продолжительных видеоматериалов. OCR поддерживает 32 языка, однако полный перечень языков модели в README не приведён. Идентификатор указывает на 8-битную AWQ-квантизацию, но подробности её конфигурации не указаны. К сильным сторонам относятся расширенное визуальное и пространственно-временное понимание, обработка длинного контекста, распознавание текста в сложных условиях и возможности visual agent для работы с GUI и инструментами. README не содержит количественных результатов тестирования, поэтому производительность в конкретных сценариях оценить по нему нельзя. Модель распространяется по лицензии Apache-2.0.

Qwen-7B-Chat — диалоговая языковая модель семейства Qwen, разработанная Alibaba Cloud на основе предварительно обученной Qwen-7B с применением методов выравнивания. Это плотная Transformer-модель с архитектурой QWenLMHeadModel, 32 слоями, RoPE, SwiGLU и RMSNorm. В метаданных указано 11,4 млрд параметров и контекст длиной 32 768 токенов. Модель предназначена для многоходовых диалогов и генерации текста: она отвечает на вопросы, помогает с кодом и математическими задачами, а также может использоваться для длинных последовательностей и вызова внешних инструментов. README описывает токенизатор на основе tiktoken с большим словарём, ориентированным на китайский, английский и код; метаданные также указывают китайский и английский языки. Репозиторий содержит веса safetensors. Модель проверялась на китайском и английском понимании, математике, программировании, длинном контексте и использовании инструментов. Результаты могут колебаться из-за аппаратных и программных различий; при дообучении следует учитывать особенности специальных токенов токенизатора. Лицензия указана как other, поэтому перед использованием нужно проверить условия лицензирования в карточке модели.