I.14Автоматизация процессов и AI-агенты

Granite Vision 3.3 2B — компактная мультимодальная модель IBM для понимания изображений, особенно документов. Она предназначена для извлечения и структурирования сведений из таблиц, графиков, инфографики, диаграмм и других визуальных материалов, а также для ответов на вопросы по изображениям. Модель построена на архитектуре LLaVA: использует визуальный энкодер SigLIP2, двухслойный MLP-коннектор и языковую модель Granite 3.1 2B Instruct с контекстом 128 тыс. токенов. В карточке описаны экспериментальные возможности сегментации изображений, генерации doctags и анализа последовательностей до восьми страниц документа. Для многостраничной обработки рекомендуется уменьшать длинную сторону изображения до 768 пикселей. Модель подходит для извлечения данных из документов и визуального поиска с использованием MM-RAG. Возможны неточные, предвзятые или нежелательные ответы; авторы рекомендуют применять её прежде всего для понимания документов, поскольку более общие задачи по изображениям могут давать нежелательные результаты. Лицензия — Apache-2.0.

gte-small — модель текстовых эмбеддингов семейства General Text Embeddings (GTE), разработанная Alibaba DAMO Academy на основе архитектуры BERT. Вариант small содержит около 40 млн параметров и принимает тексты длиной до 512 токенов; для более длинных текстов вход обрезается. Модель рассчитана на английский язык. Полученные эмбеддинги подходят для семантического поиска и сравнения предложений, а также могут использоваться в конвейерах поиска информации и ранжирования текстов. Модель можно применять, например, для поиска релевантных документов или оценки смыслового сходства запросов и фрагментов текста. Лицензия — MIT.

Hermes3.6-35B-A3B-Uncensored-Genesis-NVFP4-GGUF — квантованная версия семейства Qwen 3.6 / Hermes 3.6, созданного на основе работ LuffyTheFox и HauhauCS. Квантование NVFP4, интеграцию MTP и публикацию GGUF выполнил jan1k. Модель предназначена для генерации текста, программирования, точных и творческих задач, агентских сценариев и вызова инструментов. Также заявлена поддержка изображений через отдельный мультимодальный проектор mmproj в формате F16. Модель построена на архитектуре Mixture of Experts: содержит около 35 млрд параметров, при этом на каждом токене активируется примерно 3 млрд параметров и 8 экспертов. Доступен контекст до 128K токенов при использовании рекомендованной конфигурации llama.cpp. Заявлена поддержка английского, китайского и других языков. Формат NVFP4 оптимизирован для GPU NVIDIA поколений Ada Lovelace, Blackwell и Ampere. Genesis — применённый алгоритм посттренировочной регенерации и калибровки GGUF, направленный на снижение шума весов и сохранение значимой части исходного сигнала без переобучения. К сильным сторонам относятся высокая вычислительная эффективность MoE, большой контекст, поддержка vision, режимов рассуждения и JSON-вызова инструментов, а также сниженное потребление памяти благодаря 4-битному представлению. Ограничение этой версии существенно: репозиторий помечен как устаревший, а расширенный вариант NVFP4 с отдельными тензорами масштабирования несовместим с LM Studio и Pelican и может выдавать некорректный результат. Для работы рекомендуется совместимый llama.cpp и соответствующая настройка шаблона чата. Модель распространяется по лицензии Apache-2.0.

Huozi 3.0 — большая языковая модель, разработанная Центром социального вычисления и информационного поиска Харбинского технологического института (HIT-SCIR). Это дообученная для следования инструкциям версия Chinese-Mixtral-8x7B с архитектурой разреженной смеси экспертов Mixtral (MoE): в README указано 46,7 млрд параметров, из которых при генерации активируются около 13 млрд. Модель поддерживает контекст до 32 768 токенов и принимает текст, выдавая текст. Модель предназначена для диалогов и выполнения инструкций на китайском и английском языках. В карточке заявлены возможности рассуждать над математическими задачами, генерировать код, работать с длинными текстами и давать более безопасные ответы; поддерживаются сценарии развёртывания через Transformers, vLLM и OpenAI-совместимый API. В метаданных репозитория указано 7,2 млрд параметров, что расходится с описанием полного MoE-чекпойнта в README. Репозиторий содержит веса в формате safetensors. В README для исходного кода указана лицензия Apache 2.0; коммерческое использование модели требует регистрации и письменного разрешения правообладателя. Модель может выдавать фактически ошибочные, предвзятые или вредоносные ответы, поэтому результаты следует проверять.

活字3.5（Huozi 3.5）是哈尔滨工业大学社会计算与信息检索研究中心（HIT-SCIR）开发的稀疏混合专家语言模型，用于中文和英文对话、指令遵循及通用文本生成。模型基于 Chinese-Mixtral-8x7B 和活字3.0训练，并经过指令微调与模型融合；每个专家层含8个前馈网络，每次计算稀疏激活其中2个。README称模型共有46.7B параметров、推理时激тивируется около 13B; метаданные указывают 7.2B параметров. Поддерживается контекст до 32 768 токенов. Модель заявлена для работы с китайскими и английскими знаниями, математическими рассуждениями, генерацией кода, многоходовым диалогом и безопасными ответами. Доступны веса в формате safetensors, а для инференса описаны Transformers, vLLM, ModelScope, OpenAI API и преобразование в GGUF. Лицензия репозитория — Apache 2.0; для коммерческого использования авторы просят связаться с правообладателем и получить письменное разрешение. Модель может выдавать фактические ошибки, предвзятый или вредоносный контент, поэтому ответы требуют проверки. Заявления о возможностях и оценках приведены авторами; качество зависит от сценария и настройки генерации.

MLX-версия модели K2-Horizon-3.7B от IFM, подготовленная сообществом mlx-community для компьютеров Apple с Apple Silicon. Это плотная авторегрессионная языковая модель с 3,7 млрд параметров и контекстом 524 288 токенов, предназначенная для генерации текста и диалогов. Сборка использует веса bf16 без квантизации и формат safetensors; размер на диске — около 10,1 ГБ. Модель подходит для ответов на вопросы, рассуждений, программирования и агентных сценариев в приложениях на базе MLX. Реализация архитектуры K2-Horizon поставляется вместе с репозиторием, поскольку поддержка этой архитектуры в mlx-lm может зависеть от версии библиотеки. Для запуска требуется mlx-lm; в некоторых версиях необходимо разрешить загрузку удалённого кода. Длинный контекст требует значительной дополнительной памяти для KV-кэша. Конвертация сверялась с реализацией IFM на PyTorch. Лицензия — Apache-2.0.

LLaMa-3.1-Instruct-13B — языковая модель, созданная сообществом mergekit-community с помощью mergekit из unsloth/Meta-Llama-3.1-8B-Instruct. Применён метод passthrough: в итоговую модель включены указанные диапазоны слоёв исходной модели. Это плотная архитектура Llama для генерации текста и диалогов; размер составляет 12,5 млрд параметров, нативный контекст — до 131 072 токенов. Модель подходит для ответов на вопросы, диалоговых сценариев и генерации текста; метаданные также указывают интерфейс вызова инструментов. В репозитории используются веса safetensors, библиотека — Transformers. В карточке указана лицензия исходной модели Llama 3.1: используйте модель в соответствии с её условиями.

Карточка модели zsjTiger/Llama-3.2-1B на Hugging Face совпадает с карточкой unsloth/Llama-3.2-1B, поэтому описание составлено по ней. unsloth/Llama-3.2-1B — текстовая модель генерации на базе Meta Llama 3.2, представленная Unsloth. Это плотная авторегрессионная трансформерная архитектура Llama с 1,2 млрд параметров; репозиторий содержит веса в формате safetensors и предназначен для использования через Transformers. В README Unsloth также предлагает ноутбуки для дообучения модели и экспорта полученных моделей. Модель принимает текст и генерирует текст. Семейство Llama 3.2 предназначено для генерации и диалога; в карточке указаны сценарии суммаризации и агентного поиска, а также поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Контекстное окно составляет 131072 токена. Модель опубликована 25 сентября 2024 года и распространяется по лицензии Llama 3.2 Community License, условия которой следует соблюдать при использовании и распространении.

Это конвертированная в формат MLX версия Llama 3.3 70B Instruct от Meta, опубликованная сообществом mlx-community. Модель с плотной архитектурой LlamaForCausalLM содержит 69,5 млрд параметров и предназначена для генерации текста и диалоговых сценариев; также поддерживает интерфейс вызова инструментов. Веса представлены в формате safetensors с точностью fp16, а нативный контекст составляет до 131 072 токенов. Модель поддерживает английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий языки. Для использования требуется MLX; README указывает конвертацию из meta-llama/Llama-3.3-70B-Instruct с помощью mlx-lm 0.22.2. Лицензия — Llama 3.3 License; перед использованием следует соблюдать её условия. Это крупная модель, поэтому для запуска требуются соответствующие аппаратные ресурсы.

llama-embed-nemotron-8b — мультиязычная модель текстовых эмбеддингов, разработанная NVIDIA для поиска и сопоставления текстов. Она предназначена для исследовательских систем RAG, семантического поиска, ранжирования и классификации текстовых данных, включая поиск между языками. Модель основана на архитектуре Llama 3.1 8B с двунаправленным вниманием и содержит около 7,5 млрд параметров. Она независимо кодирует запросы и документы и выдаёт для каждого текста вектор размерности 4096. Контекст составляет до 131 072 токенов. Для запросов при поиске рекомендуется добавлять инструкцию по шаблону «Instruct: …\nQuery: …», а документы подавать без специального оформления. Модель показала высокие результаты на мультиязычном бенчмарке MTEB по состоянию на октябрь 2025 года. Она поддерживает извлечение признаков и оценку сходства предложений; для запуска ориентирована на GPU и совместима с инструментами NVIDIA. Лицензия ограничивает использование некоммерческими и исследовательскими целями.

tbhrc/meta_llama_3_1_8b_instruct_4bit — конверсия Meta Llama 3.1 8B Instruct в формат MLX с 4-битным представлением весов. Исходную модель разработала Meta; конверсию выполнил mlx-community, а репозиторий размещён пользователем tbhrc. Модель представляет собой плотную авторегрессионную LlamaForCausalLM с 7,5 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для диалоговой генерации текста и поддерживает интерфейс вызова инструментов. В метаданных перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. README указывает на конверсию MLX из meta-llama/Meta-Llama-3.1-8B-Instruct; лицензия — llama3.1. Репозиторий описывает конвертированную MLX-версию с 4-битными весами, тогда как в метаданных формат файлов указан как safetensors.

MiMo-V2.6-Flash-RL UNCENSORED GGUF — квантованная сборка модели Xiaomi MiMo-V2.6-Flash-RL, подготовленная cafonez для Framework Desktop с AMD Ryzen AI Max 400 (Gorgon Halo). Это текстовая MoE-модель с 309,8 млрд параметров и 256 экспертами, из которых на токен выбираются 8. Сборка занимает около 154,6 GiB и сочетает исходные веса экспертов MXFP4 с квантованием Q5_K для компонентов внимания и плотных слоёв; заявленный контекст запуска — до 131 072 токенов. Модель предназначена для диалоговой генерации текста, в том числе для задач программирования и использования агентами с инструментами. Это версия без отказов, созданная на уровне весов dealignai. Вариант GGUF содержит только текстовую часть исходной модели: визуальный и аудиокодеры исключены. Для загрузки требуется специальная сборка ROCmFPX; веса рассчитаны на машину с большим объёмом GPU-доступной памяти, а приведённые в карточке скорости измерены на конкретной конфигурации и не гарантируют такую же производительность на другом оборудовании. В карточке указана лицензия MIT.

weathermanj/Nemotron-nano-9b-fp8 — FP8-квантованная версия языковой модели NVIDIA Nemotron Nano 9B v2, подготовленная jwjohns (Emendat.io). Модель использует гибридную архитектуру Mamba-Transformer с 8,89 млрд эффективных параметров: 27 слоёв Mamba2 и 4 слоя внимания. Веса линейных слоёв представлены в FP8 E4M3, а эмбеддинги, нормализации и смещения сохранены в BF16. Размер файлов модели составляет 9,48 ГБ; заявленная длина контекста — до 128 тысяч токенов. Модель предназначена для генерации текста и диалогов, следования инструкциям, программирования и задач с управляемым рассуждением; метаданные также указывают интерфейс вызова инструментов. Квантование сокращает размер весов относительно исходной BF16-версии, сохраняя совместимость с исходным токенизатором и архитектурой. Карточка заявляет лицензию NVIDIA Open Model License; в метаданных лицензия обозначена как other, поэтому перед использованием следует свериться с условиями исходной лицензии.

NVIDIA-Nemotron-3-Nano-30B-A3B-Base-BF16 — базовая большая языковая модель, обученная NVIDIA с нуля на предсказание следующего токена. Она предназначена для разработчиков и исследователей, которым нужна основа для дообучения под следование инструкциям и создания специализированных ИИ-агентов. Архитектура сочетает Mamba2 и Transformer с экспертами (MoE); модель содержит 30 млрд параметров, принимает и генерирует текст, а в карточке указано окно контекста до 1 млн токенов. Конфигурация Hugging Face по умолчанию использует 256 тыс. токенов из-за требований к видеопамяти. Модель обучалась на коде, математике, научных и общеязыковых данных; NVIDIA приводит поддержку русского и других естественных языков, а также обучение на 43 языках программирования. Заявленные области корпуса включают право, математику, науку и финансы. Для запуска NVIDIA рекомендует GPU-системы, в частности H100-80GB или A100, и NeMo Framework; также перечислены Transformers, vLLM и TRT-LLM. Модель заявлена как готовая к коммерческому использованию, однако метаданные Hugging Face обозначают лицензию как «other», поэтому перед использованием следует проверить условия лицензии в карточке.

Ogma Base — компактная англоязычная модель для создания текстовых эмбеддингов, разработанная авторами семейства Ogma. Это плотная модель с 13,3 млн параметров и контекстом до 1024 токенов; она поддерживает симметричное кодирование и Matryoshka-размерности 256, 128, 64 и 32. В README указана средняя оценка 57,02 на 66 англоязычных задачах MTEB. Модель предназначена для семантического поиска, извлечения документов в RAG, векторного поиска, кластеризации, классификации, оценки сходства предложений и памяти агентных систем. Небольшой размер позволяет развертывать её локально и использовать на CPU. Она не генерирует текст и рассчитана на английский язык; для задач парного ранжирования в README отмечено отставание от MiniLM-L6-v2. Доступны форматы ONNX и safetensors. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование; для него требуется отдельная лицензия или переобучение на подходящей модели-учителе.

Карточка модели hotchpotch/open-provence-reranker-large-v1 на Hugging Face совпадает с карточкой hotchpotch/open-provence-reranker-xsmall-v1, поэтому описание составлено по ней. OpenProvence reranker xsmall v1 — компактная двуязычная модель переранжирования и отбора предложений для подготовки контекста в системах поиска и RAG. Модель разработана hotchpotch и содержит 30 млн параметров; архитектура — OpenProvence для классификации последовательностей, веса представлены в формате safetensors. Модель принимает вопрос и текстовый контекст, оценивает релевантность предложений и удаляет фрагменты, не относящиеся к запросу. Она предназначена для ускорения поиска нужной информации и сокращения контекста перед передачей его генеративной модели. Поддерживаются английский и японский языки; согласно карточке, xsmall рассчитана на низкую задержку и может работать на CPU. В опубликованных оценках модель сокращала объём контекста, сохраняя ответы на контрольных примерах, но результаты зависят от языка, порога отсечения и набора данных. Модель опубликована под лицензией MIT.

Карточка модели hotchpotch/open-provence-reranker-v1 на Hugging Face совпадает с карточкой hotchpotch/open-provence-reranker-xsmall-v1, поэтому описание составлено по ней. OpenProvence reranker xsmall v1 — компактная двуязычная модель переранжирования и отбора предложений для подготовки контекста в системах поиска и RAG. Модель разработана hotchpotch и содержит 30 млн параметров; архитектура — OpenProvence для классификации последовательностей, веса представлены в формате safetensors. Модель принимает вопрос и текстовый контекст, оценивает релевантность предложений и удаляет фрагменты, не относящиеся к запросу. Она предназначена для ускорения поиска нужной информации и сокращения контекста перед передачей его генеративной модели. Поддерживаются английский и японский языки; согласно карточке, xsmall рассчитана на низкую задержку и может работать на CPU. В опубликованных оценках модель сокращала объём контекста, сохраняя ответы на контрольных примерах, но результаты зависят от языка, порога отсечения и набора данных. Модель опубликована под лицензией MIT.

Ornith-1.5-9B-OptiQ-4bit — квантованная версия языковой reasoning-модели Ornith-1.5-9B-MLX, разработанной ornith-ai и адаптированной сообществом mlx-community для MLX. Модель предназначена для локального запуска на устройствах Apple Silicon без PyTorch и облачных сервисов, а также для генерации текста, рассуждений, работы с длинным контекстом, function calling, tool use и агентских сценариев. Указан английский язык. Модель основана на архитектуре Qwen3.5 с 9 млрд параметров и 32 слоями. Используется смешанная покомпонентная квантизация OptiQ: 116 компонентов представлены в 4-битном формате, 134 — в 8-битном, размер группы — 64. На диске модель занимает около 7 ГБ; обозначение 4bit относится к семейству квантов, а не к среднему числу бит на параметр. Для запуска используются mlx-lm и mlx-optiq, доступен совместимый с OpenAI и Anthropic серверный интерфейс с поддержкой смешанной точности KV-кэша. Сильными сторонами являются уменьшенный размер, локальная работа на Apple Silicon и сохранение более высокой точности в чувствительных слоях за счёт смешанной квантизации. Ограничения включают специализацию на экосистеме MLX и Apple Silicon, а также необходимость выделять модели достаточный бюджет токенов для reasoning-сценариев. Модель распространяется по лицензии Apache-2.0.

Карточка модели Openintelligent123/Phi-4-mini-instruct на Hugging Face совпадает с карточкой microsoft/Phi-4-mini-instruct, поэтому описание составлено по ней. Phi-4-mini-instruct — компактная языковая модель Microsoft семейства Phi-4 с архитектурой Phi-3 и 3,8 млрд параметров. Она обучена на синтетических данных и отфильтрованных общедоступных веб-материалах, а затем дообучена с учителем и оптимизирована по предпочтениям для следования инструкциям и повышения безопасности. Метаданные указывают контекст 4096 токенов; в README заявлен контекст до 128K токенов. Модель предназначена для диалоговых и генеративных приложений общего назначения, особенно при ограниченных вычислительных ресурсах или требованиях к низкой задержке. Среди заявленных сильных сторон — рассуждения, в особенности математические и логические задачи, следование инструкциям, работа с кодом и интерфейс вызова инструментов. Поддерживается многоязычная работа, включая русский и английский; качество может различаться между языками. Модель принимает текст и генерирует текст. Она выпущена под лицензией MIT. README предупреждает о возможных ошибках и вредных ответах, уязвимости к длительным многоходовым jailbreak-атакам и галлюцинациях имён функций или URL при вызове инструментов; для конкретных сценариев рекомендуется оценивать точность, безопасность и справедливость.

Qwen-2.5-7b-TitanFusion-v5-Exp — объединённая языковая модель на базе архитектуры Qwen2, созданная сообществом с помощью mergekit и метода TIES. В объединение вошли huihui-ai/Qwen2.5-7B-Instruct-abliterated-v2, Cran-May/T.E-8.1, Qwen/Qwen2.5-Coder-7B, Qwen/Qwen2.5-Math-7B, happzy2633/qwen2.5-7b-ins-v3 и katanemo/Arch-Function-7B. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2ForCausalLM и принимает текст для генерации текста; поддерживает диалоговый режим и интерфейс вызова инструментов. Контекстное окно составляет 32 768 токенов. Включение кодовой, математической и функционально ориентированных моделей предполагает применение для программирования, решения математических задач и диалогов с инструментами, однако README не приводит отдельных результатов оценки этих возможностей. Репозиторий содержит веса в формате safetensors и предназначен для Transformers. Лицензия в предоставленных данных не указана.

Мультимодальная инструкционная модель Qwen2.5-VL-7B на 7,1 млрд параметров, преобразованная сообществом mlx-community в формат MLX из Qwen/Qwen2.5-VL-7B-Instruct. Она принимает текст и изображения и отвечает текстом, поддерживает диалог и интерфейс вызова инструментов. Модель подходит для анализа изображений и видео, извлечения данных из документов и других визуальных задач; максимальный контекст — 128 000 токенов. В метаданных указана библиотека Transformers, а карточка описывает конвертацию с помощью mlx-vlm 0.1.11. Лицензия — Apache-2.0.

Qwen3-1.7B-unsloth-bnb-4bit — компактная каузальная языковая модель семейства Qwen3, представленная Unsloth и основанная на базовой модели Qwen/Qwen3-1.7B, разработанной командой Qwen. Данная версия предназначена для запуска и дообучения в формате 4-bit с использованием Transformers, что снижает требования к памяти по сравнению с полноразмерными вариантами. Модель подходит для генерации текста, диалогов, следования инструкциям, математических и логических задач, программирования, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Qwen3 поддерживает переключение между thinking mode для сложного рассуждения и non-thinking mode для более быстрой генерации. Заявлена поддержка более 100 языков и диалектов, однако в карточке явно указан язык English. Архитектура — causal language model с 1,7 млрд параметров, из которых 1,4 млрд не являются embedding-параметрами; модель содержит 28 слоёв, использует GQA с 16 головами для Q и 8 для KV, а максимальная длина контекста составляет 32 768 токенов. К сильным сторонам относятся небольшой размер, сниженное потребление памяти благодаря 4-bit-квантизации, мультиязычность, режимы рассуждения и эффективная работа в задачах диалога, инструкций, кода и агентского взаимодействия. Ограничения включают меньшую ёмкость по сравнению с крупными моделями, возможное снижение точности из-за квантизации и отсутствие в README подробных результатов бенчмарков, требований к оборудованию и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

NVFP4/Qwen3-30B-A3B-Thinking-2507-FP4 — квантизированная FP4-версия модели Qwen3-30B-A3B-Thinking-2507, разработанной командой Qwen. Модель относится к классу авторегрессионных языковых моделей и предназначена для генерации текста с акцентом на углублённое рассуждение. Модель подходит для сложных задач логического рассуждения, математики, науки, программирования, следования инструкциям, использования инструментов, генерации текста и агентских сценариев. Заявлена улучшенная работа с длинным контекстом, включая контекст длиной до 262 144 токенов, а также поддержка многоязычных задач. Модель работает только в режиме рассуждения; увеличенная длина рассуждений особенно рекомендуется для сложных запросов. Архитектура — causal language model на основе MoE: 30,5 млрд параметров всего, из которых активируется около 3,3 млрд; 48 слоёв, 128 экспертов и 8 активируемых экспертов, используется GQA с 32 головами Q и 4 головами KV. Квантизация FP4 может снизить требования к памяти и упростить развёртывание, однако точные требования к аппаратуре и влияние квантизации на качество в README не указаны. Ограничением является отсутствие режима без рассуждений и потенциально высокая длина генерируемого вывода. Модель распространяется по лицензии Apache 2.0.

mlx-community/Qwen3-32B-bf16 — конверсия модели Qwen/Qwen3-32B в формат MLX, выполненная сообществом mlx-community с помощью mlx-lm версии 0.24.0. Это плотная авторегрессионная языковая модель семейства Qwen3 с 29,7 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст. Для неё указан контекст длиной до 40 960 токенов. Базовая Qwen3 — многоязычная модель для диалога, рассуждений, программирования и работы с инструментами; конкретный перечень поддерживаемых языков в карточке этой конверсии не приведён. Репозиторий содержит веса safetensors и предназначен для использования с библиотекой MLX, в частности через mlx-lm. Модель доступна по лицензии Apache-2.0. Качество и скорость могут зависеть от оборудования и программной среды MLX; приведённые сведения не описывают отдельную проверку этой конверсии.

unsloth/Qwen3.5-2B-MTP-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-2B, основанной на Qwen/Qwen3.5-2B и подготовленной Unsloth. Модель предназначена для локального запуска, прототипирования, исследовательских задач, специализированного дообучения, программирования, агентских сценариев, вызова инструментов и работы с текстом и изображениями. Модель представляет собой авторегрессионную языковую модель с vision-энкодером и поддерживает контекст до 262 144 токенов. Она содержит около 2 млрд параметров, 24 слоя, скрытую размерность 2048 и гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Поддерживается 201 язык и диалект. Вариант включает обучение для multi-step speculative decoding (MTP), заявленное ускорение генерации составляет примерно 1,5–2 раза при совместимом запуске через llama.cpp. К сильным сторонам относятся мультимодальность, большой контекст, компактный размер, возможность локального запуска и поддержка ускоренного декодирования, дообучения и улучшенного tool calling. Ограничения связаны с необходимостью совместимого ПО и сборки llama.cpp с поддержкой MTP; при таком режиме не поддерживаются параллельность запросов через -np > 1 и параметр --mmproj. В README также указано, что из-за масштаба модели она ориентирована прежде всего на прототипирование, специализированное дообучение, исследования и разработку. Распространение осуществляется по лицензии Apache 2.0.

RadixArk Qwen3.8-2.4T-A95B-NVFP4 — квантизированная версия причинно-следственной языковой модели Qwen3.8-2.4T-A95B, созданной Qwen. Квантизацию выполнила RadixArk с использованием NVIDIA Model Optimizer и схемы experts-only NVFP4; RadixArk не обучала и не дообучала модель. Архитектура — Transformer Mixture-of-Experts с 2,4 трлн общих параметров и 95 млрд активируемых параметров. Модель предназначена для генерации текста, AI-агентов, чат-ботов, RAG-систем и других текстовых приложений. Она принимает и возвращает текст, поддерживает контекст до 262 144 токенов и работает только в режиме рассуждений; мультимодальные входы и отключение thinking mode не поддерживаются. Квантизации подвергнуты линейные операторы в MLP-блоках маршрутизируемых экспертов, остальные компоненты сохраняют точность исходного чекпойнта. Для запуска рекомендуется SGLang на Linux и совместимое оборудование NVIDIA Blackwell, в частности конфигурация 8×B300; заявленная интеграция с другими платформами не указана. По приведённым оценкам на конфигурации 8×B300 модель получила 97,73% на GSM8K, 98,75% pass@1 и 100% pass@16 на AIME 2026, 70,6% pass@1 на SWE-bench Verified и 87,64% pass@1 на Terminal-Bench 2.1. Ограничения и характеристики обучения унаследованы от исходной модели; README предупреждает о возможном воспроизведении токсичных высказываний и общественных предубеждений из обучающих данных. Модель распространяется по лицензии Qwen3.8-Max, обозначенной как other.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-mlx-oQ6e-1M — релиз Solstice-AI на базе модели DavidAU Qwen3.8-27B-TURBO-Fable-Cold-Fusion. Solstice-AI отвечает за downstream-квантизацию, масштабирование контекста YaRN до 1 048 576 токенов и упаковку для Apple MLX. Модель ориентирована на английский и китайский языки; в метаданных указана задача image-text-to-text, однако подробности о поддерживаемых визуальных входах не приведены. Модель предназначена для рассуждений, программирования, агентной разработки ПО, отладки репозиториев, выполнения многошаговых рабочих процессов и задач управления операционными системами. Заявлены архитектура Qwen 3.8 с гибридным вниманием, включающая Gated Delta Recurrent Network и Grouped-Query Attention, механизм Multi-Token Prediction, а также объединение весов Cold Fusion GAIN. Формат — смешанная квантизация Apple MLX oQ6e; заявлено размещение примерно в 23,7 ГБ оперативной памяти и ускорение на Apple Silicon через Metal и Anvil Runtime. К сильным сторонам относятся заявленные большой контекст до 1 миллиона токенов, поддержка локального запуска на совместимых компьютерах Apple Silicon и высокие результаты на наборах SWE-bench Pro, LiveCodeBench, QwenSWEBench, OSWorld, AndroidWorld, IFBench и ARC. Эти показатели и сравнения с Claude Opus 4.6 приведены авторами README, но методика и независимое подтверждение не описаны. Ограничения включают зависимость производительности от MLX, Apple Silicon и доступной памяти, возможные потери качества из-за квантизации, а также отсутствие подробных данных о тренировочном наборе, мультимодальных возможностях и безопасности. Указанная лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-AWQ-MTP — это 4-битная AWQ-квантизованная версия модели HauhauCS/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF, опубликованная twolven. Модель предназначена для генерации текста, рассуждений, работы с изображениями и вызова инструментов; поддерживает speculative decoding через встроенную NextN/MTP draft head при использовании vLLM. В карточке указан английский язык и мультимодальный режим image-text-to-text. Модель содержит около 27 млрд параметров и использует гибридную архитектуру Qwen3.5: 64 декодерных слоя, включая 48 слоёв с линейным вниманием Qwen3_5GatedDeltaNet и 16 слоёв с полным вниманием, а также 27-слойную vision tower. Основные линейные слои квантизованы в формате W4A16 с размером группы 128 и асимметричным квантованием; vision tower, lm_head, MTP head и отдельные компоненты сохранены в bf16. Размер модели на диске составляет около 19 ГБ. Проверки показали связное поведение, арифметическое рассуждение, распознавание форм и цветов на изображениях, работу tool calling и извлечение данных из контекстов до 229 200 токенов. К сильным сторонам относятся мультимодальность, сохранённая поддержка MTP для ускорения генерации, совместимость с vLLM, инструментами и длинным контекстом, а также отсутствие отказов в заявленных тестах uncensored-профиля. Главное ограничение — модель восстановлена из GGUF-квантизации Q8_K_P, а затем повторно квантизована до 4 бит, поэтому накопленная ошибка выше, чем у сборки, созданной непосредственно из исходных BF16-весов. Производительность MTP зависит от характера запроса и может различаться примерно на 30%; единое значение скорости генерации не приводится. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next GGUF — это квантизированная версия официальной модели Qwen/Qwen3.8-Flash-Next, подготовленная BatiAI в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста, программирования, работы с инструментами и структурированного вывода, включая JSON. Заявлена поддержка английского, корейского и китайского языков. Модель использует MoE-архитектуру qwen4exp: около 176,9 млрд параметров, из которых примерно 4,9 млрд активируются на каждом токене; всего используется 512 экспертов с выбором top-10. Доступны варианты квантизации IQ3_XXS, IQ4_XS, Q4_K_M и Q6_K размером примерно от 79 до 141 ГиБ. Вариант IQ4_XS показал скорость генерации 11,7 токена в секунду на CPU и 32,74 токена в секунду на Mac Studio M2 Ultra с 192 ГиБ памяти. Для запуска требуется актуальная версия llama.cpp с поддержкой qwen4exp; старые версии, а также ранние сборки Ollama и LM Studio могут не загружать модель. Сильными сторонами являются высокая скорость для модели такого размера, проверенная генерация на корейском языке, поддержка вызова инструментов, программирования, длинных текстов и структурированного вывода. При этом модель ненадёжна в арифметике: в тестах она допустила ошибки в двух нетривиальных выражениях, поэтому вычисления, особенно связанные с деньгами и количествами, следует передавать калькулятору или проверять отдельно. Для работы требуется значительный объём памяти. Лицензия указана как qwen-community-license-1.0; применяются условия лицензии Qwen.

Qwen3-VL-8B-Thinking — мультимодальная vision-language модель из серии Qwen, разработанная командой Qwen и представленная в GGUF-репозитории Unsloth. Это Thinking-версия с усиленным рассуждением, предназначенная для анализа изображений и видео вместе с текстом, генерации ответов, STEM- и математического анализа, распознавания документов и OCR, пространственного рассуждения, а также взаимодействия с графическими интерфейсами и инструментами. Модель также может генерировать Draw.io, HTML, CSS и JavaScript по изображениям или видео. Модель имеет плотную архитектуру и размер 8B параметров; конкретные характеристики GGUF-квантизации в README не указаны. Поддерживаются текст, изображения и видео, а заявленный нативный контекст составляет 256K токенов с возможностью расширения до 1M. Для видео предусмотрено понимание временной динамики и событий с привязкой к временным меткам. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. OCR поддерживает 32 языка, однако полный перечень языков в README не приведён. Сильные стороны модели — объединённое текстово-визуальное понимание, визуальное и пространственное рассуждение, обработка длинных документов и продолжительных видео, распознавание текста в сложных условиях, включая низкую освещённость, размытие и наклон. Ограничения связаны с вычислительными и мультимодальными ресурсами, необходимыми для работы с длинным контекстом, изображениями и видео; точные требования к памяти и производительности не указаны. Модель распространяется по лицензии Apache-2.0.