I.14Автоматизация процессов и AI-агенты

UCLA-EMC/Meta-Llama-3.1-8B-AWQ-INT4 — квантизированная версия базовой модели Meta-Llama-3.1-8B, разработанной Meta и подготовленной в формате AWQ сообществом UCLA-EMC. Это авторегрессионная текстовая генеративная модель: принимает текст и генерирует текст. Модель предназначена для локального запуска и задач общего текстового продолжения, включая генерацию кода и другой контент по заданному запросу. Версия является базовой, а не instruction-tuned, поэтому она не оптимизирована специально для диалогового следования инструкциям. Модель имеет размер 8B параметров и квантизацию INT4 с использованием AutoAWQ, GEMM-ядер, zero-point quantization и размером группы 128. Для загрузки контрольной точки требуется около 7,29 ГБ VRAM; модель тестировалась на GPU NVIDIA T4 и может запускаться на менее мощном оборудовании. В README указана поддержка английского языка; размер контекста для самой модели не указан, а параметр fuse_max_seq_len=512 приведён только в примере запуска. Для работы используются Transformers, Accelerate и AutoAWQ. Модель распространяется по лицензии CC BY-NC-4.0, поэтому её применение ограничено условиями этой лицензии, включая некоммерческий характер использования.

alamios/Meta-Llama-3.1-8B-Instruct-GGUF-f16 — сборка Meta-Llama 3.1 8B Instruct в формате GGUF F16 для запуска через llama.cpp. Модель основана на meta-llama/Meta-Llama-3.1-8B-Instruct и предназначена для диалоговой генерации текста и ответов на запросы. Карточка указывает совместимость с выпуском llama.cpp b3565. Модель относится к семейству Llama 3.1, имеет 8 млрд параметров и поддерживает несколько языков, включая английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Репозиторий распространяется по лицензии Llama 3.1. GGUF F16 хранит веса в формате половинной точности; конкретные требования к памяти и ограничения качества в карточке не описаны.

MetaModel_moex8 — языковая модель с архитектурой Mixtral MoE, опубликованная Xenon1. Она создана с помощью mergekit на основе восьми моделей, включая SOLAR-10.7B-Instruct-v1.0 и SauerkrautLM-SOLAR-Instruct. Модель содержит 10,6 млрд параметров, принимает текст и генерирует текст; заявленный контекст — 4096 токенов. Модель предназначена для генерации текста и диалогового взаимодействия на нескольких языках. В метаданных перечислены английский, китайский, арабский, немецкий и французский; карточка также помечает модель как многоязычную. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

miiqu-f16 — разговорная языковая модель от Infinimol AI GmbH на архитектуре Llama, представленная в формате safetensors для Transformers. Модель рассчитана на генерацию текста и диалоговое взаимодействие; в README также приведён результат на EQ-Bench — 8-е место в сравнении с несколькими крупными чат-моделями. Заявленное окно контекста — 32 768 токенов. Модель содержит 90,1 млрд параметров по метаданным. README сообщает, что она создана без дообучения и дополнительного обучения; метаданные помечают её как слияние, поэтому происхождение следует считать слиянием моделей. Доступны варианты GGUF Q4_K_M и EXL2 5.0 bpw. Для диалогов указаны шаблоны ChatML и Mistral. Метаданные отмечают поддержку английского, немецкого, французского, испанского и итальянского языков. Лицензия обозначена как other, без конкретных условий в предоставленных данных.

Ming-flash-omni Preview — предварительная мультимодальная модель компании inclusionAI, дообученная на основе Ling-flash-2.0. Это разреженная MoE-модель с 100 млрд параметров, из которых активны 6 млрд на токен; архитектура указана как BailingMM2NativeForConditionalGeneration. Модель принимает текст, изображения, аудио и видео и может выдавать текст, изображения и аудио. Модель предназначена для мультимодального диалога: понимания изображений и видео, распознавания речи с учётом контекста и китайских диалектов, синтеза речи, генерации и редактирования изображений. Среди заявленных возможностей — генеративная сегментация, улучшенное сохранение сцены и идентичности при редактировании, а также отрисовка текста внутри изображений. Разработчик сообщает о сильных результатах на мультимодальных тестах, включая контекстное распознавание речи и распознавание 15 китайских диалектов. Модель опубликована под лицензией MIT. Это Preview-версия; карточка не приводит длину контекста и подробные требования к оборудованию. Для практического применения следует учитывать большой общий размер модели и проверять качество на целевых задачах.

Mistral-22B-v0.2-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Mistral-22B-v0.2, опубликованный и квантизированный bartowski на основе исходной модели Vezora/Mistral-22B-v0.2. Файлы предназначены для запуска через llama.cpp и совместимые инструменты, включая локальный запуск с использованием CPU, GPU или их комбинации. Модель рассчитана на задачи генерации текста и диалогового взаимодействия. В README указаны шаблон запроса с ролями System, Human и Assistant, а также множество вариантов квантизации от Q8_0 до IQ1_S. Размер файлов составляет примерно от 4,82 до 23,63 ГБ; варианты с более высокой точностью обычно обеспечивают лучшее качество, но требуют больше памяти. Рекомендуемыми названы, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS. К ключевым ограничениям относятся потери качества при использовании низкобитных вариантов, причём IQ1_M и IQ1_S прямо не рекомендуются. README не содержит сведений об архитектуре слоёв, размере контекста, поддерживаемых языках, модальностях помимо текста или результатах бенчмарков. Квантизации выполнены с использованием imatrix и датасета Kalomaze. Указана лицензия Apache-2.0.

Это квантизированная версия в формате GGUF модели MaziyarPanahi/Mistral-7B-Instruct-v0.1-16k-Mistral-7B-Instruct-v0.2-slerp. Модель разработана и подготовлена MaziyarPanahi; исходная версия получена объединением Mistral-7B-Instruct-v0.1-16k от NurtureAI и Mistral-7B-Instruct-v0.2 от Mistral AI методом slerp. Модель предназначена для генерации текста и работы с инструкциями, включая локальные чат-сценарии и другие задачи text generation, совместимые с поддерживаемыми GGUF инструментами. Модель имеет около 7 миллиардов параметров и работает только с текстом. Доступны варианты квантизации с разрядностью от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством. README не указывает точный размер контекстного окна объединённой модели, языки, результаты тестирования или специализированные преимущества. Формат GGUF поддерживается llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другими совместимыми средствами, поэтому модель подходит для локального запуска на различных платформах, в том числе с GPU-ускорением. Ограничениями являются зависимость характеристик от выбранного уровня квантизации и отсутствие подтверждённых в README данных о качестве, языковой специализации и производительности. Модель распространяется по лицензии Apache-2.0.

Это 4-битная MLX-версия модели Devstral-Small-2-24B-Instruct-2512, разработанной Mistral AI и конвертированной сообществом mlx-community из исходной модели mistralai/Devstral-Small-2-24B-Instruct-2512. Модель предназначена для диалоговых и инструкционных сценариев, а также для задач преобразования изображений и текста в текст, включая описание изображений. Модель содержит 24 миллиарда параметров, относится к семейству Mistral и поддерживает мультимодальный режим с обработкой изображений и текста. Она преобразована в формат MLX и использует 4-битное квантование, что уменьшает требования к памяти по сравнению с полноразмерной версией. README не содержит сведений о длине контекста, поддерживаемых языках, точной архитектуре или результатах тестирования. К сильным сторонам относятся инструкционный режим, мультимодальные возможности и компактное 4-битное представление для запуска через mlx-vlm. Ограничения включают отсутствие в README подробностей о качестве, языковой поддержке, контекстном окне и аппаратных требованиях; кроме того, квантование может влиять на точность по сравнению с исходной моделью. Модель распространяется по лицензии Apache-2.0.

Это набор файлов GGUF с весами модели Meta-Llama-3.1-70B-Instruct в варианте BF16, опубликованный featherless-ai-quants на основе mlx-community/Meta-Llama-3.1-70B-Instruct-bf16-CORRECTED. Модель семейства Llama 3.1 с 70 млрд параметров предназначена для генерации текста в диалоговом режиме; карточка указывает несколько вариантов квантования, включая IQ4_XS, Q2_K и Q3_K_L. Модель можно использовать для ответов на вопросы, диалогов и генерации текста. В карточке не приведены сведения о контекстном окне, поддерживаемых языках и лицензии, поэтому эти характеристики здесь не уточняются. Качество и требования к памяти зависят от выбранного варианта квантования; это крупная модель, для запуска которой нужны значительные вычислительные ресурсы.

Neural-AlphaMistral-7B — диалоговая языковая модель, созданная Ppoyaa слиянием трёх моделей с помощью LazyMergekit: AlphaMonarch-7B, Mistral-7B-Instruct-v0.2 и NeuralMaths-Experiment-7b. Используется архитектура MistralForCausalLM с плотной структурой и 7,1 млрд параметров; веса сохранены в формате safetensors. Модель предназначена для генерации текста и ответов в диалоге, включая задачи, опирающиеся на возможности исходных моделей. Контекстное окно составляет до 32 768 токенов. Модель принимает текстовые запросы и генерирует текст. Репозиторий распространяется по лицензии Apache-2.0. README не приводит оценок качества или подробных результатов по отдельным задачам; фактические возможности унаследованного экспериментального компонента могут отличаться от поведения исходных моделей.

NeuralKukedlc-7B-Labonned — языковая модель для генерации текста, созданная объединением NeuralBeagle14-7B и NeuralHermes-2.5-Mistral-7B с помощью LazyMergekit. В README указан метод слияния SLERP; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров. Модель предназначена для диалогов и генерации текста по запросу. Контекстное окно составляет 32 768 токенов. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. Модель объединяет две диалоговые модели Mistral; карточка не приводит отдельной оценки качества или перечня поддерживаемых языков. Практические результаты могут зависеть от формулировки запроса и сценария использования.

NeuralPipe-9B-Passthrough — слитая модель для генерации текста, созданная на основе OpenPipe/mistral-ft-optimized-1218 и mlabonne/NeuralHermes-2.5-Mistral-7B с помощью LazyMergekit. В конфигурации passthrough использованы слои обеих моделей; архитектура — плотная MistralForCausalLM, размер — 8,9 млрд параметров, формат весов — safetensors. Модель предназначена для генерации текста и диалогового общения. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. Лицензия — Apache-2.0. В карточке не приведены результаты оценки качества или подробные сведения о языковом охвате.

Noema-2B-GGUF — это набор GGUF-квантизированных сборок модели Noema-2B, разработанной NoemaAI-labs. Модель представляет собой примерно 2-миллиардную reasoning-модель, дообученную на базе Qwen/Qwen3.5-2B, и предназначена для генерации текста, решения математических и логических задач, а также локального запуска через llama.cpp и совместимые среды. Заявленный язык — английский. Модель использует гибридную архитектуру Qwen3.5 с Gated-DeltaNet: в ней сочетаются линейные слои и слои полноформатного внимания. Доступны варианты F16, Q8_0, Q6_K и Q4_K_M размером примерно от 1,2 до 3,5 ГБ; Q4_K_M рекомендован как наиболее сбалансированный по качеству и размеру, а Q8_0 обеспечивает наиболее высокую точность среди квантизированных вариантов. Модель настроена и оценивалась в non-thinking mode, который включается шаблоном чата по умолчанию. Для работы требуется свежая версия llama.cpp с поддержкой архитектуры qwen35; старые версии могут не загрузить модель. Рекомендуется использовать вероятностную генерацию с параметрами temperature 0.7, top-p 0.8, top-k 20 и presence penalty 1.5. Жадная генерация с temperature 0 может приводить к зацикливанию повторов. Максимальный размер контекста, подробные бенчмарки и ограничения базовой модели в данной карточке не указаны. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой Qwen/Qwen3.5-2B.

Notus 7B v1 GGUF — это квантизированная версия языковой модели Notus 7B v1, разработанной Argilla и преобразованной в формат GGUF пользователем TheBloke. Модель основана на архитектуре Mistral и предназначена для генерации текста и диалоговых сценариев на английском языке. В карточке указано около 7 миллиардов параметров; размер контекстного окна и точные варианты квантизации не приведены. Модель обучалась с использованием preference-ориентированных подходов DPO и RLAIF на датасете argilla/ultrafeedback-binarized-preferences. Она рассчитана на выполнение инструкций, ответы на вопросы, рассуждения и универсальную генерацию текста. Среди указанных результатов: win rate 0,9142 на AlpacaEval, оценка 7,3 на MT-Bench, accuracy 0,6303 на MMLU и normalized accuracy 0,8478 на HellaSwag. Эти показатели отражают результаты базовой модели Notus 7B v1, а не обязательно каждого квантизированного варианта. К сильным сторонам относятся ориентация на выполнение инструкций, диалоговое использование и более низкие требования к вычислительным ресурсам благодаря формату GGUF и квантизации. Ограничения включают англоязычную специализацию, отсутствие заявленной поддержки мультимодальности и неполную информацию о контекстном окне, конкретных уровнях квантизации и характеристиках производительности. Лицензия модели — MIT.

Это конвертированная в GGUF версия NVIDIA Nemotron 3.5 Lightning 30B-A3B NVFP4, подготовленная автором репозитория для запуска через llama.cpp. Из конвертации исключены MTP-слои; веса сохранены в автоматически выбранном формате исходной модели. Модель предназначена для генерации текста и диалогового использования. Автор сообщает, что она запускалась на двух видеокартах RTX 5060 Ti по 16 ГБ, с контекстом до 1 048 576 токенов и квантизацией KV-кэша q8_0; по его оценке, для этого не требуется выгружать экспертные слои в оперативную память. Поддерживаемые языки по карточке: английский, испанский, французский, немецкий, итальянский и японский. Это конверсия исходной модели NVIDIA в GGUF для llama.cpp, а не самостоятельное дообучение; базовая модель — nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4. Репозиторий указывает лицензию «other», поэтому перед использованием следует проверить условия исходной модели и репозитория.

OpenBuddy-mixtral-7bx8-v16.3-32k — многоязычная чат-модель семейства Mixtral, опубликованная командой OpenBuddy. Она предназначена для диалогов и генерации текста; архитектура — Mixtral MoE, класс MixtralForCausalLM. В репозитории указаны 7,1 млрд параметров и контекст до 32 768 токенов; модель распространяется в формате safetensors и использует библиотеку Transformers. Модель поддерживает китайский, английский, французский, немецкий, японский, корейский, итальянский и русский языки. Лицензия — Apache 2.0. Ответы могут быть ошибочными, вредными или оскорбительными; модель не следует использовать для решений в медицине, финансах, праве и других критически важных сценариях.

OpenHyperion-2.5-Mistral-7B — объединённая модель на базе Mistral, созданная Hydra Project методом SLERP с помощью LazyMergekit из Locutusque/Hyperion-2.1-Mistral-7B и teknium/OpenHermes-2.5-Mistral-7B. Это плотная авторегрессионная модель с архитектурой MistralForCausalLM и 7,1 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия на английском языке. Контекстное окно составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors; модель распространяется по лицензии Apache-2.0.

Orca Mini v9.2 — диалоговая языковая модель Pankaj Mathur, дообученная на базе Meta Llama 3.3 70B Instruct. Она предназначена для генерации текста и работы в роли разговорного ассистента; в карточке приведён формат промпта Llama 3. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов. Карточка указывает английский язык, а базовая модель поддерживает также французский, немецкий, хинди, итальянский, португальский, испанский и тайский; качество Orca Mini на этих языках отдельно не подтверждено. Модель может генерировать неточные, предвзятые или нежелательные ответы, поэтому перед применением требуется тестирование и настройка мер безопасности под конкретный сценарий. Распространяется по лицензии Llama 3.3.

p-e-w_Qwen3-4B-Instruct-2507-heretic-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen3-4B-Instruct-2507-heretic. Исходную модель разработал p-e-w, а квантизации подготовил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций при локальном запуске через llama.cpp, LM Studio и совместимые проекты. Модель содержит около 4 миллиардов параметров и доступна в вариантах от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов варьируется примерно от 2,24 до 8,05 ГБ, что позволяет выбирать между качеством и требованиями к памяти. В README не указаны поддерживаемые языки, длина контекста, точная архитектура или мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильными сторонами являются компактный размер, возможность локального запуска и широкий выбор квантизаций; варианты Q4–Q6 позиционируются как обеспечивающие хорошее или очень высокое качество при сниженных требованиях к памяти. Ограничения включают возможную потерю качества при использовании низких уровней квантизации и отсутствие указанного в README chat template, из-за чего форматирование запросов может потребовать проверки по карточке исходной модели. Распространение заявлено по лицензии Apache-2.0.

Xiaojian9992024/Phi-3.5-Small-Instruct-UNOFFICAL — языковая модель для генерации текста и диалогов, созданная слиянием предобученных моделей через mergekit. В README в качестве основы слияния указана microsoft/Phi-3.5-mini-instruct; метаданные также связывают репозиторий с этой моделью. Модель использует плотную архитектуру Phi-3 и содержит 10,5 млрд параметров. Модель подходит для диалоговых сценариев и генерации текста. Она принимает текст и выдаёт текст; заявленная длина контекста — 4096 токенов. Для работы указана библиотека Transformers и формат весов Safetensors. Лицензия в предоставленных данных не указана.

muhtasham/Phi-3.5-vision-instruct_20240915_223241 — дообученная версия мультимодальной Phi-3.5-vision-instruct от Microsoft. В карточке указано, что модель обучалась на датасете со средним размером 1,8 млн, но его название не приведено. Модель предназначена для диалоговой генерации текста. Базовая модель поддерживает работу с текстом и изображениями, включая ответы на вопросы по изображениям, OCR, анализ документов и суммирование видеоклипов по кадрам; README не уточняет, сохраняются ли все эти возможности после дообучения. Архитектура — плотная Phi3VForCausalLM, объём — 3,7 млрд параметров, библиотека — Transformers, формат весов — safetensors, указанная длина контекста — 4096 токенов. Карточка не содержит результатов оценки качества и конкретных рекомендаций по применению. Модель распространяется по лицензии MIT.

kepom/Qwen2.5-7B-Instruct-abliterated-v2-GGUF — квантизированная версия языковой модели Qwen2.5-7B-Instruct-abliterated-v2, созданная QuantFactory с использованием llama.cpp. Исходную модель разработала huihui-ai на базе Qwen/Qwen2.5-7B-Instruct от Alibaba Cloud; модификация выполнена методом abliteration и позиционируется как менее ограниченная по отказам версия исходной instruct-модели. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в чат-приложениях и локальных приложениях через совместимый с GGUF стек. Она поддерживает английский язык, относится к классу causal language models и имеет размер 7B параметров. В README не указаны точный размер контекста, конкретные варианты квантизации, список поддерживаемых модальностей помимо текста и требования к аппаратному обеспечению. По приведённым оценкам, модель превосходит исходную Qwen2.5-7B-Instruct на IF_Eval и GPQA, но уступает ей на MMLU Pro, TruthfulQA и BBH. Abliteration может сделать ответы менее ограниченными, однако это также означает потенциально более слабое следование политикам безопасности и не гарантирует фактическую точность ответов. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/Qwen3-4B-GGUF — это набор файлов модели в формате GGUF для базовой модели Qwen3-4B, разработанной командой Qwen. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты. В репозитории представлены варианты с квантованием 2, 3, 4, 5, 6 и 8 бит. Формат GGUF поддерживается llama.cpp и рядом клиентских приложений и библиотек, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и candle. Это позволяет использовать модель с аппаратным ускорением, локальным пользовательским интерфейсом или OpenAI-совместимым сервером, в зависимости от выбранного инструмента. К сильным сторонам относятся несколько уровней квантования и широкая совместимость с экосистемой локального инференса, что помогает выбирать баланс между размером файлов, требованиями к памяти и качеством генерации. README не содержит сведений о точной архитектуре, размере контекста, поддерживаемых языках, модальностях, результатах оценки и ограничениях исходной Qwen3-4B. Лицензия в предоставленных данных не указана.

Qwen3-4B-Thinking-2507-MLX-4bit — это 4-битно квантованная версия языковой модели Qwen3-4B-Thinking-2507, подготовленная для запуска на устройствах Apple Silicon. Исходную модель разработала команда Qwen, а квантование в формате MLX предоставила команда LM Studio с использованием mlx_lm. Модель предназначена для генерации текста и задач, требующих рассуждений, включая работу в локальных приложениях на базе LM Studio и других совместимых инструментов MLX. В README указано, что это модель класса text-generation с размером 4B параметров; она оптимизирована для Apple Silicon и использует 4-битное представление, что снижает требования к памяти по сравнению с полной версией. Сведения о поддерживаемых языках, максимальной длине контекста и мультимодальных возможностях не приведены, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся локальный запуск на совместимых компьютерах Apple и уменьшенное потребление памяти благодаря квантованию. Ограничения включают возможную потерю качества относительно исходной модели, зависимость производительности от оборудования и отсутствие гарантии точности, безопасности или соответствия результатов задаче. Модель распространяется по лицензии Apache-2.0.

bleysg/Qwen3.5-122B-A10B-int4-fp8-hybrid — гибридный квантованный чекпойнт модели Qwen3.5-122B-A10B, созданный на основе весов Intel/Qwen3.5-122B-A10B-int4-AutoRound и официального Qwen/Qwen3.5-122B-A10B-FP8. Модель предназначена для генерации текста и оптимизирована для запуска на NVIDIA DGX Spark с GB10, SM121 и 128 ГБ унифицированной памяти через vLLM, прежде всего для эффективного декодирования с ограниченной пропускной способностью памяти и поддержки speculative decoding. Маршрутизируемые эксперты и attention представлены в формате INT4 GPTQ/AutoRound, а 144 слоя общих экспертов, постоянно используемых при обработке каждого токена, преобразованы из BF16 в FP8 E4M3 с размером блока 128. Embeddings, norms и выходная голова сохранены от INT4-базы. По данным README, такая компоновка повышает скорость базового декодирования без speculative decoding на GB10 с 28,2 до 36,0 токена в секунду, или примерно на 28%, однако преимущество уменьшается при высокой доле принятых спекулятивных токенов. Для работы требуется специализированный проект qwen3.5-122B-A10B-on-spark, профиль dense и патч vLLM 0.23 с поддержкой смешанной схемы INT4/FP8; стандартная версия vLLM не умеет корректно загружать этот чекпойнт. В README не указаны языки, длина контекста и поддерживаемые модальности, поэтому модель следует рассматривать как текстовую. Производная работа наследует условия лицензирования исходной Qwen3.5-122B-A10B и Intel AutoRound; конкретные условия определяются лицензиями upstream-моделей.

Qwen3.5-397B-A17B-MLX-6bit — это 6-битная квантованная версия модели Qwen3.5-397B-A17B, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и mlx-vlm, при этом модель оптимизирована для запуска на устройствах с Apple Silicon. Модель относится к классу image-text-to-text и предназначена для задач генерации текста на основе текстовых и, вероятно, визуальных входных данных. В доступной карточке не указаны точные сведения об архитектуре, числе активных параметров, поддерживаемых языках, размере контекста, форматах изображений и результатах оценки качества. Ключевое преимущество версии — сниженные требования к памяти по сравнению с полноразмерной моделью и адаптация к экосистеме Apple Silicon; ограничением является зависимость от совместимого MLX-окружения и потенциальная потеря точности из-за 6-битного квантования. Модель распространяется по лицензии Apache-2.0. Исходная модель создана Qwen, а данная MLX-квантизация предоставлена LM Studio; LM Studio отдельно указывает, что не является создателем исходной модели и не гарантирует точность, безопасность или пригодность генерируемого содержимого.

OpenVINO/Qwen3.5-4B-int4-ov — квантованная версия мультимодальной модели Qwen3.5-4B, разработанной командой Qwen и преобразованная в формат OpenVINO IR. Модель предназначена для диалоговых сценариев и задач «изображение–текст», включая анализ и описание изображений, а также генерацию ответов на текстовые запросы с визуальным контекстом. Модель имеет размер 4B параметров; точные сведения об архитектуре, поддерживаемых языках и максимальной длине контекста в карточке не указаны. Веса сжаты до INT4 в асимметричном режиме с размером группы 128, что уменьшает требования к памяти, но может сопровождаться потерей качества по сравнению с исходной моделью. Для запуска используются OpenVINO и Optimum Intel; заявлена совместимость с OpenVINO 2026.2.0 и новее и Optimum Intel 1.27.0 и новее. Ограничения следует уточнять в карточке исходной Qwen3.5-4B. Модель распространяется по лицензии Apache License 2.0.

Qwen3.8-27B-huihui-abliterated-NVFP4-NInfer — мультимодальная модель для работы с текстом и изображениями, упакованная в формат NVFP4 для движка NInfer. Артефакт основан на huihui-ai/Huihui-Qwen3.8-27B-abliterated и является результатом конвертации формата без дополнительного дообучения или изменения поведения. Модель позиционируется как версия без стандартных отказов, унаследовавшая эти характеристики от исходной модели. Конкретный разработчик данного артефакта в README не указан; конвертация подготовлена для экосистемы NInfer. Модель предназначена для локального инференса, генерации текста, обработки изображений и сценариев с длинным контекстом. Она включает текстовый и зрительный компоненты, MTP-модуль для speculative decoding, оптимизированную proposal head, токенизатор, chat template и ресурсы обработки мультимедиа. Заявлена поддержка контекста до 262 144 токенов при серверном запуске. Размер файла составляет около 21,5 ГБ, а для весов требуется примерно 19 ГиБ видеопамяти. Ключевое ограничение — требование видеокарты NVIDIA Blackwell с compute capability 12.0 (sm_120a); на Ada и Hopper NVFP4 не запускается. Модель совместима со стандартной сборкой NInfer и рассчитана на ускоренный инференс с MTP: в приведённых измерениях скорость speculative decoding достигала 269,9 токена в секунду, а prefill — 875–1 900 токенов в секунду, однако результаты зависят от оборудования и настроек. Языки явно не перечислены. Лицензия — Apache-2.0.

Qwen3.8-27B-nvfp4-NInfer — мультимодальная разговорная модель для генерации текста и ответов на вопросы по изображениям. Релиз подготовлен пользователем neroued на основе Qwen3.8-27B от Qwen и unsloth/Qwen3.8-27B-NVFP4; модель предназначена для работы в инференсном движке NInfer. Модель использует архитектуру Qwen3.5 Dense и имеет 27B параметров. Артефакт объединяет NVFP4, row-scaled FP8 и BF16-веса: текстовые слои 0–55 используют NVFP4 для MLP, часть текстовых компонентов и выходная голова — FP8, управляющие веса — BF16. В комплект входят текстовые, визуальные и speculative decoding-компоненты, включая Vision, MTP и DFlash2. Поддерживаются сценарии text-generation и image-text-to-text; конкретные языки и размер контекстного окна в карточке не указаны. Сильными сторонами являются мультимодальность, существенно уменьшенное представление весов и поддержка ускоренного вывода через MTP или DFlash2. В опубликованных оценках указаны высокие результаты на AIME 2025 и 2026 — по 96,67%, GPQA-Diamond — 90,40%, IFBench — 77,00%, а также на задачах работы с изображениями RealWorldQA — 83,53% и ERQA — 66,25%. Артефакт нельзя использовать напрямую как checkpoint Transformers, Safetensors или GGUF: он предназначен только для NInfer. Для запуска требуется NInfer не ниже указанной ревизии, 64-разрядный Linux, NVIDIA GeForce RTX 5090 с архитектурой sm_120a и CUDA Toolkit 13.1 или новее; NInfer необходимо собрать из исходного кода. Лицензия модели — Apache-2.0.

Qwen3.8-27B-OBLITERATED-Mythos-Class-Agentic-MLX-4bit — неофициальная MLX-конверсия модели medismera/Qwen3.8-27B-OBLITERATED-Mythos-Class-Agentic, опубликованная uzzero для локального запуска на компьютерах Apple Silicon. Исходная модель основана на Qwen/Qwen3.8-27B, разработанной Qwen и Alibaba Cloud. Дополнительное обучение при конвертации не проводилось. Модель предназначена для диалоговых сценариев, работы с инструментами и агентских приложений, включая извлечение структурированных данных и обработку результатов вызова инструментов. Сохранена мультимодальная конфигурация qwen3_5 с поддержкой image-text-to-text, однако возможности работы с изображениями и видео в README не подтверждены тестированием. Языки и максимальная длина контекста не указаны; в LM Studio загрузка проверялась с контекстом 8192 токена. Используется 4-битное affine-квантизование MLX с размером группы 64. Весовая часть занимает примерно 16,05 ГБ и распределена по 16 файлам safetensors; отдельные мультимодальные модули сохранены в формате с плавающей точкой. Модель проверена на загрузку в oMLX и LM Studio, а также на синтетических задачах извлечения данных и вызова демонстрационного инструмента. Эти проверки не доказывают превосходство над базовой моделью, качество после квантизации или надежность в реальных агентских сценариях. Не оценивались длинный контекст, производительность, реальные почтовые процессы и общая надежность агентов; для автоматизации следует задавать явную JSON Schema и валидировать типы вывода. Распространяется по лицензии Apache License 2.0 с сохранением исходных уведомлений об авторских правах. Для работы с инструментами клиент должен самостоятельно передавать определения инструментов, выполнять выбранные вызовы и возвращать результаты; сама модель не подключается к внешним сервисам и не планирует задачи.