I.14Автоматизация процессов и AI-агенты

Muse Glimmer 30B Abliterated Q4_K_M GGUF — квантованная 4-битная версия модели Muse Glimmer 30B Abliterated, разработанной mlasli. Модель распространяется в формате GGUF и предназначена для локальной генерации текста, диалоговых сценариев и других задач общего назначения, включая запуск через llama.cpp или Ollama. Доступен мультимодальный режим с обработкой изображений при использовании отдельного vision-проектора mmproj в llama.cpp. Модель содержит около 30 миллиардов параметров; базовая модель имеет 52 слоя. Квантование Q4_K_M занимает примерно 18 ГБ и рассчитано на запуск на одной видеокарте с 24 ГБ памяти, двух GPU по 12 ГБ либо на системе с 32 ГБ оперативной памяти при частичной выгрузке на GPU. README не указывает поддерживаемые языки и максимальный размер контекста. Для обработки изображений используется vision encoder и проектор Meta размером около 1,4 ГБ; Ollama для такого режима не поддерживается. Модель подвергнута abliteration — модификации весов, направленной на ослабление встроенного механизма отказов. Это может повысить готовность отвечать на ограниченные запросы, однако модель не является полностью uncensored: часть отказов, в частности для запросов об оружии, сохраняется. Q4_K_M обеспечивает хороший баланс между размером и качеством, но немного уступает более точным вариантам Q6_K и Q8_0; сама abliteration также может слегка влиять на качество ответов. Лицензия — Apache 2.0.

MyAwesomeModel — модель из репозитория пользователя yanxiaodong на Hugging Face, предназначенная для извлечения признаков из текста. В метаданных она классифицирована как feature-extraction и связана с библиотекой Transformers, PyTorch и архитектурой BERT. Лицензия модели — MIT. README описывает обновлённую версию модели с улучшениями рассуждений, математического и логического анализа, программирования, понимания языка, генерации текста, следования инструкциям и function calling. Однако эти сведения представлены преимущественно в виде общих заявлений и таблицы оценок, тогда как основной pipeline-тег указывает на извлечение признаков, поэтому модель следует рассматривать прежде всего как компонент для получения векторных представлений текста.

mvpmaster/nddmp-kellemar-KrishnaHercules-7b-slerp — объединённая модель для генерации текста, созданная методом SLERP с помощью LazyMergekit из mvpmaster/NeuralDareDMistralPro-7b-slerp и mvpmaster/kellemar-KrishnaHercules-0.1-7b-slerp. В метаданных указана архитектура MistralForCausalLM с плотными слоями и размером 7,1 млрд параметров. Модель принимает текстовые запросы и генерирует текст; заявленная длина контекста — до 32 768 токенов. Карточка не описывает специализированные сценарии, поддерживаемые языки или сравнительные результаты. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

MaziyarPanahi/neural-chat-7b-v3-2-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на базе Mistral-7B-Instruct-v0.1 и Intel/neural-chat-7b-v3-2. Модели объединены методом SLERP; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, формат весов — safetensors. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Она поддерживает контекст до 32 768 токенов и ориентирована на английский язык; среди заявленных тем есть математика. Лицензия — Apache 2.0. Модель можно использовать для диалоговых помощников, ответов на вопросы и генерации текста по инструкциям. Карточка не приводит результатов сравнительной оценки качества или подробных сведений об ограничениях, поэтому пригодность для конкретных задач следует проверять отдельно.

MaziyarPanahi/NeuralsirkrishnaShadow_Experiment24Alloyingotneoy — объединённая языковая модель, созданная слиянием automerger/NeuralsirkrishnaShadow-7B и automerger/Experiment24Alloyingotneoy-7B. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и принимает текст для авторегрессионной генерации текста; контекст — до 32 768 токенов. Модель предназначена для генерации текста общего назначения. Веса опубликованы в формате safetensors по лицензии Apache-2.0. В карточке нет сведений о специализированных областях применения или языковом охвате, поэтому они здесь не заявляются.

NeuralsirkrishnaShadow_Inex16Calme — объединённая модель на базе двух моделей Mistral: automerger/NeuralsirkrishnaShadow-7B и automerger/Inex16Calme-7B. Она предназначена для генерации текста и диалоговых ответов; модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий распространяет веса в формате safetensors, лицензия — Apache-2.0. README не описывает специальные сценарии, языки или ограничения качества модели.

sentence-transformers/nli-roberta-base — модель sentence-transformers, обученная командой Sentence Transformers. Она основана на RoBERTa и преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Модель содержит 151,8 млн параметров, принимает текст и имеет контекстное окно 514 токенов. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO; лицензия — Apache 2.0. Модель устарела: авторы предупреждают о низком качестве получаемых эмбеддингов и рекомендуют выбрать более современные модели Sentence Transformers. Она подходит для существующих систем, которым нужна совместимость с этим чекпойнтом, но для новых задач семантического поиска или кластеризации качество следует оценить отдельно.

OpenSourceEnjoyer опубликовал вариант Nous-Hermes-2-Mistral-7B-DPO, дообученный с помощью Unsloth и библиотеки Hugging Face TRL. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалогового общения. Модель принимает текст и генерирует текст; в метаданных указаны английский язык и контекст длиной до 32 768 токенов. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Карточка не приводит подробностей о данных обучения или результатах оценки, поэтому качество ответов и устойчивость к ошибочным или неоднозначным запросам по ней определить нельзя.

NVIDIA-Nemotron-Nano-12B-v2-VL-NVFP4-QAD — мультимодальная авторегрессионная vision-language модель NVIDIA на базе оптимизированной архитектуры Transformer. В состав входят визуальный энкодер C-RADIOv2-H и языковая модель NVIDIA-Nemotron-Nano-12B-v2. Эта версия квантизирована в формате FP4 с применением TensorRT Model Optimizer и обучалась с использованием Quantization-aware Distillation для сохранения качества при низкой точности вычислений. Модель предназначена для обработки одного изображения вместе с текстовым запросом и генерации текстовых ответов. Основные сценарии включают суммаризацию изображений, анализ текста и изображений, распознавание текста (OCR), интерактивные вопросы и ответы по изображениям, а также рассуждения по цепочке мыслей. Поддерживаются немецкий, испанский, французский, итальянский, корейский, португальский, русский, японский, китайский и английский языки. Контекст и длина генерируемой последовательности составляют до 128K токенов. Изображения должны быть в формате RGB; прозрачность не поддерживается. Максимальное разрешение определяется ограничением в 12 тайлов размером 512×512 пикселей. К сильным сторонам относятся мультиязычность, поддержка широкого набора задач анализа изображений и оптимизация FP4 для NVIDIA GPU. Ограничения включают поддержку только одного изображения за запрос, требования к совместимому аппаратному обеспечению и программной среде: заявлены Linux, vLLM и микропроцессорная архитектура B100 SXM. Модель рассчитана на глобальное развёртывание и использование корпоративными AI-клиентами. Условия использования регулируются NVIDIA Open License Agreement.

Карточка модели Salahuddin1234/omnidoctor-qwen-omni на Hugging Face совпадает с карточкой Qwen/Qwen3-Omni-30B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Omni-30B-A3B-Instruct — мультимодальная модель общего назначения от команды Qwen компании Alibaba. Она принимает текст, изображения, аудио и видео и формирует потоковые ответы текстом и естественной речью; вариант Instruct включает компоненты Thinker и Talker. Архитектура MoE использует разделение на Thinker и Talker, а модель рассчитана на низколатентное взаимодействие в реальном времени и управление поведением через системные промпты. Модель предназначена для голосовых диалогов, распознавания и понимания речи, описания аудио и видео, а также ответов на вопросы по изображениям и смешанным мультимодальным входам. README заявляет поддержку 119 языков для текста, 19 языков для речевого ввода и 10 для речевого вывода; среди явно перечисленных языков речи есть русский. В примере запуска указан максимальный контекст 65 536 токенов. Для работы предлагаются Transformers и vLLM; README отмечает, что на момент публикации требовалась установка Transformers из исходников. Лицензия в метаданных обозначена как other, без уточнения условий.

VMware/open-llama-7b-open-instruct — инструкция-дообученная версия OpenLLaMA 7B, разработанная VMware на основе полностью обученной модели OpenLLaMA. Это плотная авторегрессионная языковая модель с архитектурой LlamaForCausalLM и примерно 6,6 млрд параметров; она генерирует текст по текстовым запросам и рассчитана на следование инструкциям в формате Alpaca. При дообучении использован набор Open-instruct-v1 с данными OASST, Dolly и HH-RLHF. Карточка указывает английский язык и контекст 2048 токенов. Модель распространяется по лицензии CC BY-SA 3.0. README предупреждает, что быстрый токенизатор может неверно кодировать текст, поэтому рекомендуется отключить use_fast.

OpenOrca Platypus2 13B — языковая модель для генерации текста, созданная Open-Orca на базе архитектуры Llama и дообученная с использованием наборов данных Open-Platypus и OpenOrca. Модель предназначена для задач следования инструкциям, диалогового взаимодействия и общего текстового вывода на английском языке. В README указано 13 миллиардов параметров и поддержка конвейера text-generation. Представлена в формате GGUFv2, что позволяет использовать её через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие. Доступны варианты квантизации с разной разрядностью, предназначенные для инференса на CPU и GPU; конкретные требования к памяти зависят от выбранного файла. Рекомендуемый шаблон запроса — Alpaca-InstructOnly с секциями «### Instruction» и «### Response». Размер контекста в README не указан. К сильным сторонам относятся локальный запуск, широкий выбор квантизированных вариантов и совместимость с экосистемой GGUF. Ограничения включают ориентацию на английский язык, отсутствие сведений о поддержке других модальностей и неуказанные показатели качества. Модель заявлена под лицензией CC BY-NC 4.0; поскольку она основана на Llama 2, также применяются условия лицензии Meta Llama 2, поэтому необходимо учитывать возможные ограничения некоммерческого использования и двойного лицензирования.

OPSD-PI Qwen3.5-9B Medium Trailing — update 16 — это полностью объединённая модель семейства Qwen3.5, опубликованная LSW142857. Репозиторий содержит результат 16 обновлений оптимизатора после обучения на выборке из 1024 строк: объединённую инициализацию expert-SFT, обновления OPSD и MTP в формате LoRA, а также обученные тензоры MTP. Модель загружается напрямую через Transformers; дополнительное объединение адаптеров не требуется. Модель предназначена для генерации текста и диалогового применения; в метаданных также отмечена поддержка кода. Архитектура — плотная Qwen3_5ForConditionalGeneration, веса сохранены в safetensors. README указывает, что PI использовалась только как учитель во время обучения, поэтому оценивать следует студента без PI и на отложенных задачах, а не на обучающих строках. Репозиторий публичный, однако лицензия и размер контекста в предоставленных данных не указаны.

Ornith 1.5 35B A3B NVFP4 512K GGUF — конвертированная в GGUF версия чекпойнта Ornith AI Ornith-1.5-35B-A3B-NVFP4. Модель построена на архитектуре Qwen3.5 MoE: всего 35 млрд параметров, из которых около 3 млрд активны при обработке токена. Репозиторий сохраняет исходное представление NVFP4 без повторной квантизации и расширяет контекст до 524288 токенов с помощью YaRN и масштабирования RoPE 2. Модель предназначена для диалоговой генерации текста с длинным контекстом в совместимых с GGUF средах вывода, включая llama.cpp. Это позволяет использовать её для бесед и работы с большими текстовыми материалами; заявленная длина контекста подходит для анализа объёмных документов и сохранения длинной истории диалога. В метаданных указана лицензия MIT. Для запуска требуется среда, поддерживающая GGUF-тензоры NVFP4; совместимость и производительность зависят от используемого рантайма и оборудования. В README приведены испытания на RTX 5090 с llama.cpp, но результатов тестирования качества генерации в доступных сведениях нет.

mlx-community/parakeet-tdt_ctc-110m — конверсия модели NVIDIA Parakeet TDT-CTC 110M в формат MLX для запуска на устройствах Apple. Она предназначена для автоматического распознавания речи и преобразования аудио в текст. Базовая модель описана как англоязычная и формирует текст с пунктуацией и заглавными буквами. В основе лежит архитектура FastConformer/Conformer; репозиторий содержит веса safetensors и рассчитан на работу с библиотекой MLX. Модель распространяется по лицензии CC BY 4.0.

Карточка модели qiyuw/pcl-bert-large-uncased на Hugging Face совпадает с карточкой qiyuw/pcl-roberta-base, поэтому описание составлено по ней. qiyuw/pcl-roberta-base — англоязычная модель RoBERTa для оценки сходства предложений. Она использует архитектуру RobertaForCL и содержит 151,8 млн параметров; модель принимает текст и подходит для сравнения предложений по смыслу. Длина контекста составляет 514 токенов. Модель распространяется в формате PyTorch по лицензии MIT. README не содержит дополнительных сведений о методе обучения или конкретных сценариях применения.

Phi-2 Orange — двухэтапная дообученная версия Phi-2, опубликованная Rhys Jones. Это плотная авторегрессионная языковая модель для генерации текста и диалогов; карточка указывает формат ChatML, который можно использовать с системной инструкцией или без неё. Модель рассчитана на контекст до 2048 токенов и распространяется в формате safetensors. Модель подходит для ответов на вопросы, диалогового взаимодействия и других задач генерации текста. В README приведены оценки на нескольких наборах тестов и упоминается более новая версия phi-2-orange-v2 с более высокими результатами. Модель основана на Phi-2 и дообучена на наборах SlimOrca-Dedup, Synthia-v1.3, Verified-Camel, Pure-Dove, Capybara, MetaMathQA, orca_dpo_pairs и ultrafeedback-binarized-preferences-cleaned. Лицензия — MIT.

Piyola-v1 — модель автоматического распознавания речи на узбекском языке, созданная дообучением Whisper Large V3 Turbo. Она принимает аудио и преобразует речь в текст; подходит для транскрибации узбекских записей. Модель основана на архитектуре Whisper, содержит около 905,2 млн параметров и опубликована в формате safetensors с точностью BF16. Лицензия — Apache-2.0.

OPI-PIB разработал Polish ModernBERT-512-large — крупный одноязычный польский энкодер на архитектуре ModernBERT с 474,5 млн параметров. Модель предварительно обучена для понимания польского языка; использует RoPE, слои GeGLU, предварительную нормализацию и чередование глобального и локального внимания. Контекст составляет 514 токенов, веса доступны в формате safetensors. Основная задача модели — предсказание замаскированных токенов. После дообучения энкодер можно адаптировать для классификации текстов и документов, разметки последовательностей, регрессии, семантического сходства, поиска и ранжирования. В оценке на польских NLU-задачах модель показала конкурентные результаты относительно других польских энкодеров; готовые результаты для конкретных прикладных задач потребуют адаптации. Модель обучена на большом польском корпусе, включая Common Crawl, и предназначена для создания решений обработки польского языка. Лицензия Apache-2.0.

PowerLM-3B — компактная языковая модель от IBM Research с архитектурой Granite и 3,5 млрд параметров. Она обучена с планировщиком скорости обучения Power и на смеси открытых и проприетарных наборов данных. Модель предназначена для генерации текста и демонстрирует результаты в задачах выбора ответа на естественном языке, генерации кода и математических рассуждений. Контекст составляет 4096 токенов. Для запуска используется библиотека Transformers; README отмечает, что требуется её версия из исходного кода. Модель распространяется по лицензии Apache 2.0. Карточка сообщает о перспективных результатах на бенчмарках, но не приводит их численные значения; пригодность для конкретных задач следует оценивать отдельно.

Prodigy_7B — объединённая языковая модель семейства Mistral, созданная автором ChaoticNeutrals с помощью mergekit. В слиянии методом SLERP использованы ChaoticNeutrals/This_is_fine_7B и macadeliccc/WestLake-7B-v2-laser-truthy-dpo. Модель содержит 7,1 млрд параметров, построена на архитектуре MistralForCausalLM и рассчитана на генерацию текста; заявленная длина контекста — 32 768 токенов. Модель подходит для диалоговой генерации, ответов на запросы и других задач продолжения текста. В README приведены результаты оценивания на бенчмарках AI2 Reasoning Challenge и HellaSwag. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия указана как other, поэтому конкретные условия использования следует уточнять в карточке модели и у правообладателей базовых моделей. Карточка не уточняет поддерживаемые естественные языки и специальные ограничения поведения модели. Как и другие языковые модели, она может выдавать неточные или вымышленные сведения; результаты бенчмарков сами по себе не гарантируют качество в прикладных сценариях.

PuddleJumper-13b-V2 — объединённая модель на архитектуре Llama, созданная слиянием EverythingLM-V3-13b QLoRa и OpenOrca-Platypus2-13B. Она предназначена для генерации текста и диалогов в формате USER:/ASSISTANT:, а также для общих задач следования инструкциям и ответов на вопросы. Модель содержит 12,9 млрд параметров, использует плотную архитектуру LlamaForCausalLM и рассчитана на контекст до 4096 токенов. В карточке приведены результаты оценок на бенчмарках ARC и HellaSwag. В метаданных указана лицензия other; конкретные условия использования следует проверять у автора репозитория. Доступен формат PyTorch.

wls04 представляет дообученную диалоговую модель на базе Qwen/Qwen2.5-7B-Instruct, обученную с помощью TRL. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, предназначенная для генерации текста и ответов в формате диалога. В карточке приведён пример запуска через Transformers для ответа на вопрос; метаданные указывают контекст длиной до 32 768 токенов. Модель принимает текст и выдаёт текст. Карточка не описывает специализацию дообучения, поэтому её можно охарактеризовать как диалоговую модель общего назначения. В репозитории указаны веса safetensors. Сведения о лицензии в предоставленных данных отсутствуют.

Qwen3-14B-Base — базовая причинно-авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это плотная модель с 14,8 млрд параметров и 40 слоями; она обучена на этапе предварительного обучения и предназначена для продолжения обучения и генерации текста на основе контекста. Архитектура использует групповое внимание с 40 головами запросов и 8 головами ключей и значений. Длина контекста — 32 768 токенов. Модель подходит для языкового моделирования, генерации текста, а также для задач, связанных с кодом, STEM, логическими рассуждениями и многоязычными данными. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; это описание относится к обучающему корпусу семейства и не гарантирует одинаковое качество на каждом языке. В метаданных указаны интерфейсы чата и вызова инструментов, однако вариант Base прошёл предварительное обучение, поэтому эти возможности не означают, что он настроен как готовый диалоговый ассистент. Для работы предусмотрена библиотека Transformers; в README рекомендуется актуальная версия, поскольку версии ниже 4.51.0 не распознают архитектуру qwen3. Модель распространяется по лицензии Apache-2.0. Для развёртывания нужна инфраструктура, способная обслуживать модель такого размера; конкретные требования к памяти в предоставленных данных не приведены.

insraq/Qwen3.5-2B-EmperoAI-Qwen3.8-Distill-Heretic-Abliterated — текстовая доработка модели семейства Qwen, созданная Empero и опубликованная insraq. Это полнопараметрический вариант Qwen/Qwen3.5-2B: его дообучили методом дистилляции на примерно 30 тысячах отобранных примеров рассуждений и следов инструкций, а затем применили Heretic для снижения склонности к отказам. Модель содержит около 2 млрд параметров, использует плотную архитектуру Qwen3.5 и принимает текст; нативное контекстное окно составляет 262 144 токена. Модель предназначена для диалогов, следования инструкциям, математических задач и общих рассуждений, в том числе на устройствах с ограниченными ресурсами. В README приведены результаты на GSM8K и MMLU, где вариант Qwen3.8-2B превосходит базовую Qwen3.5-2B в указанных тестах; это результаты карточки, а не гарантия качества для других сценариев. Дообучение было текстовым, поэтому унаследованные от мультимодальной основы возможности работы с изображениями не оценивались. Для генерации рекомендуются ненулевая температура и достаточно длинный лимит вывода; при жадном декодировании на длинных ответах возможны циклы повторения. Весовые файлы доступны в формате Safetensors и рассчитаны на Transformers, а также совместимые с архитектурой среды. Лицензия — Apache-2.0.

Qwen3.5-35B-A3B-ultra-uncensored-heretic-GGUF — набор GGUF-квантизаций модели Qwen3.5-35B-A3B, подготовленный независимым разработчиком llmfan46. Это модифицированная, «decensored» версия исходной модели Qwen, созданная с использованием Heretic v1.2.0, Magnitude-Preserving Orthogonal Ablation (MPOA) и Self-Organizing Map Abliteration (SOMA). В README также указана исходная модель Qwen/Qwen3.5-35B-A3B, однако подробности о разработчике базовой модели и её полной архитектуре не приведены. Модель предназначена для локального запуска в llama.cpp, LM Studio, Ollama и других инструментах, совместимых с GGUF. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и Q4_K_S, что позволяет выбирать между качеством, размером и требованиями к VRAM. Указанное обозначение 35B-A3B отражает заявленный класс и конфигурацию модели, но точные сведения о числе активируемых параметров, размере контекста и языковой поддержке в представленном README отсутствуют. Модель поддерживает мультимодальные сценарии image-text-to-text. Для работы с изображениями требуется отдельный vision projector в формате F32 или BF16; его следует использовать вместе с любой квантизацией основной модели. Ключевая особенность модификации — существенное снижение числа отказов: в приведённом тесте 4 из 100 против 91 из 100 у оригинала, при KL divergence 0,0411, что указывает на относительно небольшое отклонение от исходного поведения. При этом снятие ограничений может повышать риски небезопасных или нежелательных ответов, а квантизация способна влиять на качество, связность и рассуждения. Лицензия — Apache 2.0.

Qwen3.6-27B-Uncensored-MagicQuant-MTP-GGUF — GGUF-квантизированная языковая модель на базе llmfan46/Qwen3.6-27B-uncensored-heretic-v2-Native-MTP-Preserved. Релиз подготовлен magiccodingman с использованием конфигураций MagicQuant, а базовые форматы квантования и инструменты предоставлены llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи, где требуется менее ограниченное поведение модели. Доступно несколько вариантов квантования MagicQuant и llama.cpp с размерами примерно от 8,92 до 27,70 ГБ. Наиболее крупный вариант MQ-Q6_K_1 имеет размер 27,70 ГБ и заявленное значение KLD 0,003838; также представлены варианты Q5, Q4, Q3 и Q2. В модели сохранена поддержка MTP, однако MTP-тензоры квантовались в Q8_0 из-за неполной поддержки imatrix и MTP в llama.cpp на момент подготовки релиза. Указаны архитектура Qwen3.6 и размер 27B параметров, но сведения о языках, максимальном контексте и точном наборе модальностей отсутствуют; по описанию это текстовая модель. Сильной стороной релиза является подбор и локальная проверка конфигураций квантования MagicQuant, направленный на сохранение качества при уменьшении размера. При этом репозиторий является клоном финальных конфигураций из другого выпуска, а не результатом полного собственного поискового конвейера MagicQuant; заявленные метрики относятся к пересобранным вариантам. Качество и требования к памяти зависят от выбранного кванта, а низкобитные варианты могут заметнее терять качество. Модель распространяется по лицензии Apache-2.0.

TheDrainFlorist/Qwen3.8-27B-VQ-4.8bpw — это векторно-квантизированная сборка базовой модели Qwen/Qwen3.8-27B для Apple Silicon. Модель предназначена для генерации текста и обработки изображений в экосистеме MLX; она включает vision tower и распространяется в формате, совместимом с mlx-lm и mlx-vlm. Модель содержит около 27 млрд параметров, использует векторное квантование с эффективностью 4,8 бита на параметр и занимает примерно 15,45 GiB. В карточке указаны английский язык и текстовая генерация, однако размер контекстного окна не приведён. По сравнению с 4-битной affine-квантизацией эта сборка ближе к исходной bf16-модели: согласие по наиболее вероятному токену составляет 90,8%, а измеренное расхождение KL — 32,8 millinats на токен. При этом точность ниже, чем у вариантов q6, q8 и bf16. Для работы требуется версия mlx-lm с поддержкой параметра model_file; для изображений нужен mlx-vlm версии 0.6.16 или новее. Сборка рассчитана прежде всего на локальный запуск на устройствах Apple Silicon и поддерживает exo. Ограничениями являются зависимость от совместимого загрузчика и неизбежная потеря качества из-за квантования. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-heretic-2-IQ4_XS-GGUF — это квантизированная GGUF-версия модели Qwen3.8-Flash-Next-heretic-2, подготовленная для запуска через llama.cpp. Репозиторий содержит пять основных IQ4_XS-шардов, набор из шести MTP/NextN-шардов для speculative decoding и совместимый мультимодальный проектор Q8_0. Модель основана на версии trohrbaugh/Qwen3.8-Flash-Next-heretic-2; исходная конверсия закреплена на конкретной ревизии проекта spiritfather/Qwen3.8-Flash-Next-heretic-2-i1-GGUF. Сведения о точном числе параметров, архитектуре, языках и размере контекста в карточке не указаны. Модель предназначена для генерации текста и обработки изображений в сценариях image-text-to-text, включая мультимодальные запросы и задачи визуального grounding. Формат ориентирован на эффективное размещение и кэширование весов, в частности в средах Runpod Serverless. Для изображений требуется отдельный проектор mmproj в формате Q8_0. MTP-вариант поддерживает ускорение генерации посредством speculative decoding при использовании сборки llama.cpp с PR #27836; в README приведены рекомендуемые параметры запуска для IQ4-класса. К сильным сторонам относятся сниженный размер квантизированных весов, поддержка мультимодального ввода и возможность ускоренной генерации с MTP. Ограничения связаны с необходимостью совместимой сборки llama.cpp, отдельного мультимодального проектора и корректного набора шардов; характеристики качества, производительности и языкового покрытия не приведены. Указана лицензия Qwen Community License версии qwen-community-1.0, условия которой распространяются на upstream-модель и конверсию.

Qwen3-VL-4B-Instruct-NPU — мультимодальная модель на 4 млрд параметров от команды Qwen компании Alibaba Cloud, подготовленная для запуска на Qualcomm NPU через NexaSDK. Это вариант Qwen3-VL-4B-Instruct с инструкционной настройкой и файлом GGUF в формате F16. Модель принимает текстовые запросы и изображения, а также понимает видеоконтекст; отвечает текстом в диалоге, объясняет визуальные сцены и анализирует документы, диаграммы и снимки экрана. Подходит для визуальных помощников, описания изображений, вопросов по визуальным материалам и мультиязычных сценариев. README заявляет поддержку нескольких языков, но не перечисляет их по отдельности. Размер 4 млрд параметров рассчитан на более компактный запуск на устройствах. Конкретная длина контекста и лицензия в предоставленных сведениях не указаны.