I.2Синтез, понимание и проверка знаний

Карточка модели jfarray/Model_dccuchile_bert-base-spanish-wwm-uncased_50_Epochs на Hugging Face совпадает с карточкой jfarray/Model_bert-base-multilingual-uncased_50_Epochs, поэтому описание составлено по ней. Модель jfarray/Model_bert-base-multilingual-uncased_50_Epochs — модель на архитектуре BERT, разработанная с использованием Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 256 для семантического поиска и кластеризации. Модель также подходит для сравнения семантической близости текстов и получения текстовых эмбеддингов. Модель имеет 194,6 млн параметров и принимает последовательности длиной до 512 токенов. В карточке указано обучение с CosineSimilarityLoss; файлы представлены в формате PyTorch. Многоязычность следует из базового семейства multilingual BERT, но конкретный перечень поддерживаемых языков в доступных данных не приведён.

makiart/ModernBERT-large-DPR-msmarco — модель Sentence Transformers, дообученная автором makiart на answerdotai/ModernBERT-large с использованием датасета msmarco-co-condenser-margin-mse-sym-mnrl-mean-v1. Двунаправленный энкодер ModernBERT-large содержит около 394,7 млн параметров и преобразует предложения и абзацы в плотные векторы размерностью 1024; для объединения токенов применяется mean pooling, а для сравнения векторов — косинусное сходство. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов. Она обучена на англоязычных запросах и документах MS MARCO и поддерживает последовательности длиной до 8192 токенов. Её можно применять для построения эмбеддингов документов и запросов, а также ранжирования кандидатов по сходству. Модель распространяется в формате safetensors по лицензии базовой модели; конкретная лицензия в предоставленных данных не указана. Качество и применимость за пределами англоязычного поиска MS MARCO отдельно не подтверждены.

kwondw/mpnet-base-all-nli-triplet — текстовая Sentence Transformer модель, дообученная на базе microsoft/mpnet-base на наборе all-nli. Она преобразует предложения и абзацы в плотные векторы размерностью 768, которые можно сравнивать по косинусному сходству для поиска семантически близких текстов и извлечения релевантных документов. Архитектура включает MPNetModel и усредняющий pooling; модель рассчитана на английский язык и принимает последовательности длиной до 512 токенов. Модель подходит для семантического поиска, сопоставления предложений и построения текстового retrieval. В README указана точность cosine_accuracy 0,9154 на all-nli-dev при оценке TripletEvaluator. Лицензия — Apache-2.0. Оценка приведена для указанного набора данных и сама по себе не гарантирует аналогичного качества на других доменах или языках.

leerobert/my-awesome-setfit-model — модель Sentence-Transformers на базе MPNet, которая преобразует предложения и абзацы в плотные векторы размерности 768. Её можно использовать для семантического поиска, кластеризации и сравнения сходства текстов. Модель содержит 136,7 млн параметров, принимает текст и выдаёт эмбеддинги. В карточке указано обучение с CosineSimilarityLoss; модель рассчитана на применение через Sentence-Transformers или Transformers с подходящей операцией pooling. Лицензия в доступных данных не указана.

Nanbeige4.1-3B-GGUF — квантованная версия языковой модели Nanbeige4.1-3B, разработанной командой Nanbeige на базе Nanbeige4-3B-Base. Модель дообучалась с применением supervised fine-tuning и reinforcement learning и предназначена для генерации текста, рассуждений, программирования, решения математических и научных задач, использования инструментов и агентных сценариев. Репозиторий GGUF подготовлен Mungert с использованием llama.cpp. Модель относится к компактному классу с примерно 3 млрд параметров, работает с текстом и заявлена для английского и китайского языков. Среди заявленных сильных сторон — многошаговое рассуждение, согласование предпочтений и способность поддерживать длительные агентные процессы с большим числом вызовов инструментов. В README также описан специальный подход к квантованию: отдельные важные слои переводятся в более высокую точность, что может повысить качество при сохранении относительно небольшого размера файлов, но увеличивает их объём. Конкретный контекстный размер и параметры отдельных вариантов квантования не указаны, а фактическое качество зависит от выбранного GGUF-файла и настроек запуска. Модель распространяется по лицензии Apache 2.0. Она подходит для локального запуска через совместимые инструменты экосистемы llama.cpp и для приложений, которым нужны рассуждения, генерация кода или агентное взаимодействие при ограниченных вычислительных ресурсах. Как компактная и квантованная модель, она может уступать более крупным или полноточным системам в отдельных задачах; приведённые результаты относятся к исходной Nanbeige4.1-3B и не обязательно полностью характеризуют каждый GGUF-вариант.

Это квантизированная версия NVIDIA Nemotron 3 Nano 30B A3B в формате GGUF с квантизацией MXFP4_MOE и imatrix на основе данных Unsloth. Модель предназначена для генерации текста и диалогового использования; для запуска требуется llama.cpp. Базовая модель — гибридная языковая модель NVIDIA для диалогов, рассуждений, программирования и создания агентных приложений, поддерживающая шесть языков и длинный контекст. Карточка не приводит точный размер файла или длину контекста этой сборки. Лицензия в доступных данных не указана.

Это 4-битная версия NVIDIA Nemotron 3 Nano 30B A3B, преобразованная mlx-community из модели nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 в формат MLX с помощью mlx-lm 0.29.0. Она предназначена для генерации текста и диалогового использования на устройствах и в средах, поддерживающих MLX. Базовая модель NVIDIA — гибридная языковая модель для диалогов, рассуждений, программирования и агентных приложений. В карточке указана поддержка английского, испанского, французского, немецкого, японского и итальянского языков. Суффикс 30B A3B обозначает вариант семейства, однако README не раскрывает подробности архитектуры и контекстного окна. Репозиторий распространяется под лицензией, обозначенной как other; конкретные условия следует сверять с файлами лицензии базовой модели и репозитория. Версия предназначена для MLX и содержит 4-битное представление весов, что снижает требования к памяти по сравнению с исходной BF16-моделью, но может влиять на точность ответов.

Это сборка модели NVIDIA Nemotron 3 Nano 30B A3B в формате GGUF BF16, подготовленная DhruvalLabs для запуска через llama.cpp и совместимые приложения, включая Ollama, LM Studio, Open WebUI и Jan. В основе лежит NVIDIA-Nemotron-3-Nano-30B-A3B-BF16; README перечисляет варианты квантования K-quant, в том числе Q3_K_M, Q4_K_M и Q8_0, для локального запуска при разных объёмах памяти. Модель предназначена для генерации текста и диалогового использования. Базовая модель ориентирована на рассуждения, программирование и агентные сценарии; доступные сведения также указывают на поддержку английского, испанского, французского, японского, итальянского и немецкого языков. README заявляет сохранение 97–99% исходного качества для квантованных вариантов, но не приводит результаты измерений, поэтому это утверждение не подтверждено представленными бенчмарками. В метаданных указана лицензия «other»; конкретные условия использования в предоставленной карточке не раскрыты. GGUF-репозиторий указывает BF16 и одновременно описывает варианты квантования, поэтому фактическая точность зависит от выбранного файла.

swardiantara/one-stage-cdk10-MiniLM-L12-v2 — модель Sentence-Transformers на архитектуре BERT, преобразующая предложения и абзацы в плотные векторы размерностью 384. Она предназначена для поиска семантически похожих текстов, семантического поиска и кластеризации. Модель содержит около 40 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Модель обучена с ContrastiveLoss и косинусной метрикой расстояния. Веса опубликованы в формате safetensors. Карточка не сообщает, на каких языках и данных модель обучалась, поэтому её языковые возможности нельзя уточнить. Лицензия в предоставленных данных не указана.

Карточка модели OpenBuddy/openbuddy-qwen1.5-32b-v21.2-32k на Hugging Face совпадает с карточкой OpenBuddy/openbuddy-qwen1.5-32b-v21.1-32k, поэтому описание составлено по ней. OpenBuddy-Qwen1.5-32B-v21.1-32k — мног языковая диалоговая модель OpenBuddy на архитектуре Qwen2 с плотной трансформерной сетью и 31,7 млрд параметров. Она предназначена для общения и генерации ответов на запросы; поддерживает контекст до 32 768 токенов и работает с текстом на китайском, английском, французском, немецком, японском, корейском, итальянском, русском и финском языках. Модель можно применять для диалоговых помощников, ответов на вопросы и составления текстов на поддерживаемых языках. Для работы рекомендуется быстрый токенизатор Transformers; README также отмечает совместимость формата промптов с vLLM для развёртывания API. Модель распространяется по лицензии с обозначением «other»; README приводит предупреждение об ошибочных или нежелательных ответах и предостерегает от использования в критичных и высокорисковых сценариях.

Pythia 6.9B Tulu — языковая модель Allen Institute for AI, дообученная на смеси наборов инструкций FLAN V2, CoT, Dolly, OpenAssistant 1, GPT4-Alpaca, Code-Alpaca и ShareGPT. Это плотная авторегрессионная модель GPT-NeoX с 8,8 млрд параметров в метаданных и контекстом до 2048 токенов. Модель предназначена для генерации ответов на инструкции, диалоговых запросов, рассуждений и кода. В карточке приведены результаты на наборах тестов для общих знаний, математики, вопросов и ответов и генерации кода; авторы отмечают, что результат зависит от соблюдения обучающего формата с переводом строки после маркера сообщения. Модель поддерживает английский язык. Она распространяется в формате PyTorch и является полным набором весов, а не diff. Условия использования определяются лицензией модели из LICENSE.txt и исходной лицензией Pythia из pythia_license.txt; их конкретные положения в предоставленных данных не приведены.

OpenThinker-7B — языковая модель, разработанная командой OpenThoughts и дообученная на Qwen/Qwen2.5-7B-Instruct с использованием набора OpenThoughts-114k. Она предназначена для генерации текста в диалогах и решения задач, требующих рассуждений, в том числе математических задач, научных вопросов и задач по программированию. Данные OpenThoughts-114k получены методом дистилляции DeepSeek-R1. Модель имеет плотную архитектуру Qwen2, содержит 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. В карточке приведены результаты оценивания по математике, научным вопросам и программированию; в отдельных тестах модель превосходит Bespoke-Stratos-7B, но уступает DeepSeek-R1-Distill-Qwen-7B. Доступна под лицензией Apache 2.0.

Ornith-1.5-35B-A3B-Abliterated-ROCmFP4-GGUF — это квантизированная GGUF-версия аблитерированной языковой модели Ornith-1.5-35B-A3B. Базовую модель разработала ornith-ai, аблитерацию выполнила huihui-ai, а BF16 GGUF-исходник предоставила PocketAiHub. Автор данного репозитория добавил варианты квантизации ROCmFP4/ROCmFPX, сборку с поддержкой HIP/ROCm и Vulkan, а также тесты производительности. Модель распространяется по лицензии Apache-2.0. Модель предназначена для генерации текста, включая диалоги, программный код, рассуждения, выдачу JSON, агентские сценарии и работу с инструментами. Это MoE-модель с заявленным общим размером 35B параметров и активной частью около 3B параметров. Доступны варианты квантизации от 4 до 8 бит; размеры файлов составляют примерно от 17,4 до 33,9 ГиБ. В репозитории также указан отдельный vision tower в формате F16 GGUF, позволяющий подавать изображения через параметр mmproj. Языки модели в README не указаны. В приведённых конфигурациях использовался контекст 32768 токенов, однако максимальный размер контекста явно не заявлен. Основное преимущество модели — оптимизация для AMD Ryzen AI Max+ 395 и Radeon 8060S с архитектурой gfx1151: один файл можно запускать через HIP/ROCm или Vulkan, выбирая backend во время запуска. Vulkan показывает более высокую скорость генерации, а ROCm — более высокую скорость обработки длинных входных запросов; 4-битные варианты демонстрируют близкую производительность. Модель прошла заявленные тесты стабильности без усечённых генераций. Для работы требуется специальная сборка ROCmFPX с поддержкой обоих backend; стандартная сборка llama.cpp эти файлы не загружает. Приведённые показатели относятся к конкретной аппаратной конфигурации и могут отличаться на других системах.

Ornith-1.5-35B-A3B-REAP192-mxfp4-MLX — это сжатая и квантованная производная модели Ornith-1.5-35B-A3B от ornith-ai, подготовленная пользователем mchen04 для запуска на компьютерах Mac с Apple Silicon. Модель предназначена для локальной однопользовательской генерации текста, программного кода, математических ответов, JSON-вызовов инструментов и структурированного вывода через MLX или OpenAI-совместимый сервер. Модель основана на MoE-архитектуре с 35 млрд параметров и примерно 3 млрд активных параметров на токен. В ней число экспертов сокращено с 256 до 192 методом REAP, top-k уменьшен с 8 до 7, а веса преимущественно квантованы в mxfp4 с размером группы 32; общий эффективный размер составляет около 4,33 бита на параметр. Общий эксперт и маршрутизатор используют 8-битное квантование. Указан английский язык, при этом токенизатор и шаблон чата сохранены от исходной модели. Архитектура использует гибридное внимание: 10 из 40 слоёв имеют полное внимание, благодаря чему KV-кэш занимает мало памяти и допускает экономичную работу с длинным контекстом. Основное преимущество — высокая скорость и низкое потребление памяти на Mac с 24 ГБ unified memory: около 49,8 токена в секунду при декодировании, пиковое потребление примерно 14,3 ГБ и работа без постоянного обращения к swap. Модель подходит для локального программирования, математики, чат-сценариев и задач с формальным форматом вывода. Ограничения связаны с потерями от pruning и квантования, зависимостью от Apple Silicon и MLX, а также с тем, что приведённые показатели получены на конечном наборе тестов и конкретной конфигурации оборудования. Доступна по лицензии MIT.

DPolatajko/osm-nlp-setfit — модель Sentence-Transformers на базе MPNet, разработанная DPolatajko. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текстовые последовательности длиной до 514 токенов и сохраняется в формате PyTorch. Обучение использовало CosineSimilarityLoss. Модель подходит для построения эмбеддингов и поиска текстов по смыслу; в карточке не указаны поддерживаемые естественные языки или специализированные предметные области. Лицензия в предоставленных данных не указана.

Карточка модели ausascsdas/phi-4 на Hugging Face совпадает с карточкой microsoft/phi-4, поэтому описание составлено по ней. Phi-4 — языковая модель Microsoft Research с плотной архитектурой декодерного Transformer и 14,1 млрд параметров. Она принимает текстовые запросы, лучше всего в формате чата, и генерирует текст; длина контекста составляет 16 тысяч токенов. Модель доступна в формате Safetensors и распространяется по лицензии MIT. Модель предназначена для англоязычных сценариев общего назначения, особенно для рассуждений, логики, математики, программирования и следования инструкциям в условиях ограничений по памяти, вычислениям или задержке. При обучении использовались отфильтрованные общедоступные материалы, учебные и синтетические данные, академические книги, наборы вопросов и ответов, а также данные для настройки диалогов. Модель прошла supervised fine-tuning и direct preference optimization; около 8% обучающих данных были многоязычными. Phi-4 может служить компонентом генеративных ИИ-приложений и компактной альтернативой более крупным моделям для ряда задач рассуждения. Это статическая модель со срезом знаний по июнь 2024 года; ответы могут быть неточными, а качество и безопасность следует оценивать для конкретного применения, особенно в высокорисковых сценариях. Карточка указывает на основной фокус на английском языке.

Карточка модели nosynx/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

qwen27B-Agent-R2-abliterated-preview — языковая модель с 27 млрд параметров, разработанная hotdogs на основе hotdogs/qwen27b-abliterated-Fable-MTP и huihui-ai/Huihui-Qwen3.6-27B-abliterated. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, системных задач и агентских сценариев с вызовом инструментов и функций. Заявлена поддержка английского и тайского языков. Модель использует архитектуру семейства Qwen3.6 и поддерживает Fable-style reasoning с пошаговым рассуждением, Hermes/Qwen-формат function calling и Multi-Token Prediction (MTP) для speculative decoding. В llama.cpp заявлена возможность чернового предсказания до двух токенов за шаг и прироста скорости декодирования до 85% на одной GPU, однако фактический результат зависит от оборудования и настроек. Для визуальных задач модель можно сочетать с мультимодальным проектором mmproj от Qwen/Qwen3.6-27B, но собственная поддержка изображений в карточке отдельно не специфицирована. Это preview-версия v0.1, поэтому возможны нестабильность и ограничения качества. Модель помечена как abliterated: механизмы отказа и защитные ограничения удалены, что расширяет свободу использования, но повышает риски небезопасных или некорректных ответов. Указана лицензия AGPL-3.0.

Карточка модели Tofilhehe/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

6block/Qwen3-14B-GGUF — набор GGUF-квантизированных версий языковой модели Qwen3-14B, разработанной Qwen. Квантизацию выполнил 6block с использованием llama.cpp и метода imatrix; исходная модель доступна как Qwen/Qwen3-14B. Модель предназначена для генерации текста и программного кода, включая двуязычные сценарии на английском и китайском языках, и может применяться локально через llama.cpp, LM Studio, Ollama и совместимые проекты. Доступны варианты квантизации от Q8_0 до Q2_K размером примерно от 15,70 до 5,75 ГБ. Для калибровки использовался датасет с английскими, китайскими и программными текстами, что должно помогать сохранять способности к работе с китайским языком и кодом в моделях с низкой разрядностью. Более высокие варианты обычно обеспечивают лучшее качество, а низкоразрядные требуют меньше памяти, но сильнее ограничены потерями качества; I-кванты могут быть эффективнее по качеству на размер, но медленнее K-квантов на CPU. Архитектура, длина контекста и точный набор поддерживаемых языков в карточке не указаны. Модель распространяется по лицензии Apache 2.0. Для запуска требуется подходящее локальное программное обеспечение и объём RAM или VRAM, соответствующий выбранному файлу; конкретные требования зависят от варианта квантизации.

QuantTrio/Qwen3.5-2B-AWQ — вариант мультимодальной модели Qwen3.5-2B, разработанной командой Qwen. Модель представляет собой авторегрессионную языковую модель с vision-энкодером и предназначена для обработки текста и изображений, генерации ответов, визуального понимания, рассуждений, программирования, агентских сценариев, прототипирования и предметно-ориентированной донастройки. Репозиторий содержит веса и конфигурации в формате Hugging Face Transformers; заявлена совместимость с Transformers, vLLM, SGLang и KTransformers. Модель содержит около 2 млрд параметров, 24 слоя, скрытое измерение 2048 и нативный контекст длиной 262 144 токена. В архитектуре используются Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; указана ранняя интеграция мультимодальных токенов. Заявлена поддержка 201 языка и диалекта. Суффикс AWQ указывает на вариант весов, подготовленный для 4-битного квантованного инференса, однако подробные параметры квантования в предоставленных данных не описаны. К сильным сторонам относятся мультимодальность, большой контекст, относительно небольшой размер, потенциально эффективный инференс и широкое языковое покрытие. Ограничением является масштаб 2B: модель ориентирована прежде всего на прототипирование, исследовательские задачи и разработку, поэтому может уступать более крупным моделям в сложном рассуждении и специализированных сценариях. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-DeepSeek-V4-Flash — модель, разработанная Jackrong на базе unsloth/Qwen3.5-9B с использованием дистилляции из DeepSeek-V4. Обучение проводилось на датасете Jackrong/DeepSeek-V4-Distill-8000x в среде Unsloth; в проекте также участвовал инженер Kyle Hessling, предоставивший вычислительную инфраструктуру и занимавшийся тестированием. Модель предназначена для эффективного рассуждения, многошагового решения задач, программирования и агентских сценариев с генерацией действий для инструментов. Ключевая характеристика модели — размер около 9 миллиардов параметров, обеспечивающий более быстрый и менее ресурсоёмкий инференс по сравнению с крупными моделями. README указывает поддержку английского, китайского, корейского, японского, испанского и русского языков, а также заявляет возможности structured reasoning, long chain-of-thought и tool-augmented workflows. При этом точный размер контекста, сведения о полноценной мультимодальности и подробные характеристики архитектуры самой дистиллированной модели не приведены; упомянутые million-token context, DeepSeek Sparse Attention и другие архитектурные особенности относятся к модели-учителю DeepSeek-V4. Модель позиционируется как компактная и эффективная альтернатива для задач рассуждения и локального инференса, однако README описывает раннюю сравнительную оценку, выполненную в формате Q5_K_M, поэтому заявленные преимущества не следует считать универсально подтверждёнными. Лицензия — Apache-2.0.

AtomicChat/Qwen3.6-27B-MLX-4bit — это 4-битная MLX-квантизация базовой модели Qwen/Qwen3.6-27B, выполненная командой Atomic Chat из оригинальных весов Qwen. Модель предназначена для генерации текста, программирования, агентных сценариев и работы с большими контекстами; заявлена поддержка текстовых и визуальных данных, а также офлайн-запуск на устройствах Apple Silicon через MLX и mlx-lm. Модель содержит 27,8 млрд параметров и 64 слоя, использует плотную decoder-архитектуру Qwen3_5ForConditionalGeneration с 24 attention heads и 4 KV heads. Максимальная длина контекста составляет 262 144 токена, размер словаря — 248 320 токенов. Квантизация откалибрована с помощью importance matrix, что должно помогать сохранять свойства исходной полноточной модели при уменьшенной разрядности. README не содержит точного перечня поддерживаемых языков и результатов сравнительных тестов, поэтому качество в конкретных задачах оценить нельзя. К сильным сторонам относятся большой контекст, поддержка изображений, возможности программирования и repository-level reasoning, а также локальная работа без подключения к сети. Ограничения связаны с 4-битной квантизацией и требованием совместимой MLX-инфраструктуры; практические требования к памяти и производительности в README не указаны. Модель распространяется по лицензии Apache 2.0; квантизацию выполнила Atomic Chat.

Карточка модели claymorecrystal/Qwen3.6-27B-PRISM-PRO-DQ на Hugging Face совпадает с карточкой Ex0bit/Qwen3.6-27B-PRISM-PRO-DQ, поэтому описание составлено по ней. Ex0bit/Qwen3.6-27B-PRISM-PRO-DQ — квантованная версия PRISM-PRO на базе Qwen3.6-27B, подготовленная проектом PRISM в формате GGUF для llama.cpp с применением динамического квантования. Она сохраняет встроенную MTP-голову для черновой генерации и полную башню обработки изображений; размер файла составляет около 13,7 ГБ вместо 55 ГБ у BF16-версии. Модель предназначена для диалоговой генерации текста и может использоваться в сценариях, где нужны возможности базовой Qwen3.6-27B, включая программирование, агентные задачи и работу с изображениями. Для ускорения вывода README описывает спекулятивное декодирование с MTP или отдельной EAGLE-3-моделью; заявлено совпадение результата с обычным жадным декодированием с оговоркой о вычислительных различиях при пакетной проверке. Базовая архитектура сочетает 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания; в карточке не приведены общее число параметров и длина контекста. Модель распространяется по лицензии Apache-2.0. Квантование уменьшает размер по сравнению с BF16, однако README не сообщает точные потери качества или требования к видеопамяти.

Qwen3.6-35B-A3B-NSC-ACE-SABER GGUF MTP — это квантизированная сборка модели, разработанная GestaltLabs на базе Qwen/Qwen3.6-35B-A3B. Репозиторий предоставляет файлы в формате GGUF для совместимых с llama.cpp сред выполнения, включая варианты F16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K. Сборки подготовлены с поддержкой MTP (multi-token prediction) и предназначены для ускорения генерации при наличии соответствующей поддержки в runtime. Модель ориентирована на диалоговую генерацию текста, агентские сценарии и вызов инструментов, а также заявлена как multimodal image-text-to-text модель. В репозитории присутствуют конфигурация мультимодальности, процессор, шаблон чата и visual tower sidecar для обработки изображений и видео. В README указан английский язык. Пример запуска использует контекст 32768 токенов, однако максимальный размер контекста отдельно не подтверждён. К сильным сторонам относятся широкий выбор уровней квантизации, локальный запуск, MTP-ориентированная конвертация и улучшенные относительно базовой модели показатели на приведённой проверке BFCL для tool calling: например, точность имени функции выросла с 92,50% до 95,00%, а точность обязательных значений аргументов — с 79,79% до 83,54%. Ограничения включают зависимость ускорения от версии и возможностей llama.cpp, возможное ухудшение форматирования, точности аргументов и калибровки отказов у низких квантов, а также необходимость отдельно проверять поведение конкретных quant-файлов. Модель распространяется по лицензии Apache 2.0.

dippitydoodle/Qwen3-8B-heretic — декензурированная версия Qwen3-8B, созданная с помощью Heretic v1.4.0. Это плотная авторегрессионная языковая модель на 7,6 млрд параметров с архитектурой Qwen3ForCausalLM; веса представлены в формате safetensors. Модель предназначена для диалоговой генерации текста и задач, в которых требуется меньше отказов на запросы: в карточке указано 15 отказов из 100 против 100 из 100 у исходной модели. Модель унаследовала от Qwen3 поддержку диалога, рассуждений, следования инструкциям, программирования, перевода и более чем 100 языков и диалектов. Метаданные указывают контекст до 40 960 токенов. README сообщает о KL-дивергенции 0,0577 относительно оригинала; это показывает, что изменение поведения сопровождается некоторым отклонением от исходной модели. Лицензия — Apache-2.0.

Cyronius/Qwen3.8-Flash-Next-131B-A6B-GGUF — это оптимизированная GGUF-версия Qwen3.8-Flash-Next, основанная на модели Qwen от Qwen и подготовленная автором Cyronius. Модель предназначена для генерации текста, рассуждений и агентских сценариев с вызовом инструментов через llama.cpp. Это текстовая сборка; отдельные vision-тензоры поставляются отдельно, а работа визуального контура после модификации не тестировалась. Модель использует MoE-архитектуру с 48 слоями и 512 экспертами, из которых активируются параметры объёмом около 6B на токен. Общее число параметров сокращено примерно с 176B до 131B за счёт уменьшения n-gram hash-embedding-таблицы с 51,2B до 6,4B параметров: сохранено по одной из восьми голов для каждого типа n-грамм. Основная сборка Q3_K_XL занимает 64,8 GB, также доступна версия Q4_0 размером 75,4 GB. Заявлена поддержка контекста до 256K токенов в исходной архитектуре, но поведение на длинном контексте для этой модификации не проверялось; опубликованные тесты проведены при контексте до 8K. По небольшому набору тестов сборка сохранила показатели базовой модели в tool calling, GSM8K и MMLU, однако perplexity на WikiText-2 ухудшилась с 2,40 до 4,66. Поэтому модель хорошо подходит для рассуждений, задач общего назначения и вызова инструментов, но может быть менее качественной в точном воспроизведении цитат, шаблонного текста и других сценариях, зависящих от поверхностного предсказания продолжений. Q4_0 структурно проверена, но отдельно не тестировалась. Для запуска требуется llama.cpp от 2026-08-27 или новее с поддержкой qwen4exp, а также значительный объём VRAM или оперативной памяти. Модель распространяется по лицензии qwen-community-1.0.

zecafonso дообучил Qwen/Qwen3-Embedding-4B как текстовую модель Sentence Transformers для получения плотных эмбеддингов предложений и абзацев. Векторное представление имеет размерность 2560 и нормализуется; для сравнения используется косинусное сходство. Модель предназначена для семантического поиска и извлечения релевантных фрагментов, в том числе по поисковым запросам с инструкцией. Модель построена на архитектуре Qwen3 и принимает только текст. README задаёт максимальную длину последовательности 512 токенов; метаданные указывают нативный контекст базовой модели в 40960 токенов, но это значение не отменяет лимит, заявленный для данного чекпойнта. На двух тестах поиска приведены значения cosine_accuracy@1 от 0,6364 до 0,75 и @3 от 0,9091 до 0,9167; оценки относятся к небольшим наборам данных. Лицензия в предоставленных данных не указана.

FuriosaAI публикует эту сборку Qwen3-VL-32B-Thinking вместе с пакетом Furiosa Executable Bundle для запуска на ускорителях FuriosaAI RNGD через Furiosa-LLM. Это плотная мультимодальная модель с 32 млрд параметров: она сочетает визуальный энкодер и трансформерный декодер, использует Interleaved-MRoPE и слияние признаков DeepStack. Квантизация не применялась; веса сохраняют точность исходной модели Qwen/Qwen3-VL-32B-Thinking. Модель принимает изображения и текст, а отвечает текстом. Она предназначена для распознавания текста на изображениях, анализа документов и диаграмм, пространственных рассуждений и понимания видео. Версия Thinking формирует рассуждение перед итоговым ответом; также поддерживается вызов инструментов. README описывает запуск через Furiosa-LLM на RNGD, а также совместимость с vLLM, SGLang и Transformers. Модель выпущена под лицензией Apache 2.0. Для запуска на RNGD требуется конфигурация с 32 PE, распределёнными по четырём картам RNGD; отдельные ограничения качества в предоставленных материалах не описаны.

Qwen3-VL-4B-Instruct GGUF — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Данная версия представляет собой GGUF-сборку весов Qwen3-VL-4B-Instruct, подготовленную автором Mungert с использованием llama.cpp. Модель предназначена для диалога и генерации текста на основе изображений, видео и текстовых запросов. Модель имеет плотную архитектуру и размер 4B параметров. Она поддерживает анализ изображений и видео, визуальное распознавание, OCR, пространственное рассуждение, понимание длительных видеосцен, мультимодальные задачи STEM и генерацию кода интерфейсов и схем по визуальным материалам. Также заявлены возможности визуального агента для взаимодействия с графическими интерфейсами и инструментами. Контекст составляет 256K токенов с возможностью расширения до 1M; OCR заявлен для 32 языков, однако полный перечень языков в карточке не указан. К сильным сторонам относятся расширенное понимание изображений и видео, точное пространственное и временное рассуждение, обработка длинного контекста, улучшенное распознавание текста и интеграция визуальной и текстовой информации. GGUF-формат удобен для локального запуска через llama.cpp, а применённый автором подход с повышением точности отдельных слоёв призван улучшить качество при заданном уровне квантизации, хотя увеличивает размер файла. Ограничения включают зависимость качества от выбранного варианта квантизации и аппаратных ресурсов, а также отсутствие в README подробных результатов тестирования и требований к памяти. Лицензия — Apache 2.0.