I.11Классификация, ранжирование и сопоставление

Twu31/Qwen3.8-27B-AWQ-INT4-MTP-LowLatency — квантизированная сборка базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем Twu31. Модель предназначена для интерактивного диалога с низкой задержкой, включая чат-интерфейсы, голосовых агентов и embodied assistants, при отключённом рассуждении и работе через vLLM на одной GPU. Это гибридная модель с архитектурой GDN и attention, поддержкой текстово-визуального ввода и языками English и Chinese. Основные веса представлены в формате INT4 W4A16 с симметричной групповой квантизацией g128 и обслуживаются через compressed-tensors и Marlin; lm_head использует INT8, а vision tower и MTP draft head сохранены в BF16. Размер квантизированных весов составляет около 18,2 ГБ против 55,6 ГБ у BF16-версии. Указан максимальный контекст 12 288 токенов в рекомендуемой конфигурации. Сборка поддерживает speculative decoding через MTP и оптимизирована для prefix caching; заявлены TTFT менее 100 мс и задержка полного ответа менее 0,5 секунды в отдельных конфигурациях на RTX 6000 Ada или RTX 5090. Сильные стороны модели — низкая задержка, экономия видеопамяти, сохранённая MTP-голова и высокая эффективность prefix caching при длинном фиксированном системном промпте. Ограничения включают зависимость производительности от версии и настроек vLLM, GPU с архитектурой SM 8.0+, параметров prefix caching и длины ответа; MTP требует проверки фактического acceptance rate и может замедлять работу при низком принятии черновых токенов. Поддержка SGLang не проверялась. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-GGUF — это общественная квантованная сборка базовой модели Qwen/Qwen3.8-27B, подготовленная сообществом bowmanslayer для запуска через llama.cpp. Это неофициальный релиз, не одобренный и не связанный с командой Qwen или Alibaba Cloud. Модель предназначена прежде всего для генерации текста, локального инференса и сценариев, где важны большой контекст и работа на одной видеокарте. Лицензия артефакта — Apache-2.0. Основные веса представлены в формате GGUF с importance-matrix-квантизацией, доступны варианты от Q3_K_M до Q8_0. В зависимости от варианта требуется примерно от 14 до 26,6 ГиБ памяти; для одной видеокарты на 24 ГиБ автор рекомендует Q4_K_M для скорости или Q6_K для качества, а для 16 ГиБ — IQ4_XS. Модель имеет гибридную архитектуру: из 64 слоёв только 16 используют полноценное attention, остальные 48 используют Gated DeltaNet, благодаря чему снижается расход KV-кэша и поддерживается контекст до примерно 111 872 токенов для Q4_K_M на RTX 3090. Точные характеристики исходной модели, включая языки и число параметров, в README дополнительно не раскрыты, однако название указывает на класс 27B. Мультимодальный режим с изображениями поддерживается через отдельный файл mmproj размером около 0,9 ГиБ; он позволяет, например, описывать изображения, но специализированные Qwen3-VL-модели должны быть лучше для плотного OCR и подсчёта небольших объектов. Также доступен отдельный MTP-файл для speculative decoding, который на CUDA в приведённом тесте увеличивал скорость генерации до 36 процентов при определённой настройке. Ограничения включают компромисс между качеством, скоростью и объёмом памяти при выборе квантизации, заметное замедление IQ4_XS по сравнению с Q4_K_M и слабую эффективность MTP на Vulkan. Для работы требуются совместимые сборки llama.cpp; режим draft-mtp поддерживается начиная со сборки b10502.

Avifenesh/Qwen3.8-27B-NVFP4-MTP-GGUF — квантизированная версия Qwen3.8-27B, разработанная Qwen и подготовленная Avifenesh как артефакт сервинга лаборатории tiyuvta. Модель предназначена для генерации текста, диалоговых приложений и агентных сценариев; встроенный MTP (multi-token prediction) позволяет использовать speculative decoding для ускорения инференса в совместимых движках, прежде всего memra. Модель использует NVFP4-квантизацию с 4-битными весами, эмбеддинги и выходную голову в формате Q5_K, а также включает отдельный MTP-блок и маскированную draft head для speculative decoding. Размер базовой модели — 27B параметров, словарь содержит 248 320 токенов, встроенный chat template поддерживает tool calling и thinking blocks. Заявлен нативный текстовый контекст до 262 144 токенов. Мультимодальный VL-компонент в этот артефакт не входит, а поддерживаемые языки в README не указаны. К сильным сторонам относятся существенно сниженный размер файла, поддержка длинного контекста и ускорение декодирования: для конфигурации MTP K=3 указаны медианная скорость 137,9 токена в секунду на RTX PRO 6000 Blackwell и 73,6 токена в секунду на RTX 5090 Laptop при коэффициенте принятия черновых токенов 0,74. Ограничения связаны с необходимостью движка, поддерживающего GGUF, NVFP4 и MTP, а также с оптимизацией под аппаратные платформы Blackwell; приведённые сервисные измерения относятся к уже закрытому endpoint и не являются текущей гарантией производительности. Модель распространяется по лицензии Apache-2.0.

Qwen 3.8 27B ROCmFP4 FAST — это квантизированная GGUF-версия модели Qwen 3.8 27B, разработанной командой Qwen и адаптированной пользователем julianmb. Модель предназначена для генерации текста и оптимизирована прежде всего для AMD Strix Halo с графикой Radeon 8060S, а также дискретных AMD Radeon GPU, использующих ROCm или Vulkan. Модель имеет плотную архитектуру с 27 млрд параметров и представлена в формате ROCmFP4 с эффективной точностью 4,26 бит на вес и размером файла около 13,55 GiB. Заявлены поддерживаемые языки английский и китайский. Версия ориентирована на ускоренное авторегрессионное декодирование и может использовать speculative decoding с MTP; на Ryzen AI Max+ 395 указана скорость до 36,04 токена в секунду, при устойчивом MTP-декодировании K=4 — 33,80 токена в секунду. Без спекулятивного декодирования измеренная скорость составляет 14,02 токена в секунду. Сильные стороны модели — сниженное потребление памяти, оптимизация под оборудование AMD и высокая скорость генерации при сохранении заявленного качества, близкого к исходной модели. Дополнительно описана экспериментальная гибридная NPU-акселерация AMD XDNA 2 для уменьшения задержки выдачи первого токена на длинных запросах, но она не повышает устойчивую скорость декодирования. Реальная производительность зависит от GPU, драйверов, конфигурации MTP и программного окружения, поэтому приведённые показатели нельзя считать универсальными. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный пользователем azukivc и подготовленный для llama.cpp. Модель предназначена для генерации текста, включая локальный запуск и сценарии, где требуется сниженное количество отказов. Поведение отказа было существенно уменьшено, но не устранено полностью; дополнительное обучение и новые обучающие данные не использовались. Лицензия — Apache-2.0. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, один MTP-слой и поддерживает контекст до 262 144 токенов. Указана поддержка vision, поэтому доступны варианты с обработкой изображений, если это поддерживается базовой моделью и используемым runtime. Заявлены языки English и Chinese. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, размер файлов — примерно от 10,6 до 29 ГБ. MTP-голова сохранена для speculative decoding; доступны как объединённые файлы со встроенной draft-моделью, так и отдельные target- и draft-файлы. Снижение отказов является преимуществом для менее ограниченных сценариев, однако поведение не полностью безотказное, а acceptance rate speculative decoding может немного снизиться.

nytopop/Qwen3-8B.w8a8 — это квантованная версия языковой модели Qwen3-8B, разработанная на основе Qwen/Qwen3-8B. Модель предназначена для генерации текста и может использоваться в сценариях диалоговых приложений, ассистентов и других задач, поддерживаемых causal language models. В README также указана совместимость с reasoning parser qwen3. Модель использует 8-битное квантование W8A8 с применением SmoothQuant и GPTQ; вариант оптимизирован для производительности на GPU архитектуры Ampere. При создании использовались 256 калибровочных примеров с максимальной длиной последовательности 4096 токенов, однако эти параметры не подтверждают предельный контекст исходной модели. Размер модели, архитектурные детали, поддерживаемые языки и модальности в README не указаны. Основное преимущество версии — снижение вычислительных и, вероятно, ресурсных затрат по сравнению с полноразмерной моделью при сохранении назначения исходной Qwen3-8B. Ограничения квантования и точность на конкретных задачах не описаны, поэтому качество следует оценивать отдельно. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next ROCmFP4-FAST imatrix GGUF — квантизированная GGUF-версия модели Qwen3.8-Flash-Next, разработанная и опубликованная Agention. Модель предназначена для генерации текста, агентских сценариев, работы с длинными контекстами и обработки изображений при подключении собственного vision-модуля. Языки в README не указаны. Модель содержит около 180 млрд параметров, использует квантизацию ROCmFP4 с эффективностью 4,23 bpw и занимает примерно 87,06 GiB. Поддерживается контекст до 262 144 токенов, а vision tower поставляется отдельно в формате F16. Также доступна speculative decoding через собственную MTP-голову; заявлена скорость генерации до 40 токенов в секунду на Strix Halo, хотя результат зависит от содержимого. Квантизация imatrix откалибрована на 1540 фрагментах данных, а заявленная потеря по perplexity относительно неквантизированной версии составляет около 2,48%. Ключевое преимущество — возможность полностью разместить веса, таблицу n-gram и вычисления на GPU с unified memory без CPU fallback, что особенно полезно для длинных запросов и повторного чтения большого контекста. Основные ограничения — очень высокие требования к памяти и специализированному оборудованию, а также необходимость использовать форк llama.cpp с поддержкой ROCmFPx и соответствующими оптимизациями. Для vision и speculative decoding требуются дополнительные файлы и настройки. Лицензия указана как qwen-community-1.0.

bartowski/Qwen_Qwen3.6-27B-GGUF — это набор GGUF-квантизаций языковой модели Qwen3.6-27B, разработанной Qwen и опубликованной в формате, совместимом с llama.cpp. Квантизации подготовлены bartowski с использованием imatrix и предназначены для локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В метаданных указано назначение image-text-to-text, однако подробные сведения о поддержке изображений в README отсутствуют. Модель имеет 27 млрд параметров и доступна в вариантах от BF16 до низкобитных Q3, Q4, Q5, Q6, Q8 и IQ-квантизаций. Размер файлов составляет примерно от 13,5 до 54,7 ГБ; варианты с более высокой точностью обычно сохраняют лучшее качество, а низкобитные версии требуют меньше оперативной памяти. Для некоторых конфигураций заявлена поддержка MTP-слоёв через параметр draft-mtp в llama.cpp. Формат prompt использует специальные маркеры ролей system, user и assistant с секцией рассуждений think. Модель подходит для локальной генерации текста и мультимодальных сценариев, если соответствующая поддержка реализована используемым инструментом, однако языки, размер контекста, архитектурные детали исходной модели и конкретные возможности работы с изображениями в предоставленных данных не указаны. Сильные стороны — широкий выбор квантизаций, возможность запуска на различном оборудовании и заявленное высокое качество вариантов Q5–Q8; ограничения связаны с ростом потерь качества у низкобитных вариантов и значительными требованиями к памяти. Указана лицензия Apache-2.0.

bartowski/Qwen_Qwen3-8B-GGUF — набор GGUF-квантизированных версий модели Qwen3-8B, разработанной Qwen. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp; в README также указан формат промпта с разделителями сообщений ChatML. Доступны варианты от BF16 размером 16,39 ГБ до компактных IQ2_M и Q2_K размером около 3 ГБ, а также промежуточные уровни Q8, Q6, Q5, Q4 и Q3. Более высокие уровни квантизации обычно сохраняют лучшее качество, тогда как младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству; для большинства сценариев автор рекомендует Q4_K_M, а также некоторые варианты Q5 и Q6. Архитектура, поддерживаемые языки, модальности и размер контекста в README не указаны, поэтому эти характеристики нельзя подтвердить. Модель распространяется по лицензии Apache-2.0.

Qwentile2.5-32B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwentile2.5-32B-Instruct, разработанной maldv и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста, чат- и диалоговых сценариев, а также локального использования через llama.cpp и совместимые приложения, включая LM Studio. В README указана поддержка английского языка. Модель имеет размер 32 млрд параметров. Доступны варианты от F16 до квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2, включая форматы K-quants и IQ-quants, что позволяет выбирать между качеством, скоростью и требованиями к оперативной памяти. Квантизации выполнены с использованием imatrix на базе llama.cpp; для общения применяется шаблон с тегами <|im_start|> и <|im_end|>. Сильная сторона набора — широкий выбор вариантов, включая высококачественные Q6_K и Q6_K_L, а также более компактные версии для систем с ограниченной памятью. При этом уменьшение разрядности может снижать качество генерации, особенно у Q2–Q3 вариантов; для работы также требуются значительные вычислительные ресурсы. Контекстное окно, точная архитектура и дополнительные модальности в README не указаны. Модель распространяется по лицензии Apache-2.0.

EpistemeAI/Reasoning-Llama-3.1-CoT-RE1-NMT — диалоговая языковая модель семейства Llama, разработанная EpistemeAI и дообученная на базе EpistemeAI/Reasoning-Llama-3.1-CoT-RE1. Это плотная модель с 7,5 млрд параметров, контекстом до 131 072 токенов и форматом весов safetensors. Модель предназначена для диалогов, выполнения инструкций и генерации ответов с многошаговыми рассуждениями. В карточке заявлены сценарии виртуальных помощников, поддержки клиентов, обучения и генерации текстов. Среди датасетов в метаданных указаны AI-MO/NuminaMath-TIR и bespokelabs/Bespoke-Stratos-17k. README также упоминает Unsloth и непрерывное обучение, но не приводит подробностей об их реализации в этой версии. Доступны способ запуска через Transformers и лицензия Apache-2.0. Качество и языковое покрытие отдельно не оценены в предоставленных сведениях.

RekaAI_reka-flash-3.1-GGUF — набор GGUF-квантизованных версий модели RekaAI/reka-flash-3.1, подготовленный пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp; README также указывает формат промпта human: {system_prompt} {prompt} <sep> assistant:. Доступны варианты от исходных весов BF16 размером 41,82 ГБ до компактных квантований Q2 и IQ3 размером примерно от 9,18 ГБ, а также Q3, Q4, Q5, Q6 и Q8. Более высокие уровни квантования обеспечивают лучшее сохранение качества, но требуют больше памяти; Q4_K_M обозначен как рекомендуемый вариант общего назначения, а Q5 и Q6 — как высококачественные варианты. Некоторые форматы оптимизированы для определённых аппаратных платформ, включая Apple silicon, ARM и AVX CPU. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, модальностях и размере контекста исходной модели, поэтому эти характеристики нельзя достоверно указать. Ограничения связаны с потерями качества при низких уровнях квантования и значительными требованиями к памяти у крупных вариантов. Распространение указано по лицензии Apache-2.0.

Re:ultiima-14B — языковая модель, созданная TeamDelta слиянием весов через TIES с помощью mergekit. В основу взята предобученная Qwen/Qwen2.5-14B, в слияние также включена Qwen/Qwen2.5-14B-Instruct. Модель имеет плотную архитектуру Qwen2 с 14 млрд параметров и контекстным окном до 131072 токенов. Модель предназначена для генерации текста и диалогов на английском и китайском языках; метаданные также отмечают интерфейс вызова инструментов. Она распространяется в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Карточка не приводит оценок качества или специальных ограничений применения. Как и другие языковые модели, ответы могут быть ошибочными; возможности вызова инструментов обозначают интерфейсную поддержку и сами по себе не гарантируют корректное выполнение действий.

Rombo-LLM-V2.7-gemma-2-9b — языковая модель Rombo-Org на 9 млрд параметров, основанная на Google Gemma 2 9B Instruct. По описанию, в модели объединены предварительно обученная и инструктивно настроенная версии Gemma 2 9B. Она предназначена для дальнейшего дообучения и генерации текста, в том числе в диалоговом режиме. Модель использует плотную архитектуру Gemma 2, формат safetensors и контекст до 8192 токенов. Модель можно применять для диалогов, ответов на вопросы и генерации текста; базовая Gemma 2 Instruct также описана как подходящая для суммаризации. В README не приведены результаты оценки качества или сведения о поддерживаемых языках, поэтому их нельзя подтвердить. Указана лицензия Gemma; условия её использования определяются этой лицензией.

RQwen-v0.2 — диалоговая языковая модель на архитектуре Qwen2, разработанная ehristoforu и дообученная на базе ehristoforu/RQwen-v0.1. Модель содержит 14 млрд параметров, поддерживает контекст до 32 768 токенов и предназначена для генерации текста в диалоге; в метаданных также отмечен интерфейс вызова инструментов. Модель можно применять для ведения диалога, ответов на вопросы, выполнения инструкций и генерации текста. В карточке указан английский язык; описание базовой модели в каталоге указывает поддержку русского и английского. Весовые файлы представлены в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Карточка не описывает обучающие данные или специальные ограничения качества.

RWKV7-G1i-13.3B-20260805 — базовая языковая модель семейства RWKV-7, разработанная Bo Peng, Yu Zhang, Songlin Yang, Ruichong Zhang и Zhiyuan Li при поддержке RWKV Project под эгидой LF AI & Data Foundation. Это плотная авторегрессионная модель с архитектурой RWKV7ForCausalLM; метаданные указывают 14,6 млрд параметров, а карточка README — 13,3 млрд. Модель обучена на веб-текстах, коде, синтетических данных, инструкциях, диалогах и рассуждениях; в репозитории указаны веса safetensors и интерфейсный шаблон чата. RWKV-7 использует рекуррентное состояние постоянного размера и постоянную вычислительную работу на генерируемый токен, сохраняя возможность параллельного обучения. Модель предназначена для генерации текста, оценки, последующего обучения и дообучения; поддерживает английский, китайский, японский, корейский, французский, арабский, испанский и португальский языки. Метаданные задают контекст 2048 токенов, тогда как название файла в README содержит обозначение ctx16384, поэтому фактическую длину контекста следует сверить с используемой конфигурацией. Модель распространяется по лицензии Apache-2.0. README прямо предупреждает, что базовый чекпойнт не является выровненным по безопасности ассистентом: шаблон чата служит интерфейсом для подачи запросов и сам по себе не гарантирует безопасное поведение.

RWKV7-G1i-2.9B-20260805 — базовая языковая модель семейства RWKV-7, разработанная Бо Пэном, Ю Чжаном, Сонглином Яном, Жуйчонгом Чжаном и Чжиюанем Ли при поддержке RWKV Project под эгидой LF AI & Data Foundation. Это плотная авторегрессионная модель с архитектурой RWKV7ForCausalLM и рекуррентным состоянием постоянного размера: генерация не использует attention и требует постоянной вычислительной работы на каждый новый токен, при этом обучение можно распараллеливать. Модель с 3,1 млрд параметров предварительно обучена на веб-текстах, коде, синтетических данных, инструкциях, чатах и материалах для рассуждений. Она предназначена для оценки, последующего обучения и дообучения, а шаблон чата служит интерфейсом для подачи запросов и сам по себе не означает, что модель безопасно настроена как ассистент. Поддерживает несколько языков; среди языков карточки указаны английский, китайский, японский, корейский, французский, арабский, испанский и португальский. Контекст модели по метаданным — 2048 токенов. Для запуска README рекомендует flash-linear-attention и Transformers версии 4.48.0 или новее. Лицензия — Apache-2.0.

RWKV-7 «Goose» — базовая авторегрессионная языковая модель, выпущенная BlinkDL в формате Transformers. Это плотная модель архитектуры RWKV-7 с классом Rwkv7ForCausalLM; в метаданных указан размер 7,8 млрд параметров. В отличие от архитектур с attention, она использует рекуррентное состояние постоянного размера, поэтому объём состояния не растёт как KV-кэш, а вычисления при генерации масштабируются линейно по числу токенов. Обучение при этом допускает параллелизацию. Модель предварительно обучена на веб-текстах, коде, синтетических, инструкционных, разговорных и рассуждательных данных. Её можно использовать для генерации продолжений, оценки, последующего обучения и тонкой настройки; шаблон чата задаёт формат запросов, но сам по себе не означает, что модель является безопасным или выровненным ассистентом. В карточке заявлена поддержка нескольких языков, включая русский, английский и китайский. Контекстное окно в предоставленных данных не описано. В комплект входят интеграция с Transformers, токенизатор RWKV World и шаблон многоходового чата с поддержкой префикса рассуждений и формата вызова инструментов. Для тонкой настройки описана поддержка SFT и LoRA; ускоренный инференс на TileLang зависит от GPU, типа данных и формы входа, с возможностью отката на PyTorch. Лицензия — Apache-2.0. Карточка не заявляет оценок безопасности, предвзятости, токсичности или фактической точности; спекулятивное декодирование с откатом рекуррентного кэша не поддерживается без сохранения предыдущих состояний.

IlyaGusev/saiga_mistral_7b_merged — объединённая версия модели семейства Mistral, предназначенная для генерации текста. По метаданным это плотная авторегрессионная модель MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. В README указано, что существуют версии GGUF и квантизации TheBloke, но данный репозиторий содержит веса PyTorch. Модель ориентирована на русскоязычные запросы; метаданные связывают её с русскоязычными наборами инструкций и диалогов. Её можно использовать для ответов на вопросы, диалогов и выполнения текстовых инструкций на русском языке. Лицензия — Apache-2.0. README не раскрывает, какие именно модели были объединены и как выполнялось слияние.

Saiga/MistralNemo 12B — русскоязычная чат-модель, разработанная Ильёй Гусевым на основе изменённой версии Mistral Nemo. Это плотная авторегрессионная модель семейства Mistral с 12,1 млрд параметров, предназначенная для диалогов и помощи пользователям на русском языке. README описывает версии, обученные с использованием SFT и SimPO на наборах данных Saiga; для работы используется формат запросов Mistral Nemo с системным сообщением в начале диалога. Модель принимает текстовые запросы и генерирует текстовые ответы. В метаданных указан нативный контекст размером до 1 024 000 токенов, формат весов — safetensors. Лицензия — Apache-2.0. README указывает на базу в виде abliterated-версии Mistral Nemo, но точный идентификатор базового репозитория не приведён.

jondurbin/spicyboros-13b-2.2 — экспериментальная языковая модель автора Jon Durbin, созданная на архитектуре Llama и дообученная преимущественно на синтетических данных Airoboros 2.2. Модель с 12,9 млрд параметров предназначена для генерации текста по инструкциям, включая ответы на вопросы, написание текстов, задания с вариантами ответа и генерацию кода. Для ответов по заданному контексту README рекомендует явно размечать входные данные; также описан интерфейс генерации JSON- или YAML-подобных аргументов для вызова функций. Контекст модели составляет 4096 токенов. Карточка описывает формат диалога с маркерами USER и ASSISTANT и сообщает, что использован промежуточный чекпойнт 350. Модель может выдавать ненормативный, токсичный и иной чувствительный контент; системные ограничения могут быть переопределены. Указанная лицензия — Llama 2 license.

Supertron2.1-0.6B — компактная инструкционно дообученная языковая модель от Surpem на базе Qwen3-0.6B. Это плотный Transformer с примерно 507,9 млн параметров; модель использует архитектуру, токенизатор и формат чата Qwen3 и предназначена для генерации текста и диалогов. Контекстное окно составляет 40 960 токенов. Модель подходит для ответов на вопросы, объяснения понятий, пошаговых рассуждений, арифметики и алгебры, написания и разбора кода, кратких пересказов и переписывания текста, а также прототипирования ассистентов и агентных сценариев. Карточка заявляет поддержку программирования на нескольких языках, но основной язык в метаданных — английский; отдельные языки программирования не считаются естественными языками. Небольшой размер позволяет запускать модель на потребительском оборудовании. При этом она может выдумывать факты, давать неверные решения задач и ошибки в коде; сложные рассуждения могут превышать её возможности, а качество зависит от настроек генерации. Результаты следует проверять, особенно в ответственных областях. Лицензия — Apache 2.0.

google/t5gemma-s-s-ul2-it — англоязычная instruction-tuned encoder-decoder-модель Google из семейства T5Gemma. Она получена дообучением базовой google/t5gemma-s-s-ul2, адаптированной из decoder-only-модели по схеме UL2; веса опубликованы в формате safetensors. Архитектура использует энкодер и декодер размера S. Модель предназначена для генерации текста по инструкциям, в том числе для ответов на вопросы, суммаризации, рассуждений и создания черновиков текстов. Текстовый формат входа и выхода позволяет применять её в сценариях text-to-text и диалоговых приложениях. Карточка не приводит число параметров и длину контекста этой версии. К ограничениям относятся возможные фактические ошибки, смещения в ответах и трудности с нюансами языка или сложными открытыми задачами; качество зависит от обучающих данных и формулировки запроса. Лицензия — Gemma; применяются условия и ограничения использования Gemma.

tau-instruct-0.5B-DPOP — инструктивная языковая модель M4-ai на архитектуре Qwen2 с примерно 463,9 млн параметров. Она создана на базе tau-0.5B и дообучена методом DPO-Positive на примерно 700 примерах предпочтений, размеченных с помощью GPT-4. Модель поддерживает контекст до 32 768 токенов и предназначена для диалогового взаимодействия на английском языке. Модель подходит для ответов на вопросы, генерации и продолжения текста, решения математических задач, понимания и создания кода, объяснений и анализа. Её можно применять в виртуальных помощниках, образовательных инструментах и исследовательских прототипах. По предварительной оценке авторов, дообучение улучшило следование инструкциям относительно базовой модели. Качество может снижаться на сложных задачах и при неясных инструкциях; модель сохраняет возможные смещения базовой модели и обучающих данных, а её результаты следует проверять. Лицензия указана как other; README предписывает соблюдать лицензию базовой модели tau-0.5B.

GLM-Z1-32B-0414-GGUF — это квантизированная версия языковой модели GLM-Z1-32B-0414, разработанной THUDM и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Указаны китайский и английский языки, а лицензия исходной модели — MIT. Модель содержит 32B параметров; README не уточняет её архитектуру, размер контекста и дополнительные модальности, поэтому её следует рассматривать как текстовую модель. Доступны варианты от BF16 и Q8_0 до низкобитных Q2_K, Q3, Q4, Q5 и Q6-квантизаций. Старшие варианты обеспечивают качество, близкое к исходной модели, а более компактные требуют меньше оперативной памяти, но могут заметно терять в качестве. Для большинства сценариев рекомендованы варианты Q4_K_M, Q5_K_M, Q6_K и их модификации. Квантизации выполнены с использованием imatrix и llama.cpp; в этой версии также заявлено исправление токенизатора. Сильная сторона модели — возможность локального запуска 32B-модели в широком диапазоне требований к памяти благодаря большому выбору квантизаций. Ограничения включают высокие требования к ресурсам даже для компактных вариантов и потенциальное снижение качества у низкобитных форматов. Для корректного использования необходимо соблюдать указанный формат prompt с токенами GLM.

mradermacher/turbo-ai-7b-i1-GGUF — набор квантованных версий текстовой модели TurboAiLabs/turbo-ai-7b, подготовленный пользователем mradermacher. Модель предназначена для генерации текста и диалогового использования, включая работу с электронной почтой, суммирование, подготовку черновиков и извлечение задач. В метаданных также указана пригодность для локального и периферийного развёртывания, что может быть полезно для сценариев с повышенными требованиями к приватности. Исходная модель имеет размер 7B параметров, относится к архитектуре Qwen2 и поддерживает английский язык. Репозиторий содержит файлы в формате GGUF с различными вариантами квантования от i1-IQ1_S до i1-Q6_K; их размер составляет примерно от 2,0 до 6,4 ГБ. Более компактные варианты требуют меньше памяти, но могут обеспечивать более низкое качество, тогда как i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как оптимальный по соотношению размера, скорости и качества. Контекстный размер, мультимодальность и точные характеристики исходной модели в README не указаны. Распространение выполняется по лицензии Apache-2.0. Для запуска квантованных файлов требуется совместимое программное обеспечение, поддерживающее формат GGUF; конкретные требования к оборудованию и производительности не приведены.

Sakalti/ultiima-14B-v0.3 — объединённая языковая модель на архитектуре Qwen2 с 14 млрд параметров, созданная с помощью mergekit методом TIES на основе sometimesanotion/Qwenvergence-14B-v9 с включением sometimesanotion/Qwen2.5-14B-Vimarckoso-v3. Модель предназначена для генерации текста в диалоговом формате, ответов на запросы и следования инструкциям; метаданные также указывают интерфейс вызова инструментов. Контекстное окно составляет до 131072 токенов. Веса опубликованы в формате safetensors, с точностью float16, для использования через Transformers. Модель подходит для чат-ботов, генерации ответов и приложений, которым нужен длинный контекст. README описывает способ объединения моделей, но не приводит результаты оценки качества, рекомендуемые параметры генерации или подробное описание поведения. Лицензия в предоставленных данных не указана.

constructai/VibeThinker-3B-GGUF — это квантизированная версия языковой модели VibeThinker-3B, разработанной WeiboAI и преобразованной в формат GGUF командой constructai. Модель предназначена для генерации текста и эффективного запуска на CPU и GPU с помощью llama.cpp, Ollama, LM Studio и других совместимых средств. Модель содержит около 3 миллиардов параметров и ориентирована на задачи рассуждения, математики, программирования, instruction-following и оценки уровня GPQA. Доступны варианты с разными уровнями квантизации и размером файлов примерно от 791 МБ до 6,18 ГБ, включая F16, Q8_0, Q6_K, Q5_K, Q4_K и другие форматы. README не указывает поддерживаемые языки, максимальную длину контекста и наличие мультимодальных возможностей, поэтому модель следует считать текстовой, а эти характеристики — неизвестными. К сильным сторонам относятся относительно небольшой размер, широкий выбор квантизаций и возможность локального запуска на доступном оборудовании. Более агрессивная квантизация уменьшает требования к памяти, но может снижать точность по сравнению с F16 или менее сжатыми вариантами. Модель распространяется по лицензии MIT; исходная модель также указана как лицензированная по MIT.

ZEUS-8B-V14 — объединённая модель для генерации текста и диалогов на базе семейства Llama 3.1. Согласно карточке, её создали методом DARE TIES, объединив unsloth/Meta-Llama-3.1-8B-Instruct с моделями Llama-3.1-SuperNova-Lite, Llama-3.1-Storm-8B и Llama-3.1-8B-Lexi-Uncensored-V2. Модель содержит 7,5 млрд параметров, построена на архитектуре LlamaForCausalLM и работает с контекстом до 131 072 токенов. Модель предназначена для генерации текста и ведения диалогов; метаданные также указывают интерфейс вызова инструментов. В README приведены результаты оценки на IFEval и BBH, однако подробные сравнительные данные и описание целевого поведения ограничены. Модель опубликована в формате safetensors; дата публикации — 30 декабря 2024 года. Лицензия в предоставленных данных не указана.

AAIKR 3.1 mini — компактная мультимодальная модель семейства Gemma 4, дообученная AI-исследовательской командой LOOP на базе google/gemma-4-e2b-it. Карточка указывает размер 2 млрд параметров и усиленную поддержку рассуждений на корейском языке; метаданные отмечают архитектуру Gemma4ForConditionalGeneration, чат и работу с изображениями. Модель предназначена для быстрых ответов на вопросы, рассуждений, генерации кода, поиска общих знаний и краткого пересказа документов, в том числе на устройствах с ограниченными ресурсами. К заявленным сценариям относятся системы вопросов и ответов в реальном времени, лёгкий помощник по коду, быстрое резюмирование документов и развёртывание на периферийных устройствах. Карточка предупреждает о возможных небольших смещениях в рассуждениях и сбоях памяти в очень длинных диалогах; для важных решений ответы следует проверять. Модель выпущена под лицензией Apache-2.0.