I.12Рекомендации и персонализация

Hermes-2 Θ (Theta) 70B — языковая модель Nous Research, созданная совместно с Charles Goddard и Arcee AI. Это плотная авторегрессионная модель семейства Llama 3 с 69,5 млрд параметров, полученная слиянием Hermes 2 Pro и Llama 3 Instruct с последующим дообучением с помощью RLHF. Репозиторий содержит веса SafeTensors; лицензия — llama3. Модель предназначена для многошагового диалога в формате ChatML и поддерживает контекст до 32 768 токенов. Она обучена вызову функций, выдаче структурированных ответов по JSON-схеме и извлечению признаков из документов для RAG. В метаданных указан английский язык. Эти возможности помогают создавать чат-ассистентов, связывать модель с инструментами и получать ответы в заданном формате. В README приведены результаты нескольких бенчмарков, включая IFEval и MTBench, но они не гарантируют качество на конкретных запросах. Для вызова функций требуется внешняя логика, которая разбирает вызов, выполняет функцию и передаёт результат обратно модели. Для эксплуатации нужно учитывать значительный размер модели: в README также упоминается вариант инференса в 4-битном режиме.

K-EXAONE-236B-A23B-NVFP4A16 — сборка модели K-EXAONE, разработанной LG AI Research и дополнительно квантизированной компанией FuriosaAI. Это авторегрессионная языковая модель-трансформер с архитектурой Mixture-of-Experts (ExaoneMoE), предназначенная для генерации текста, многоязычного диалога и задач, требующих рассуждений. Модель поддерживает корейский, английский, испанский, немецкий, японский и вьетнамский языки, а также режимы с рассуждением и без него. Модель содержит 236 млрд параметров, из которых 23 млрд активируются для каждого токена; используется 128 экспертов, 8 активных экспертов и 1 общий эксперт. Архитектура сочетает чередующиеся слои sliding-window и глобального внимания. Веса квантизированы в формате NVFP4, а активации и KV-кэш сохраняются в 16-битной точности. Поддерживаются вызов инструментов и OpenAI-совместимый API. Для штатного запуска FuriosaAI предусмотрены Furiosa LLM и ускорители FuriosaAI RNGD; конфигурация запуска использует четыре карты RNGD. К сильным сторонам относятся большой масштаб, мультиязычность, поддержка рассуждений и инструментального вызова, а к ограничениям — необходимость специализированной аппаратной конфигурации для запуска через Furiosa LLM и потенциальные компромиссы, связанные с 4-битной квантизацией. NVFP4A16 также заявлен как совместимый с vLLM, SGLang и Transformers. Модель распространяется по лицензии K-EXAONE AI Model License; в карточке она обозначена как лицензия other.

Llama-3.1-Storm-8B — языковая модель команды Ashvini Kumar Jindal, Pawan Kumar Rajpoot, Ankur Parikh и Akshita Sukhlecha. Это плотная авторегрессионная модель семейства Llama на 7,5 млрд параметров, предназначенная для диалога, следования инструкциям, ответов на вопросы, рассуждений и вызова функций. Контекст составляет до 131 072 токенов. Модель дообучена на основе Llama-3.1-8B-Instruct: авторы отобрали около миллиона примеров с упором на образовательную ценность и сложность, провели целевое дообучение с заморозкой половины слоёв, а затем объединили результат методом SLERP с Llama-Spark. В карточке сообщается об улучшениях относительно Llama-3.1-8B-Instruct на ряде бенчмарков; это заявление авторов, и оно не гарантирует аналогичных результатов на прикладных данных. Модель рассчитана на общее применение, в том числе на локальный запуск при ограниченных вычислительных ресурсах; поддерживает работу через Transformers и vLLM, а также сценарии function calling при использовании соответствующего формата запроса. В метаданных указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Чекпойнт представлен в safetensors и использует формат bfloat16 для рекомендованного запуска. Лицензия — Llama 3.1; перед использованием следует учитывать её условия. Авторы отмечают, что отдельного этапа выравнивания модель не проходила.

Модель avans06/Meta-Llama-3.2-8B-Instruct — текстовая генеративная модель семейства Llama, размещённая на Hugging Face. Метаданные указывают на плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров, формат safetensors и контекст до 131 072 токенов. Она предназначена для диалогов и генерации текста; также заявлен интерфейс вызова инструментов. Карточка репозитория описывает Llama 3.2-Vision моделей Meta на 11B и 90B параметров, принимающих текст и изображения. Эти сведения не совпадают с идентификатором и архитектурными метаданными данной 8B текстовой модели, поэтому визуальные возможности и характеристики Vision к ней не приписываются. Метаданные перечисляют поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Лицензия — Llama 3.2 Community License, обозначенная в метаданных как llama3.2.

MiMo-V2-Flash-Base — базовая языковая модель Xiaomi для генерации текста, рассуждений и агентных сценариев. Карточка описывает семейство Mixture-of-Experts с гибридным вниманием, сочетающим локальные окна и глобальное внимание, а также механизмом Multi-Token Prediction для ускорения генерации. В README семейства указаны 309 млрд параметров всего и 15 млрд активных; метаданные этого репозитория указывают 12B параметров и формат safetensors FP8, поэтому размер в каталоге может отражать иной способ подсчёта или вариант весов. Модель рассчитана на длинные контексты до 256 тыс. токенов и задачи генерации текста, сложного рассуждения и работы в агентных процессах. Метаданные также отмечают разговорный режим и интерфейс вызова инструментов. README приводит результаты базовой и постобученной версий семейства, но не позволяет однозначно приписать все заявленные возможности именно этому базовому чекпойнту. Модель создана Xiaomi и распространяется по лицензии MIT. Заявленные характеристики ориентированы на эффективный инференс и работу с длинными контекстами; фактическая скорость и качество зависят от оборудования и используемой конфигурации.

Qwen2.5-14B-Instruct-MLX-4bit — это 4-битная MLX-квантизация инструкционно дообученной языковой модели Qwen2.5-14B-Instruct. Исходную модель разработала команда Qwen, а квантизацию предоставил bartowski на основе mlx-examples. Модель предназначена для запуска на компьютерах Mac с Apple Silicon и использования в сценариях генерации текста и диалогового взаимодействия. Модель поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов, ориентирована на работу со структурированными данными и их генерацию. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Квантизация снижает требования к памяти, но README не содержит количественных оценок производительности и качества, поэтому её сильные стороны и ограничения относительно полной версии нельзя точно сравнить. Модель является текстовой и не предназначена для обработки изображений или других модальностей. Распространяется по лицензии Apache-2.0. Как и другие языковые модели, она может генерировать неточную, вредную или неподходящую информацию, поэтому результаты требуют проверки.

Qwen2.5-14B-Instruct-MLX-8bit — квантованная 8-битная версия языковой модели Qwen2.5-14B-Instruct, адаптированная для MLX и Apple Silicon Mac. Исходную модель разработала команда Qwen, а MLX-квантизацию предоставил bartowski на основе инструментов mlx-examples. Модель предназначена для генерации текста, диалоговых сценариев и задач, требующих понимания и генерации структурированных данных. Модель поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов. Она обучена на большом наборе данных и заявлена как поддерживающая более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Архитектура и точное число параметров исходной модели обозначены в идентификаторе как 14B; сведения о конкретной архитектуре в README не приведены. К сильным сторонам относятся широкий языковой охват, длинный контекст, возможности работы со структурированными данными и локальный запуск на совместимых Mac с Apple Silicon. Ограничения включают зависимость от MLX и совместимого оборудования, а также типичные для генеративных моделей риски неточностей, вредного или неподходящего содержания. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Qwen2.5-3B-Instruct-GGUF — это квантованная версия языковой модели Qwen2.5-3B-Instruct, разработанной командой Qwen. Формат GGUF подготовлен bartowski на основе llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев и работы с инструкциями, включая понимание и генерацию структурированных данных. Модель поддерживает контекст до 32 тысяч токенов и генерацию до 8 тысяч токенов. Она обучена работать более чем с 29 языками, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся широкий охват знаний, многоязычность и поддержка длинного контекста. Как и другие генеративные модели, она может создавать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки. Модель распространяется по лицензии Qwen Research; применимые условия указаны в лицензии исходной модели Qwen2.5-3B-Instruct.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-AWQ-MTP — это 4-битная AWQ-квантизованная версия модели HauhauCS/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF, опубликованная twolven. Модель предназначена для генерации текста, рассуждений, работы с изображениями и вызова инструментов; поддерживает speculative decoding через встроенную NextN/MTP draft head при использовании vLLM. В карточке указан английский язык и мультимодальный режим image-text-to-text. Модель содержит около 27 млрд параметров и использует гибридную архитектуру Qwen3.5: 64 декодерных слоя, включая 48 слоёв с линейным вниманием Qwen3_5GatedDeltaNet и 16 слоёв с полным вниманием, а также 27-слойную vision tower. Основные линейные слои квантизованы в формате W4A16 с размером группы 128 и асимметричным квантованием; vision tower, lm_head, MTP head и отдельные компоненты сохранены в bf16. Размер модели на диске составляет около 19 ГБ. Проверки показали связное поведение, арифметическое рассуждение, распознавание форм и цветов на изображениях, работу tool calling и извлечение данных из контекстов до 229 200 токенов. К сильным сторонам относятся мультимодальность, сохранённая поддержка MTP для ускорения генерации, совместимость с vLLM, инструментами и длинным контекстом, а также отсутствие отказов в заявленных тестах uncensored-профиля. Главное ограничение — модель восстановлена из GGUF-квантизации Q8_K_P, а затем повторно квантизована до 4 бит, поэтому накопленная ошибка выше, чем у сборки, созданной непосредственно из исходных BF16-весов. Производительность MTP зависит от характера запроса и может различаться примерно на 30%; единое значение скорости генерации не приводится. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF-q4kp — квантизированная GGUF-версия модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Это плотная causal language model на 27 млрд параметров с vision encoder, предназначенная для генерации текста, рассуждений, агентских сценариев, работы с изображениями и видео. Aggressive-профиль ориентирован на прямые ответы без выраженного отказного поведения и с минимальными вступлениями на сложные запросы. Модель содержит 64 слоя, размер скрытого представления 5120, размер FFN 17408, словарь из 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняет встроенный MTP/NextN и дополнительно поддерживает HauhauCS FastMTP для ускорения спекулятивного декодирования; для визуального ввода используется отдельный BF16-проектор. Заявлены языки английский, китайский и другие многоязычные сценарии. Нативный контекст составляет 262 144 токена и может расширяться до 1 000 000. Сильные стороны модели — широкий набор текстовых, reasoning-, agentic-, image- и video-возможностей, большой контекст, несколько вариантов квантизации K_P и ускорение FastMTP. Aggressive-профиль может быть менее подходящим для надёжных длинноконтекстных агентских задач, где предпочтительнее более сбалансированная версия. Модель распространяется по лицензии Apache-2.0; для работы с изображениями и видео требуется отдельный vision projector.

Карточка модели unsloth/Qwen3-Next-80B-A3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen3-Next-80B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Next-80B-A3B-Instruct — языковая модель от команды Qwen, предназначенная для диалогов, генерации текста и сценариев с вызовом инструментов. Это причинная модель семейства Qwen3-Next с разреженной архитектурой смеси экспертов (MoE), гибридной обработкой контекста через Gated DeltaNet и Gated Attention и поддержкой ускорения вывода с помощью Multi-Token Prediction. В модели 80 млрд параметров, из которых активируются около 3 млрд на токен; при этом метаданные Hugging Face указывают размер 2,3 млрд параметров. Модель рассчитана на инструкции в обычном, нетщательном режиме и поддерживает контекст до 262 144 токенов; в README описано расширение контекста примерно до миллиона токенов с YaRN. Подходит для длинных диалогов и документов, генерации ответов и агентных сценариев с инструментами. Карточка сообщает о результатах на ряде бенчмарков, но не приводит полный набор таблиц в предоставленном тексте. Лицензия Apache-2.0.

infosave/Granite-4.2-cmf — набор квантизированных плотных reasoning-моделей семейства IBM Granite 4.2, основанных на моделях IBM Granite 3B, 8B и 30B. Репозиторий подготовлен для среды Cortiq и содержит артефакты CMF с весами, токенизатором, точным шаблоном чата и хешами целостности. Модели предназначены для генерации текста, диалогов, многошагового рассуждения, работы с инструментами и многоходовым контекстом. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Доступны профили Q4TP и Q8_2F. Q4TP использует смешанную точность: основные проекции квантизированы в 4-битный формат, а границы словаря — в 8-битный; Q8_2F обеспечивает более высокое качество за счёт 8-битного представления проекций. Размер файлов составляет примерно от 2,17 до 29,31 ГБ в зависимости от варианта. Поддерживаются CPU, Vulkan, DX12 и Metal без обязательной установки Python, PyTorch или CUDA toolkit. Контекст модели — 131 072 токена; заявленное IBM расширение до 512K в этих файлах не реализовано. Преимущества — компактность, переносимость, сохранение специфичной архитектуры Granite и возможность работы при ограниченной VRAM с переносом части слоёв на CPU. Ограничения — необходимость значительных ресурсов для вариантов 8B и 30B, снижение качества у Q4TP по сравнению с Q8_2F и отсутствие заявленной поддержки контекста 512K. Распространение осуществляется по лицензии Apache-2.0.

Linkbricks-Horizon-AI-Japanese-Advanced-V4-70B — языковая модель компании Linkbricks, дообученная дата-сайентистом Джи Юнсоном (Saxo) на базе Saxo/Linkbricks-Horizon-AI-Japanese-Base-70B. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров и контекстом до 128 тыс. токенов; в репозитории представлены веса Safetensors для Transformers. Модель прошла продолженное предобучение на японском корпусе новостей и Википедии, а также SFT, DPO и слияние. Обучение включало японские, корейские, китайские и английские данные, задачи перевода и суммаризации, математику и логические рассуждения. Она предназначена для генерации текста, написания и редактирования, анализа отзывов и публикаций в соцсетях, программирования, решения математических и логических задач и вызова функций. Карточка сообщает о лицензии Apache-2.0. Заявленные возможности основаны на описании разработчика; конкретные результаты на независимых тестах и ограничения качества для отдельных языков или задач в карточке не приведены.

LLaMa-3.1-Instruct-13B — языковая модель, созданная сообществом mergekit-community с помощью mergekit из unsloth/Meta-Llama-3.1-8B-Instruct. Применён метод passthrough: в итоговую модель включены указанные диапазоны слоёв исходной модели. Это плотная архитектура Llama для генерации текста и диалогов; размер составляет 12,5 млрд параметров, нативный контекст — до 131 072 токенов. Модель подходит для ответов на вопросы, диалоговых сценариев и генерации текста; метаданные также указывают интерфейс вызова инструментов. В репозитории используются веса safetensors, библиотека — Transformers. В карточке указана лицензия исходной модели Llama 3.1: используйте модель в соответствии с её условиями.

Llama-Krikri-8B-Instruct-GGUF — инструкционная большая языковая модель, разработанная ILSP на основе Llama 3.1 8B. Модель ориентирована прежде всего на греческий язык, сохраняя двуязычные возможности для греческого и английского. Она создана с помощью дополнительного предварительного обучения на корпусе объёмом 91 млрд токенов с последующим увеличением эффективного объёма до 110 млрд токенов, а также многоэтапного дообучения на инструкциях и предпочтениях пользователей. Модель предназначена для диалогов, следования инструкциям, генерации, понимания, редактирования и суммаризации текста, анализа тональности и сущностей, перевода между греческим и английским, французским, немецким, итальянским, португальским и испанским языками. Также заявлены применение в юридических, финансовых, медицинских и научных сценариях, Retrieval-Augmented Generation по нескольким документам, структурированное преобразование данных в XML или JSON, программирование, использование инструментов и агентские задачи. Модель имеет архитектурную основу Llama 3.1 8B, расширенный токенизатор с греческими токенами и контекстное окно 128 тысяч токенов, что соответствует примерно 80 тысячам греческих слов. В обучающих данных представлены греческие, английские, параллельные, математические и программные тексты; постобучение проводилось на греческих и английских инструкциях, многошаговых диалогах и preference triplets с применением Length Normalized DPO. К сильным сторонам относятся специализация на греческом языке, поддержка английского, длинный контекст и широкий набор текстовых и структурированных задач. Ограничения, точные показатели качества и требования к аппаратному обеспечению в README не указаны. Лицензия обозначена как llama3.1.

NVIDIA-Nemotron-3-Nano-30B-A3B-AWQ — это 4-битная AWQ-квантизованная версия большой языковой модели NVIDIA Nemotron-Nano-3-30B-A3B, подготовленная stelterlab на основе исходных весов NVIDIA с использованием llm-compressor. Модель предназначена для генерации текста, диалоговых систем, решения задач с рассуждением и без него, а также создания специализированных AI-агентов. Она может сначала формировать рассуждение, а затем итоговый ответ; режим рассуждений настраивается через chat template, причём их отключение может немного снизить точность на сложных запросах. Модель разработана NVIDIA Corporation и использует гибридную архитектуру Mixture-of-Experts: 23 слоя Mamba-2 и MoE, а также 6 attention-слоёв. Всего модель содержит 30 млрд параметров, из которых 3,5 млрд активируются для каждого токена; в каждом MoE-слое используются 128 экспертов и один общий эксперт, при этом активируются 6 экспертов на токен. Поддерживаются английский, немецкий, испанский, французский, итальянский и японский языки. Размер контекста в предоставленных данных не указан. К сильным сторонам относятся сочетание режимов рассуждения и обычной генерации, высокая параметрическая ёмкость при меньшем числе активных параметров и сниженные требования к памяти благодаря INT4-квантизации. Ограничения включают экспериментальный статус AWQ-сборки, возможное снижение качества при отключении рассуждений и отсутствие подтверждённых сведений о производительности именно этой квантизованной версии. Модель разрешена для коммерческого использования в соответствии с NVIDIA Nemotron Open Model License.

RedHatAI/Qwen3-32B-NVFP4 — квантованная версия языковой модели Qwen/Qwen3-32B, разработанная RedHatAI. Модель принимает текст и генерирует текст, предназначена для задач текстовой генерации и развёртывания через vLLM, включая совместимый с OpenAI API режим сервинга. Релиз модели состоялся 25 июня 2025 года, версия — 1.0. В модели применена FP4-квантизация весов и активаций линейных операторов внутри блоков Transformer. Квантизация выполнена с помощью LLM Compressor по схеме NVFP4; веса квантизуются с группой 16, а активации используют калиброванный глобальный масштаб. По сравнению с 16-битным представлением это примерно на 75% уменьшает размер модели на диске и требования к GPU-памяти. Для инференса заявлена совместимость с vLLM версии 0.9.1 и выше, возможен тензорный параллелизм на нескольких GPU. Модель сохраняет близкие к исходной Qwen3-32B результаты на указанных бенчмарках OpenLLM, MMLU, GSM8K, HellaSwag, ARC и HumanEval, однако FP4-квантизация может влиять на точность в отдельных сценариях. В метаданных перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, но документация ограничивает использование английским языком и запрещает применение с нарушением законодательства. Лицензия — Apache 2.0.

Qwen3-4B-GGUF — это квантизированная версия языковой модели Qwen3-4B, разработанной командой Qwen. Квантизацию в формате GGUF выполнил bartowski на основе llama.cpp, релиз b5200. Модель предназначена для локального запуска и генерации текста. Модель поддерживает режимы рассуждения и обычной генерации, а также параметр /no_think для отключения рассуждений. Она ориентирована на следование инструкциям, творческое письмо, ролевые сценарии, многошаговые диалоги, математику, программирование, задачи на здравый смысл и агентские сценарии. Заявлена поддержка более 100 языков и диалектов. Максимальная длина контекста составляет до 131 072 токенов при использовании YaRN, при этом значение по умолчанию указано как 32 000 токенов. Сильными сторонами являются улучшенные способности к рассуждению, широкий языковой охват и возможность выбора между режимами с рассуждением и без него. Ограничения включают типичные для языковых моделей риски неточных, вредных или неподходящих ответов; кроме того, README не содержит сведений о конкретном варианте квантизации, требованиях к ресурсам и лицензии.

Sakalti/ultiima-72B-v2.0 — объединённая методом DARE TIES языковая модель, созданная с помощью mergekit на основе Sakalti/ultiima-72B с добавлением моделей Homer-v1.0-Qwen2.5-72B и shuttle-3. Модель разработана для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Это плотная архитектура Qwen2 с 71,5 млрд параметров, рассчитанная на контекст до 131 072 токенов. Репозиторий содержит веса в формате safetensors; модель использует библиотеку Transformers. Указана лицензия «other», поэтому условия использования следует сверять с лицензиями исходных моделей и карточкой репозитория.

C4AI Command-R — исследовательская генеративная языковая модель с открытыми весами, разработанная Cohere For AI. Модель предназначена для рассуждений, суммаризации, ответов на вопросы и многоязычной генерации, а также демонстрирует высокую эффективность в сценариях Retrieval-Augmented Generation (RAG). В README указано, что модель относится к крупным языковым моделям размером около 35 млрд параметров; также доступны варианты на 32 и 35 млрд параметров. Многоязычные возможности оценивались для 10 языков. Сведения об архитектуре, максимальной длине контекста и точном перечне поддерживаемых языков не приведены. К сильным сторонам относятся открытые веса, поддержка широкого спектра текстовых задач, многоязычность и ориентация на RAG-сценарии. Ограничения связаны с исследовательским статусом модели, отсутствием подробных данных о характеристиках и применимостью условий некоммерческой лицензии CC BY-NC 4.0. В README также указано, что конвертацию выполнила Homebrew.

DeepSeek-R1 — серия больших языковых моделей, разработанная DeepSeek и представленная в вариантах, дистиллированных из архитектур Qwen и Llama. Модели предназначены для генерации текста, диалогов, решения задач, требующих рассуждений, поиска и обработки информации, а также для сценариев клиентской поддержки, conversational AI, исследований и корпоративной автоматизации. В репозитории доступны варианты DeepSeek-R1-Distill-Qwen размером 1.5B, 7B, 14B и 32B параметров, а также DeepSeek-R1-Distill-Llama размером 8B и 70B параметров. Для каждой ветки указана квантованная версия q4-km по умолчанию. Модель относится к классу text-generation; сведения о поддерживаемых языках, размере контекста и дополнительных модальностях в README не приведены, поэтому она описывается как текстовая. Основные сильные стороны серии — широкий диапазон размеров, возможность выбрать баланс между ресурсопотреблением и качеством, а также ориентация на диалог и рассуждения. Более крупные варианты потенциально требуют больше вычислительных ресурсов, а квантованные версии могут отличаться по качеству от исходных моделей. Конкретные ограничения, показатели производительности и условия применения в README не указаны. Репозиторий распространяется по лицензии MIT; в README также приведена ссылка на исходную лицензию DeepSeek-R1.

DeepSeek-V2.5-1210-FP8 — квантованная версия языковой модели DeepSeek-V2.5-1210, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена для задач генерации и обработки естественного языка, включая развертывание чат-сервисов и других приложений на базе causal language model. В README указано, что модель доступна для инференса через библиотеку Transformers и оптимизирована для vLLM версии 0.5.2 и выше. Модель использует архитектуру DeepSeek-V2.5-1210 и формат квантования FP8 для весов и активаций. Квантованию подвергаются линейные операторы в блоках трансформера, за исключением маршрутизаторов MLP. Переход с 16 на 8 бит примерно на 50% уменьшает размер модели на диске и требования к памяти GPU. Указанный максимальный размер контекста для примера развертывания составляет 4096 токенов; язык в карточке заявлен как английский. На OpenLLM Leaderboard V1 модель получила средний результат 77,8, практически совпавший с результатом неквантованной версии 77,82. Сильными сторонами модели являются снижение требований к дисковой и GPU-памяти при сохранении близкой к исходной результативности, а также поддержка эффективного инференса и OpenAI-совместимой подачи через vLLM. Ограничения включают зависимость от совместимого стека vLLM, необходимость использования tensor parallelism для конфигурации из примера и отсутствие в README подробных сведений о числе параметров, полном списке языков и характеристиках исходной архитектуры. Модель распространяется по лицензии DeepSeek; точные условия указаны в файле лицензии по ссылке, приведенной в карточке.

Это GGUF-квантизированная версия gemma-3-12b-it-ultra-uncensored-heretic, разработанная независимым автором LLMfan46 на базе Google Gemma 3 12B Instruct. Модель создана с использованием Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA) для снижения встроенных ограничений на ответы при сохранении исходных возможностей. По приведённому сравнению, частота отказов снизилась с 97 до 4 из 100, а KL-дивергенция составляет 0,0131 относительно оригинальной модели. Модель предназначена для генерации текста, ответов на вопросы, анализа, суммаризации, рассуждений и понимания изображений. Gemma 3 поддерживает текстовые и графические входные данные с генерацией текста, контекст до 128K токенов, выход до 8192 токенов и более 140 языков. Для мультимодальной работы требуется отдельный vision projector. Доступны варианты GGUF с квантованием от BF16 и Q8_0 до IQ3_XXS; версии с более низкой разрядностью занимают меньше места, но могут сильнее терять в качестве. Модель совместима с llama.cpp, LM Studio, Ollama и другими инструментами для GGUF. Сильной стороной является сочетание относительно компактного размера 12B, мультимодальности, длинного контекста и уменьшенного числа отказов. Ограничения включают возможное снижение качества при агрессивном квантовании, необходимость vision projector для работы с изображениями и потенциальные риски, связанные с ослаблением механизмов отказа. Модель распространяется по лицензии Gemma; условия использования определяются соответствующими Terms of Use Google. Базовые модели Gemma разработаны Google DeepMind.

InternLM2.5-20B — плотная авторегрессионная языковая модель семейства InternLM2.5, разработанная командой InternLM. Модель содержит 19,3 млрд параметров и предназначена для генерации текста и диалоговых сценариев, включая рассуждения и работу с длинными документами. В метаданных указан контекст до 262 144 токенов; карточка семейства также сообщает о проверках на контекстах до 1 млн токенов, но это значение не подтверждено для данного репозитория метаданными. Разработчик сообщает об улучшении результатов рассуждений относительно InternLM2 и приводит оценки на MMLU, CMMLU и BBH. Карточка не перечисляет конкретные поддерживаемые языки, поэтому модель можно описать как языковую без выделения основного языка. Она может генерировать предвзятый, дискриминационный или иной вредный текст. Код распространяется по Apache-2.0; для весов README указывает открытый доступ для академических исследований и необходимость запросить бесплатное разрешение на коммерческое использование.

RedHatAI/Llama-3.3-70B-Instruct-quantized.w4a16 — это квантизированная инструкционно настроенная языковая модель на базе Meta Llama-3.3-70B-Instruct, разработанная Red Hat совместно с Neural Magic. Модель принимает текст и генерирует текст, поэтому предназначена для диалоговых ассистентов, задач генерации естественного языка, а также для создания синтетических данных и дистилляции других моделей. Модель содержит 70 миллиардов параметров и использует INT4-квантизацию весов линейных операторов в трансформерных блоках. Применяется симметричная поканальная по группам схема с размером группы 128 и алгоритм GPTQ, реализованный в библиотеке llm-compressor. Переход с 16 на 4 бита уменьшает размер модели на диске и требования к памяти GPU примерно на 75%. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для эффективного развертывания рекомендуется vLLM; модель также валидирована в RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5. В README приведён пример запуска с максимальной длиной контекста 32768 токенов, однако этот параметр указан для конфигурации развертывания. К сильным сторонам относятся существенно сниженные требования к дисковой и GPU-памяти при сохранении назначения исходной instruct-модели и поддержка многоязычных диалоговых сценариев. Ограничения включают работу только с текстом, возможное влияние квантизации на качество по сравнению с исходной моделью и запрет использования для языков, не перечисленных в документации. Модель распространяется по Llama 3.3 Community License; также необходимо соблюдать применимое законодательство и Acceptable Use Policy.

Kaoeiri выпустил объединённую модель для генерации текста на основе Mistral-Small-Instruct-2409 и mistral-small-springdragon-qlora. Слияние выполнено методом task arithmetic с помощью mergekit; архитектура — плотная Mistral, модель содержит 22 млрд параметров и работает с контекстом до 131 072 токенов. Репозиторий содержит веса в формате safetensors, для работы указана библиотека Transformers. Модель предназначена для диалогов и генерации текста; метаданные также отмечают интерфейс вызова функций. Она поддерживает текстовый ввод и выдаёт текст. Лицензия в предоставленных данных не указана.

IsValorum/Occamy-1.0-APEX-I-MiniPlus-V2.1-GGUF — это квантизированная версия модели Occamy-1.0 от Accio-Lab, подготовленная IsValorum в формате GGUF для запуска через llama.cpp и совместимые инструменты. Модель предназначена для генерации текста, рассуждений, выполнения сложных инструкций и многоязычных сценариев, включая работу с английским, китайским, испанским, французским, немецким, португальским, итальянским, русским, японским, корейским, вьетнамским, тайским и арабским языками. Архитектура основана на разреженной Mixture-of-Experts с 40 слоями и 256 микроэкспертами. Версия MiniPlus V2.1 использует настраиваемую покомпонентную квантизацию: маршрутизаторы gate_inp сохранены в F32, выходная голова — в Q6_K, attention gates — в Q8_0, а основные эксперты — преимущественно в IQ3_XXS и Q3_K. Заявленный размер составляет около 13,74 GiB, а поддерживаемый контекст — до 256K токенов. Модель рассчитана на эффективный offload в системную RAM и работу на рабочих станциях с 24 ГБ памяти или видеопамяти, однако фактическая скорость зависит от оборудования и конфигурации запуска. К сильным сторонам относятся компактный размер для MoE-модели, сохранение маршрутизации в высокой точности, поддержка длинного контекста и широкий набор языков. Ограничения связаны с потерями качества и скорости, неизбежными для квантизированной версии, а заявленные показатели производительности и близость к качеству более точных вариантов требуют самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.

NVIDIA Qwen3-14B NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3-14B, разработанной Alibaba и подготовленной с помощью NVIDIA TensorRT Model Optimizer. Модель предназначена для генерации текста и может использоваться в AI-агентах, чат-ботах, RAG-системах и других приложениях на основе искусственного интеллекта. Модель построена на архитектуре Transformers и содержит около 14,8 млрд параметров. Она принимает и генерирует текстовые последовательности, поддерживает контекст до 131K токенов и использует квантизацию весов и активаций линейных операторов в трансформерных блоках до формата FP4. Модель подготовлена для инференса через TensorRT-LLM, оптимизирована для систем с GPU NVIDIA, включая микроархитектуру Blackwell, и рассчитана прежде всего на Linux. Версия Model Optimizer — 0.35.0. К сильным сторонам относятся уменьшенное представление модели за счёт FP4-квантизации, поддержка длинного контекста и возможность производительного развёртывания на совместимом оборудовании NVIDIA. Ограничения включают зависимость от TensorRT-LLM и совместимой NVIDIA-платформы; сведения о языках, результатах тестирования, обучающих данных и характеристиках качества в карточке не раскрыты. Использование регулируется лицензией Apache 2.0 и допускается для коммерческих и некоммерческих задач.

sakamakismile/Qwen3.6-27B-Text-NVFP4-MTP — текстовая NVFP4-квантизованная версия базовой модели Qwen/Qwen3.6-27B. Модель подготовлена пользователем sakamakismile с использованием pipeline GGUF-to-NVFP4-SM120 от Lna-Lab. Она предназначена для генерации текста и запуска через vLLM на GPU NVIDIA Blackwell с архитектурой SM120, включая сценарии со speculative decoding. Модель содержит около 27,78 млрд параметров, 64 слоя гибридной архитектуры с linear attention и full attention, а также один MTP-слой Multi-Token Prediction. Зрительная башня удалена, поэтому модель работает только с текстом. Поддерживаются английский, китайский, японский, корейский, французский, немецкий, испанский, итальянский, португальский, русский и арабский языки. Заявлен максимальный контекст до 256 тысяч токенов. Квантизация выполнена в формате modelopt NVFP4 с помощью nvidia-modelopt 0.43.0; MTP-компоненты и ряд других частей сохранены в bf16 для совместимости и эффективной спекулятивной генерации. К сильным сторонам относятся оптимизация под Blackwell, меньшие требования к памяти по сравнению с полноразмерной bf16-моделью, поддержка KV-кэша FP8 и рабочий MTP-механизм для ускорения декодирования. Ограничения — отсутствие обработки изображений, зависимость от совместимой версии vLLM и аппаратуры Blackwell, а также потенциальные ограничения по памяти при большом контексте и высокой конкуренции запросов. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-сборка плотной мультимодальной causal language model Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также анализа изображений и видео. Вариант Aggressive ориентирован на прямые ответы без выраженного отказного поведения и с минимальным предварительным вступлением в сложных запросах. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, размер FFN 17408 и словарь из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживаются встроенные MTP/NextN и профиль ускорения HauhauCS FastMTP 32K; заявлены ускорение генерации до 3,02 раза для документов и до 1,93 раза для рассуждений относительно варианта без MTP. Нативный контекст составляет 262 144 токена и может расширяться до 1 000 000. Для визуального ввода используется отдельный vision-проектор BF16. Заявлены английский, китайский и мультиязычный режимы. Сильными сторонами являются большой контекст, текстовые и визуальные возможности, поддержка нескольких уровней квантизации GGUF и ускорение FastMTP. Aggressive-профиль может быть удобен там, где нужны краткие прямые ответы, однако его сниженное отказное поведение может быть менее подходящим для надёжных и критичных к безопасности приложений; автор README рекомендует для таких агентских задач Balanced-вариант, если он доступен. Доступны квантизации Q2–Q8 и пользовательские K_P-кванты, оптимизированные для сохранения качества. Модель распространяется по лицензии Apache-2.0.