II.4Отладка, тестирование и качество ПО

cyankiwi/GLM-5.2-AWQ-INT4 — это квантизированная версия GLM-5.2, разработанная на базе модели Z.ai (zai-org). Модель предназначена для генерации текста, решения задач с длинной цепочкой рассуждений, программирования, работы с инструментами и агентских сценариев. В README также указана калибровка на наборах STEM и Agentic. Модель использует формат AWQ с точностью INT4. Заявлена поддержка контекста до 1 млн токенов. Архитектура GLM-5.2 включает IndexShare, повторно использующий один индексатор для каждой группы из четырёх разреженных attention-слоёв, что снижает вычисления на длинном контексте; MTP-слой предназначен для speculative decoding. В карточке указаны английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Размер основных файлов составляет 454,29 ГБ, дополнительного MTP-слоя — 19,91 ГБ, общий объём загрузки — 474,19 ГБ. Сильные стороны модели — работа с очень длинным контекстом, программирование, математическое и научное рассуждение, а также агентские задачи; конкретные результаты приведены в бенчмарках базовой GLM-5.2. Ограничениями являются крупный объём файлов и высокие требования к ресурсам для локального развёртывания, а также возможные потери качества из-за INT4-квантизации. Для запуска указана совместимость с SGLang, vLLM, Transformers, KTransformers и Unsloth. Лицензия — MIT.

GLM-5.3-Flash — разработанная Z.ai модель семейства GLM-5, опубликованная RedHatAI в формате BF16. Это плотная мультимодальная модель с архитектурой GLM5 Next: всего 320 млрд параметров, из которых активно используются 18 млрд. Она сочетает разреженное и линейное внимание для более экономичной обработки длинных контекстов и предназначена для диалогов, программирования и агентных сценариев. Модель обучена с нуля на мультимодальном корпусе из 30 трлн токенов. В README заявлена поддержка локального развёртывания через SGLang, vLLM, TokenSpeed и KTransformers; метаданные Hugging Face указывают библиотеку Transformers и возможность чата. Метки карточки указывают английский и китайский языки. Лицензия — MIT. В предоставленных данных не приведены численные результаты независимой оценки качества или ограничения по аппаратным требованиям.

Модель ryugyosoft/granite-4.2-8b-onw — версия IBM Granite-4.2-8B, преобразованная для запуска на Intel NPU с помощью движка onw. Это плотная 40-слойная трансформерная языковая модель с 8,4 млрд параметров и контекстом до 131 072 токенов. Весовая часть представлена в формате для onw: основная часть использует знаково-ориентированную INT4-квантизацию, а проекции q/k/v внимания и выходной слой — INT8. README указывает, что обучение не проводилось; веса переконвертированы и реконструированы из исходной модели. Модель предназначена для диалогов, рассуждений и работы с инструментами через OpenAI-совместимый API. Поддерживает английский и японский; японский является официально поддерживаемым языком, но ответы на нём могут содержать ошибки кандзи и неестественные формулировки. README приводит результаты тестов точности после преобразования и замеры скорости на конкретном Intel NPU; для запуска указано требование ПК с не менее чем 32 ГБ памяти и совместимым Intel Core Ultra NPU. Для работы необходим отдельный движок onw. Лицензия — Apache 2.0, такая же, как у исходной модели.

GRIN-MoE — языковая модель Microsoft на архитектуре decoder-only Transformer с разреженной смесью экспертов (MoE). В конфигурации указаны 16 экспертов по 3,8 млрд параметров, из которых при генерации активны два; README сообщает 6,6 млрд активных параметров, а метаданные — 4 млрд общих параметров. Модель использует словарь токенизатора из 32 064 токенов и контекст до 4096 токенов. Принимает текст, лучше всего работает с запросами в формате чата и предназначена для генерации текста. Модель ориентирована на универсальные диалоговые системы, программирование, математику и рассуждения, в том числе в сценариях с ограничениями по памяти, вычислениям или задержке. GRIN применяет SparseMixer-v2 для оценки градиента маршрутизации экспертов; в карточке также описано обучение без параллелизма экспертов и отбрасывания токенов. Карточка характеризует обучение как преимущественно англоязычное и отмечает, что на других языках качество будет ниже. Как и другие языковые модели, она может выдавать ненадёжные, предвзятые или оскорбительные ответы и требует оценки для конкретных сценариев. Модель выпущена Microsoft по лицензии MIT; карточка допускает коммерческое и исследовательское применение.

Hy3 preview-Base — предварительно обученная языковая модель Tencent Hy Team для генерации текста. Она построена на архитектуре Mixture-of-Experts (MoE); README описывает семейство Hy3 preview как модель с 295 млрд параметров и 21 млрд активных параметров, тогда как метаданные этого репозитория указывают 16,6 млрд параметров. Модель предназначена для задач рассуждения, следования инструкциям, работы с длинным контекстом, программирования и агентных сценариев; эта версия является базовой, предварительно обученной моделью. Метаданные указывают контекст до 262 144 токенов и возможность диалогового использования. Для запуска README рекомендует vLLM или SGLang и отмечает необходимость нескольких GPU с большим объёмом памяти. Карточка приводит результаты тестов по математике, STEM, коду и агентным задачам, но они не гарантируют качество в конкретном приложении. В репозитории указаны веса safetensors и лицензия other; условия лицензии следует уточнить в её тексте перед использованием.

nvidia/Kimi-K2.5-NVFP4 — квантизированная версия мультимодальной авторегрессионной языковой модели Kimi-K2.5, разработанной Moonshot AI. Квантизация выполнена NVIDIA с использованием Model Optimizer; NVIDIA подчёркивает, что не является владельцем или разработчиком базовой модели. Модель предназначена для разработчиков и исследователей, создающих приложения и системы на базе LLM. Модель построена на архитектуре Transformers с сетевой архитектурой DeepSeek V3 и заявленным числом параметров около 1 трлн. Она принимает текст, изображения и видео, генерируя текст, поддерживает контекст длиной до 256 тыс. токенов. Версия NVFP4 получена преобразованием и квантизацией весов и активаций из INT4 через BF16 в формат NVFP4; квантизации подвергнуты линейные операторы внутри MoE-блоков трансформера. Для запуска заявлена интеграция с vLLM на Linux и GPU NVIDIA Blackwell. К сильным сторонам относятся мультимодальность, очень длинный контекст, совместимость с аппаратным ускорением NVIDIA и сохранение близких к базовой модели результатов на указанных тестах: MMLU Pro, LiveCodeBench V6, SciCode и AIME 2025. Точные языки, размер обучающего набора и подробные характеристики тестовых данных в README не раскрыты. Для безопасного внедрения требуется дополнительное тестирование на данных конкретного сценария. Использование регулируется NVIDIA Open Model License с дополнительными условиями Modified MIT License базовой модели; модель заявлена для коммерческого и некоммерческого применения.

LuminaLM — чат-модель для генерации текста, разработанная Parallax Labs. В карточке описано обновлённое семейство модели с усиленными рассуждениями и выводом: автор сообщает об улучшениях в математике, программировании и логике, а также о снижении частоты галлюцинаций и лучшей поддержке вызова функций. В тесте AIME 2025 точность, согласно README, выросла с 74% до 89,3%; средний объём рассуждений на вопрос увеличился с 15 тыс. до 27 тыс. токенов. Модель основана на архитектуре Llama и предназначена для диалогов, решения сложных задач и генерации ответов; README также описывает сценарии с загрузкой файлов и поиском в интернете через специальные шаблоны запросов. Рекомендуемая температура генерации — 0,6. Репозиторий содержит веса PyTorch, библиотека — Transformers. Лицензия MIT. Размер модели и длина контекста в предоставленных данных не приведены.

MAI-DS-R1 — языковая модель рассуждений, разработанная командой Microsoft AI на основе DeepSeek-R1 и дополнительно обученная для повышения отзывчивости на ранее заблокированные темы и улучшения профиля рисков с сохранением возможностей рассуждения. По метаданным, это плотная модель семейства DeepSeek V3 с 37,6 млрд параметров; она использует библиотеку Transformers, поддерживает диалог и интерфейс вызова инструментов, а длина контекста составляет 163 840 токенов. Модель предназначена для генерации и понимания текста, ответов на общие вопросы, многошаговых рассуждений, решения математических и логических задач, а также помощи с программированием и научными задачами. В README указано, что при постобучении использовались 110 тысяч примеров безопасности и отказов из Tulu 3 SFT и около 350 тысяч внутренних многоязычных примеров по темам, связанным с предвзятостью. По результатам оценок, приведённым в карточке, модель сохранила общие способности DeepSeek-R1, чаще отвечает на ранее блокировавшиеся запросы и лучше снижает вредоносное содержание по сравнению с исходной R1. Модель может выдумывать факты, сохранять предвзятость исходной модели и реагировать на состязательные запросы; её знания ограничены тем же срезом, что и у DeepSeek-R1. Она не предназначена для медицинских, юридических, финансовых и других высокорисковых решений без проверки человеком. Лицензия — MIT.

Meta-Llama-3-8B-Instruct-iMat-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для диалоговых сценариев и задач генерации текста и кода, включая использование в качестве ассистента. Вариант подготовлен с помощью llama.cpp и доступен в наборах K- и IQ-квантов от Q6_K до IQ1_S. Модель представляет собой авторегрессионный языковой трансформер с оптимизированной архитектурой и Grouped-Query Attention (GQA), содержит около 8 млрд параметров и поддерживает контекст до 8 тысяч токенов. Она принимает только текст и генерирует текст или код. Обучение включает предварительное обучение, supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Основной язык — английский; применение для других языков обозначено как выходящее за рамки исходного назначения, хотя дополнительное дообучение возможно при соблюдении условий лицензии. Ключевые преимущества этого варианта — поддержка локального запуска через llama.cpp, наличие множества уровней квантования и использование importance matrix для снижения потерь качества при квантовании. Исправлены настройки токенизатора и EOS-токена для корректной работы инструкционного режима, однако для новых квантов требуется совместимая версия llama.cpp с соответствующими исправлениями и шаблоном чата Llama 3. Модель является статичной и обучена на офлайн-данных; дата отсечения знаний — март 2023 года. Использование регулируется пользовательской лицензией Meta Llama 3 и Acceptable Use Policy.

MiMo-V2.5-Pro-GGUF — GGUF-версия открытой языковой модели MiMo-V2.5-Pro, разработанной Xiaomi MiMo. Модель предназначена для агентных сценариев, сложной разработки программного обеспечения, генерации текста и кода, а также длительных задач, требующих согласованности на протяжении тысяч вызовов инструментов. В карточке указаны поддерживаемые языки английский и китайский. Это Mixture-of-Experts (MoE) модель с 1,02 трлн общих параметров и 42 млрд активных параметров. Она использует гибридную архитектуру внимания, чередующую Sliding Window Attention и Global Attention в соотношении 6:1, а также три слоя Multi-Token Prediction (MTP). Заявлен контекст до 1 млн токенов; гибридное внимание снижает объём KV-кэша, а MTP может ускорять генерацию. Модель обучалась на 27 трлн токенов с применением FP8 и поддерживает шаблон чата с исправлениями Unsloth. Сильные стороны модели — большой контекст, высокая эффективность MoE-архитектуры и ориентация на агентные и программные задачи. Ограничения включают значительный общий размер модели и соответствующие требования к ресурсам, а также отсутствие в представленных данных подробностей о фактических требованиях к оборудованию и качестве работы на других языках или модальностях. Распространяется по лицензии MIT.

Nemotron-Cascade-2-30B-A3B — открытая языковая модель NVIDIA с архитектурой Nemotron-H и смесью экспертов: при общем размере 30 млрд параметров активируется около 3 млрд. Модель дообучена на основе nvidia/Nemotron-3-Nano-30B-A3B-Base и предназначена для диалогов, сложных рассуждений и агентных сценариев. Она поддерживает режимы с рассуждениями и обычными инструкциями, а также интерфейс вызова инструментов через соответствующую конфигурацию. Модель работает с текстом и использует шаблон ChatML. Размер контекста по метаданным — 262 144 токена. В README сообщается о золотых медалях на Международной математической олимпиаде IMO и Международной олимпиаде по информатике IOI 2025. Для запуска через vLLM требуется версия не ниже 0.17.1. Указанный в метаданных язык — английский. Лицензия обозначена как other; конкретные условия следует сверить с карточкой модели на Hugging Face. Качество может зависеть от запроса и настроек генерации; заявленные результаты на олимпиадах не гарантируют такой же точности в других задачах.

Olmo 3 32B Think — плотная авторегрессионная трансформерная языковая модель для генерации текста, разработанная Allen Institute for AI (Ai2). Версия Think обучена для задач рассуждения, включая математику и программирование, а также для диалога и общих вопросов. Модель содержит 31,7 млрд параметров, поддерживает контекст до 65 536 токенов и работает с текстом на английском языке. Это дообученная версия allenai/Olmo-3-32B-Think-DPO, прошедшая обучение с подкреплением на данных Dolci-Think-RL. Модель распространяется в формате Safetensors и поддерживается Transformers версии 4.57.0 и выше. Лицензия Apache 2.0; в карточке указано предназначение для исследований и образования в соответствии с рекомендациями Ai2 по ответственному использованию.

NVFP4/Qwen3-30B-A3B-Thinking-2507-FP4 — квантизированная FP4-версия модели Qwen3-30B-A3B-Thinking-2507, разработанной командой Qwen. Модель относится к классу авторегрессионных языковых моделей и предназначена для генерации текста с акцентом на углублённое рассуждение. Модель подходит для сложных задач логического рассуждения, математики, науки, программирования, следования инструкциям, использования инструментов, генерации текста и агентских сценариев. Заявлена улучшенная работа с длинным контекстом, включая контекст длиной до 262 144 токенов, а также поддержка многоязычных задач. Модель работает только в режиме рассуждения; увеличенная длина рассуждений особенно рекомендуется для сложных запросов. Архитектура — causal language model на основе MoE: 30,5 млрд параметров всего, из которых активируется около 3,3 млрд; 48 слоёв, 128 экспертов и 8 активируемых экспертов, используется GQA с 32 головами Q и 4 головами KV. Квантизация FP4 может снизить требования к памяти и упростить развёртывание, однако точные требования к аппаратуре и влияние квантизации на качество в README не указаны. Ограничением является отсутствие режима без рассуждений и потенциально высокая длина генерируемого вывода. Модель распространяется по лицензии Apache 2.0.

QuantFactory/Qwen3-4B-Thinking-2507-GGUF — квантизированная версия Qwen3-4B-Thinking-2507, созданная QuantFactory с использованием llama.cpp на основе модели Qwen. Это каузальная языковая модель для генерации текста, ориентированная на задачи, требующие рассуждений: логика, математика, естественные науки, программирование, академические задания, следование инструкциям, использование инструментов и взаимодействие с агентными системами. Модель содержит около 4 млрд параметров, из которых 3,6 млрд не относятся к эмбеддингам, и имеет 36 слоёв. Архитектура внимания использует GQA: 32 головы для запросов и 8 для ключей и значений. Нативная длина контекста составляет 262 144 токена. Модель поддерживает только режим рассуждений; используется автоматическое добавление маркера <think>, поэтому в выводе могут присутствовать специальные маркеры рассуждений. В README явно описана текстовая модальность; перечень поддерживаемых языков не указан. Сильными сторонами являются улучшенные возможности рассуждения, следования инструкциям, генерации текста, работы с инструментами и обработки длинного контекста. Модель рассчитана на сложные задачи и может генерировать длинные цепочки рассуждений, что следует учитывать при настройке лимита вывода и потреблении ресурсов. Ограничения включают работу только в thinking-режиме, отсутствие сведений о конкретном формате и уровне квантизации в карточке, а также отсутствие опубликованных требований к аппаратному обеспечению и подробных характеристик производительности именно этой GGUF-сборки. Указанная лицензия — Apache-2.0.

mlx-community/Qwen3.5-9B-OptiQ-4bit — это квантизированная MLX-версия языковой модели Qwen/Qwen3.5-9B, разработанная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локального запуска на устройствах с Apple Silicon без PyTorch и облачных сервисов, а также для генерации текста, рассуждений, программирования, следования инструкциям, работы с инструментами и агентских сценариев. Модель использует смешанную точность: большинство слоёв представлены в 4-битном формате, а чувствительные к квантизации слои — в 8-битном. Всего квантизировано 248 слоёв: 132 в 8-битном и 116 в 4-битном формате; размер группы — 64. Калибровка выполнена на данных из шести доменов: проза, рассуждения, код, агенты, вызовы инструментов и инструкции с ограничениями. Размер модели на диске составляет около 6,6 ГБ. В комплект входит MTP-голова для спекулятивного декодирования, обеспечивающая примерно 1,4-кратное ускорение генерации при использовании mlx-optiq. По приведённым тестам, смешанная квантизация немного превосходит стандартную равномерную 4-битную версию по совокупному Capability Score, а наиболее заметное преимущество показано в HumanEval. При этом она уступает равномерной квантизации в BFCL и тесте длинноконтекстного извлечения HashHop, а размер файла примерно на 1,1 ГБ больше. README не указывает архитектурные детали, длину контекста или языковой охват базовой модели. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Qwen3.6-35B-A3B-GGUF — набор квантизированных моделей в формате GGUF для llama.cpp, подготовленный BatiAI на основе Qwen/Qwen3.6-35B-A3B от Alibaba. Модель предназначена для локального запуска на устройствах Mac, включая сценарии on-device AI, генерацию текста и кода, многошаговое агентное программирование, работу с репозиториями и вызов инструментов. Указана поддержка английского, корейского, японского и китайского языков. Это текстовая MoE-модель с заявленным общим размером 35B параметров и конфигурацией A3B; доступны варианты квантизации от IQ3 и IQ4 до Q6, Q8 и других K-квантов. Размер файлов составляет примерно от 13 до 35 ГБ, а рекомендуемый объём RAM — от 16 до 48 ГБ в зависимости от варианта. Основной набор является text-only, однако репозиторий также содержит vision projector, позволяющий использовать мультимодальный режим при соответствующей настройке. Поддерживаются ChatML, thinking и tool calling. Сильные стороны модели — ориентация на агентное программирование, рассуждение на уровне репозитория, длительные итеративные задачи, генерацию кода и интеграцию с локальными инструментами. Квантизация и imatrix-калибровка делают возможным запуск на потребительских Mac без облака и API-ключей, но более компактные варианты могут уступать по качеству оригинальной BF16-модели, а запуск требует значительного объёма оперативной памяти. Модель распространяется по лицензии Apache-2.0.

EschaLabs/Qwen3.8-27B-Escha-W2 — это 2-битная квантованная сборка модели Qwen3.8-27B, разработанная Escha Labs Inc. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и программирования. Она поддерживает режим thinking, в котором может формировать расширенное рассуждение перед ответом, а также совместима с OpenAI-совместимым HTTP-интерфейсом через специализированный runtime на базе SGLang. Модель сохраняет полный объём в 27 млрд параметров. Используется смешанная квантование 2/3 бита для проекций с эффективной точностью 2,469 бита на вес, а embedding и head имеют формат int8. Размер весов составляет около 10,15 ГБ, общий размер загрузки — около 10,18 ГБ. На одной видеокарте с 24 ГБ памяти заявлена работа с контекстом до 64K токенов, а при специальной настройке — до 128K; проверены RTX 5090, RTX 4090 и RTX 3090. Указан английский язык, однако README не содержит полного перечня языков или точного максимального размера контекста базовой модели. К сильным сторонам относятся существенная экономия памяти, возможность локального запуска и высокие заявленные результаты на тестах: 79,25% на Commonsense-6, 88,38% на GPQA-Diamond и pass@1 86,81% на LiveCodeBench v6. Ограничения включают зависимость от Linux x86-64, NVIDIA GPU с архитектурой sm_80 или новее, CUDA 12.8, Python 3.12 и специального runtime; видеокарты на 16 ГБ не проверялись и требуют уменьшенного контекста. Для корректной работы также важны совместимые версии PyTorch, SGLang и Transformers. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-iMatrix-NVFP4-MTP-GGUF — квантизированная мультимодальная версия модели Qwen3.8-27B, разработанная автором cdiamond на основе Qwen/Qwen3.8-27B. Модель предназначена для работы в llama.cpp и сценариев, связанных с программированием, инфраструктурными задачами, вызовами инструментов, агентскими системами и обработкой изображений. Указан контекст до 256 тысяч токенов; поддержка зрения реализуется через отдельный проектор mmproj-Qwen3.8-27B-F16.gguf. Модель поставляется в формате GGUF и имеет размер 17,1 ГБ. Это смешанная квантизация примерно 5,01 BPW: основная часть весов использует NVFP4, а чувствительные матрицы внимания, Gated DeltaNet, поздние FFN-слои, эмбеддинги и выходная голова хранятся с более высокой точностью Q5_K, Q6_K или Q8_0. В GGUF встроен обученный MTP-слой для ускорения генерации. Калибровка проводилась на данных агентских сессий, включавших код, инфраструктуру, вызовы инструментов и польско-английские диалоги, однако эти данные не распространяются. Сильные стороны модели — сочетание компактного размера, поддержки длинного контекста, мультимодальности и высокой скорости на совместимом оборудовании. В описанных тестах она достигала 50,441 токена в секунду в производственной серии и обрабатывала заполненный контекст объёмом 261 500 входных токенов без усечения и нехватки памяти. Результаты зависят от GPU, версии llama.cpp и используемых патчей; часть измерений получена на локальной ветке runtime, не вошедшей на момент публикации в upstream. Модель не является дообученной версией, а представляет собой квантизацию базовой модели. Лицензия — Apache-2.0.

Qwen3-8B-4bit-AWQ — версия языковой модели Qwen3-8B, опубликованная сообществом mlx-community и конвертированная в формат MLX с помощью mlx-lm 0.24.0. Это плотная авторегрессионная модель с 7,6 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; поддерживает вызов инструментов через соответствующий интерфейс. Контекст модели составляет до 40 960 токенов. Модель подходит для ответов на вопросы, следования инструкциям, рассуждений, помощи с кодом и сценариев с вызовом инструментов. Базовая Qwen3-8B — многоязычная модель, однако конкретный перечень поддерживаемых языков в предоставленных сведениях не раскрыт. В названии указано 4bit-AWQ, но README описывает конвертацию в MLX, а среди метаданных формат обозначен как safetensors; фактический способ квантования по этим данным подтвердить нельзя. Лицензия — Apache-2.0.

Tess-2.0-Llama-3-70B-v0.2 — чат-модель общего назначения, разработанная Migtissera и дообученная на базе Meta Llama 3 70B. Версия 0.2 включает дополнительный этап снятия ограничений на ответы. Модель содержит 69,5 млрд параметров, использует плотную архитектуру Llama и принимает запросы в формате Llama 3; заявленная длина контекста — 8192 токена. Модель предназначена для диалогов, следования инструкциям, генерации кода и ответов на общие вопросы. Дообучение выполнено на примерно 100 тысячах высококачественных примеров кода и общего назначения по принципам LIMA, в течение двух эпох с низкой скоростью обучения. Модель ориентирована на широкий спектр запросов и обычно охотно выполняет инструкции. Возможны неточные или вводящие в заблуждение ответы, а также предвзятый, оскорбительный или иной неподходящий контент; факты следует перепроверять. Модель описана как uncensored. Лицензия — Llama 3; применимые условия использования определяются лицензией Meta Llama 3.

Карточка модели jondurbin/airoboros-l2-70b-gpt4-m2.0 на Hugging Face совпадает с карточкой jondurbin/airoboros-65b-gpt4-m2.0, поэтому описание составлено по ней. airoboros-65b-gpt4-m2.0 — плотная авторегрессионная модель семейства LLaMA на 65 млрд параметров, разработанная Jon Durbin и дообученная для следования инструкциям на синтетических данных Airoboros. Версия m2.0 объединяет данные набора 1.4.1 без дубликатов и категории system с данными GPT-4, созданными на основе версии от июня 2023 года; исходная серия также включала данные GPT-4 от марта 2023 года. Модель предназначена для диалога и генерации текста по инструкциям: ответов на вопросы по предоставленному контексту, помощи с программированием, планирования шагов для задач с инструментами и генерации аргументов функций в JSON или YAML. Для общения используется текстовый шаблон с ролями USER и ASSISTANT. Контекст составляет 2048 токенов. Модель обучена с QLoRA; README отмечает, что варианты 65B основаны на оригинальной LLaMA, а не Llama 2. Карточка описывает модель как дающую подробные ответы, ориентированную на использование контекста в закрытых вопросах и включающую примеры планирования и вызова функций. Возможны галлюцинации, особенно если запрос не содержит достаточных сведений; для вопросов по контексту автор рекомендует явно просить не придумывать ответ. Модель выпускается по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства и ограничивающей коммерческое применение.

CerebrumHyperion-7B-DPO — объединённая модель для генерации текста, созданная с помощью LazyMergekit путём слияния Locutusque/OpenCerebrum-1.0-7b-DPO и Locutusque/Hyperion-3.0-Mistral-7B-DPO. В README указан метод слияния SLERP, а базовой моделью в конфигурации названа Hyperion-3.0-Mistral-7B-DPO. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров. Она принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. По описанию базовой модели, семейство OpenCerebrum ориентировано на генерацию текста, программирование, математику, научные вопросы и рассуждения. Репозиторий содержит веса в формате safetensors. Сведений о лицензии в предоставленных данных нет.

casperhansen/deepseek-r1-distill-qwen-7b-awq — это 4-битная AWQ-квантизованная версия DeepSeek-R1-Distill-Qwen-7B, опубликованная пользователем casperhansen. Исходную модель разработала DeepSeek; она создана на базе Qwen2.5-7B и дообучена на синтетических данных, сгенерированных DeepSeek-R1, для усиления способностей к рассуждению. Модель предназначена для текстовой генерации, диалогов и задач, требующих пошагового рассуждения, включая математику, программирование и ответы на вопросы. Это decoder-only модель архитектуры Qwen2ForCausalLM примерно с 7 млрд параметров, 28 слоями, 28 attention heads и контекстом до 131072 токенов. Она работает только с текстом; сведения о гарантированном наборе поддерживаемых языков в карточке этой версии не указаны. Ключевое преимущество версии casperhansen — снижение требований к памяти благодаря 4-битной AWQ-квантизации с group size 128 и размеру файлов около 5,58 ГБ, что упрощает локальный запуск. Ограничения включают возможную потерю качества из-за квантизации, зависимость результатов от используемого inference-движка и промпта, а также отсутствие в карточке подробных бенчмарков, описания безопасности и заявленных гарантий качества для разных языков. Репозиторий распространяется по лицензии MIT; для производных моделей также следует учитывать условия лицензии исходной модели Qwen.

Dragonboy3940/DeepSeek-V3-0324 — текстовая языковая модель семейства DeepSeek-V3, представленная в формате safetensors FP8. В карточке описаны улучшения рассуждений, генерации кода для веб-интерфейсов и игр, написания текстов на китайском языке, перевода, анализа поисковых результатов и вызова функций. Модель поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для генерации текста в диалоге, решения задач на рассуждение, написания и редактирования текстов, перевода и создания кода. Архитектура — DeepseekV3ForCausalLM; размер и контекстное окно соответствуют метаданным репозитория. Указана лицензия MIT. Карточка рекомендует обратиться к репозиторию DeepSeek-V3 за сведениями о локальном запуске.

Это экспериментальная селективно-квантованная GGUF-сборка DeepSeek-V4-Flash-0731 REAP-150B от Tinker-Stack. Модель основана на обрезанном варианте REAP-150B с архитектурой DeepSeek4 и MoE: 150 млрд параметров, 132 эксперта, из которых активны 6 на токен, и один общий эксперт. Веса упакованы в контейнер TurboQuant TQ3_4S с рецептом квантования примерно 3,49 бит на параметр; для запуска нужна специальная версия llama.cpp с поддержкой этого формата. Сборка предназначена для генерации текста, диалогов, агентного использования инструментов, программирования, анализа длинных документов и задач на рассуждение. Заявлена работа с контекстом до 256 тысяч токенов при использовании подходящего KV-кэша. В README приведены внутренние сравнительные тесты и показатели perplexity, однако они не являются стандартизированными оценками; качество зависит от режима рассуждения и настроек инференса. Модель компактнее полноразмерных вариантов благодаря обрезке и квантованию, но квантование может снижать точность, а REAP-вариант может уступать исходной модели в некоторых возможностях. Сборка экспериментальная, требует нестандартного форка llama.cpp; контекст 1 млн токенов на описанном оборудовании не подтверждён. Лицензия репозитория — MIT.

Infinity-Instruct-3M-0613-Llama3-70B — диалоговая языковая модель, разработанная Beijing Academy of Artificial Intelligence (BAAI). Это плотная модель семейства Llama с 69,5 млрд параметров, дообученная методом supervised instruction tuning на наборах Infinity-Instruct-3M и Infinity-Instruct-0613 без RLHF. Она предназначена для следования инструкциям и многошагового диалога, в том числе для ответов на вопросы, задач по коду и математике. Модель принимает текст и генерирует текст, использует шаблон чата Llama 3 Instruct и имеет контекст 8192 токена. В карточке приведены результаты оценок AlpacaEval 2.0 и MT-Bench; они не гарантируют качество для конкретных запросов. Модель доступна в формате safetensors под лицензией Apache-2.0 в метаданных Hugging Face. При этом README ограничивает использование связанных ресурсов академическими исследованиями и запрещает коммерческое применение; перед использованием следует учитывать это ограничение и проверить применимые условия распространения.

INTELLECT-1-Instruct — англоязычная инструктивная языковая модель Prime Intellect, созданная на базе INTELLECT-1 и дообученная командой Arcee AI. Она предназначена для диалогов и выполнения инструкций, включая ответы на вопросы, рассуждения, математические задачи и генерацию кода. Модель использует плотную архитектуру Llama с 9,7 млрд параметров и контекстом до 8192 токенов. В README описаны этапы SFT, DPO и объединения вариантов модели; для обучения использовались англоязычные тексты и код, а также данные по математике, инструкциям и многоязычным задачам. Для корректной генерации README рекомендует добавлять BOS-токен в начало каждого примера. Модель принимает текст и генерирует текст. В README приведены результаты тестов на нескольких бенчмарках, но они не гарантируют качество на конкретных пользовательских задачах. Репозиторий распространяется по лицензии Apache 2.0.

unsloth/Kimi-K2-Instruct-GGUF — это GGUF-квантизированная версия Kimi-K2-Instruct, разработанного Moonshot AI и подготовленная Unsloth. Модель предназначена для общего диалога, решения задач на знания и рассуждения, программирования, использования инструментов и агентских сценариев. Версия Instruct ориентирована на готовое применение без длительного режима пошагового размышления. Модель использует архитектуру Mixture-of-Experts (MoE): 1 триллион общих параметров, из которых 32 миллиарда активируются для каждого токена. Архитектура включает 61 слой, 384 эксперта с выбором 8 экспертов на токен, один общий эксперт, 64 головы внимания, механизм MLA, активацию SwiGLU и словарь размером 160 тысяч токенов. Длина контекста составляет 128 тысяч токенов. В README языки и дополнительные модальности не указаны. GGUF-версии предназначены для локального запуска, в частности через актуальную версию llama.cpp. Для небольших квантов рекомендуется не менее 128 ГБ объединённой оперативной памяти; при наличии 16 ГБ VRAM и 256 ГБ RAM ожидается скорость свыше 5 токенов в секунду. Для наилучшего качества рекомендуются 2-битные XL-кванты или более высокие варианты, а температура 0,6 помогает снизить повторения и несвязность. Ограничениями являются очень высокие требования к памяти и возможные потери качества, зависящие от выбранного уровня квантования. Лицензия указана как modified MIT; также приведена ссылка на файл LICENSE.md.

duyntnet/Llama-3.1-Nemotron-Nano-4B-v1.1-imatrix-GGUF — набор GGUF-квантизаций языковой модели Llama-3.1-Nemotron-Nano-4B-v1.1, разработанной NVIDIA. Исходная модель создана на основе NVIDIA Llama-3.1-Minitron-4B-Width-Base, которая, в свою очередь, получена из Llama 3.1 8B с применением методов сжатия модели. Модель предназначена для генерации текста, диалогов, решения математических и программных задач, рассуждений, Retrieval-Augmented Generation (RAG) и вызова инструментов. Она поддерживает режимы рассуждения и обычного ответа, а также контекст длиной до 128K токенов. Благодаря размеру около 4 млрд параметров и квантизированному формату подходит для локального запуска, в том числе на одной RTX GPU, через llama.cpp, KoboldCPP, text-generation-webui, Ollama, Jan и совместимые интерфейсы. К сильным сторонам относятся сочетание компактности, эффективности, поддержки рассуждений и tool calling, а также многоэтапное дообучение на задачах математики, программирования, рассуждений, диалогов и следования инструкциям. Ограничениями являются текстовая специализация, заявленный язык English и возможные потери качества, связанные с квантизацией; конкретные характеристики зависят от выбранного GGUF-файла. В карточке указана лицензия other; исходное описание сообщает о готовности модели к коммерческому использованию, но точные условия лицензии для данной сборки не раскрыты.

QuantFactory/Meta-Llama-3-8B-GGUF — это GGUF-квантизированная версия Meta Llama 3 8B, разработанная Meta и опубликованная QuantFactory. Модель предназначена для генерации текста и кода, включая текстовые приложения и диалоговые сценарии. Она принимает только текстовые входные данные и генерирует текст или программный код. Модель представляет собой авторегрессионную языковую модель на основе оптимизированной архитектуры Transformer с Grouped-Query Attention (GQA). Она содержит 8 млрд параметров, имеет контекстное окно 8 тысяч токенов и обучалась на новом сочетании общедоступных онлайн-данных объёмом более 15 трлн токенов. В README указан английский язык. Квантизация в формате GGUF может повысить эффективность локального вывода, однако конкретные параметры квантизации и требования к ресурсам не указаны. Сильными сторонами модели являются компактный для семейства Llama 3 размер, поддержка генерации текста и кода, а также оптимизация GQA для масштабируемости инференса. Ограничения включают текстовую модальность, статичность обученной версии и дату отсечения знаний — март 2023 года. Для instruction-tuned вариантов Llama 3 заявлены оптимизация диалогового взаимодействия, полезности и безопасности, но README не уточняет, является ли данный GGUF-файл предварительно обученной или instruction-tuned версией. Использование регулируется специальной коммерческой лицензией Llama 3 от Meta.