I.3Извлечение и структурирование данных

WhiskyAKM подготовил GGUF-сборку K2-Horizon-7B в формате NVFP4 на основе модели IFM/K2-Horizon-7B. Это плотная авторегрессионная языковая модель с 7 млрд параметров и контекстом до 524 288 токенов; репозиторий предназначен для запуска через llama.cpp и другие движки с поддержкой GGUF. Модель рассчитана на диалоги, рассуждения, программирование, работу с длинным контекстом и агентные сценарии. В карточке приведены результаты исходной модели на математических, программных и других бенчмарках. Квантизация NVFP4 уменьшает точность представления весов и ориентирована на оборудование NVIDIA Blackwell. Репозиторий содержит файл модели в формате GGUF. Лицензия — Apache-2.0.

grimjim/mistralai-Mistral-Nemo-Instruct-2407 — инструктивно дообученная языковая модель на базе Mistral Nemo, разработанной совместно Mistral AI и NVIDIA. Она предназначена для диалога, следования инструкциям, генерации текста и вызова инструментов. Модель использует плотную архитектуру Transformer семейства Mistral с 40 слоями, GQA и 12,1 млрд параметров; контекстное окно составляет 131 072 токена. Доступны веса в формате Safetensors. Модель рассчитана на многоязычные задачи, включая английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский; обучающие данные также включают код. Подходит для чат-ботов, помощников и генерации ответов по инструкциям. Выпускается по лицензии Apache 2.0. В карточке разработчика модель названа демонстрацией возможностей базовой модели; встроенных механизмов модерации нет.

Nemotron-3-Nano-30B-A3B-FP8 — языковая модель NVIDIA для диалогов, рассуждений и типовых задач по инструкциям. Репозиторий unsloth содержит производную FP8-версию базовой модели nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16; веса представлены в формате safetensors. Модель предназначена для разработчиков чат-ботов, RAG-систем и агентных приложений, а также для решения задач общего назначения и программирования. Архитектура сочетает Mamba-2, Transformer и Mixture-of-Experts: 30 млрд параметров всего, из них 3,5 млрд активны на токен. Модель поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Контекст в конфигурации по умолчанию — 256 тыс. токенов; README заявляет возможность работы с контекстом до 1 млн токенов при соответствующих ресурсах. Доступен режим с рассуждениями и без их вывода; поддерживается интерфейс вызова инструментов. Модель рассчитана на коммерческое применение. Метаданные указывают лицензию «other», поэтому перед использованием следует проверить условия лицензии в карточке репозитория. Для работы с длинным контекстом нужны значительные ресурсы GPU; отключение режима рассуждений может немного снизить точность на сложных задачах.

NVIDIA-Nemotron-3-Super-120B-A12B-AWQ-4bit — квантизированная 4-битная версия большой языковой модели NVIDIA Nemotron-3-Super, разработанной NVIDIA Corporation. Модель предназначена для агентных сценариев, рассуждений, диалоговых приложений, использования инструментов, RAG и высоконагруженных задач, включая автоматизацию обработки IT-заявок. Она поддерживает настраиваемый режим рассуждений, который можно включать или отключать через шаблон чата. Архитектура основана на гибридном подходе LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, а также отдельными слоями Attention. Модель содержит 120 млрд параметров, из которых активно используется 12 млрд, и применяет Multi-Token Prediction для ускорения генерации и повышения качества. Максимальная длина контекста составляет до 1 млн токенов. Поддерживаются английский, французский, немецкий, итальянский, японский, испанский и китайский языки. Для исходной модели указано минимальное требование в 8 GPU H100 с 80 ГБ памяти; AWQ-квантизация снижает требования к памяти, однако точные требования для данной сборки не приведены. К сильным сторонам относятся большой контекст, эффективность разреженной MoE-архитектуры, поддержка рассуждений, инструментального взаимодействия и агентных рабочих процессов. Ограничениями являются значительный общий размер модели и высокие требования к инфраструктуре, а также отсутствие в README подробных результатов тестирования именно для версии AWQ-4bit. Использование регулируется лицензией NVIDIA Nemotron Open Model License; в README указана готовность модели к коммерческому применению.

Q36-35B-A3B-Opus4.7-Ablit-Heretic-OBLITERATUS-Hermes-MTP-Vision-Ollama — мультимодальная модель семейства Qwen3.6-35B-A3B, подготовленная разработчиком oktayd на основе производных Qwen и последующих reasoning-distillation, ablation, Heretic, OBLITERATUS и Hermes-этапов. Репозиторий содержит квантизированную версию GGUF для запуска через Ollama и llama.cpp. Модель предназначена для генерации текста, анализа изображений, рассуждений, программирования, агентных сценариев, function calling и работы с инструментами, включая терминал, файлы и репозитории. Архитектура — mixture-of-experts qwen3_5_moe: всего 35 млрд параметров, из них активируется около 3 млрд. Заявлены контекст до 262 144 токенов, поддержка английского языка, визуальный проектор F16, MTP и квантизация основного файла Q4_K_M. Сильными сторонами являются сохранённые Vision и MTP-компоненты, улучшенная точность следования инструкциям, возможности работы с кодом и инструментами, а также хорошие результаты в представленных тестах IFEval, HumanEval+, GSM8K и BBH. Ограничения включают отсутствие подтверждения совместного использования Vision и MTP в одном вызове, непроверенную полноценную поддержку Vision/MTP в Ollama, незавершённую валидацию FreeToken и нестабильность на отдельных задачах, где наблюдались зацикливание и усечение вывода. Модель распространяется по лицензии Apache-2.0.

YashasviMantha/Qwen3-4B-Instruct-2507-heretic — версия Qwen3-4B-Instruct-2507, созданная с помощью Heretic v1.4.0. Это плотная причинно-языковая модель примерно на 3,7 млрд параметров для генерации текста в диалоговом и инструктивном режиме. Она принимает текст и генерирует текст; поддерживает многоязычные запросы, работу с кодом и инструментами, а также контекст до 262 144 токенов. Модель использует только режим без рассуждений (non-thinking). Модель предназначена для ответов на вопросы, следования инструкциям, логических и математических задач, написания и разбора кода, а также работы с длинными документами и инструментами. Это декensored-версия исходной модели: в приведённом сравнении она отказала в 16 из 100 запросов, тогда как исходная — в 100 из 100; это может означать ослабленные ограничения на ответы. Доступны веса в формате safetensors, библиотека Transformers и лицензия Apache-2.0.

unsloth/Qwen3.5-122B-A10B-MTP-GGUF — это GGUF-квантование мультимодальной модели Qwen3.5-122B-A10B, разработанное Unsloth на базе модели Qwen/Qwen3.5-122B-A10B от команды Qwen. Модель предназначена для локального запуска и совместима с llama.cpp, а исходная модель также поддерживает Transformers, vLLM, SGLang и KTransformers. Модель использует гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts: при общем размере 122 млрд параметров активируется около 10 млрд параметров. Она работает с текстом и изображениями, поддерживает задачи рассуждения, программирования, визуального понимания, агентных сценариев и вызова инструментов. Заявлена поддержка 201 языка и диалекта. Вариант MTP поддерживает speculative decoding, что может ускорять генерацию примерно в 1,5–2 раза. К сильным сторонам относятся мультимодальность, высокая эффективность разреженной архитектуры, улучшенные квантование и данные imatrix, а также оптимизации для диалогов, длинного контекста, программирования и tool calling. Ограничения связаны с необходимостью использовать совместимую версию llama.cpp с поддержкой draft-mtp; при MTP не поддерживаются параллельные последовательности через -np > 1 и параметр --mmproj. Конкретный размер контекста в README не указан. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-27B-MTP-GGUF — GGUF-версия модели Qwen3.5-27B, подготовленная Unsloth на основе Qwen/Qwen3.5. Это мультимодальная causal language model с vision encoder, предназначенная для диалога, анализа изображений, рассуждений, программирования, агентских сценариев и вызова инструментов. Вариант поддерживает MTP speculative decoding для ускорения генерации примерно в 1,5–2 раза при использовании совместимой версии llama.cpp. Модель содержит 27B параметров, 64 слоя и скрытое измерение 4096. Архитектура сочетает Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; заявлена ранняя интеграция мультимодальных токенов. Поддерживается 201 язык и диалект, а входные данные могут включать текст и изображения. В README не указана длина контекста. GGUF-варианты используют imatrix-данные, оптимизированные для диалога, программирования, длинного контекста и tool calling. Сильные стороны модели — мультимодальность, широкое языковое покрытие, поддержка рассуждений и инструментов, а также ускоренная генерация с MTP. Ограничения связаны с требованиями к совместимому llama.cpp и специальным режимам запуска: для MTP пока не поддерживаются параллельные последовательности с -np > 1 и параметр --mmproj. Модель распространяется по лицензии Apache-2.0.

Карточка модели ArliAI/Qwen3.5-9B-RpRMax-v1 на Hugging Face совпадает с карточкой Qwen/Qwen3.5-9B, поэтому описание составлено по ней. Qwen3.5-9B — мультимодальная модель Qwen, разработанная командой Qwen и представленная в формате Hugging Face Transformers. Это дообученная версия Qwen/Qwen3.5-9B-Base: причинная языковая модель с визуальным энкодером, 9 млрд параметров и гибридной архитектурой с Gated Delta Networks и разреженными Mixture-of-Experts. Модель принимает текст и изображения и генерирует текст; поддерживает чат и вызов инструментов. Модель предназначена для диалога, рассуждений, программирования, визуального понимания и агентных сценариев с использованием инструментов. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000; в режиме по умолчанию перед ответом генерируется содержимое рассуждений. В карточке заявлена поддержка 201 языка и диалекта, но список языков в предоставленных данных опущен. В README заявлены высокая эффективность гибридной архитектуры и улучшенные результаты на задачах рассуждения, кода и визуального понимания; независимых оценок в предоставленном тексте недостаточно для проверки этих утверждений. Для длинного контекста могут потребоваться значительные ресурсы, а совместимость и пропускная способность зависят от версии и конфигурации сервера. Лицензия — Apache-2.0.

Qwen3.6-27B-NEO-CODE-Di-IMatrix-MAX-GGUF — это набор GGUF-квантов модели Qwen3.6-27B, разработанной командой Qwen и дополнительно оптимизированной DavidAU. Кванты созданы с применением объединённых NEO и NEO-CODE imatrix-датасетов, а также дополнительных настроек тензоров, подобранных по результатам бенчмарков относительно полной BF16-версии. Модель предназначена для широкого круга задач: программирования, математики, решения задач, диалогов с длинным контекстом, многошагового взаимодействия, творческого письма, генерации сюжетов и сцен, сторителлинга и ролевых сценариев. Заявлена поддержка английского и китайского языков. Максимальный контекст составляет 256K токенов. Модель поддерживает работу с текстом и изображениями; для обработки изображений требуется совместимый файл mmproj, размещённый вместе с GGUF-файлом. Доступны варианты квантования от IQ2_M до Q8_0 с разным соотношением размера и точности. По данным README, Q8_0 сохраняет 98,38% показателя Same Top P относительно полной точности, IQ4_XS — 93,98%, а IQ2_M — 82,66%. Сильными сторонами заявлены качество при длинном контексте, кодировании, математике и стандартном решении задач, однако качество и требования к памяти зависят от выбранного кванта. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.6-35B-A3B-MTP-GGUF — GGUF-квантизированная версия модели Qwen3.6-35B-A3B. Базовую модель разработала команда Qwen, а данный вариант опубликован Unsloth. Это причинная языковая модель с vision encoder, ориентированная на генерацию текста, программирование, агентные сценарии, работу с репозиториями и frontend-задачами, а также вызов инструментов с вложенными объектами. Модель использует архитектуру Mixture of Experts: 35 млрд параметров всего, около 3 млрд активируются при обработке каждого токена; в составе 40 слоёв, 256 экспертов, 8 маршрутизируемых и 1 общий активный эксперт. Поддерживаются многошаговое предсказание MTP, сохранение контекста рассуждений из предыдущих сообщений и обработка изображений благодаря vision encoder. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Точный набор поддерживаемых языков в README не указан. MTP заявлен как способ ускорить инференс примерно в 1,5–2 раза без потери точности. Модель рассчитана на запуск через llama.cpp, Unsloth Studio и совместимые инструменты; доступны режимы для GPU, CPU и Metal. В README указано ограничение: при использовании MTP параметры -np > 1 и --mmproj пока не поддерживаются. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3.8-27B-GGUF — GGUF-квантизированная версия модели Qwen3.8-27B, подготовленная компанией ByteShape с использованием ShapeLearn. Этот метод подбирает тип данных отдельно для каждого тензора, чтобы сохранить высокое качество при малой разрядности. Модель предназначена для локального запуска на GPU через llama.cpp и поддерживает работу с изображениями благодаря встроенному vision projector. Модель ориентирована на математические задачи, программирование, общие знания, выполнение инструкций, многошаговые диалоги, мультиязычные сценарии, использование инструментов и агентные задачи. В выпуск входят пять вариантов размером от 8,8 до 13,1 ГБ и с разрядностью от 2,56 до 3,84 бит на вес, что позволяет выбирать баланс между требованиями к видеопамяти, скоростью и качеством. В GGUF также встроена MTP-голова для speculative decoding; для её использования нужен llama.cpp с соответствующими параметрами. Поддержка DFlash2 требует версии llama.cpp b10658 или новее. Сильными сторонами являются оптимизация под GPU, несколько вариантов квантизации и оценка на наборах тестов для математики, программирования, знаний, следования инструкциям и агентного использования. Ограничения включают потенциальное снижение качества по сравнению с базовой BF16-моделью из-за квантизации, необходимость подходящей видеопамяти и зависимость расширенных функций от версии llama.cpp. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-9B MLX MXFP4 — это квантованная версия модели empero-ai/Qwen3.8-9B, подготовленная schsu для локального запуска на компьютерах Mac с Apple silicon. Исходная модель разработана Empero и представляет собой полнопараметрическую дистилляцию Qwen3.8 2.4T A95B в архитектуру Qwen3.5-9B на основе примерно 70 000 отобранных трасс учителя, посвящённых математике, программированию, рассуждениям, следованию инструкциям и использованию инструментов. Модель предназначена для генерации текста, решения задач, программирования, рассуждений, выполнения инструкций и сценариев с tool use и function calling. Она поддерживает английский язык; в комплект входят токенизатор, конфигурация генерации и chat template. Модель содержит 9,65 млрд параметров, использует архитектуру Qwen3.5-9B и 4-битное weight-only-квантование MXFP4 (E2M1) с размером группы 32. Средний размер хранения составляет 4,251 бита на вес, размер квантованного checkpoint — около 4,5 ГБ, архитектурный предел контекста — до 262 144 токенов. К сильным сторонам относятся локальная работа на Apple silicon, поддержка явного режима рассуждений, вызова функций и многошагового взаимодействия с инструментами, а также компактный размер по сравнению с полноразмерными весами. Практические требования к памяти зависят от длины контекста и характеристик устройства, поскольку KV-кэш растёт вместе с активным контекстом; приведённые показатели скорости и потребления памяти являются лишь локальным smoke-тестом и не заменяют комплексные бенчмарки. Для работы требуются современная macOS, Python 3.10 или новее, mlx-lm версии 0.31.3 или новее и mlx версии 0.32.0 или новее. Модель распространяется по лицензии Apache-2.0.

Qwopus3.6-27B-v2-AWQ-4bit — это квантизированная версия Jackrong/Qwopus3.6-27B-v2, дообученной на базе Qwen 3.6 27B с дистилляцией рассуждений Claude Opus. Квантизацию выполнил mconcat. Модель предназначена для генерации текста, решения математических и логических задач, программирования, анализа, творческого письма, работы с общими знаниями и вызова инструментов. В README также сохранены метаданные мультимодального процессора и vision-компонентов. Модель использует гибридную архитектуру DeltaNet и softmax attention, а также однос-layer MTP head для speculative decoding. Основные веса представлены в формате AutoAWQ INT4 (W4A16) с размером группы 128, при этом ряд компонентов, включая vision tower, мультимодальный проектор, MTP head, нормы и крайние слои трансформера, сохранён в BF16. Размер чекпойнта составляет около 26 ГБ вместо примерно 54 ГБ у BF16-версии. Заявлены языки English, Chinese, Korean и Japanese; в конфигурации запуска указан максимальный контекст 16384 токена. К сильным сторонам относятся существенное уменьшение размера модели, сохранение качества исходной BF16-версии на приведённых тестах и ускорение генерации с MTP speculative decoding. На одном NVIDIA B300 SXM6 заявлена скорость до 251 токена в секунду при batch size 1 и ускорение 2,19 раза относительно режима без MTP. Ограничения включают зависимость от совместимого окружения vLLM версии 0.21.0 или выше, необходимость trust_remote_code для указанного запуска и аппаратную специфику приведённых показателей производительности. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Qwythos-9B-Claude-Mythos-5-1M-heretic — модель на 9 млрд параметров, созданная Richard Young на основе Qwen/Qwen3.5-9B. Это полное дообучение текстовой части модели методом supervised fine-tuning; визуальный модуль унаследован от базовой модели, но при дообучении не настраивался. Модель предназначена для диалогов, рассуждений и работы с инструментами, включая вызовы функций в формате Qwen3.5. Контекстное окно расширено до 1 048 576 токенов с помощью YaRN; автор сообщает о проверке работы на контексте около 137 тысяч токенов. Это позволяет анализировать крупные репозитории, длинные переписки и наборы документов в одном запросе. Модель поддерживает английский язык. В карточке заявлены успешные результаты на собственном тесте вызова инструментов из семи запросов; это ограниченная оценка, а не независимое подтверждение качества. Автор предупреждает о циклах повторов при жадной генерации или низкой температуре и рекомендует проверять точные сведения в критически важных сценариях, используя поиск или другие инструменты. Возможности работы с изображениями унаследованы от базовой мультимодальной архитектуры, но в этой версии не настраивались и не тестировались. Лицензия — Apache 2.0.

Youtu-LLM-2B — инструктивная языковая модель Tencent для диалогов, рассуждений и выполнения задач агентного типа. Это плотная авторегрессионная модель с архитектурой YoutuForCausalLM и механизмом Dense MLA; в ней около 2 млрд параметров, 32 слоя и словарь из 128 256 токенов. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и режим рассуждений, включаемый через шаблон диалога. Модель предназначена для чат-ботов, ответов на вопросы, задач STEM и программирования, работы с длинными контекстами и многошаговых агентных сценариев. Карточка приводит сравнительные результаты на общих и агентных бенчмарках, но эти оценки не гарантируют качество на конкретных данных. В репозитории указана лицензия other; конкретные условия следует сверять с текстом лицензии проекта.

Bagel 7B v0.5 — разговорная языковая модель, созданная Jon Durbin на основе дообучения Mistral-7B-v0.2 на наборе данных Bagel v0.5. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; в репозитории веса представлены в формате Safetensors. Модель предназначена для диалога и широкого круга инструктивных задач: ответов на вопросы, рассуждений, суммаризации, написания текстов, программирования и работы с контекстом. Обучающие данные охватывают математику, естественные науки, код, чтение с пониманием, ролевые диалоги, SQL, вызов функций и другие сценарии. Карточка указывает четыре варианта форматирования запросов, включая Vicuna, Llama 2, Alpaca и модифицированный ChatML; шаблон по умолчанию использует формат Llama 2. Модель работает с текстом и генерирует текст. Лицензия — Apache-2.0. Качество ответов зависит от задачи и формата запроса; модель может ошибаться в фактах и коде, а состав обучающих данных включает токсичный и потенциально незаконный контент. Для безопасного применения следует проверять результаты и учитывать особенности данных и ограничений исходной Mistral-7B-v0.2.

Blossom-V7.1-27B — открытая мультимодальная модель общего назначения от разработчиков семейства Blossom. Это плотная модель архитектуры Qwen3.5 с 27 млрд параметров, дообученная для работы в роли ассистента. Она принимает текст и изображения и генерирует текст; поддерживает диалог, рассуждения, вызов инструментов и агентные сценарии. В README указаны режимы рассуждения medium и max, контекст до 262 144 токенов и рекомендуемый контекст 131 072 токена. Модель предназначена для повседневных вопросов и ответов, знаний общего характера, математики, программирования, веб-разработки, визуализации данных и анализа изображений. Доступны запуски через Transformers, vLLM и llama.cpp; для мультимодального общения и сохранения вызовов инструментов требуется использовать встроенный шаблон чата и сохранять полные сообщения ассистента в истории диалога. Модель распространяется под лицензией Apache-2.0. Для запуска версии 27B требуется достаточно памяти, чтобы разместить веса на GPU; фактическая скорость и доступная длина контекста зависят от оборудования. В README также отмечено, что качество последующих ходов диалога может снизиться, если при повторной передаче истории опускать поля рассуждений или вызовы инструментов.

CyberNeurova разработала эту мультимодальную разговорную модель на основе Qwen/Qwen3.8-Flash-Next. Она принимает текст и изображения и предназначена для диалога, рассуждений, программирования, ответов на вопросы по изображениям и работы с инструментами. Модель использует разреженную MoE-архитектуру: заявлены 125 млрд параметров всего и около 6 млрд активных на токен; контекст — 262 тыс. токенов с возможностью расширения до 1 млн с помощью YaRN. Поддерживается явный режим рассуждений, а стиль ответа можно задавать системным промптом. Разработчик позиционирует модель как нейтрального помощника с уменьшенным числом встроенных отказов; заявлено, что рассуждения, программирование и общие знания сохранены. Для запуска в README приведена конфигурация vLLM с выделенным образом для этой архитектуры. Модель распространяется по лицензии Apache-2.0. Уменьшение числа отказов означает, что поведение и безопасность ответов сильнее зависят от системного промпта и приложения; заявленные характеристики производительности и качества в предоставленных материалах независимо не подтверждены.

casperhansen/deepseek-r1-distill-qwen-32b-awq — это распространённая пользователем casperhansen версия DeepSeek-R1-Distill-Qwen-32B с 4-битным квантованием AWQ. Исходную модель разработала DeepSeek на базе Qwen2.5-32B от команды Qwen компании Alibaba Cloud; она дообучена на 800 тысячах образцов, отобранных с использованием DeepSeek-R1, и предназначена для генерации текста и задач, требующих рассуждений, включая математику, программирование и научные вопросы. Модель является текстовой autoregressive language model с архитектурой Qwen2ForCausalLM и примерно 32 млрд параметров. В конфигурации указаны 64 слоя, 40 attention heads, 8 key-value heads, размер скрытого состояния 5120 и максимальная длина контекста 131072 токена. Репозиторий содержит веса Safetensors в формате AWQ с 4-битными группами размера 128 и типом вычислений bfloat16. Квантование существенно уменьшает требования к памяти и подходит для локального запуска, но может снижать точность по сравнению с исходной полноразмерной моделью; конкретные результаты тестирования этой AWQ-сборки в карточке модели не приведены. Для модели casperhansen указана лицензия MIT. В карточке также отмечается, что исходная DeepSeek-R1-Distill-Qwen-32B поддерживает коммерческое использование, модификацию и создание производных работ, однако при практическом применении следует учитывать условия лицензий исходных компонентов и выбранного программного окружения.

Dolphin 2.9 Llama 3 8B 1M — диалоговая языковая модель, подготовленная Эриком Хартфордом, Лукасом Аткинсом, Фернандо Фернандесом и командой Cognitive Computations на базе Meta Llama 3 8B. Это полнос-параметрическое дообучение плотной архитектуры Llama с шаблоном запросов ChatML; метаданные указывают 7,5 млрд параметров и контекст до 1 048 576 токенов. Модель предназначена для ответов на инструкции, диалогов, задач по коду, математики и начальных сценариев использования инструментов и function calling. В README отмечено, что в обучающем наборе есть ошибка, из-за которой модель может излишне упоминать «SYSTEM MESSAGE»; автор рекомендует явно попросить её не обсуждать системное сообщение. Модель описана как uncensored и может с готовностью выполнять вредоносные запросы, поэтому перед предоставлением пользователям автор рекомендует добавить собственный слой выравнивания. Условия использования определяются лицензией Meta Llama 3 Community License; коммерческое применение допускается в соответствии с её условиями.

Это набор GGUF-квантизаций модели dolphin-2.9-llama3-8b-1m, созданной на базе Meta-Llama-3-8B. Квантизации подготовлены пользователем bartowski с использованием llama.cpp и метода imatrix; исходная модель разработана командой Cognitive Computations. Модель предназначена для генерации текста, диалоговых ассистентов, следования инструкциям, программирования, математических задач, function calling и агентских сценариев. Модель содержит около 8 миллиардов параметров, работает в текстовой модальности и использует формат диалоговых сообщений ChatML с ролями system, user и assistant. В обучении или дообучении использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, UltraChat, Orca Math и другие датасеты. Суффикс 1m указывает на вариант с очень длинным контекстом, однако точный размер контекстного окна в README не указан. Доступно множество вариантов квантизации с размером файлов примерно от 2,39 до 8,54 ГБ. Q6_K и Q5-серии обеспечивают высокое качество, а Q4 и более компактные варианты снижают требования к памяти и подходят для локального запуска; наиболее агрессивные Q2 и Q3-квантизации имеют заметно более низкое качество. Ограничения включают возможную потерю качества из-за квантизации, отсутствие мультимодальности и неуказанные в README показатели производительности. Лицензия обозначена как other, поэтому точные условия использования следует уточнять у разработчиков исходной модели.

darkc0de/gemma-4-31B-it-Claude-Opus-Distill-v2-heretic — производная модель на основе unsloth/gemma-4-31B-it, дообученная с помощью Unsloth на наборах рассуждений, дистиллированных из взаимодействий Claude Opus 4.5 и 4.6 с высоким уровнем рассуждений. Затем модель была декензурирована методом abliteration с помощью Heretic v1.3.0; в описанных измерениях частота отказов снизилась с 89 до 28 из 100, а KL-дивергенция относительно исходной версии составила 0,0063. Модель предназначена для диалогов и решения многошаговых задач: генерации и отладки кода, научного анализа, исследовательских запросов и повседневных инструкций. Архитектура Gemma 4 — плотная мультимодальная модель на 31 млрд параметров с поддержкой изображений; заявлены режим рассуждений и обработка изображений с настраиваемым бюджетом визуальных токенов. В метаданных указан pipeline image-text-to-text и библиотека Transformers. Модель распространяется по лицензии Apache-2.0. В README отмечены сниженная склонность к отказам и способность к сложным рассуждениям, однако бенчмарки ещё не опубликованы; измерение отказов приведено только для конкретной внутренней проверки и не гарантирует поведения во всех сценариях.

unsloth/gemma-4-E4B-it-UD-MLX-4bit — это 4-битная MLX-квантизованная версия instruction-tuned модели Gemma 4 E4B, подготовленная Unsloth на базе google/gemma-4-E4B-it. Исходное семейство Gemma разработано Google DeepMind и распространяется как семейство открытых моделей с открытыми весами. Модель предназначена для локального запуска и дообучения, в том числе на ноутбуках и других устройствах с поддержкой MLX. Модель поддерживает мультимодальный ввод: текст и изображения, а для малых моделей Gemma 4 также заявлена нативная поддержка аудио; результатом является текст. Она ориентирована на генерацию текста, программирование, рассуждения, мультимодальное понимание и агентские сценарии с вызовом функций. Для E4B заявлены 4,5 млрд эффективных параметров, около 8 млрд параметров с учётом эмбеддингов, 42 слоя, контекст до 128K токенов и словарь размером 262K. Архитектура использует гибридное внимание с чередованием локального sliding-window и глобального внимания; размер локального окна E4B составляет 512 токенов. Поддерживается более 140 языков, а также системная роль и настраиваемый режим рассуждений. К сильным сторонам относятся сочетание компактного размера, мультимодальности, большого контекстного окна, возможностей рассуждения и оптимизации для локального выполнения. К ограничениям относятся потенциальная потеря качества из-за 4-битной квантизации и зависимость запуска от совместимого MLX-окружения; конкретные показатели качества этой версии в README не приведены. Лицензия — Apache 2.0, при этом для Gemma 4 также указана отдельная документация Google по условиям лицензирования.

Карточка модели yemsrach3723/GLM-5.2 на Hugging Face совпадает с карточкой zai-org/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — флагманская языковая модель компании Z.ai для длительных задач и диалогового взаимодействия. Она предназначена для генерации текста, программирования и решения задач, требующих работы с большим объёмом контекста. Модель построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров. Поддерживает контекст до 1 048 576 токенов; в README также отмечены гибкие уровни усилий для задач программирования, механизм IndexShare для снижения вычислений на длинном контексте и улучшение MTP для ускорения спекулятивного декодирования. Заявлены английский и китайский языки. Модель доступна в формате safetensors для Transformers и поддерживается рядом сред локального запуска, включая vLLM и SGLang. Лицензия — MIT. README приводит сравнительные результаты на бенчмарках, но они зависят от настроек и сценариев оценки.

Карточка модели kizzlah/granite-4.2-3b на Hugging Face совпадает с карточкой ibm-granite/granite-4.2-3b, поэтому описание составлено по ней. Granite-4.2-3B — компактная языковая модель IBM Granite Team на базе плотного декодирующего трансформера GraniteForCausalLM с 3,4 млрд параметров. Она дообучена на Granite-4.1-3B-Base и рассчитана на диалог, рассуждения и следование инструкциям; доступны режимы полного, облегчённого и отключённого рассуждения. Модель предназначена для решения математических и логических задач, программирования, многошагового анализа и вызова инструментов в агентных сценариях. Она поддерживает контекст до 131 072 токенов по метаданным; в README заявлено окно 512 тысяч токенов. Поддерживаемые языки включают английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский; качество может быть ниже английского. Модель использует архитектуру decoder-only dense Transformer, формат весов safetensors и библиотеку Transformers. Она выпущена по лицензии Apache 2.0, допускающей коммерческое и академическое использование. Ответы могут быть неточными, предвзятыми или небезопасными; промежуточные рассуждения не всегда отражают итоговый ответ.

Hunyuan-4B-Instruct — языковая модель Tencent на архитектуре HunYuan Dense V1 с 3,9 млрд параметров, дообученная для выполнения инструкций и диалогов на основе tencent/Hunyuan-4B-Pretrain. Она предназначена для генерации ответов, решения математических и научных задач, программирования, рассуждений и сценариев с использованием инструментов. Модель поддерживает режимы быстрого и пошагового рассуждения и контекст до 262 144 токенов; для инференса использует Transformers, также в карточке описано развертывание через TensorRT-LLM, vLLM и SGLang. Среди заявленных сильных сторон — работа с длинными текстами и агентными задачами, а также эффективный инференс благодаря Grouped Query Attention. В README приведены результаты бенчмарков для задач математики, науки, программирования, рассуждений, следования инструкциям, работы с агентами и длинным контекстом; таблица отдельно предупреждает, что часть результатов получена для базовых моделей семейства. Данных о лицензии в предоставленной карточке нет.

Карточка модели Merlinoz11/Hy3-Apex-GGUF на Hugging Face совпадает с карточкой tencent/Hy3, поэтому описание составлено по ней. Hy3 — разговорная модель с открытыми весами, разработанная командой Tencent Hy. Это MoE-модель для генерации текста; карточка Hugging Face описывает вариант репозитория как модель на 16,6 млрд параметров, а README — семейство Hy3 как модель на 295 млрд параметров с 21 млрд активных параметров и 3,8 млрд параметров MTP-слоя. Модель предназначена для рассуждений, работы с длинным контекстом, вызова инструментов и задач продуктивности, включая программирование, офисную работу, финансовое моделирование, фронтенд-разработку и создание игр. В метаданных указан контекст 262 144 токена, поддержка чата и формат Safetensors. Разработчик сообщает об улучшениях надёжности вызова инструментов, следования форматам, удержания контекста и снижения галлюцинаций по внутренним оценкам. README рекомендует серверный запуск через vLLM или SGLang и отмечает значительные требования к памяти: для полного варианта предлагается конфигурация из восьми GPU H20-3e или устройств с сопоставимой памятью. Лицензия — Apache-2.0. Языки в источниках не установлены.

Ling-1T-GGUF — GGUF-версия языковой модели Ling-1T, разработанной InclusionAI. Это флагманская немыслящая модель серии Ling 2.0 для генерации текста, сложного рассуждения, программирования, математических и логических задач, использования инструментов, создания фронтенд-кода и мультиязычного контента. Модель построена на архитектуре Ling 2.0 и содержит около 1 триллиона общих параметров, из которых примерно 50 миллиардов активируются для каждого токена. Используется разреженная MoE-архитектура с коэффициентом активации 1/32, MTP-слои, маршрутизация экспертов без auxiliary loss, QK-нормализация и FP8-обучение. Модель предварительно обучалась на более чем 20 триллионах токенов, поддерживает контекст до 128K токенов и применяет метод evolutionary chain-of-thought (Evo-CoT). README не указывает полный список поддерживаемых языков, однако заявляет поддержку мультиязычного текста. К сильным сторонам относятся эффективность рассуждения, качество генерации кода, визуальное понимание, создание эстетичного фронтенд-кода, математические и логические задачи, а также вызов инструментов. По заявлению разработчиков, модель демонстрирует высокие результаты на ряде сложных бенчмарков, включая AIME 25, ArtifactsBench и BFCL V3. Ограничения включают чрезвычайно большой общий размер модели и, вероятно, высокие требования к вычислительным ресурсам; конкретные требования к памяти и производительности GGUF-версии в README не приведены. Лицензия — MIT.

LongCat-Flash-Lite-Sparse — разговорная языковая модель Meituan семейства LongCat, предназначенная для генерации текста, работы с длинным контекстом и агентных сценариев. В README она описана как невозрастающая по рассуждениям модель типа Mixture-of-Experts с 69 млрд параметров и примерно 3 млрд активируемых на токен; метаданные каталога указывают 2,5 млрд параметров. В архитектуре LongcatCausalLM используется LongCat Sparse Attention, а заявленная длина контекста достигает 1 024 000 токенов. Модель рассчитана на диалог, агентное программирование, поиск и использование инструментов, а также на обработку больших объёмов текста. README сообщает о повышенной эффективности вывода на длинном контексте и улучшении агентных возможностей относительно плотной версии LongCat-Flash-Lite. В метаданных также отмечен интерфейс вызова инструментов. Репозиторий содержит веса Safetensors и лицензирован по MIT. Для развёртывания README описывает адаптации в SGLang. Модель не проходила исчерпывающую оценку для всех прикладных сценариев; заявленные результаты зависят от конфигурации, в частности от включения Hierarchical Indexing.