II.4Отладка, тестирование и качество ПО

OpenAI o3 — универсальная модель, предназначенная для решения задач в разных областях. Она ориентирована на математику, естественные науки, программирование и рассуждения по визуальным данным, а также подходит для технического письма и выполнения инструкций. Метаданные каталога относят модель к задаче image-text-to-text; описание указывает на работу с визуальной информацией, но не уточняет архитектуру, размер, контекст, языки или лицензию.

hermes42/Phi-3-medium-128k-instruct-imatrix-GGUF — это набор GGUF-квантизированных версий модели Phi-3-Medium-128K-Instruct, опубликованный пользователем или организацией hermes42. Исходная модель разработана Microsoft и содержит около 14 миллиардов параметров. Для квантования использована библиотека llama.cpp, а importance matrix рассчитана на наборе group_10_merged.txt для улучшения perplexity. Модель предназначена для генерации текста и работы в формате инструкций: ответов на вопросы, рассуждений, задач по математике, программированию, логике и обработки длинного контекста. Поддерживаемый контекст исходной модели составляет до 128 тысяч токенов. В метаданных указана многоязычность, однако основное назначение и оценивание описаны прежде всего для английского языка. Формат GGUF удобен для локального запуска и сценариев с ограниченными ресурсами, а квантизация может снизить требования к памяти и задержку по сравнению с полноразмерной моделью. К сильным сторонам относятся большой контекст, ориентация на рассуждения, код и математику, а также оптимизация квантов с помощью importance matrix. Ограничения включают возможное снижение точности из-за квантизации, типичные для языковых моделей ошибки и необходимость самостоятельно проверять корректность, безопасность и справедливость результатов, особенно в высокорисковых применениях. Модель выпущена по лицензии MIT.

stelterlab/phi-4-AWQ — это 4-битно-квантизированная версия модели phi-4, разработанной Microsoft Research. Квантизация выполнена stelterlab в формате INT4 GEMM с использованием AutoAWQ. Базовая модель представляет собой плотный decoder-only Transformer с 14 млрд параметров, обученный на синтетических и отфильтрованных общедоступных данных, академических книгах, наборах вопросов и ответов, образовательных материалах и коде. Модель ориентирована преимущественно на английский язык; около 8% обучающих данных являются многоязычными. Модель предназначена для генерации текста по текстовым запросам, прежде всего в чат-формате, и может использоваться как основа генеративных AI-функций, в том числе в условиях ограниченных ресурсов и требований к низкой задержке. Среди ключевых сценариев — рассуждение, логика, математика, программирование, ответы на вопросы, диалог и выполнение инструкций. Контекстное окно составляет 16 000 токенов, а выходом является сгенерированный текст. Обучение включало supervised fine-tuning и direct preference optimization для повышения точности следования инструкциям и безопасности. К преимуществам относятся относительно компактный для своих возможностей размер, акцент на рассуждениях, математике, коде и следовании инструкциям, а также снижение требований к памяти благодаря INT4-квантизации. Ограничения включают преимущественную ориентацию на английский язык, статичность модели и отсечение общедоступных данных на июнь 2024 года; перед применением в чувствительных или высокорисковых сценариях необходимы проверка точности, безопасности и справедливости результатов. Модель распространяется по лицензии MIT.

QuantTrio/Qwen3.6-27B-AWQ-6Bit — квантованная версия открытой модели Qwen3.6-27B, разработанной командой Qwen. Вариант из данного репозитория получен с помощью data-free-квантования без калибровочного набора данных и предназначен для запуска через Transformers и высокопроизводительные серверы инференса, включая vLLM, SGLang и KTransformers. Модель представляет собой авторегрессионную языковую модель с vision encoder, содержащую около 27 млрд параметров. Архитектура включает 64 слоя, Gated DeltaNet и Gated Attention, а также поддержку multi-step speculative decoding. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Основные сценарии применения — программирование, агентная работа с кодом, анализ репозиториев, фронтенд-разработка, рассуждения по длинному контексту и задачи, требующие обработки текста и изображений. README не указывает полный перечень поддерживаемых языков. К сильным сторонам относятся большой контекст, ориентация на coding agent-сценарии, поддержка сохранения контекста рассуждений и снижение требований к памяти благодаря AWQ-квантованию до 6 бит; размер файлов модели составляет около 26 GiB. Ограничения включают возможные потери качества относительно исходной модели из-за квантования, отсутствие опубликованных в README подробных результатов именно для этой квантованной версии и зависимость от совместимых версий vLLM, Transformers и CUDA. Для запуска рекомендуются vLLM 0.19.0, Transformers 5.5.4 и CUDA 12.8 или 13.0; при использовании tensor parallelism на 8 GPU требуется expert parallelism. Модель распространяется по лицензии Apache-2.0.

FenomAI/Qwen3.6-27B-AWQ-INT4 — квантованная до AWQ INT4 версия открытой модели Qwen3.6-27B, разработанной командой Qwen; базовая модель предоставлена в репозитории Qwen/Qwen3.6-27B. Модель распространяется в формате, совместимом с Hugging Face Transformers, vLLM, SGLang и KTransformers. Это каузальная языковая модель с vision encoder, предназначенная для работы с текстом и изображениями. Основные сценарии — агентное программирование, разработка интерфейсов, анализ репозиториев и решение задач на уровне программных проектов. Модель также поддерживает сохранение контекста рассуждений из предыдущих сообщений для итеративной разработки. Модель содержит 27 млрд параметров, 64 слоя и имеет нативную длину контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN; размерность скрытого представления составляет 5120. Точные поддерживаемые языки в README не указаны. Ключевое преимущество — ориентация на coding agent-сценарии и работу с длинным контекстом. Ограничения, требования к оборудованию и влияние квантования AWQ INT4 на качество отдельно не описаны. Лицензия — Apache 2.0.

Qwen3.6-35B-A3B-Cerebellum-GGUF — это квантизированная GGUF-версия модели Qwen/Qwen3.6-35B-A3B, разработанной Qwen. Квантизацию выполнил deucebucket с использованием Cerebellum — метода чувствительной к качеству смешанной точности, который назначает разным группам весов разную разрядность. Модель построена по архитектуре MoE с 35 млрд параметров и примерно 3 млрд активных параметров; предназначена для генерации текста, диалогов, программирования и задач рассуждения. Основной рекомендованный вариант занимает 14 ГБ, использует 3,34 бита на вес и рассчитан на эффективную работу с длинным контекстом свыше 160 тысяч токенов. Также доступен вариант v3 размером 11 ГБ с 2,76 битами на вес, ориентированный на минимальное потребление видеопамяти; для него заявлена поддержка обработки изображений через отдельный vision projector mmproj-F16.gguf. Модель запускается в стандартном llama.cpp без специальной модификации. По приведённым локальным измерениям, рекомендованный вариант показывает 90,2% на HumanEval+, 93,3% на HumanEval, 95,8% нормированной точности на ARC-Challenge, 92,3% на HellaSwag и 75% на MMLU-Redux. К сильным сторонам относятся высокая эффективность смешанной квантизации, хорошие результаты в кодировании, длинный контекст и возможность запуска на видеокарте с 24 ГБ памяти. Ограничения связаны с потерями качества, неизбежными при экстремальной квантизации, различиями возможностей вариантов и тем, что заявленные результаты получены в локальном запуске на RTX 3090 и не являются независимой валидацией. Модель распространяется по лицензии Apache-2.0. Для запуска требуются совместимые сборки llama.cpp и, при использовании визуального варианта, отдельный файл vision projector.

Trinity-Large-Thinking — ориентированная на рассуждения и агентные сценарии модель семейства Trinity-Large от Arcee AI. Это дообученная на базе arcee-ai/Trinity-Large-Base разреженная MoE-модель для генерации текста; по README, в семействе около 398 млрд параметров и примерно 13 млрд активных параметров на токен, используется 256 экспертов, включая одного общего. Метаданные указывают 8,7 млрд параметров, поэтому точный размер данного чекпойнта в источниках расходится. Модель предназначена для многошагового планирования, вызова инструментов, диалогов и задач, требующих развёрнутых рассуждений. Она формирует трассы рассуждений в специальных блоках, которые следует сохранять в контексте при многоходовом взаимодействии и циклах агента. Поддерживает 262 144 токена контекста и языки en, es, fr, de, it, pt, ru, ar, hi, ko и zh. Метаданные указывают лицензию other; конкретные условия использования следует сверять с карточкой модели.

Yi-1.5-34B-Chat-GGUF — квантизированная в формате GGUF версия диалоговой языковой модели Yi-1.5-34B-Chat, разработанной компанией 01-ai. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для локального текстового общения и широкого круга задач: генерации текста, следования инструкциям, программирования, математики, рассуждений, понимания языка, здравого смысла и чтения с пониманием. Модель содержит около 34 млрд параметров и относится к семейству текстовых моделей с архитектурной основой Llama. Она поддерживает диалоговый шаблон ChatML и рассчитана на общий сценарий использования. Yi-1.5 была дополнительно обучена на корпусе объёмом 500 млрд токенов и дообучена на 3 млн разнообразных примеров; точная длина контекста, языки и другие технические характеристики в README не указаны. Сильные стороны модели — универсальность, развитое следование инструкциям, способности к программированию, математике, рассуждениям и пониманию текста. Ограничения включают отсутствие опубликованных подробных технических характеристик, а также типичные для генеративных моделей риски неточностей, неподходящего или вредного содержания. Модель распространяется по лицензии Apache-2.0.

Карточка модели ServiceNow-AI/Apriel-5B-Base на Hugging Face совпадает с карточкой ServiceNow-AI/Apriel-5B-Instruct, поэтому описание составлено по ней. Apriel-5B-Instruct — языковая модель общего назначения от ServiceNow AI, дообученная на Apriel-5B-Base с помощью продолженного предобучения, supervised fine-tuning и этапов выравнивания DPO и RLVR. Это плотный авторегрессионный Transformer-декодер с grouped-query attention и позиционными эмбеддингами YARN; в репозитории указаны 4,6 млрд параметров и контекст до 16 384 токенов. Веса опубликованы в формате safetensors и доступны по лицензии MIT. Модель предназначена для диалога и следования инструкциям, ответов на вопросы, генерации и краткого изложения текста, помощи с кодом, логических рассуждений и творческого письма. Она поддерживает структурированные диалоги и сценарии вызова инструментов. Основной язык — английский; качество на менее представленных языках может быть ниже. Модель может выдавать фактически неверные, вводящие в заблуждение или устаревшие ответы и отражать смещения обучающих данных. Её не следует применять в критически важных сценариях без проверки человеком и дополнительных мер защиты; для медицинских, юридических и финансовых решений она не подходит без специальных safeguards.

duyntnet/cogito-v1-preview-llama-8B-imatrix-GGUF — это набор imatrix-квантизированных версий текстовой instruction-tuned модели Cogito v1-preview-llama-8B, разработанной командой deepcogito и опубликованной пользователем duyntnet в формате GGUF. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, задач STEM, общего помощника и вызова инструментов. Модель относится к гибридным reasoning-моделям: она может отвечать напрямую в стандартном режиме или выполнять расширенное самообдумывание перед ответом. Обучение проводилось с использованием метода Iterated Distillation and Amplification (IDA). Указаны поддержка контекста до 128K токенов, более 30 языков, включая английский, а также текстовый ввод и текстовый вывод. Заявлены улучшенные многоязычные, программные и tool-calling возможности по сравнению с сопоставимыми по размеру моделями. Формат GGUF подходит для локального запуска через llama.cpp и совместимые приложения, включая KoboldCPP, Ollama, text-generation-webui, LM Studio и GPT4All. Расширенное мышление включается специальной системной инструкцией или параметром enable_thinking в chat template. К ограничениям относятся отсутствие в README точных характеристик базовой архитектуры и параметров квантизации, а также возможное снижение качества по сравнению с исходной моделью из-за квантизации. Лицензия обозначена как other; при этом исходное описание указывает на открытую лицензию с разрешением коммерческого использования, но её точные условия не приведены.

CyberNeurova разработала эту мультимодальную разговорную модель на основе Qwen/Qwen3.8-Flash-Next. Она принимает текст и изображения и предназначена для диалога, рассуждений, программирования, ответов на вопросы по изображениям и работы с инструментами. Модель использует разреженную MoE-архитектуру: заявлены 125 млрд параметров всего и около 6 млрд активных на токен; контекст — 262 тыс. токенов с возможностью расширения до 1 млн с помощью YaRN. Поддерживается явный режим рассуждений, а стиль ответа можно задавать системным промптом. Разработчик позиционирует модель как нейтрального помощника с уменьшенным числом встроенных отказов; заявлено, что рассуждения, программирование и общие знания сохранены. Для запуска в README приведена конфигурация vLLM с выделенным образом для этой архитектуры. Модель распространяется по лицензии Apache-2.0. Уменьшение числа отказов означает, что поведение и безопасность ответов сильнее зависят от системного промпта и приложения; заявленные характеристики производительности и качества в предоставленных материалах независимо не подтверждены.

DeepHermes-3-Llama-3-3B-Preview-Abliterated — англоязычная чат-модель Nous Research, дообученная на базе NousResearch/DeepHermes-3-Llama-3-3B-Preview. Это плотная авторегрессионная модель семейства Llama с 3,2 млрд параметров и контекстом до 131 072 токенов. Она поддерживает обычный режим ответов и режим развёрнутых рассуждений, переключаемые системным промптом, а также вызов функций. Модель предназначена для рассуждений, решения сложных задач, структурированной генерации, аннотирования, оценки ответов и автоматизации. Её можно применять для программирования, исследовательской работы и поддержки принятия решений. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Суффикс «Abliterated» указывает на изменение защитного поведения, но README не описывает его механизм или результаты оценки.

unsloth/DeepSeek-R1-Distill-Llama-8B — текстовая языковая модель семейства Llama, опубликованная Unsloth на основе DeepSeek-R1-Distill-Llama-8B от DeepSeek. Это плотная авторегрессионная модель примерно на 7,5 млрд параметров с контекстом до 131 072 токенов; репозиторий содержит веса Safetensors и рассчитан на Transformers. Модель предназначена для диалоговой генерации текста и многошаговых рассуждений, включая решение математических задач и помощь в программировании. Её веса происходят от модели Llama 3.1 8B, дообученной на примерах рассуждений, сгенерированных DeepSeek-R1. В карточке заявлена поддержка английского языка; метаданные также отмечают чат и интерфейс вызова инструментов. Модель подходит для прототипирования ассистентов и задач, где полезны длинный контекст и развернутые рассуждения. Качество ответов может быть нестабильным, а сгенерированные выводы требуют проверки; README указывает максимальную длину генерации 32 768 токенов для описанной оценки. Лицензия репозитория — Llama 3.1, поэтому использование должно соответствовать её условиям.

Dolphin 2.7 Mixtral 8X7B AWQ — квантизированная 4-битная версия языковой модели Dolphin 2.7 Mixtral 8X7B, разработанной Cognitive Computations и подготовленной TheBloke. Модель основана на архитектуре Mixtral и предназначена для генерации текста, выполнения инструкций, диалоговых сценариев и задач программирования. При обучении использовались наборы данных Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder, Capybara и другие. Основной язык модели — английский. Модель использует квантизацию AWQ с параметрами 4 бит, group size 128 и форматом GEMM. Максимальная заявленная длина последовательности составляет 8192 токена, размер файлов модели — около 24,65 ГБ. Предусмотрен шаблон запросов ChatML с отдельными ролями system, user и assistant. Квантизация уменьшает требования к памяти и ускоряет инференс при сохранении качества, однако может незначительно влиять на точность по сравнению с исходной версией в формате FP16. Для запуска поддерживаются AutoAWQ, vLLM, Transformers и text-generation-webui; для Mixtral AWQ подтверждена работа vLLM версии 0.2.6. AWQ-версии рассчитаны преимущественно на Linux и Windows с GPU NVIDIA, поэтому на macOS рекомендуется использовать формат GGUF. В README указано, что модель распространяется по лицензии Apache-2.0.

Dolphin 2.9 Llama 3 8B — чат-модель, созданная Eric Hartford, Lucas Atkins, Fernando Fernandes и Cognitive Computations на основе Meta Llama 3 8B. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров; она дообучена на всех параметрах в формате ChatML. Контекст базовой модели составляет 8192 токена, а дообучение проводилось с длиной последовательности 4096 токенов. Модель предназначена для диалогов и выполнения инструкций, включая генерацию кода, математические задачи, начальные агентные сценарии и вызов функций. В обучении использовались наборы данных для общения, инструкций, кода и задач; основным языком модели является английский. Она ориентирована на высокую готовность выполнять запросы, поэтому перед предоставлением пользователям разработчики рекомендуют добавить собственный слой выравнивания и безопасности. README указывает, что в обучающих данных есть дефект, из-за которого модель может чрезмерно упоминать системное сообщение; авторы советуют явно запретить это в системной инструкции. Модель распространяется по лицензии Meta Llama 3 Community License Agreement; разрешено коммерческое использование при соблюдении условий этой лицензии. В репозитории указаны веса Safetensors.

unsloth/GLM-4.6-GGUF — это версия языковой модели GLM-4.6 в формате GGUF, подготовленная Unsloth на основе модели GLM-4.6 от Z.ai (Zhipu AI). Модель предназначена для локального запуска и генерации текста, включая программирование, рассуждения, агентские сценарии, использование инструментов и поисковых агентов. Она также ориентирована на создание более естественных текстов и ролевое взаимодействие. Заявлено контекстное окно до 200 000 токенов, поддержка английского и китайского языков, а также улучшения по сравнению с GLM-4.5 в задачах кодирования, рассуждений, tool use и агентских приложениях. Размер модели, точная архитектура, перечень модальностей и конкретный вариант квантования в README не указаны. Репозиторий содержит исправления chat template; для запуска рекомендуется актуальная версия llama.cpp с параметром --jinja. Для общих оценок рекомендована температура 1.0, а для задач, связанных с кодом, — top_p 0.95 и top_k 40. Модель сильна в длинноконтекстной обработке, генерации кода, рассуждениях и интеграции с инструментами, однако README не приводит подробных количественных характеристик, ограничений качества или требований к вычислительным ресурсам. Лицензия — MIT.

unsloth/gpt-oss-20b-bnb-4bit — 4-битная версия модели gpt-oss-20b, опубликованная Unsloth и основанная на открытой модели OpenAI. Она предназначена для генерации текста, локального и специализированного использования, сценариев с пониженной задержкой, рассуждений и агентских задач. Модель поддерживает вызов функций, веб-браузинг, выполнение кода на Python и структурированные ответы. gpt-oss-20b — разреженная MoE-модель с 21 млрд параметров, из которых при обработке активны 3,6 млрд. Она обучена в формате ответов harmony и должна использоваться с ним. Доступна настройка интенсивности рассуждений — низкая, средняя или высокая. Модель поддерживает дообучение, а 4-битное представление снижает требования к памяти; исходная модель рассчитана на работу в пределах 16 ГБ памяти. В README не указаны языки и размер контекстного окна. Полный процесс рассуждений доступен для отладки и повышения прозрачности, но не предназначен для показа конечным пользователям. Лицензия Apache 2.0 разрешает использование, модификацию и коммерческое развертывание без требований copyleft. Ограничения связаны с необходимостью корректно применять формат harmony и с тем, что README не содержит подробной оценки качества, перечня поддерживаемых языков или гарантий безопасности.

Карточка модели kizzlah/granite-4.2-3b на Hugging Face совпадает с карточкой ibm-granite/granite-4.2-3b, поэтому описание составлено по ней. Granite-4.2-3B — компактная языковая модель IBM Granite Team на базе плотного декодирующего трансформера GraniteForCausalLM с 3,4 млрд параметров. Она дообучена на Granite-4.1-3B-Base и рассчитана на диалог, рассуждения и следование инструкциям; доступны режимы полного, облегчённого и отключённого рассуждения. Модель предназначена для решения математических и логических задач, программирования, многошагового анализа и вызова инструментов в агентных сценариях. Она поддерживает контекст до 131 072 токенов по метаданным; в README заявлено окно 512 тысяч токенов. Поддерживаемые языки включают английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский; качество может быть ниже английского. Модель использует архитектуру decoder-only dense Transformer, формат весов safetensors и библиотеку Transformers. Она выпущена по лицензии Apache 2.0, допускающей коммерческое и академическое использование. Ответы могут быть неточными, предвзятыми или небезопасными; промежуточные рассуждения не всегда отражают итоговый ответ.

Карточка модели Ishowbackup/Hy3 на Hugging Face совпадает с карточкой tencent/Hy3, поэтому описание составлено по ней. Hy3 — разговорная модель с открытыми весами, разработанная командой Tencent Hy. Это MoE-модель для генерации текста; карточка Hugging Face описывает вариант репозитория как модель на 16,6 млрд параметров, а README — семейство Hy3 как модель на 295 млрд параметров с 21 млрд активных параметров и 3,8 млрд параметров MTP-слоя. Модель предназначена для рассуждений, работы с длинным контекстом, вызова инструментов и задач продуктивности, включая программирование, офисную работу, финансовое моделирование, фронтенд-разработку и создание игр. В метаданных указан контекст 262 144 токена, поддержка чата и формат Safetensors. Разработчик сообщает об улучшениях надёжности вызова инструментов, следования форматам, удержания контекста и снижения галлюцинаций по внутренним оценкам. README рекомендует серверный запуск через vLLM или SGLang и отмечает значительные требования к памяти: для полного варианта предлагается конфигурация из восьми GPU H20-3e или устройств с сопоставимой памятью. Лицензия — Apache-2.0. Языки в источниках не установлены.

Meta-Llama-3.1-8B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Meta Llama 3.1 8B Instruct. Исходную модель разработала Meta, а файлы в формате GGUF подготовил brittlewis12 с использованием llama.cpp и autogguf. Модель работает с текстом на входе и выходе; в метаданных указано, что поддерживается английский язык. Модель предназначена для диалоговых сценариев, генерации текста, следования инструкциям, рассуждений, решения математических задач, программирования и использования инструментов. Формат GGUF ориентирован на локальный запуск через совместимые приложения и llama.cpp, включая устройства Apple. В README также указаны улучшения для работы с длинным контекстом, однако точный размер контекстного окна не приведён. Ключевые достоинства — относительно небольшой размер 8B, возможность локального использования и хорошие результаты исходной модели на ряде тестов, включая HumanEval, GSM-8K, MMLU и API-Bank. Ограничения включают текстовую модальность, отсутствие сведений о конкретном типе и степени квантизации, а также возможное снижение точности по сравнению с полной версией из-за квантизации. Модель распространяется по лицензии Llama 3.1; применимые условия определяются лицензией Meta.

Nail-Qwen3.6-35B-A3B-GGUF — это 4-битная GGUF-квантизация модели Qwen3.6-35B-A3B, разработанной Qwen и опубликованной peculiar-ragdoll. Модель предназначена для локального запуска через llama.cpp, прежде всего для рассуждений, многошаговых диалогов, агентной работы и автономной разработки программного обеспечения. В поставку также входит улучшенный chat template с принудительно добавляемым системным промптом, который настраивает модель на прямые, лаконичные и ориентированные на результат ответы. Модель использует архитектуру MoE с заявленным размером 35B и активной частью около 3B параметров; доступна в формате GGUF с квантизацией UD-Q4_K_XL. Заявлен нативный контекст до 262 144 токенов, поддерживаются английский и китайский языки. По данным автора, модель особенно сильна в скорости получения ответа, агентном программировании и многоходовых сценариях, сохраняя сопоставимую с более крупными моделями точность на ряде тестов. Увеличенный объём рассуждений может быстрее расходовать контекст, поэтому для очень длинных сессий модель уступает некоторым альтернативам по выносливости. Модель рассчитана на локальное использование и может работать на совместимом оборудовании с ограниченным объёмом памяти; автор указывает, что примерно 180 тысяч токенов контекста с 8-битным KV-кэшем должны помещаться в 24 ГБ памяти. Лицензия — Apache 2.0.

qwp4w3hyb/Phi-3-mini-128k-instruct-iMat-GGUF — это GGUF-квантизированная версия Phi-3-Mini-128K-Instruct, разработанной Microsoft. Модель содержит 3,8 млрд параметров и предназначена для генерации текста, диалоговых приложений и использования в условиях ограниченных ресурсов, где важны низкая задержка, компактность и способность решать задачи рассуждения, программирования, математики и логики. Модель обучалась на синтетических данных и отфильтрованных общедоступных веб-данных, а после предварительного обучения прошла supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и соблюдения требований безопасности. Модель поддерживает контекст до 128 тысяч токенов, словарь размером до 32 064 токенов и ориентирована прежде всего на английский язык, хотя в карточке также указана многоязычность. Это текстовая авторегрессионная модель; сведения о конкретной архитектуре и полном наборе поддерживаемых языков не приведены. Данная сборка включает варианты квантизации от Q8_0 до IQ1_S, выполненные с использованием importance matrix в llama.cpp для снижения потерь точности. Для работы требуется актуальная версия llama.cpp master и совместимый GGUF-инференс. Сильные стороны модели — сочетание небольшого размера с заявленной высокой эффективностью среди моделей менее 13 млрд параметров, длинный контекст и хорошие возможности в коде, математике, логике и общем понимании языка. Ограничения включают возможные ошибки и необходимость отдельно проверять точность, безопасность и справедливость результатов, особенно в сценариях с высокими рисками. Модель выпущена под лицензией MIT; конкретный выбранный уровень квантизации может влиять на качество и требования к ресурсам.

Qwen3.5-9B-GGUF — это квантизированная в формате GGUF версия модели Qwen3.5-9B, подготовленная ByteShape с использованием технологии ShapeLearn. ShapeLearn подбирает тип данных отдельно для каждого тензора, чтобы сохранить высокое качество при малой разрядности. Модель имеет около 9 миллиардов параметров и поддерживает работу с текстом и изображениями, включая сценарии vision-language. Она предназначена для локального запуска и задач генерации текста, программирования, рассуждений, следования инструкциям и function calling; в README также указаны оценки на BFCL-V3, LiveCodeBench V6, HumanEval, GSM8K, IFEVAL и MMLU. Репозиторий предлагает варианты для GPU и CPU с разными компромиссами между размером, скоростью и качеством: от 2.81 до 5.10 bits per weight и примерно от 3.15 до 5.72 ГБ. Для запуска рекомендуются llama.cpp и LM Studio; llama.cpp автоматически загружает vision projector. Ollama на момент публикации README эту модель не поддерживает. Доступны оптимизированные варианты для различных аппаратных платформ, однако конкретный размер контекста, список поддерживаемых языков и подробные результаты тестов в README не указаны. Модель распространяется по лицензии Apache-2.0.

TeichAI/Qwen3.6-27B-Claude-Opus-Reasoning-Distill — мультимодальная дообученная модель на архитектуре Qwen3.5 с 27 млрд параметров, созданная на базе Qwen/Qwen3.6-27B с использованием набора данных TeichAI/lordx64-claude-opus-4.7-max-cleaned. Она предназначена для программирования, творческого письма, понимания изображений и диалоговых задач общего назначения; метаданные также указывают интерфейс для вызова инструментов и поддержку зрения. Модель принимает текст и изображения и генерирует текст. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0.

Verkiki/Qwen3.8-27b-Fable5-Distill-Abliterated-GGUF — производная модель, созданная на основе Blackfrost-AI Qwen3.8-27B-ABLITERATED-BF16 с применением нативного LoRA-адаптера TeichAI Qwen3.8-27B-Fable-Distill-LoRA. Модель относится к архитектуре qwen3_5, имеет класс размера 27B и распространяется в формате GGUF с квантизацией IQ4_XS и importance matrix, рассчитанной после объединения компонентов. Она предназначена для локального использования в задачах планирования, программирования, многошагового рассуждения, технического анализа и агентских рабочих процессов, включая работу с инструментами и многофайловыми проектами. Fable5-Distill ориентирован на декомпозицию задач, удержание инструкций, последовательное планирование и более агентное поведение. Для родительской Fable-модели TeichAI заявлены улучшения на ARC Challenge, ARC Challenge Easy и BoolQ, однако эти результаты не являются измерениями именно финальной квантизированной сборки. Поддерживаются режимы thinking с параметрами reasoning_effort low, medium и xhigh; шаблон по умолчанию использует xhigh. Сочетание с аблитерированной базой должно снижать склонность к отказам, но итоговые поведение и качество следует оценивать отдельно. К ограничениям относятся отсутствие в предоставленных данных точного размера контекстного окна, перечня поддерживаемых языков и подтверждения мультимодальных возможностей, несмотря на соответствующие метки. IQ4_XS уменьшает требования к памяти по сравнению с BF16 и Q8, но может снижать точность относительно исходных весов. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-Mythos-Class-Agentic — производная 27-миллиардная плотная модель семейства Qwen, созданная на основе OBLITERATUS/Qwen3.8-27B-OBLITERATED и объединённая с Qwen/Qwen3.8-27B. Разработчик позиционирует её как конфигурацию для диалогов и агентных сценариев с вызовом инструментов; в README заявлены исправленный шаблон чата, поддержка интерфейсов Hermes Agent, Aider и OpenCode, разбиение задач на иерархические этапы и протокол самопроверки рассуждений. В README заявлено контекстное окно 131 072 токена и генерация до 16 384 токенов за один ответ. Указаны гибридная архитектура Mamba SSM и линейного внимания, а также варианты весов BF16, FP8 и AWQ в формате Safetensors; метаданные подтверждают dense-архитектуру семейства Qwen3.5 и наличие интерфейса вызова инструментов. Карточка описывает специализацию на программировании, системных задачах и кибербезопасности, но не предоставляет независимой проверки заявленных оценок и характеристик. Поддерживаются английский, китайский и арабский языки по карточке модели. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next REAP-384 — это мультимодальная модель класса 180B параметров, разработанная на основе Qwen/Qwen3.8-Flash-Next и опубликованная пользователем sh0wie. Версия адаптирована для MLX и выполнена в 4-битной аффинной квантизации. В каждом MoE-слое сохранено 384 из 512 экспертов, при этом маршрутизация top-10 не изменена. Модель предназначена прежде всего для генерации текста и агентских сценариев, особенно для программирования и рефакторинга кода; поддерживается запуск и OpenAI-совместимое серверное предоставление через mlx-vlm. Мультимодальные веса, включая vision tower, сохранены, однако качество работы с изображениями после pruning не оценивалось. Архитектура включает основную модель объёмом около 125B параметров, 51B-параметрическую n-gram embedding table и 48 слоёв, чередующих Gated DeltaNet и Qwen sparse attention. Используется MoE с 384 экспертами на слой, квантизация — 4-битная, с group size 64, а для n-gram-таблицы — 32. Модель требует около 80 ГБ дискового пространства и примерно 51 ГБ оперативной памяти при размещении n-gram-таблицы на NVMe; при полной загрузке в память потребление составляет около 80 ГБ. В тесте HumanEval получен результат 92,1% pass@1 против 93,9% у некропнутой 512-экспертной версии. Сильная сторона модели — близкое к исходной версии качество при сниженных требованиях к диску и памяти; доступна также speculative decoding с отдельным MTP-drafter, хотя выигрыш в скорости зависит от оборудования. Ограничения включают неполную проверку мультимодальности, возможное ухудшение качества в областях, далёких от программирования, и однократные оценки без доверительных интервалов. Модель распространяется по Qwen Community License 1.0, унаследованной от базовой модели.

Signal-3.8-27B-NVFP4-Blackwell-DFlash2-Ultra-V1.0 — квантованная NVFP4-версия модели Signal-3.8-27B от agentionai, созданной на базе Qwen3.8-27B от Qwen. Это GGUF-сборка для запуска через llama.cpp CUDA на одной видеокарте RTX 5090 с 32 ГБ памяти и поддержкой спекулятивного декодирования DFlash2. Модель предназначена для рассуждений, программирования, агентских задач, структурированной генерации и диалогов; заявлена также поддержка изображений через отдельный vision-проектор. Основная модель занимает около 16,9 ГБ, включает NVFP4-квантованный корпус, высокоточные Q8_0-головы и MTP-голову. Доступен контекст до 262 144 токенов, а языковая поддержка обозначена как multilingual, без уточнения конкретного набора языков. Минимально изменённая тонкая настройка отличается от базовой модели только lm_head.weight, что позволяет использовать согласованный DFlash2-драфтер без изменения результатов декодирования. На заявленном оборудовании сборка показывает высокую точность в тестах GSM8K, хорошие результаты в кодовых агентских задачах и ускорение декодирования благодаря speculative decoding. Сильные стороны модели — эффективность на задачах рассуждения и программирования, большой контекст, совместимость с одной RTX 5090 и ускоренное декодирование. Ограничение — повышенная многословность в открытом диалоге по сравнению с альтернативной сборкой GAIN; для длинных генераций не рекомендуется жадное декодирование, а для сложных задач требуется не менее 4096 токенов вывода. Для обработки изображений необходим отдельный проектор mmproj-BF16, при этом повторное использование кэша промпта отключается. Распространяется по лицензии Apache-2.0.

Step-3.5-Flash-REAP-149B-A11B — сжатая методом REAP версия языковой модели Step-3.5-Flash, созданная авторами проекта REAP. Это причинная разреженная MoE-модель для диалогов и генерации текста. Она предназначена для программирования, математических рассуждений, вызова инструментов и агентных сценариев. По README, в модели 149 млрд параметров, из которых на каждом токене активируются около 11 млрд; она содержит 45 слоёв и 216 экспертов, из которых выбираются 8 на токен. Контекст составляет 262 144 токена. Карточка заявляет сокращение объёма памяти на 25% и близкую к исходной модели производительность; для запуска указана совместимость с vLLM. Модель принимает текст и выдаёт текст. В метаданных указан английский язык. Лицензия в README обозначена как Apache 2.0, тогда как метаданные Hugging Face содержат значение «other», поэтому условия распространения следует сверить с файлами лицензии репозитория. README описывает однократное прореживание экспертов без последующего дообучения, поэтому производная классифицирована как сжатие, а не fine-tuning.

ThinkingCap-Qwen3.6-27B-AWQ-INT4 — квантизированная версия модели ThinkingCap: Qwen 3.6 27B, разработанной BottleCap AI на основе Qwen3.6-27B от команды Qwen. Модель дообучена с применением современных алгоритмов на тщательно отобранном наборе задач из разных областей и предназначена для рассуждений, ответов на вопросы, математики, программирования, многошагового диалога, соблюдения системных инструкций, безопасного поведения и агентских сценариев. Ключевая особенность модели — повышение эффективности рассуждений: по заявлению разработчиков, она использует в среднем на 50% меньше токенов рассуждения, а в лучших случаях сокращение превышает 90%, при сохранении исходного качества и стиля ответов Qwen. Калибровка выполнялась на задачах STEM и агентских сценариях. Указаны языки English, Chinese, Hindi, Arabic, Russian, Japanese, Korean, Dutch, French и Spanish. Размер файла модели составляет 20,97 ГБ. Архитектура и размер контекстного окна в README не указаны. Модель подходит для ресурсоэффективного решения сложных задач, где важны качество рассуждений, скорость и снижение расхода токенов. Ограничением является вариативность качества рассуждений при рекомендованной для Qwen температуре 1.0, поэтому разработчики оценивали модель с несколькими случайными сидами и статистической проверкой. Распространяется по лицензии Apache-2.0.