II.4Отладка, тестирование и качество ПО

Llama3.1-Typhoon2-70B-Instruct — большая языковая модель с 69,5 млрд параметров, разработанная Typhoon AI на основе Llama 3.1 70B. Это плотная авторегрессионная модель семейства Llama для генерации текста и диалогов по инструкциям; карточка также указывает интерфейс вызова инструментов. Репозиторий содержит веса в формате safetensors. Модель рассчитана прежде всего на тайский и английский языки. Она подходит для ответов на вопросы и выполнения инструкций, диалогов, вызова функций, а также задач программирования и математики. Метаданные указывают контекст до 131 072 токенов, тогда как README заявляет 90 тысяч токенов. В сравнительных оценках карточки приведены результаты для следования инструкциям, переключения между тайским и английским, вызова функций, математики и кода. Модель находится в разработке и может выдавать неточные, предвзятые или нежелательные ответы, несмотря на встроенные ограничения. Для использования применяются условия Llama 3.1 Community License; перед внедрением следует проверить соответствие её условий своему сценарию.

llm-jp-4.1-8b-thinking — языковая модель, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это плотная трансформерная модель семейства Llama с 7,8 млрд параметров по метаданным и контекстом до 65 536 токенов. Репозиторий содержит веса в формате safetensors; для диалогов предусмотрен шаблон, совместимый с форматом ответов OpenAI Harmony, но для токенизации требуется прилагаемый токенизатор модели. Модель предназначена для генерации ответов и рассуждений в диалоге, а также для задач математики, естественных наук, вопросов и ответов, программирования, следования инструкциям и перевода между японским и английским. Она обучалась на японском и английском; после предварительного обучения прошла дообучение с учителем и выравнивание методом DPO, без обучения с подкреплением. Контекст и наличие диалогового режима делают её пригодной для многошаговых запросов и работы с длинными текстами. Разработчики оценивают модель на общих задачах, безопасности и вызове инструментов. Карточка предупреждает, что ответы могут быть неточными, неподходящими или нежелательными, поэтому результаты следует проверять. Разработчики не предназначают модель для непосредственного применения в производственных сервисах. Лицензия — Apache-2.0.

JetBrains/Mellum2-12B-A2.5B-Thinking-GGUF-Q4_K_M — это квантизированная GGUF-версия рассуждающей языковой модели Mellum2, разработанной JetBrains. Модель предназначена для генерации текста и решения задач, требующих пошагового рассуждения, и может запускаться локально через llama.cpp, Ollama, LM Studio и другие совместимые среды. Модель использует архитектуру Mixture-of-Experts с 64 экспертами, из которых для каждого токена активируются 8. Заявленный контекст составляет 131 072 токена. Модель поддерживает английский язык и выводит цепочку рассуждений в блоках <think>...</think> перед финальным ответом. Вариант Q4_K_M использует 4-битное k-квантизирование, занимает около 8,1 ГБ и обеспечивает сбалансированное соотношение качества и размера: совпадение наиболее вероятного токена с BF16-версией составляет около 89,8% на указанном тесте. Основные преимущества — возможность локального запуска, большой контекст, MoE-архитектура и заметное уменьшение размера по сравнению с BF16-версией. Ограничения связаны с потерями точности из-за 4-битного квантизирования, необходимостью совместимого рантайма и тем, что README не содержит подробных результатов оценки исходной модели. Модель распространяется по лицензии Apache 2.0.

Это объединённая языковая модель на базе семейства Llama 3.2, созданная методом TIES с помощью mergekit. В качестве базовой использована huihui-ai/Llama-3.2-3B-Instruct-abliterated; в объединение также вошли модели для рассуждений, программирования и математики, соблюдения инструкций и ответов на медицинские вопросы. Модель предназначена для диалоговой генерации текста, включая ответы на вопросы, рассуждения и помощь с кодом. Она содержит 3,2 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст, выдавая текст. Заявленная длина контекста — 131 072 токена. В метаданных указана библиотека Transformers и формат весов safetensors. Лицензия и отдельные результаты оценки качества в предоставленных данных не указаны. Поскольку объединены модели с разными специализациями, пригодность для конкретных задач следует проверять на собственных примерах.

Meta Llama 3 8B — авторегрессионная языковая модель Meta с оптимизированной архитектурой Transformer и Grouped-Query Attention. Эта версия принимает текст и генерирует текст, в том числе код. Семейство Llama 3 включает предварительно обученные и дообученные для инструкций модели; карточка этой модели описывает базовый предварительно обученный чекпойнт, пригодный для адаптации к различным задачам генерации текста. Модель предназначена для коммерческого и исследовательского применения на английском языке. Её можно использовать как основу для генерации текста и кода, а после адаптации — для диалоговых сценариев. Выпущена в апреле 2024 года и распространяется по пользовательской коммерческой лицензии Meta Llama 3. Карточка не приводит для этого репозитория конкретную длину контекста; сама модель статична и обучена на офлайн-данных. Для развёртывания приложений разработчикам следует самостоятельно подбирать меры безопасности под свой сценарий.

EmbeddedLLM выпустила Mistral-7B-Merge-14-v0.3 — экспериментальную объединённую модель на базе Mistral-7B-v0.1. Она создана методом DARE TIES путём слияния 14 моделей Mistral-7B, обученных для диалога, следования инструкциям, работы с документами, математикой и кодом. Модель содержит 7,1 млрд параметров и принимает текст для генерации продолжений и ответов; максимальный контекст составляет 32 768 токенов. Модель рассчитана на генерацию текста, ответы на инструкции и диалоговые сценарии. Авторы приводят средний результат 69,66 в Open LLM Leaderboard и отмечают, что модель может потребовать дополнительной настройки для чата; в README также указана более сильная версия v0.4. Карточка ориентирована на английский язык. Репозиторий распространяется по лицензии Apache-2.0.

NeuralMiLLaMa-8B-slerp — объединённая инструктивная языковая модель семейства Llama 3, созданная Kukedlc с помощью LazyMergekit. В состав слияния входят NousResearch/Meta-Llama-3-8B-Instruct, elinas/Llama-3-8B-Ultra-Instruct, mlabonne/ChimeraLlama-3-8B-v3, nvidia/Llama3-ChatQA-1.5-8B и Kukedlc/SmartLlama-3-8B-MS-v0.1. Модель с плотной архитектурой LlamaForCausalLM содержит 7,5 млрд параметров, принимает текст и генерирует текст; длина контекста — 8192 токена. Она предназначена для диалогов, ответов на вопросы и генерации текста, включая код. Метаданные указывают на англоязычную базовую модель, поэтому поддержку других языков нельзя уверенно утверждать. Модель опубликована в формате safetensors. В метаданных указана лицензия other; конкретные условия использования следует сверять с карточкой модели и лицензиями исходных моделей.

Occamy-1.0 GGUF — это набор квантизированных файлов модели Occamy-1.0, разработанной Accio-Lab, в формате GGUF для запуска через совместимые среды, включая llama.cpp. Модель относится к мультимодальному классу image-text-to-text и поддерживает работу с текстом и изображениями через отдельный vision projector; для текстовых сценариев projector не требуется. Доступны варианты квантизации от IQ2_M и Q2_K до Q8_0, а также F16 vision projector. Размеры файлов составляют примерно от 10,9 до 34,4 GiB, без учёта дополнительной памяти на KV-кэш, контекст, параллельные запросы и изображения. Модель предназначена для генерации текста, программного кода, структурированных JSON-ответов и tool use. В README приведены проверки на задачах GSM8K, HumanEval+, строгом JSON и использовании инструментов, однако они выполнены на небольших выборках и не заменяют полноразмерные бенчмарки. Новые квантизации тестировались для текста, кода, JSON и tool use, но их возможности работы с изображениями повторно не проверялись. Размер контекстного окна, языковой охват и точные параметры архитектуры в представленном README не указаны; при этом модель связана с архитектурой MoE и семейством Qwen3.5 MoE. Для корректной работы важна совместимость токенизатора: выпущенные файлы используют метаданные qwen2, NFC-нормализацию и qwen2-подобные правила, а опубликованные измерения требуют специального переопределения qwen35 и не подтверждают полную эквивалентность токенизации. Квантизация уменьшает требования к памяти, но может снижать качество на низких разрядностях. Совместимость с CPU-only и Apple Silicon в приведённых испытаниях не устанавливалась. Файлы распространяются по лицензии Apache 2.0; отдельная MTP head в эти GGUF-файлы не входит.

Phi-3.5-mini-instruct-4bit — инструкционная языковая модель для генерации текста, созданная Microsoft и преобразованная сообществом mlx-community в формат MLX. Модель предназначена для диалоговых сценариев, ответов на вопросы и решения задач обработки естественного языка; в метаданных также указана релевантность для работы с кодом. Поддерживается библиотекой mlx-lm и рассчитана на запуск в экосистеме MLX. Модель представлена в 4-битном варианте, что обычно позволяет снизить требования к памяти по сравнению с полноразмерным представлением, однако точный размер, архитектура, длина контекста и перечень поддерживаемых языков в README не указаны. В метаданных заявлена многоязычность. Сильными сторонами являются инструкционный формат, возможность генерации текста и адаптация к MLX; ограничения и результаты тестирования не приведены. Конвертация выполнена из microsoft/Phi-3.5-mini-instruct с использованием mlx-lm версии 0.17.0. Модель распространяется по лицензии MIT.

QuantFactory/Phi-3-mini-4k-instruct-GGUF — квантизированная версия модели Phi-3-Mini-4K-Instruct, разработанной Microsoft и преобразованной в формат GGUF с использованием llama.cpp. Модель содержит около 3,8 млрд параметров и предназначена для генерации текста и выполнения инструкций на английском языке в приложениях общего назначения. Модель ориентирована на сценарии с ограниченными ресурсами памяти и вычислений, требованиями к низкой задержке, а также на задачи, требующие рассуждений, особенно в математике и логике. Она подходит для диалоговых систем, генеративных функций и исследовательских проектов. Контекст ограничен 4096 токенами; поддерживается текстовая модальность. Послеобучение включало supervised fine-tuning и direct preference optimization, направленные на улучшение следования инструкциям, безопасности, структурированного вывода и многошагового диалога. Сильными сторонами являются компактный размер, возможность локального запуска благодаря квантизации, хорошее качество рассуждений среди моделей с менее чем 13 млрд параметров и улучшенное следование инструкциям. Ограничения включают поддержку преимущественно английского языка, короткое контекстное окно и типичные для языковых моделей риски ошибок, смещений и небезопасных ответов; модель требует отдельной проверки перед применением в критически важных сценариях. Модель распространяется по лицензии MIT.

bunnycore/Phi-4-Model-Stock — объединённая языковая модель на основе unsloth/phi-4, созданная методом Model Stock с помощью mergekit. В объединение вошли Phi-4-Avg, Phi-4-Empathetic, Phi-4-Math-IO и Phi-4-QwQ; размер модели — 14,1 млрд параметров, максимальная длина контекста — 16 384 токена. Модель предназначена для генерации текста и диалогов, включая задачи рассуждения и математики. Модель использует архитектуру LlamaForCausalLM и распространяется в формате safetensors. Карточка приводит результаты оценок на IFEval и BBH, но не описывает языковое покрытие или гарантии качества для отдельных задач. Лицензия — MIT.

qwen27B-Agent-R2-abliterated-preview — языковая модель с 27 млрд параметров, разработанная hotdogs на основе hotdogs/qwen27b-abliterated-Fable-MTP и huihui-ai/Huihui-Qwen3.6-27B-abliterated. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, системных задач и агентских сценариев с вызовом инструментов и функций. Заявлена поддержка английского и тайского языков. Модель использует архитектуру семейства Qwen3.6 и поддерживает Fable-style reasoning с пошаговым рассуждением, Hermes/Qwen-формат function calling и Multi-Token Prediction (MTP) для speculative decoding. В llama.cpp заявлена возможность чернового предсказания до двух токенов за шаг и прироста скорости декодирования до 85% на одной GPU, однако фактический результат зависит от оборудования и настроек. Для визуальных задач модель можно сочетать с мультимодальным проектором mmproj от Qwen/Qwen3.6-27B, но собственная поддержка изображений в карточке отдельно не специфицирована. Это preview-версия v0.1, поэтому возможны нестабильность и ограничения качества. Модель помечена как abliterated: механизмы отказа и защитные ограничения удалены, что расширяет свободу использования, но повышает риски небезопасных или некорректных ответов. Указана лицензия AGPL-3.0.

Карточка модели Fbjfhvgv/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

QuantFactory/Qwen3-0.6B-GGUF — квантизированная версия языковой модели Qwen3-0.6B, созданная QuantFactory на основе базовой модели Qwen/Qwen3-0.6B с использованием llama.cpp. Это каузальная языковая модель для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческих сценариев и интеграции с внешними инструментами. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд не относятся к embedding, и включает 28 слоёв. Используется Grouped Query Attention: 16 голов для запросов и 8 для ключей и значений. Максимальная длина контекста составляет 32 768 токенов. Модель поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Она умеет переключаться между режимами thinking для сложных рассуждений, математики и программирования и non-thinking для более быстрого универсального диалога. К сильным сторонам относятся малый размер, поддержка квантизированного формата GGUF, многоязычность, рассуждения, диалоговые и агентские сценарии. Ограничения включают меньшую ёмкость по сравнению с более крупными моделями и возможные повторения при неудачных параметрах генерации; в исходной документации для таких случаев рекомендуется настроить sampling и presence_penalty. Данные о конкретном варианте квантизации, требованиях к памяти и производительности не указаны. Модель распространяется по лицензии Apache-2.0.

YFC-112358 создал двухэтапную композиционную модель на основе Qwen3.6-27B. На первом этапе с помощью DELLA объединены модели разных происхождений, а на втором к полученному результату линейно добавлено приращение весов Qwopus3.6-27B-Fusion относительно общего предка Qwen/Qwen3.6-27B. Это плотная мультимодальная архитектура семейства Qwen3.5 с интерфейсом чата и вызова инструментов; в репозитории веса представлены в safetensors, а модель использует библиотеку Transformers. Модель предназначена для диалоговой генерации текста и может использоваться для программирования, агентных сценариев и работы с изображениями — такие возможности указаны для базовой Qwen3.6-27B. В README описаны способ слияния и рекомендации по сэмплированию, но нет отдельных результатов оценки качества именно этой версии. Лицензия — Apache-2.0.

GestaltLabs/Qwen3.6-35B-A3B-NSC-ACE-SABER-GGUF — набор квантованных сборок модели GestaltLabs/Qwen3.6-35B-A3B-NSC-ACE-SABER в формате GGUF для запуска через llama.cpp и совместимые среды. Модель основана на Qwen/Qwen3.6-35B-A3B и имеет конфигурацию на 35B параметров с обозначением A3B; точные архитектурные детали в карточке не раскрыты. Указан английский язык. Репозиторий также содержит компоненты для мультимодальной работы с изображениями и видео, включая visual tower sidecar, поэтому модель предназначена для текстовой генерации и сценариев image-text-to-text при наличии поддержки со стороны используемого runtime. Основные сценарии применения — диалоговые приложения, локальный inference, агентные системы и вызов инструментов. NSC-ACE ориентирован на более стабильный выбор функций, заполнение аргументов и снижение повторяющихся циклов вызова инструментов, а SABER использован как этап калибровки. На исходной safetensors-модели показатель tool-call rate в проверке BFCL составил 95%, точность имён функций — 95%, точность значений обязательных аргументов — 83,54%, а exact required-call accuracy — 77,50%; эти результаты не гарантируются для каждой квантованной версии. В примерах запуска используется контекст 32768 токенов, но максимальный размер контекста явно не указан. Доступны варианты от F16 и Q8_0 до Q2_K. F16, Q8_0, Q6_K и Q5_K_M лучше сохраняют качество, тогда как Q4_K_M предназначен для более ограниченных систем, а Q3 и Q2 требуют компромиссов по качеству, форматированию, точности аргументов и калибровке отказов. Метрики HarmBench-300 и KLD приведены для исходной модели до квантования, поэтому квантованные файлы следует проверять отдельно. Лицензия — Apache-2.0.

Это 4-битная GPTQ-квантизованная версия модели Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU, разработанной DavidAU и основанной на Qwen/Qwen3.8-27B. Данная сборка подготовлена с использованием AutoRound 0.12.3 и поддерживает загрузку через Transformers и высокопроизводительную подачу через vLLM. Модель предназначена для генерации текста, следования инструкциям, рассуждений и программирования. В карточке заявлены режим Heretic/uncensored, уменьшенное количество токенов для чрезмерного обдумывания и автоматически изменяемый размер рассуждений. Указана текстовая языковая модель с поддержкой английского языка; архитектура, размер контекста и дополнительные модальности в README не описаны, хотя pipeline_tag обозначен как image-text-to-text. Ключевые параметры квантизации: веса 4-bit, активации 16-bit, GPTQ с group size 128. Размер модели составляет около 19 ГБ вместо примерно 54 ГБ в FP16, что дает сокращение примерно на 65%. Согласно приведенным тестам на NVIDIA A100 80GB с vLLM 0.27.1, качество на ARC-Easy, HumanEval и BBH сопоставимо с FP16 или немного выше, а различие в WikiText2 perplexity минимально; при этом результаты MMLU немного ниже. Ограничениями являются зависимость от совместимой поддержки GPTQ/AutoRound и отсутствие подробных сведений об исходном обучении, контекстном окне и фактических мультимодальных возможностях. Лицензия модели указана как Apache-2.0. Полные сведения о методике обучения и характеристиках исходной FP16-модели вынесены в отдельную карточку DavidAU.

ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF — набор неравномерно квантованных версий базовой модели Qwen3.8-27B, разработанный лабораторией Deep Algorithms and Systems Lab (DASLab) при Institute of Science and Technology Austria. Модель предназначена для локального запуска текстовых и мультимодальных сценариев с обработкой изображений, включая генерацию текста, рассуждения и задачи, поддерживаемые базовой моделью Qwen3.8-27B. Формат GGUF обеспечивает совместимость с llama.cpp, Ollama и LM Studio. В набор входят варианты размером от 8,4 до 11,8 ГБ со средней разрядностью от 2,50 до 3,50 бит на вес. Квантование использует GSQ для оптимизации скалярных квантованных представлений и RCO для назначения разных типов квантования отдельным тензорам с соблюдением общего ограничения размера. Для мультимодальной работы используется отдельный vision-проектор mmproj в формате BF16 размером около 0,9 ГБ. Опциональные сборки с суффиксом -mtp содержат Multi-Token Prediction head для speculative decoding в llama.cpp и примерно на 0,35 ГБ больше. Рекомендуемым вариантом указан IQ3_S: по заявленным результатам он совпадает с базовой моделью на AIME25 и LiveCodeBench v6 и находится в пределах 0,51 балла от неё на GPQA-Diamond, занимая немногим более пятой части размера BF16-версии. Более компактные варианты уменьшают требования к хранилищу, но могут сильнее ограничивать качество. Языки и размер контекстного окна в README не указаны. Модель распространяется по лицензии Apache-2.0.

NikiKrutan/Qwen3.8-27B-MTP-GGUF — набор GGUF-квантований базовой модели Qwen/Qwen3.8-27B, подготовленный разработчиком NikiKrutan с использованием собственного инструмента niki-allocator. Метод распределяет тип квантования отдельно для каждого тензора и выбирает варианты на основе оценок и измерений KLD. Модель предназначена для локального запуска через llama.cpp и совместимых инструментов. Согласно README, модель ориентирована на диалоговые сценарии, программирование, reasoning, сложную логику и агентные задачи. Указаны поддержка английского и русского языков, а также мультиязычные сценарии для отдельных тестовых корпусов. В карточке присутствует тег image-text-to-text, однако конкретные сведения о визуальной архитектуре и фактических возможностях работы с изображениями не приведены. Размер базовой модели — 27B параметров; используется MTP, но точные варианты квантования, требования к памяти и размер контекста не указаны. К сильным сторонам относятся ориентированная на качество покомпонентная квантование, сравнение с несколькими альтернативными GGUF-сборками и оценка по KLD, RMS Δp, вероятности совпадения наиболее вероятного токена и perplexity на корпусах для кода, reasoning, агентных задач, мультиязычных текстов, научных и юридических материалов. Ограничения — отсутствие детальных численных результатов непосредственно в тексте README, неизвестные требования к ресурсам и отсутствие независимой оценки качества исходной модели. Лицензия Apache-2.0.

Qwen3.8-27B Uncensored Heretic T10 BF16 — экспериментальная производная модели Qwen3.8-27B, размещённая пользователем nerkyor. Модель создана на основе официальной Qwen3.8-27B с применением метода C0/T10, направленного на снижение склонности к отказам. В репозитории доступны полные веса BF16, а также варианты Q8_0 для llama.cpp, черновая MTP-модель и vision projector. Модель предназначена для локального запуска в текстовых и мультимодальных сценариях, включая ответы на вопросы, рассуждения, программирование и обработку изображений. Указана поддержка мультимодальности и vision projector; конкретные языки не перечислены. Архитектура основана на Qwen3.8-27B, однако точные параметры контекста в README не указаны. Для работы рекомендуется использовать официальный chat template Qwen3.8 и актуальную сборку llama.cpp; thinking включён по умолчанию. Для ускорения вывода доступен MTP-вариант. В опубликованных тестах версия Q8_0 получила 87,0% на MMLU500, 85,35% на GPQA198 и 76/100 на LCB100. Главная особенность модели — крайне низкая частота жёстких отказов, но это одновременно означает сниженные защитные ограничения. Известное ограничение мультимодальной версии — неполное качество OCR: строгий синтетический тест не воспроизвёл заданную строку точно. Релиз носит исследовательский характер, требует самостоятельной проверки результатов и ответственного использования. Лицензия — Apache License 2.0; дополнительно необходимо соблюдать условия официальной Qwen3.8-27B и применимое законодательство.

Qwen3.8-35B-A3B-Distill-GGUF — это набор GGUF-квантизаций дистиллированной модели Qwen3.8-35B-A3B, разработанный и выпущенный Empero. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и другие совместимые среды. Указанный базовый вариант создан на основе архитектуры Qwen3.6-35B-A3B и доступен для задач рассуждения и общего текстового вывода; заявленный язык — английский. Модель использует разреженную Mixture-of-Experts-архитектуру: всего около 35 млрд параметров, из которых примерно 3 млрд активны для каждого токена. Архитектура включает 30 слоёв Gated DeltaNet и 10 слоёв полной attention, а также 256 экспертов с маршрутизацией 8 экспертов на токен. Доступны варианты квантизации от 2-битных до BF16 размером примерно от 12,6 до 71,1 ГБ. Контекстный размер в карточке не указан. Для работы требуется свежая версия llama.cpp с поддержкой Qwen3.6, Gated DeltaNet и MoE. Разреженность архитектуры делает инференс заметно быстрее плотной модели аналогичного общего размера и повышает практичность запуска на CPU или при частичном переносе на GPU. При этом весь файл весов должен помещаться в оперативную или видеопамять, а при длинном контексте дополнительные затраты на KV-кэш могут существенно увеличить требования к памяти. Поддерживается ввод изображений через отдельный vision projector, однако поведение визуальной части не оценивалось. Модель выводит рассуждения в блоках <think>, которые при необходимости следует удалять перед показом ответа пользователю. Весовые файлы распространяются по лицензии Apache-2.0, унаследованной от базовой модели Qwen. Для квантизаций рекомендуется выбирать вариант с учётом доступной памяти и требуемого качества; в карточке наиболее сбалансированным указан Q4_K_M.

Это объединённая и 4-битно квантованная версия Qwen3-8B, опубликованная Goraint и подготовленная для инференса через MLX на компьютерах Apple Silicon. Модель содержит 7,6 млрд параметров и поддерживает контекст до 196 608 токенов; README указывает на оптимизацию для длинных запросов и снижение требований к памяти. Модель предназначена для генерации текста в диалоге, анализа длинных документов, написания кода и развёртывания чат-ботов на локальных устройствах. В метаданных также заявлен интерфейс вызова инструментов. Репозиторий содержит веса safetensors; для использования указана лицензия Apache 2.0. Квантование до 4 бит снижает потребление памяти, но может уменьшить точность на сложных задачах. Производительность зависит от оборудования, а MLX ориентирована на Apple Silicon; README отдельно предупреждает о возможности чувствительного контента и указывает на необходимость настроить шаблон запросов для совместимости с LM Studio.

Myric/Qwen3.8-Flash-Next-APEX-GGUF — это GGUF-конверсия модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для генерации текста, мультимодального анализа изображений и агентного программирования с использованием llama.cpp. В комплект входят основной файл MIDDLE для инференса, BF16-файл как источник для квантования и отдельный vision projector для работы с изображениями. Архитектура представляет собой мультимодальную MoE-модель общим размером около 180 млрд параметров и примерно 6,8 млрд активных параметров. Она содержит 48 слоёв, 512 маршрутизируемых экспертов с выбором top-10, гибридную архитектуру gated-delta-net с полноценным attention в каждом четвёртом слое, разреженное QSA-внимание и n-gram embeddings на уровне слоёв. Заявленный контекст составляет до 262 144 токенов. Поддержка языков в README не указана. Сильные стороны модели — большой контекст, мультимодальные возможности, эффективная MoE-архитектура и хорошие результаты в описанном тесте агентного программирования: 9 из 9 задач и 154 из 154 тестов. Ограничения включают высокие требования к памяти: для MIDDLE требуется около 85,4 GiB под веса, а также дополнительная память под KV-кэш и вычислительные буферы. Для llama.cpp рекомендуется использовать f16 KV-кэш и один параллельный слот; q8_0 KV может приводить к сбоям или некорректным результатам. Параметр reasoning effort high не поддерживается, допустимы xhigh, medium и low. Для работы с изображениями требуется vision projector. Модель распространяется по лицензии Apache-2.0. Для запуска опубликованных файлов необходима актуальная версия llama.cpp с поддержкой qwen4exp; самостоятельная конвертация требует специальной ветки конвертера, поскольку соответствующее исправление ещё не включено upstream.

Qwopus-GLM-18B-Merged-GGUF — экспериментальная текстовая модель семейства Qwen3.5, созданная на основе двух дообученных моделей Jackrong: Qwopus3.5-9B-v3.5 и Qwen3.5-9B-GLM5.1-Distill-v1. Модель собрана методом frankenmerge: объединены по 32 слоя каждой исходной модели, всего 64 слоя и около 18 млрд параметров. После объединения выполнено 1000 шагов QLoRA-дообучения для устранения проблем на границе слоёв. В репозитории представлена версия в формате GGUF с квантизацией Q4_K_M размером около 9,2 ГБ. Модель предназначена для генерации текста, рассуждений, диалогов, программирования, структурированного вывода, tool calling и агентских сценариев. Заявлена поддержка английского, китайского, корейского, японского, французского, немецкого и испанского языков. По данным авторского набора из 44 тестов, модель получила 40 успешных результатов, включая максимальные показатели в категориях базовой генерации, рассуждений, вызова инструментов и агентских рабочих процессов. Она ориентирована на локальный запуск и, согласно README, помещается в 12 ГБ видеопамяти; заявленная производительность составляет около 66 токенов в секунду. Сильными сторонами являются tool calling, агентское рассуждение, многоязычная генерация и улучшенная после «лечения» корректность HTML, CSS и JavaScript. Ограничения включают экспериментальный статус, отсутствие полной независимой оценки и остаточные проблемы в программировании: три теста из пятнадцати не пройдены из-за ошибок именования функций, скобок JavaScript и формата блока кода. Размер контекста в README не указан. Модель распространяется по лицензии Apache-2.0.

BenevolenceMessiah/QwQ-32B-Preview-Self-instruct-4x-TIES-MGS-v1.0 — объединённая языковая модель на архитектуре Qwen2, созданная методом TIES с помощью mergekit на основе Qwen/QwQ-32B-Preview и моделей TheBeagle, EVA-Qwen2.5 и Rombos. Она предназначена для диалоговой генерации текста и может применяться для ответов на вопросы, рассуждений и помощи с программированием. Модель содержит 32 млрд параметров, принимает текст и выдаёт текст; нативное окно контекста — 32 768 токенов. Репозиторий содержит веса Safetensors для библиотеки Transformers. Карточка не сообщает лицензию и не описывает отдельные результаты оценки качества; характеристики базовой QwQ указывают на ориентацию на рассуждения и код, но не гарантируют их качество после слияния.

Карточка модели RRavens/Test на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Salience-1.5-Flash — мультимодальная модель vectionlabs, представленная в виде квантованных файлов GGUF, подготовленных bartowski с использованием llama.cpp. Модель основана на vectionlabs/Salience-1.5-Flash и относится к семейству Qwen3-VL; в карточке указаны архитектура mixture-of-experts (MoE), поддержка работы с изображениями и текстом, рассуждений, программирования, агентских сценариев и использования инструментов. Заявленный язык — английский. Модель предназначена для задач image-text-to-text: анализа изображений и генерации текстовых ответов, а также для диалоговых, аналитических, кодовых и инструментальных сценариев. В README не указаны точный размер модели, число экспертов, длина контекста и полный перечень поддерживаемых языков, поэтому эти характеристики нельзя определить по имеющимся данным. Доступны варианты от bf16 и Q8_0 до более компактных квантований Q3 и IQ3/IQ4; рекомендуемыми названы несколько вариантов Q4–Q6 с размером файлов примерно от 16,5 до 26,6 ГБ. К сильным сторонам относятся мультимодальность, MoE-архитектура, заявленная ориентация на рассуждения, программирование, агентское взаимодействие и работу с инструментами, а также возможность локального запуска через llama.cpp и совместимые приложения. Ограничения связаны с необходимостью выбирать подходящий уровень квантования и с отсутствием в карточке подробных результатов оценки качества, точных требований к оборудованию и спецификаций контекстного окна. Модель распространяется по лицензии Apache-2.0.

DFlash-Qwen3.5-27B-Uncensored-GGUF — GGUF-квантизированная версия модели DFlash-Qwen3.5-27B-Uncensored от AEON-7, подготовленная mradermacher. Модель предназначена для генерации текста, диалогов, программирования, рассуждений, агентских сценариев, вызова функций и работы с инструментами. В README также заявлены мультимодальность и поддержка vision-language через отдельный файл mmproj. Модель имеет размер 27 млрд параметров и относится к семейству Qwen3.5 с гибридной архитектурой, сочетающей attention и linear attention; среди заявленных компонентов указаны Gated DeltaNet и block diffusion. Поддерживается английский язык, библиотека Transformers, а также совместимые с OpenAI интерфейсы и vLLM. Максимальный размер контекста в README не указан. Доступны варианты квантования GGUF от Q2_K до Q8_0 и IQ4_XS; размеры файлов составляют примерно от 10,8 до 28,7 ГБ. Варианты Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, а Q8_0 — как обеспечивающий наилучшее качество среди перечисленных. К сильным сторонам относятся широкий набор заявленных сценариев, поддержка инструментов и мультимодальности, а также возможность выбора между различными уровнями квантования для баланса качества, скорости и требований к памяти. Ограничения включают отсутствие в README точных данных о размере контекста, результатах оценки, поддерживаемых языках помимо английского и фактических возможностях мультимодального режима; для него требуется отдельный mmproj-файл. Модель распространяется по лицензии Apache-2.0.

DistilabelCerberus-7B-slerp — слитая модель для генерации текста на основе Mistral, созданная с помощью mergekit из DistilabelBeagle14-7B и OpenHermes-2.5-Mistral-7B. В конфигурации применён метод слияния slerp с разными весами для слоёв self-attention и MLP; модель содержит 7,1 млрд параметров и имеет контекст до 32 768 токенов. Модель предназначена для диалогов и генерации ответов на текстовые запросы. В карточке приведены результаты оценивания на наборах задач рассуждения, понимания здравого смысла и математики. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0.

mlx-community/dolphin-2.9-llama3-8b-4bit-mlx — 4-битная конверсия в формат MLX модели Dolphin 2.9 от Cognitive Computations, выполненная сообществом mlx-community с помощью mlx-lm 0.10.0. В основе — дообученная Meta Llama 3 8B с плотной архитектурой LlamaForCausalLM; в метаданных указано 7,5 млрд параметров и контекст 8192 токена. Модель предназначена для диалоговой генерации текста и ответов на инструкции; среди обучающих данных есть наборы для кода, математики, общения и вызова функций. Модель принимает текст и генерирует текст. Карточка описывает запуск через mlx-lm. Лицензия указана как other, поэтому условия использования следует сверить с исходной карточкой модели и лицензией базовой Meta Llama 3. Подробные сведения об ограничениях и языковом покрытии в доступной карточке не приведены.