II.9Статистика, эксперименты и причинный анализ

KAT-V1-40B (Kwaipilot-AutoThink) — открытая большая языковая модель, разработанная Kwaipilot. Она обучена выбирать, когда явно разворачивать ход рассуждений, а когда отвечать напрямую, чтобы снижать избыточные рассуждения. Модель построена на архитектуре Qwen2, имеет 39,8 млрд параметров и контекстное окно 131 072 токена; для работы с ней указана библиотека Transformers. Модель предназначена для генерации текста в диалогах и решения задач, где полезны как развёрнутые рассуждения, так и краткие ответы. README описывает структурированный формат ответа с режимами включённого и пропущенного рассуждения; метаданные также отмечают интерфейс вызова инструментов. В README сообщается о высоком результате Kwaipilot-AutoThink на LiveCodeBench Pro, но это не раскрывает показатели именно данного чекпойнта KAT-V1-40B. Репозиторий содержит веса Safetensors. Лицензия указана как other, поэтому конкретные условия использования следует проверять в карточке модели. README сообщает, что документация AutoThink и дополнительные обучающие ресурсы планируются к публикации; подробности обучения и ограничения качества этой версии в предоставленных данных не раскрыты.

Liberated-Qwen1.5-7B — разговорная языковая модель AbacusAI и Eric Hartford, дообученная на базе Qwen/Qwen1.5-7B. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, рассчитанная на генерацию текста и диалог в формате ChatML. Базовая модель поддерживает контекст до 32 768 токенов; при дообучении использовались последовательности длиной 8 000 токенов. Модель дообучена методом qLoRA на открытых наборах данных, включая OpenHermes-2.5, Code-Feedback, CodeFeedback-Filtered-Instruction и синтетические многоходовые диалоги SystemChat. Она предназначена для ответов на запросы, ведения продолжительных диалогов и следования системным инструкциям, в том числе необычным или механическим. Также её можно использовать для генерации кода и инструкционного текста. В README указано, что при обучении не добавлялись защитные ограничения или цензура, поэтому модель может выдавать нежелательное содержание. Перед предоставлением доступа через сервис разработчик рекомендует добавить собственный слой выравнивания. Лицензия — tongyi-qianwen.

Llama3.1-SuperDeepFuse — языковая модель на архитектуре Llama, созданная слиянием трёх моделей: Llama-3.1-SuperNova-Lite, DeepSeek-R1-Distill-Llama-8B и FuseChat-Llama-3.1-8B-Instruct. Автор README указывает базовую модель meta-llama/Llama-3.1-8B-Instruct и метод слияния model_stock. Модель содержит около 7,5 млрд параметров и поддерживает контекст до 131 072 токенов; опубликована в формате safetensors для Transformers. Модель предназначена для диалогов и генерации текста с упором на следование инструкциям, многошаговые рассуждения, математику и программирование. README заявляет многоязычную поддержку, однако в метаданных указан только английский язык. По карточке модель подходит для запуска на потребительских GPU, но её возможности уступают более крупным моделям. Модель всё ещё проходит оценку; результаты приведены лишь для части бенчмарков. Она может выдавать вводящие в заблуждение ответы, поэтому результаты следует проверять. Лицензия — условия использования Llama 3.1.

casperhansen/llama-3-70b-instruct-awq — это 4-битно квантованная методом AWQ версия Llama 3 70B Instruct, опубликованная пользователем casperhansen на Hugging Face. Базовую модель разработала Meta. Это авторегрессионная языковая модель с оптимизированной архитектурой Transformer и Grouped-Query Attention; она принимает текст и генерирует текст или код, поддерживая диалоговый формат и задачи ассистента. Модель содержит около 70 млрд параметров, использует контекст до 8192 токенов и рассчитана прежде всего на англоязычные коммерческие и исследовательские сценарии: диалог, генерацию текста, ответы на вопросы, программирование и рассуждения. Квантование AWQ уменьшает требования к памяти и делает локальное развертывание более практичным, однако может сопровождаться потерей точности по сравнению с полноразмерной версией. Модель не является мультимодальной и не предназначена для языков, отличных от английского, без дополнительной адаптации. Как и другие LLM, она может выдавать неточные, предвзятые или небезопасные ответы, поэтому требует проверки и дополнительных защитных механизмов. Для использования применяются Transformers, vLLM или SGLang; репозиторий содержит веса в формате Safetensors. Для базовой Llama 3 указана пользовательская коммерческая лицензия Meta Llama 3 Community License и Acceptable Use Policy; использование производной версии следует согласовывать с этими условиями.

unsloth/Meta-Llama-3.1-70B-Instruct-bnb-4bit — это 4-битно квантованная версия Meta-Llama-3.1-70B-Instruct, подготовленная с использованием экосистемы Unsloth. Базовую модель разработала Meta; в карточке указано, что Unsloth предоставляет квантованный вариант и инструменты для более эффективного дообучения. Модель предназначена для генерации текста и диалоговых сценариев, включая создание виртуальных ассистентов, обработку инструкций и адаптацию под специализированные наборы данных. Модель относится к семейству Llama 3.1, содержит 70 миллиардов параметров и использует архитектуру decoder-only Transformer, характерную для этой серии. Указан основной язык English; поддержка других языков в карточке не заявлена. Формат bnb-4bit снижает требования к памяти по сравнению с полноразмерной моделью, что может упростить локальный запуск и дообучение, однако потенциально сопровождается потерей качества относительно исходной версии и требует совместимого программного и аппаратного окружения. Сведения о размере контекста, мультимодальности и точных характеристиках инференса отсутствуют. Модель распространяется по лицензии Llama 3.1. Перед использованием необходимо учитывать условия этой лицензии и требования совместимого стека, включая Transformers и поддержку 4-битной загрузки.

MiniCPM5-2B-Claude-Fable5-1-Thinking-Agentic-GGUF — это набор GGUF-квантизаций 2-миллиардной текстовой модели MiniCPM5-2B, дообученной на данных Claude с акцентом на агентное использование инструментов, программирование и следование инструкциям. Модель разработана GnLOLot на базе openbmb/MiniCPM5-2B и предназначена для локального запуска через llama.cpp, Ollama, LM Studio, jan, KoboldCpp и другие совместимые среды. Поддерживаются английский и китайский языки, а встроенный шаблон чата MiniCPM5 упрощает интеграцию. Модель ориентирована на генерацию текста, написание и отладку кода, выполнение многошаговых программных задач, function calling и tool use в агентных сценариях, а также диалоговое следование инструкциям. Она работает только в Thinking-режиме, поэтому может выводить блоки рассуждений перед итоговым ответом. Заявленная длина контекста достигает 128K токенов, однако фактический объём зависит от используемого рантайма и доступной памяти. Доступны варианты F16 размером около 4,7 ГБ, Q8_0 около 2,5 ГБ и Q4_K_M около 1,5 ГБ; Q8_0 рекомендуется как вариант по умолчанию, а Q4_K_M — для устройств с ограниченными ресурсами. К сильным сторонам относятся компактность, возможность локального развертывания, поддержка агентного tool calling, программирования и длинного контекста. В ClawBench дообученная модель показала 44,56 балла в QwenClawBench и 24,32 в WildClawBench, превысив базовую MiniCPM5-2B. Ограничения связаны с небольшим размером 2B по сравнению с передовыми моделями, возможным выводом рассуждений и зависимостью производительности от аппаратного обеспечения и настроек рантайма. Модель распространяется по лицензии Apache-2.0.

MiniCPM5-2B GGUF — набор GGUF-квантизаций модели MiniCPM5-2B, разработанной OpenBMB и подготовленной для локального развертывания. Это плотная Llama-based модель примерно на 2 млрд параметров, предназначенная для генерации текста, программирования, рассуждений, работы с длинным контекстом и использования инструментов. Модель работает только с текстом и поддерживает английский и китайский языки. Исходная модель имеет нативный контекст до 131 072 токенов (128K). Доступны варианты квантизации Q2_K, Q3_K_M, Q4_0, Q4_K_S, Q4_K_M, Q5_K_M, Q6_K, Q8_0, IQ2_M, IQ3_M и IQ4_XS размером примерно от 0,97 до 2,68 ГБ. Файлы содержат встроенный chat template и рассчитаны на использование с актуальными сборками llama.cpp с поддержкой MiniCPM5. К сильным сторонам относятся небольшой размер, возможность локального запуска, поддержка очень длинного контекста и широкий выбор квантизаций для компромисса между качеством и требованиями к памяти. Поддержка вызова инструментов зависит от парсера и API-интеграции конкретного сервера, поэтому её необходимо проверять в целевом окружении. Модель распространяется по лицензии Apache-2.0.

openbmb/MiniCPM5-2B-GGUF — компактная языковая модель MiniCPM5-2B от OpenBMB, представленная в формате GGUF для локального запуска. Это плотная Transformer-модель примерно на 2 млрд параметров, предназначенная для генерации текста и работы в условиях ограниченных вычислительных ресурсов, включая развёртывание на устройствах и edge-системах. Модель ориентирована на английский и китайский языки и поддерживает сценарии программирования, математического рассуждения, понимания длинного контекста, использования инструментов и агентских задач. Разработчики заявляют конкурентоспособность с моделями класса 4B и лучшие результаты среди сопоставимых открытых моделей класса 2B в ряде перечисленных направлений. Точная максимальная длина контекста, параметры квантования GGUF и сведения о мультимодальности в представленном README не указаны; по описанию это текстовая модель без заявленной поддержки изображений или аудио. К сильным сторонам относятся небольшой размер, пригодность для локального и on-device использования, а также заявленные возможности в коде, математике, работе с длинным контекстом и инструментами. Ограничениями являются меньшая ёмкость по сравнению с крупными языковыми моделями и отсутствие подробных количественных результатов и характеристик конкретной GGUF-сборки в предоставленных данных. Модель распространяется по лицензии Apache-2.0.

MiniMax-M3-MXFP4 — это мультимодальная vision-language модель на базе MiniMax-M3, разработанная MiniMaxAI и представленная в виде производной 4-битной квантизованной версии от olka-fi с использованием qstream. Модель предназначена для обработки текста и изображений, генерации ответов, решения математических и других интеллектуальных задач, а также сценариев с большим контекстом и вызовом инструментов. Она использует разреженную MoE-архитектуру с 128 экспертами, выбором top-4 экспертов и одним общим экспертом, поддерживает контекст до 256K токенов и включает CLIP vision tower с проектором. Базовая архитектура также использует SwiGLU-OAI и block-sparse attention с lightning-indexer. Основное назначение версии MXFP4 — значительно уменьшить размер модели при сохранении качества. Около 95% весов, относящихся к маршрутизируемым MoE-экспертам, представлены в формате MXFP4 с 4-битными значениями и групповыми масштабами E8M0 для групп по 32 элемента; чувствительные к качеству компоненты сохранены в MXFP8, BF16 или F32. Размер контрольной точки составляет около 237 ГБ против 444 ГБ у исходной MXFP8-версии, а объём весов — примерно 221 ГиБ. В приведённых тестах модель показала perplexity 5,32 на чистом английском тексте и точность 92,9% на GSM8K. Модель рассчитана прежде всего на серверное развёртывание через совместимую экспериментальную сборку vLLM и требует специального патча для MoE-квантизации; для полной конфигурации необходимы GPU с памятью порядка 256–275 ГБ, например B300. Сильными сторонами являются большой контекст, сохранённая обработка изображений, существенное сокращение объёма и высокая скорость генерации на поддерживаемом оборудовании. Ограничения включают значительные требования к видеопамяти, экспериментальный статус поддержки MXFP4 в vLLM и необходимость специальной настройки. Модель распространяется по MiniMax Community License, унаследованной от базовой модели; лицензия допускает некоммерческое использование.

Jackrong/MLX-Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-v2-4bit — языковая модель, разработанная Jackrong и преобразованная в формат MLX из Jackrong/Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-v2 с использованием mlx-lm 0.30.7. Модель предназначена для генерации текста и задач, требующих рассуждений; в описании также указана специализация на chain-of-thought. Она рассчитана на использование с библиотекой mlx-lm, в том числе через chat template и интерфейс MLX. Модель имеет размер 27B параметров и представлена в 4-битном формате, что снижает требования к памяти по сравнению с полноразмерным представлением. Поддерживаются английский, китайский и корейский языки. Для обучения или дистилляции заявлены наборы данных nohurry/Opus-4.6-Reasoning-3000x-filtered, Jackrong/Qwen3.5-reasoning-700x и Roman1111111/claude-opus-4.6-10000x. Архитектура, максимальная длина контекста и мультимодальные возможности в README не указаны. Лицензия — Apache-2.0.

Это версия NVIDIA Nemotron 3 Ultra 550B A55B в формате GGUF BF16, опубликованная DevQuasar как копия модели NVIDIA. Она предназначена для генерации текста и диалоговых сценариев, включая сложные рассуждения, работу с длинным контекстом и агентные приложения. В метаданных указана возможность чата, а README называет версию Zeroshot. Модель основана на nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16. Репозиторий описывает её как квантованную версию, хотя формат указан как GGUF BF16; подробности о способе квантования и аппаратных требованиях не приведены. Лицензия в предоставленных данных не указана.

MaziyarPanahi/OpenHermes-2.5-neural-chat-7b-v3-1-7B-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и Weyaxi/OpenHermes-2.5-neural-chat-7b-v3-1-7B. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста в ответ на инструкции и диалоговые запросы; поддерживает контекст до 32 768 токенов. Модель принимает текст и выдаёт текст, поэтому подходит для диалоговых помощников, ответов на вопросы и выполнения текстовых инструкций. В метаданных указана лицензия Apache-2.0. Языки модели по имеющимся данным определить нельзя.

Ornith-1.5-35B-A3B-abliterated-NVFP4-DFlash-GGUF — текстовая диалоговая MoE-модель, подготовленная pottokao для запуска через llama.cpp. Это GGUF-сборка производной от ornith-ai/Ornith-1.5-35B-A3B модели: в ней намеренно удалено поведение отказа, а веса преобразованы из NVFP4 в GGML_TYPE_NVFP4 без повторной квантизации. Объём весов — 19,5 ГБ; дополнительно доступна черновая модель DFlash для спекулятивного декодирования. Сборка рассчитана на текстовый ввод и генерацию текста, не содержит визуального модуля и MTP-головы. Модель предназначена для диалоговой генерации, рассуждений, написания кода, суммаризации и ответов на запросы, в том числе с длинными промптами. Автор сообщает о запуске на двух потребительских GPU по 16 ГБ и приводит тесты на RTX 5070 Ti; для ускорения NVFP4 на GPU требуется поддержка Blackwell и сборка llama.cpp с соответствующей CUDA-архитектурой. По опубликованному сравнению конфигурация llama.cpp уступала сборке vLLM по скорости. Поведение отказа отфильтровано, поэтому модель может выдавать небезопасные ответы. Лицензия — MIT.

Ornith-1.5-35B-A3B-NVFP4-MTP-GGUF — квантизированная версия модели ornith-ai/Ornith-1.5-35B-A3B, подготовленная Avifenesh. Это текстовая генеративная модель с архитектурой MoE, распространяемая в формате GGUF с квантизацией NVFP4. Артефакт дополнен дообученной головой multi-token prediction (MTP) для speculative decoding; основной корпус модели, эмбеддинги и выходная голова сохранены без изменений относительно официальной версии. Модель предназначена для диалоговой генерации текста, включая программирование и агентские сценарии. Она поддерживает контекст до 262 144 токенов, имеет встроенный шаблон чата с XML-вызовом инструментов и режимом рассуждений <think>. Артефакт рассчитан на текстовый ввод и вывод; upstream vision tower в него не входит. Размер файла составляет около 20,2 ГБ против 71,9 ГБ у BF16-версии, что позволяет разместить веса на одной видеокарте Blackwell с 96 ГБ памяти. Ключевое преимущество версии — ускорение speculative decoding благодаря дообученной MTP-голове: на описанных тестах принятие черновых токенов достигало 0,431, а на тестах генерации кода — 0,540. При этом проверка целевой моделью сохраняет побитовую идентичность с обычной жадной генерацией. Ограничения связаны с узкой совместимостью: NVFP4 не является стандартным типом тензоров upstream llama.cpp, поэтому рекомендуется использовать serving engine tiyuvta для RTX Blackwell или специальную NVFP4-ветку llama.cpp; для обычных llama.cpp и Ollama следует выбирать официальные GGUF Q4_K_M–Q8_0. Модель распространяется по лицензии MIT.

Microsoft Phi-3 Medium-4K-Instruct в этом репозитории представлен в формате ONNX и оптимизирован для инференса через ONNX Runtime на NVIDIA GPU с CUDA. Это конверсия инструкционной модели семейства Phi-3 с плотной архитектурой Phi3ForCausalLM и примерно 13,8 млрд параметров; исходная модель прошла дообучение с учителем и оптимизацию по предпочтениям для следования инструкциям и повышения безопасности. Модель принимает текст и генерирует текстовые ответы в диалоговом формате; поддерживает контекст до 4096 токенов. В README описаны варианты FP16 и INT4, причём INT4 получен квантованием RTN; метаданные указывают формат ONNX. Модель подходит для диалоговых ассистентов, ответов на вопросы, рассуждений, математики и генерации кода. README сообщает о тестировании на NVIDIA A100 и минимальном требовании CUDA GPU с Compute Capability 7.0 или выше; приведённые замеры производительности относятся к A100 и не гарантируют таких же результатов на другом оборудовании. Лицензия — MIT.

Phi-3-Mini-4K-Instruct — компактная плотная языковая модель Microsoft семейства Phi-3 с 3,7 млрд параметров. Она обучена на синтетических данных и отфильтрованных общедоступных веб-источниках, а затем дообучена методом supervised fine-tuning и оптимизирована по предпочтениям (DPO) для следования инструкциям и повышения безопасности. Для диалогов рекомендуется использовать формат чата. Модель предназначена для генерации текста общего назначения, диалоговых систем, задач рассуждения, математики и программирования. Компактный размер рассчитан на сценарии с ограниченными вычислительными ресурсами и требованиями к задержке; длина контекста составляет 4096 токенов. Модель ориентирована прежде всего на английский язык, также в карточке указана поддержка французского. Модель может ошибаться, выдавать предвзятые или оскорбительные ответы; качество на языках, отличных от английского, может быть ниже. Для критичных сценариев требуется отдельная проверка качества и безопасности. Лицензия — MIT.

SanctumAI/Phi-3-mini-4k-instruct-GGUF — это квантизированная в формате GGUF версия Phi-3-Mini-4K-Instruct, разработанной Microsoft и подготовленной SanctumAI. Модель предназначена для генерации текста и выполнения инструкций, включая задачи понимания языка, рассуждений, математики, программирования, здравого смысла и логики. Она ориентирована на локальный запуск на устройствах с ограниченными ресурсами. Модель содержит 3,8 млрд параметров и поддерживает контекст до 4096 токенов. Это текстовая модель с поддержкой английского языка; README также отмечает наличие вариантов квантизации от Q2_K до Q8_0 и версии FP16, занимающих примерно от 1,45 до 7,64 ГБ, при потребности в памяти от 5,05 до 10,82 ГБ. Обучение включало синтетические и отфильтрованные общедоступные данные, а дообучение — supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и безопасности. К сильным сторонам относятся компактный размер, возможность локального использования и заявленная высокая производительность среди моделей с менее чем 13 млрд параметров. Ограничения включают небольшое контекстное окно, текстовую специализацию и возможные неточные, вредные или неподходящие ответы. Для использования следует применять шаблон приглашений Phi-3 с системными, пользовательскими и ассистентскими сообщениями. Указана лицензия MIT.

Microsoft Phi-3 Small-8K-Instruct — преобразованная в ONNX версия инструктивной языковой модели семейства Phi-3 Small, оптимизированная для вывода через ONNX Runtime на графических процессорах NVIDIA. Модель содержит 8,2 млрд параметров по метаданным и поддерживает контекст до 8192 токенов. Базовая модель обучалась на синтетических данных и отфильтрованных общедоступных веб-данных, а затем прошла дообучение по инструкциям и оптимизацию предпочтений. Модель предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, рассуждения, математические задачи и программирование. Репозиторий включает варианты FP16 и INT4; INT4 экономит ресурсы и может быть выгоден при небольших пакетах, а FP16 рекомендован для более крупных пакетов. В README приведены измерения производительности на A100, поэтому эти показатели не гарантируют аналогичную скорость на другом оборудовании. Для запуска требуются ONNX Runtime и совместимый NVIDIA GPU с Compute Capability не ниже 7.5. Лицензия — MIT. Указанные в README Python, C и C++ относятся к языкам программирования, а не к естественным языкам модели.

bunnycore/Phi-4-Model-Stock — объединённая языковая модель на основе unsloth/phi-4, созданная методом Model Stock с помощью mergekit. В объединение вошли Phi-4-Avg, Phi-4-Empathetic, Phi-4-Math-IO и Phi-4-QwQ; размер модели — 14,1 млрд параметров, максимальная длина контекста — 16 384 токена. Модель предназначена для генерации текста и диалогов, включая задачи рассуждения и математики. Модель использует архитектуру LlamaForCausalLM и распространяется в формате safetensors. Карточка приводит результаты оценок на IFEval и BBH, но не описывает языковое покрытие или гарантии качества для отдельных задач. Лицензия — MIT.

Qwen2-2B-Dolphin-Hercules — объединённая модель генерации текста на архитектуре Qwen2, созданная сообществом mergekit из M4-ai/Hercules-5.0-Qwen2-1.5B и cognitivecomputations/dolphin-2.9.3-qwen2-1.5b. Модель содержит 1,9 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Модель предназначена для диалогов и генерации ответов на запросы. Базовые модели описаны как англоязычные модели общего назначения; их сценарии включают ответы на вопросы, математику, программирование и письмо. Репозиторий содержит веса Safetensors для Transformers. В README указано слияние методом passthrough с типом данных bfloat16. Лицензия в предоставленных данных не указана.

bunnycore/Qwen2.5-7B-R1-Bespoke-Stock — объединённая языковая модель, созданная с помощью mergekit методом Model Stock. В качестве базовой использована huihui-ai/Qwen2.5-7B-Instruct-abliterated-v3; в объединение также вошли bunnycore/Qwen2.5-7B-R1-Bespoke-Task, deepseek-ai/DeepSeek-R1-Distill-Qwen-7B и bespokelabs/Bespoke-Stratos-7B. Модель построена на архитектуре Qwen2 с плотной causal language model, содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового использования. Она может применяться для ответов на запросы и многошаговых рассуждений; базовая DeepSeek-R1-Distill-Qwen-7B ориентирована, в частности, на математику и программирование, но README не приводит отдельных оценок возможностей именно этого объединения. Репозиторий содержит веса в формате safetensors и рассчитан на библиотеку Transformers. Язык лицензии в предоставленных данных не указан.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — это GGUF-версия модели на базе DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Модель создана в результате многоэтапной дообученной настройки и слияния нескольких моделей Qwen3.5 9B; в разработке также участвовал Nightmedia. Предназначена для диалогов, следования инструкциям, рассуждений, программирования, творческого письма, художественной прозы и ролевых сценариев. Заявлена как полностью uncensored и ориентированная на минимизацию отказов. Модель поддерживает контекст до 256k токенов, английский и китайский языки, а также обработку изображений. Для работы с изображениями требуется отдельный файл mmproj, размещённый в одной папке с GGUF-файлом. Доступны обычные и MTP-квантизации в форматах GGUF. NEO IMATRIX заявлена как технология, улучшающая точность квантизированных версий и работу с длинным контекстом, а MTP-варианты могут ускорять генерацию за счёт многотокенного предсказания. К сильным сторонам относятся высокая заявленная производительность на ряде тестов общего назначения, улучшенное следование инструкциям, режимы thinking и instruct, а также возможность запуска в стандартных приложениях, поддерживающих GGUF. Ограничения включают зависимость скорости от аппаратного обеспечения и параметров генерации; MTP-версии могут работать хуже обычных при низком уровне принятия предсказанных токенов, сложных творческих задачах или температуре выше 1. Модель не обязательно превосходит более крупные версии во всех задачах. Лицензия — Apache-2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — это производная модель семейства Qwen3.5-9B, основанная на DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Она создана автором модели совместно с Nightmedia с использованием многоэтапной донастройки и слияния нескольких моделей на локальном оборудовании. Модель предназначена для общего диалогового использования, следования инструкциям, рассуждений, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Заявлены режимы thinking и instruct, а также полностью uncensored-поведение. Поддерживаются английский и китайский языки. Модель имеет контекст до 256k токенов и активированное зрение: для обработки изображений требуется отдельный файл mmproj. GGUF-квантизации совместимы со стандартными приложениями для запуска локальных моделей. Доступны обычные GGUF и MTP-GGUF-варианты с NEO IMATRIX-квантизацией, которая, по заявлению автора, повышает точность и качество работы в длинном контексте. MTP-варианты могут ускорять генерацию благодаря multi-token prediction, но их эффективность зависит от оборудования, настроек и показателя token acceptance; при низком acceptance обычные варианты могут работать быстрее. Сильными сторонами заявлены высокая производительность для модели такого размера, улучшенное следование инструкциям, рассуждения и результаты на ряде тестов. Ограничения включают зависимость скорости и качества от выбранной квантизации, аппаратного обеспечения и параметров генерации, а также отсутствие гарантии превосходства над более крупными моделями во всех задачах. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-14B-A3B-FableVibes-mlx-q4 — это 4-битная MLX-квантизированная версия модели tvall43/Qwen3.6-14B-A3B-FableVibes, подготовленная для локального запуска на компьютерах Apple Silicon. Исходная модель основана на REAP-pruned Qwen3.6-35B-A3B, дистиллирована с использованием QLoRA и reasoning-трасс Claude Fable 5. Она предназначена для генерации текста, решения задач и сценариев, требующих пошагового рассуждения, с выводом рассуждений в формате <think>...</think>. Модель использует гибридную архитектуру Qwen3.5 с линейным вниманием GatedDeltaNet, полным attention и разреженным MoE. Она содержит около 14 млрд параметров, из которых примерно 3 млрд активируются на каждом токене; используется 90 экспертов, 8 из которых выбираются для обработки токена. Квантизация выполнена в 4 бита с group size 64, размер модели составляет около 7,2 ГБ. Разреженность MoE обеспечивает высокую скорость декодирования — около 46 токенов в секунду на M4, а модель рассчитана на запуск на Mac с 16 ГБ памяти. Ограничением является некоторое снижение точности строгого рассуждения из-за 4-битной квантизации; для более высокой точности доступен вариант с квантизацией q6. Лицензия — Apache 2.0.

Qwen3.6-35B-A3B-Qwable-Holo3-Qwopus — экспериментальная мультимодальная модель, созданная автором nightmedia слиянием NuSLERP нескольких моделей на базе Qwen3.6-35B-A3B, включая Holo3, Qwopus и Qwable. В метаданных указана архитектура семейства Qwen3.5 MoE и класс Qwen3_5MoeForConditionalGeneration; репозиторий содержит веса safetensors. Базовая модель имеет 35 млрд параметров, но в карточке нет отдельного подтверждения размера итоговой сборки или длины её контекста. Модель предназначена для диалога и следования инструкциям, работы с изображениями, рассуждений, программирования, математики и творческого письма. В README описано переключение режимов быстрого ответа и глубокого рассуждения с помощью шаблона чата. Метаданные указывают поддержку английского, китайского, японского и испанского языков. Автор приводит сравнительные результаты нескольких вариантов квантования и показатели perplexity, памяти и скорости токенов. Модель распространяется по лицензии AGPL-3.0. Автор отмечает, что использованный шаблон чата — ранняя версия и модель не проверялась с его актуальной версией; поэтому поведение переключателей рассуждения может зависеть от шаблона и конфигурации.

oktayd разработал Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT — дообученную мультимодальную модель семейства Qwen3.5 MoE для диалога, анализа изображений, программирования и рассуждений. Архитектура Qwen3_5MoeForConditionalGeneration содержит около 35 млрд параметров, из которых примерно 3 млрд активны на токен; при генерации выбираются 8 из 256 экспертов. Модель принимает текст и изображения и предназначена для запуска через Transformers. Её можно использовать для вопросов по изображениям, объяснения научных и рабочих тем, написания и отладки кода, мозгового штурма и диалоговых сценариев. В README описан прямой, деловой и юмористический стиль общения, а также обучение на материалах по знаниям, программированию, инструментам, бизнесу и визуальным задачам. Вызов инструментов зависит от приложения, которое предоставляет и исполняет инструменты; форматирование вызовов не гарантировано. Автор сообщает о проверках текста и простых изображений, но не приводит результатов бенчмарков. Модель может ошибаться, повторяться и допускать ошибки в схемах; MTP и полноценные агентские сценарии отдельно не подтверждены. Веса BF16 занимают около 70 ГБ без учёта дополнительной памяти для выполнения. Включено обучение на взрослые темы, поэтому модель рассчитана на аудиторию 18+. Лицензия — Apache-2.0.

ChrisandErin86/Qwen3.8-27B-OBLITERATED — текстовая авторегрессионная модель генерации на базе Qwen/Qwen3.8-27B, модифицированная с применением метода abliteration для удаления или ослабления поведения, связанного с отказами и защитными ответами. В README также упоминаются подходы complementary abliteration blending, итеративное уточнение и целевая обработка корпусов. Модель ориентирована на диалоговые сценарии, генерацию текста и кода, включая задачи, в которых исходная модель могла отказываться отвечать; отдельно заявлена пригодность для агентных систем и исследований AI safety. Разработчик базовой модели — Qwen, автор производной модели указан как ChrisandErin86. Из известных характеристик указаны архитектура Qwen3, размер 27B параметров, текстовая модальность и поддержка форматов GGUF, Safetensors и MLX. Заявлена совместимость с thinking mode и чат-шаблоном; точный размер контекста и перечень поддерживаемых языков в предоставленном фрагменте README не указаны. Для инференса рекомендуются температура 0, repetition_penalty 1.15, не менее 2048 новых токенов и отсутствие системного промпта; для агентных сценариев предложены более короткие ответы и периодическое суммирование контекста. Сильная сторона модели — сниженное количество отказов при сохранении большей части возможностей исходной Qwen3.8-27B: в README приведён результат MMLU 82,3% против 84,5% у базовой модели, а также заявлены успешные результаты на тестах генерации кода и некоторых расширенных практических задачах. Ограничениями являются небольшая потеря качества относительно базовой модели, риск циклической генерации без настройки repetition_penalty и потенциальные риски применения менее ограниченной модели. Лицензия — Apache-2.0.

Toffee 3B β — языковая модель-ассистент, разработанная zait-ai и дообученная на базе mistralai/Ministral-3-3B-Base-2512. Она предназначена для диалога и выполнения инструкций, включая общие вопросы, математические задачи и программирование. Модель использует плотную архитектуру семейства Mistral, содержит 3,2 млрд параметров и поддерживает контекст до 8192 токенов. Обучение проходило на смесях диалоговых, математических и программных инструкций. В карточке приведены результаты на MMLU, HellaSwag, BoolQ и Winogrande, однако сравнение с другими моделями обозначено как приблизительное из-за различий в настройках оценки. Основной язык — английский. Модель распространяется по лицензии MIT.

airoboros-l2-7b-2.2 — экспериментальная текстовая языковая модель на архитектуре LLaMA, разработанная jondurbin и дообученная преимущественно на синтетических данных набора airoboros-2.2. Она предназначена для ответов на инструкции и вопросы, генерации текста и кода, ответов по заданному контексту, а также формирования планов и структурированных аргументов для вызова функций. Модель содержит 6,6 млрд параметров, принимает и генерирует текст, а её нативный контекст составляет 4096 токенов. Карточка описывает шаблон диалога с метками USER и ASSISTANT и рекомендации по остановке генерации; для ответов по предоставленным источникам предусмотрен формат с явными разделителями контекста. Модель в основном ориентирована на выполнение инструкций, а не на свободный чат или ролевую игру. В README отмечены частичное выравнивание для обычного использования и возможность переопределения этого поведения системным промптом. Ответы по контексту могут галлюцинировать, поэтому автор советует явно просить не придумывать неизвестные ответы. Модель распространяется под лицензией Llama 2; опубликована в формате PyTorch.

Bagel 7B v0.1 — созданная jondurbin до DPO-этапа версия Mistral-7B, дообученная на смеси инструкционных диалогов и обычного текста. Модель предназначена для генерации ответов в чате и выполнения широкого круга инструкций: от вопросов и ответов, математики и программирования до SQL, пересказа и ролевых диалогов. В обучении использованы данные из нескольких источников, включая LMSYS Chat, Natural Instructions, MathInstruct, Apps и Cinematika. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Карточка указывает, что обучение остановили примерно на половине запланированного объёма из-за ограничений бюджета; в сравнении с вариантом после DPO эта SFT-версия менее склонна к правдивым ответам и может быть предпочтительнее для ролевых сценариев. Модель распространяется под лицензией Apache-2.0.