II.9Статистика, эксперименты и причинный анализ

Mellum2-12B-A2.5B-Instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели Mellum2, разработанной JetBrains и подготовленной квантизатором bartowski с использованием llama.cpp. Модель предназначена для генерации текста по инструкциям, включая задачи программирования, рассуждений, ответов на вопросы и вызова функций. В README заявлена поддержка английского языка и текстовая модальность. Модель основана на Mellum2-12B-A2.5B-Instruct; из идентификатора следует обозначение 12B-A2.5B, однако подробности архитектуры и контекстного окна не указаны. Доступны варианты от BF16 до различных уровней квантования GGUF, что позволяет выбирать между качеством и требованиями к памяти. Для запуска указаны llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Приведены результаты на наборах для программирования, математики, следования инструкциям, вызова функций и оценки безопасности, но они не верифицированы. Лицензия модели — Apache 2.0. Ограничениями являются отсутствие в предоставленных данных подробной информации об архитектуре, размере контекста, полном наборе языков, системных требованиях и качестве работы на языках, кроме английского; перед использованием также может потребоваться обновление программного обеспечения для поддержки модели.

Meta Llama 3 70B Instruct — разработанная Meta инструкция-настроенная большая языковая модель для диалоговых сценариев. Это авторегрессионный плотный трансформер Llama с Grouped-Query Attention, примерно 69,5 млрд параметров и контекстом 8192 токена. Модель принимает текст и генерирует текст, включая код; карточка указывает английский как целевой язык. Модель подходит для диалогового помощника и генерации текста или кода. Настроенная версия обучена с помощью supervised fine-tuning и обучения с подкреплением на основе человеческих предпочтений (RLHF), с акцентом на полезность и безопасность. Репозиторий распространяет веса в формате safetensors; заявлена пользовательская коммерческая лицензия Meta Llama 3, условия которой необходимо соблюдать. Модель не предназначена для использования на языках, отличных от английского, согласно указанному назначению; для ответственного развертывания могут потребоваться дополнительные меры безопасности.

ProCreations/MiMo-V2.6-Flash-RL-NVFP4 — это вариант модели MiMo-V2.6-Flash-RL, опубликованной XiaomiMiMo, преобразованный в формат NVFP4. Репозиторий содержит точную перекодировку уже квантизированных MXFP4-весов маршрутизируемых экспертов без калибровки, обрезания, оптимизации или округления к ближайшему коду. Модель предназначена для генерации текста, включая работу с кодом, математическими задачами, английским и китайским языками. В конфигурации указана архитектура Mixture-of-Experts; точное общее число параметров и размер контекста исходной модели в README не приведены. Сохранены мультимодальные энкодеры, аудиотокенизатор и сопутствующие файлы, однако конкретные поддерживаемые модальности не описаны. Ключевое отличие — смешанная точность W4A16_NVFP4 для экспертных весов при отсутствии требования квантизации активаций FP4. Корневой массив тензоров занимает около 193,96 ГБ без вспомогательных файлов. Полная проверка заявляет идентичность кодов экспертных весов и практически полное совпадение значений при сравнении с исходной моделью; в тесте на 65 504 токенах показатели perplexity совпали с исходной MXFP4-версией, а согласие наиболее вероятного токена составило 99,988–100% в зависимости от домена. Это не гарантирует идентичность результатов при других типах вычислений, ядрах внимания, квантизации активаций или настройках генерации. Проверенный путь загрузки использует vLLM 0.29.0, tensor parallelism 2 и две видеокарты RTX PRO 6000 Server Edition по 96 ГБ; заявленный максимальный контекст в примере запуска — 12 288 токенов. README не содержит широких бенчмарков качества, подтверждений производительности, валидации CPU-offloading или speculative decoding. Модель и исходный чекпойнт распространяются по лицензии MIT.

Ministral-3-14B-abliterated-GGUF — GGUF-квантизированные версии модели Ministral-3-14B-abliterated, разработанные jenerallee78 на базе Ministral-3-14B-Instruct-2512 от Mistral AI. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, а также для использования в OpenAI-совместимых API-серверах и Ollama. Это мультимодальная модель, принимающая текстовые и графические входные данные. Заявлена поддержка контекста до 256K токенов; язык, указанный в карточке, — английский. Доступны варианты F16 размером около 26 ГБ и Q8_0 размером около 14 ГБ. Для обработки изображений требуется отдельный vision-проектор mmproj-F16 размером около 838 МБ. Версия F16 обеспечивает максимальное качество, а Q8_0 рассчитана на более экономичное использование памяти. Модель подвергнута abliteration — изменению внутренних представлений, направленному на удаление поведения, связанного с отказами в ответах. Это может сделать её более пригодной для исследовательских сценариев, требующих менее выраженных ограничений, но одновременно повышает риски генерации небезопасного или нежелательного контента. Для F16 указано тестирование на NVIDIA RTX PRO 6000 Blackwell с потреблением около 67 ГБ VRAM и скоростью генерации около 20–22 токенов в секунду; показатели Q8_0 обозначены как оценочные или не предоставлены. Лицензия — Apache-2.0; автор также указывает исследовательское и образовательное назначение и ответственность пользователя за соблюдение законодательства и этических норм.

NinjaMouse2-2.5B-v0.1 — разговорная языковая модель, созданная автором trollek на основе h2oai/h2o-danube2-1.8b-chat. Это плотная авторегрессионная модель семейства Mistral с 2,4 млрд параметров и контекстом до 8192 токенов; исходные 24 слоя расширены, а обучение включало дообучение вставленных блоков и последующую настройку на инструктивных и диалоговых данных. Модель предназначена для диалогов и генерации ответов на инструкции, включая задачи по математике, коду и вызову инструментов. Для подготовки данных использовались примеры из нескольких англоязычных диалоговых, математических и программных наборов, а также ответы более крупных моделей. Репозиторий содержит веса в формате safetensors; README также описывает отдельные квантизированные варианты для запуска через Ollama и LM Studio. Модель рассчитана прежде всего на английский язык. README предупреждает, что специальные токены FIM и thought не входили в обучение. Лицензия — Apache-2.0. Качество и соответствие инструкциям могут различаться; карточка не приводит результатов независимой оценки.

Nova-1 Standard (Phase 3 SFT) — компактная авторегрессионная языковая модель Smilyai Labs с 1,27 млрд параметров, обученная с нуля и дообученная для следования инструкциям и многоходового диалога. Она предназначена для генерации текста, ответов в чате, а также задач с кодом и математикой. Модель использует плотную decoder-only архитектуру Nova1ForCausalLM, Mixture-of-Depths, Grouped-Query Attention, SwiGLU и RoPE. Есть собственный токенизатор на основе GPT-2 BPE с маркерами для кода, математики и ChatML. Модель работает через Transformers и выдаёт текст; заявлена поддержка английского языка. В README отмечено, что KV-кэш отключён, поэтому при генерации на каждом шаге передаётся полный контекст, что может снижать скорость вывода. Модель распространяется по лицензии Apache-2.0. README описывает обучение на веб-текстах, коде, математических данных и наборах инструкционных диалогов.

RedHatAI/OpenHermes-2.5-Mistral-7B-pruned50 — разреженная версия диалоговой модели OpenHermes-2.5-Mistral-7B, подготовленная Neural Magic для обслуживания через движок nm-vllm. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров; заявленное окно контекста — 32 768 токенов. Она принимает текстовые запросы и генерирует текстовые ответы в диалоговом режиме. Модель подходит для локального запуска чат-ассистента, ответов на вопросы, генерации текста и помощи с кодом. Репозиторий содержит веса PyTorch, оптимизированные разреживанием для высокой пропускной способности и меньшего потребления памяти при инференсе через nm-vllm. Она унаследовала возможности базовой OpenHermes-2.5-Mistral-7B, но карточка не приводит отдельной оценки качества именно разреженной версии. Лицензия в предоставленных данных не указана.

OpenHermes-2.5-Nebula-v2-7B — объединённая модель для генерации текста и диалогов, созданная на основе teknium/OpenHermes-2.5-Mistral-7B и PulsarAI/Nebula-v2-7B-Lora. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; карточка указывает поддержку общения и обучающий датасет Open-Platypus. Модель подходит для диалоговых ответов, генерации текстов и помощи с кодом на английском языке. Репозиторий содержит веса Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Опубликованные в README результаты таблицы оценки не заполнены.

Open-Instruct Open Assistant 13B — языковая модель на архитектуре LLaMA, дообученная AllenAI на данных OpenAssistant/oasst1 для выполнения инструкций и генерации текста. Это модельный diff, поэтому для её использования нужна исходная модель LLaMA в формате Hugging Face; карточка приводит лицензию AI model license вместе с исходной лицензией LLaMA. Модель содержит 12,9 млрд параметров, принимает текст и рассчитана на контекст до 2048 токенов. Она предназначена для диалоговых ответов и выполнения пользовательских инструкций на английском языке; в карточке также приведены результаты тестов на рассуждения, математические задачи, вопросы и ответы и генерацию кода. Качество генерации зависит от соблюдения обученного формата ввода, включая завершающий перевод строки. Показатели на бенчмарках отражают результаты эксперимента из указанной исследовательской работы и не гарантируют качество в прикладных сценариях.

Project Norn V20 — экспериментальная текстовая генеративная модель Osakra Research, построенная на базе empero-ai/Qwen3.8-9B-Distill. В карточке описана архитектура NornV20ForCausalLM: чередование причинного внимания с окном 512 токенов и рекуррентной памяти Titans-HRR; заявлены обработка контекста до 32 768 токенов и реализация на Transformers. Репозиторий содержит веса Safetensors и GGUF F16, а метаданные указывают 3,7 млрд параметров. Модель предназначена для диалогов, рассуждений, математики, программирования и агентных сценариев. Карточка заявляет показатели внутренних бенчмарков, но приведённые описания и результаты не дают независимой проверки этих утверждений. В README упоминается работа с изображениями через Ollama и внешний mmproj, однако метаданные подтверждают только текстовую генерацию, поэтому мультимодальную поддержку нельзя считать установленной. Лицензия — Apache-2.0.

Q3.6-35B-A3B-abliterated-0520-MAX-GGUF — модель от prithivMLmods, основанная на Qwen/Qwen3.6-35B-A3B и распространяемая в формате GGUF. Это модифицированная версия с применением анализа направлений отказа и обучения методом абляции, направленная на снижение внутренних отказов при сохранении способностей к рассуждению и следованию инструкциям. В README также указана производная модель prithivMLmods/Q3.6-35B-A3B-abliterated-0520-MAX-STOR-check. Модель предназначена для генерации текста, подробных ответов, рассуждений и выполнения инструкций, включая сценарии локального запуска через llama.cpp или совместимые средства инференса. Указан английский язык. Архитектура описана как Mixture-of-Experts с 35 млрд параметров; максимальная длина контекста в README не указана. Наличие файлов mmproj и тега image-text-to-text указывает на заявленную поддержку мультимодального сценария, однако конкретные возможности работы с изображениями не описаны. Доступны варианты квантования от Q2_K до Q8_0, а также BF16 и F16; размеры файлов составляют примерно от 12,9 до 69,4 ГБ, что позволяет выбирать компромисс между требованиями к памяти и качеством. Сильной стороной заявляется улучшенное следование инструкциям и сниженное количество отказов, но это одновременно является ограничением для безопасного применения: поведение модели может быть менее ограничивающим, а качество и безопасность ответов требуют самостоятельной проверки. Модель предназначена авторами для исследований и обучения, а использование осуществляется на риск пользователя. Лицензия — Apache-2.0.

unsloth/Qwen2.5-14B — 14-миллиардная плотная авторегрессионная языковая модель семейства Qwen2.5, опубликованная Unsloth как дообученная версия Qwen/Qwen2.5-14B. Она предназначена для генерации и продолжения текста; базовая модель особенно подходит для дальнейшего постобучения, а карточка не рекомендует использовать базовые языковые модели непосредственно для диалогов. Архитектура использует RoPE, SwiGLU, RMSNorm и grouped-query attention; контекст составляет до 131 072 токенов. Модель поддерживает многоязычную генерацию, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Семейство Qwen2.5 заявлено как улучшенное в программировании, математике, следовании инструкциям, работе с длинными текстами и структурированными данными, однако эти характеристики в README описаны для семейства в целом и не подтверждены отдельной оценкой данного чекпойнта. Репозиторий использует Transformers и формат safetensors; лицензия — Apache-2.0.

PollardWeights/Qwen2.5-14B-Instruct-Pollard — это квантизированная версия Qwen2.5-14B-Instruct, разработанная PollardWeights на основе модели Qwen от Qwen. Модель предназначена для генерации текста и диалоговых сценариев, включая объяснения, программирование, рассуждения и творческое продолжение текста. Поддерживает только текстовый ввод; заявленный язык — английский. Архитектура — qwen2, размер — около 14,8 млрд параметров, формат распространения — GGUF. Модель использует смешанную квантизацию PollardMix с распределением разрядности по чувствительности отдельных слоёв, а не равномерное сжатие. Доступны варианты от Q6_K размером около 12,12 ГБ до IQ1_KT размером 3,92 ГБ. Крупные варианты обеспечивают более высокое качество, а IQ4_XS позиционируется как оптимальный баланс размера и качества. IQ1_KT позволяет запускать модель при ограниченных ресурсах, но требует ik_llama.cpp и работает медленнее, чем некоторые более крупные варианты. Сильной стороной является существенное уменьшение размера по сравнению с F16-версией: примерно с 29,60 до 3,92 ГБ. По измерениям на WikiText-2 вариант Q6_K близок к F16 по perplexity, а PollardMix превосходит равномерную 1-битную квантизацию по указанным метрикам и сохраняет связность в чат-сценариях. Ограничения включают потери качества при агрессивной квантизации, зависимость IQ1_KT от ik_llama.cpp, отсутствие данных о других языках и неполные сведения о длине контекста. Лицензия — Apache-2.0.

Qwen2.5-Coder-7B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-Coder, разработанной командой Qwen при Alibaba Cloud и представленной в репозитории Unsloth. Модель предназначена для генерации, анализа и исправления программного кода, кодового рассуждения, создания code agents, а также задач математики и общего назначения. В README явно указан английский язык. Модель относится к causal language models и использует архитектуру Transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV attention. Она содержит 7,61 млрд параметров, 28 слоёв и механизм GQA с 28 головами для Q и 4 для KV; заявленная максимальная длина контекста — 131 072 токена. Базовая серия обучалась на 5,5 трлн токенов, включая исходный код, текстово-кодовые соответствия и синтетические данные. Существенные сильные стороны — специализация на программировании, улучшенные генерация, рассуждение и исправление кода, а также поддержка длинного контекста. README не приводит подробных ограничений качества, перечня языков программирования или характеристик именно 4-битного квантования. Для работы рекомендуется использовать актуальную версию библиотеки Transformers. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-4B-Base-bnb-4bit — 4-битная версия базовой языковой модели Qwen3-4B-Base, подготовленная Unsloth на основе модели Qwen/Qwen3-4B-Base. Это каузальная языковая модель на стадии предварительного обучения, предназначенная для генерации и продолжения текста, а также общих задач обработки естественного языка, программирования, STEM и рассуждений. README не уточняет особенности именно 4-битной упаковки и сценарии её применения. Модель содержит 4,0 млрд параметров, из которых 3,6 млрд приходятся на параметры без embedding, имеет 36 слоёв и использует Grouped-Query Attention с 32 головами для Q и 8 для KV. Максимальная длина контекста составляет 32 768 токенов. Семейство Qwen3 обучалось на 36 трлн токенов на 119 языках и включает данные для кодирования, STEM, рассуждений, книг, мультиязычных и синтетических задач, однако точные языковые возможности данной версии отдельно не приведены. К сильным сторонам относятся компактный размер, сниженные требования к памяти благодаря 4-битному представлению, длинный контекст и универсальная базовая направленность. Ограничения состоят в том, что это именно базовая, а не инструкционно настроенная модель: README не заявляет о специальной диалоговой настройке, конкретных результатах бенчмарков или требованиях к оборудованию. Для работы рекомендуется актуальная версия библиотеки transformers; версии ниже 4.51.0 могут вызывать ошибку KeyError: 'qwen3'. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3.6-27B-AWQ-BF16-INT8 — квантизированный вариант Qwen3.6-27B, разработанный сообществом cyankiwi на основе модели Qwen/Qwen3.6-27B от команды Qwen. Модель предназначена для работы с текстом и изображениями, включая агентное программирование, работу с интерфейсами и репозиториями, итеративную разработку и задачи, требующие сохранения контекста рассуждений. Это каузальная языковая модель с vision encoder и 27 миллиардами параметров. Архитектура включает 64 слоя, комбинацию Gated DeltaNet и Gated Attention, а также multi-step training с MTP. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Заявлена поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Размер файлов модели указан как 36,85 ГБ. Сильными сторонами являются мультимодальность, большой контекст, ориентация на coding agent-сценарии и совместимость с Transformers, vLLM, SGLang и KTransformers. README не содержит подробных сведений о типичных ограничениях качества, требованиях к оборудованию или влиянии квантизации на результаты, поэтому эти характеристики нельзя оценить по имеющимся данным. Модель распространяется по лицензии Apache-2.0.

amd/Qwen3.8-2.4T-A95B-Quark-MXFP4 — текстовая языковая модель на архитектуре Qwen3_5MoeForCausalLM, разработанная на базе Qwen/Qwen3.8-2.4T-A95B-FP8 и подготовленная Advanced Micro Devices, Inc. с использованием AMD-Quark 0.12. Модель принимает текст и генерирует текст; в метаданных указан английский язык. Размер контекста и полный перечень поддерживаемых языков не указаны. Модель предназначена для инференса и задач генерации текста, включая математические рассуждения и оценивание на бенчмарках. Квантованию подвергнуты routed experts: веса используют статическое представление OCP MXFP4, а активации — динамическое OCP MXFP4. Для запуска заявлена поддержка AMD MI350 и MI355 под Linux с ROCm 7.2.0 и PyTorch 2.12.0; рекомендованные движки инференса — SGLang и vLLM. На GSM8K модель получила точность 97,49%, полностью сохранив результат исходной FP8-модели по приведённому сравнению. Ограничения включают зависимость от указанного оборудования и программного стека, а также отсутствие в README сведений о результатах на других задачах, контекстном окне, детальных возможностях мультиязычной работы и лицензии исходной модели. Указано, что модификации защищены авторским правом Advanced Micro Devices, Inc. (2026), но отдельные условия лицензии в README не приведены.

Qwen3.8-27B-OBLITERATED-OptiQ-4bit — мультимодальная vision-language модель семейства Qwen3.8, разработанная сообществом mlx-community на базе OBLITERATUS/Qwen3.8-27B-OBLITERATED. Квантованная версия предназначена для локального запуска на устройствах Apple Silicon с использованием MLX и инструментария mlx-optiq, без PyTorch и облачных сервисов. Модель содержит 27B параметров и поддерживает обработку текста и изображений, при этом в README явно указан английский язык. Она использует смешанную покомпонентную 4/8-битную квантизацию с размером группы 64: 237 компонентов представлены в 4-битном формате, 261 — в 8-битном. Среда хранения занимает около 21 ГБ. Сохранены vision tower в формате bf16 для работы с изображениями и MTP-голова для speculative decoding и multi-token prediction. Модель ориентирована на reasoning, long-context сценарии, function calling, tool use и агентские приложения. К сильным сторонам относятся мультимодальность, локальная работа на Apple Silicon, уменьшенный размер благодаря смешанной квантизации, поддержка ускоренной генерации через MTP и совместимый endpoint с интерфейсами OpenAI и Anthropic при использовании optiq serve. Ограничения включают необходимость установки mlx-optiq и запуска в экосистеме MLX, а также повышенные требования к памяти из-за размера модели. README не содержит точного максимального размера контекста и подробных результатов оценки качества. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — квантизированная версия базовой модели Qwen/Qwen3.8-27B, опубликованная в формате GGUF для использования с llama.cpp. Модель предназначена для генерации текста, локального запуска и сценариев, где важны различные уровни квантизации, включая работу со speculative decoding благодаря сохранённой голове multi-token prediction (MTP). Доступен вариант с поддержкой изображений, если это предусмотрено базовой моделью. Модель имеет архитектуру Qwen3_5ForConditionalGeneration, 64 слоя, словарь из 248 320 токенов, один MTP-слой и контекст до 262 144 токенов. Заявлены английский и китайский языки. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также варианты с объединённой MTP-головой и отдельными целевой и draft-моделями. По сравнению с исходной моделью существенно снижено поведение отказа от ответа, но оно не устранено полностью; при этом возможности, обучающие данные и архитектура базовой модели не изменялись. Сильными сторонами являются большой контекст, поддержка MTP для ускорения инференса, несколько вариантов размера файлов и сохранение качества при большинстве квантизаций. Ограничения включают возможное небольшое снижение доли принятых токенов при speculative decoding, зависимость от совместимости используемого runtime и отсутствие в README подробных сведений о фактических показателях рассуждения, программирования и мультиязычных возможностей. Распространение указано по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-INT8 — это модифицированная и квантованная версия базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen компании Alibaba и опубликованная OrcaRouter. Из модели удалено направление, отвечающее за отказы, поэтому она существенно менее ограничена встроенными механизмами безопасности. Версия использует квантование INT8 W8A8: веса линейных слоёв представлены в 8-битном формате, а активации квантуются динамически по токенам. Модель предназначена для исследовательских задач, включая интерпретируемость, изучение механизмов отказа, AI safety, red-teaming, оценку устойчивости и контролируемые эксперименты. Это vision-language модель с поддержкой текста и изображений, рассуждений, управления режимом thinking, вызова инструментов и function calling. Архитектура включает 64 слоя, скрытое состояние размером 5120 и гибридное внимание: 48 слоёв Gated DeltaNet с линейным вниманием и 16 слоёв с полным вниманием. Заявлен контекст до 262 тысяч токенов; также сохранена MTP-голова для speculative decoding. В README указана поддержка английского и китайского языков. К сильным сторонам относятся сочетание мультимодальности, длинного контекста, инструментов, рассуждений и широкой совместимости INT8 с современными GPU. Основное ограничение — практически отсутствие встроенных защит: модель может выполнять вредоносные, незаконные или неэтичные запросы, которые исходная модель отклоняла. Её не рекомендуется использовать с конечными пользователями или в производственной среде без собственных механизмов модерации и защиты от злоупотреблений. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели; ответственность за использование и результаты несёт пользователь.

Atomic-Germ/Qwen3.8-9B-Distill-GGUF — это набор квантованных версий языковой модели Qwen3.8-9B, разработанной компанией Empero. Модель представляет собой полнопараметрическую дистилляцию Qwen3.8 2.4T A95B в архитектуру Qwen3.5-9B и предназначена для генерации текста и решения задач рассуждения. Доступны форматы GGUF для llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и других совместимых сред. Заявлен английский язык. Модель использует гибридную архитектуру Qwen3.5-класса: на каждые слои полной attention приходятся три слоя Gated DeltaNet. Указан размер 9B параметров; контекстное окно в README не сообщается. Доступны варианты квантования Q4_K_M, Q5_K_M, Q6_K, Q8_0 и BF16 размером примерно от 5,780 до 18,407 GB. В качестве сильных сторон заявлены улучшенные результаты на MMLU по сравнению с базовой Qwen3.5-9B и поддержка локального запуска на видеокартах с 8–16 GB памяти в зависимости от квантования. Ограничением является необходимость свежей сборки llama.cpp с поддержкой Qwen3.5 и Gated DeltaNet; при длинном контексте дополнительные ресурсы потребляет KV-кэш. Модель генерирует рассуждения в блоках <think>, которые при необходимости следует скрывать от конечных пользователей. Веса распространяются по лицензии Apache-2.0, унаследованной от базовой модели Qwen.

BenevolenceMessiah/QwQ-32B-Preview-Self-instruct-4x-TIES-MGS-v1.0 — объединённая языковая модель на архитектуре Qwen2, созданная методом TIES с помощью mergekit на основе Qwen/QwQ-32B-Preview и моделей TheBeagle, EVA-Qwen2.5 и Rombos. Она предназначена для диалоговой генерации текста и может применяться для ответов на вопросы, рассуждений и помощи с программированием. Модель содержит 32 млрд параметров, принимает текст и выдаёт текст; нативное окно контекста — 32 768 токенов. Репозиторий содержит веса Safetensors для библиотеки Transformers. Карточка не сообщает лицензию и не описывает отдельные результаты оценки качества; характеристики базовой QwQ указывают на ориентацию на рассуждения и код, но не гарантируют их качество после слияния.

Ramonda Monarch 7B — объединённая модель для генерации текста, опубликованная mayacinka. Она создана методом DARE-TIES с помощью LazyMergekit на основе bardsai/jaskier-7b-dpo-v5.6, eren23/ogno-monarch-jaskier-merge-7b, liminerity/Omningotex-7b-slerp и yleo/OgnoMonarch-7B. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста и ответов на запросы; в карточке приведены результаты нескольких языковых и логических бенчмарков. Доступны веса в формате safetensors с точностью bfloat16. Лицензия в предоставленных данных не указана. Поскольку это слияние нескольких моделей, условия использования могут зависеть от лицензий исходных моделей; перед применением следует проверить их отдельно.

Reka-Flash-3-21B-Reasoning-Uncensored-MAX-NEO-Imatrix-GGUF — текстовая reasoning-модель на базе RekaAI/reka-flash-3, опубликованная DavidAU. Она предназначена для локального текстового общения, решения задач и рассуждений, генерации и продолжения художественных текстов, ролевых сценариев, мозгового штурма и общего использования. Модель заявлена как uncensored и поддерживает function calling, однако подробности реализации этих возможностей в README не приведены. Модель имеет размер 21B параметров, работает в формате GGUF и рассчитана на контекст до 128k токенов. Доступен ряд квантованных вариантов от IQ1 до Q8; варианты с более высокой точностью обычно обеспечивают более качественные и быстрые рассуждения, но требуют больше памяти и вычислительных ресурсов. Варианты дополнительно обработаны с использованием NEO Imatrix и сохраняют BF16 для выходного тензора, что, согласно README, должно улучшать следование инструкциям, качество ответов и эффективность рассуждений. Для работы используются теги <reasoning> и </reasoning>, а системный промпт не является обязательным. Сильными сторонами заявлены стабильное рассуждение при разных значениях температуры, способность не зацикливаться и высокая эффективность оптимизированных квантов. При этом качество рассуждений напрямую зависит от выбранного уровня квантования: IQ1 ограничивает reasoning, а для сложных задач рекомендуются IQ3 и выше, особенно IQ4 или Q5–Q8. Низкие кванты требуют меньше ресурсов, но могут заметно уступать по качеству и скорости. Заявленный язык — английский. Модель распространяется по лицензии Apache-2.0.

Tiiny/SmallThinker-4BA0.6B-Instruct-GGUF — GGUF-квантизированная версия SmallThinker-4BA0.6B-Instruct, семейства нативных для устройств языковых моделей с архитектурой Mixture-of-Experts. Модель разработана совместно IPADS и School of AI Шанхайского университета Цзяотун при участии Zenergize AI и предназначена для локального запуска на устройствах с ограниченными ресурсами, обеспечивая приватность и низкую задержку без обращения к облачным сервисам. Модель рассчитана на генерацию текста и работу в инструкционном режиме: ответы на вопросы, рассуждения, решение математических задач, следование инструкциям и генерацию кода. Она обучалась преимущественно на английском языке, поэтому качество для других языков не заявлено. Контекстное окно составляет 32K токенов. Архитектура включает 4B общих параметров и 0,6B активируемых параметров, 32 слоя, 12 attention heads, механизм GQA, активацию ReGLU, 32 эксперта MoE и выбор 4 экспертов на токен. К сильным сторонам относятся высокая эффективность для компактной модели, возможность локального развертывания, поддержка llama.cpp для обычных GGUF-файлов и PowerInfer для файлов с суффиксом .powerinfer.gguf, использующих разреженные операторы. Ограничения включают преимущественно англоязычное обучение, возможные фактические ошибки, предвзятость и устаревание ответов, а также зависимость специальных .powerinfer.gguf-файлов от фреймворка PowerInfer. Модель распространяется по лицензии Apache-2.0.

uukuguy выпустил объединённую языковую модель на базе Mistral-7B для генерации текста, диалога и задач с кодом. В неё объединены ehartford/dolphin-2.1-mistral-7b, Open-Orca/Mistral-7B-OpenOrca, bhenrym14/mistral-7b-platypus-fp16 и ehartford/samantha-1.2-mistral-7b. Архитектура — плотный трансформер MistralForCausalLM с 7,1 млрд параметров; контекст — до 32 768 токенов. Модель принимает текст и генерирует текст, а карточка отмечает поддержку кода и приводит результаты HumanEval и тестов Open LLM Leaderboard. Модель подходит для диалоговых ответов, генерации кода и общих текстовых задач. В репозитории представлены варианты AWQ, GPTQ и GGUF с разной разрядностью для GPU и CPU+GPU-инференса; метаданные этого репозитория указывают Transformers и safetensors. Лицензия — Llama 2. Карточка не описывает отдельные гарантии качества или механизмы модерации для объединённой модели.

Gille/StrangeMerges_13-7B-slerp — слитая модель генерации текста, созданная с помощью LazyMergekit из Gille/StrangeMerges_12-7B-slerp и uukuguy/speechless-zephyr-code-functionary-7b. Она основана на плотной архитектуре Mistral с 7,1 млрд параметров и рассчитана на генерацию текста и диалоговые задачи с контекстом до 32 768 токенов. Слияние выполнено методом SLERP с настройками для слоёв внимания и MLP. Модель подходит для диалоговых приложений и генерации текста, включая сценарии с кодом и вызовом функций, на которые указывает один из исходных чекпойнтов. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0.

Supertron1-4B — инструктивно дообученная языковая модель от Surpem на базе Qwen/Qwen3-4B. Это плотный причинный Transformer примерно на 3,7 млрд параметров, предназначенный для диалогов, следования инструкциям, математических рассуждений, программирования и повседневной генерации текста. Модель принимает текст и выдаёт текст; заявленная длина контекста — 40 960 токенов. В метаданных указана поддержка английского языка. По заявлению автора, настройка на математические и программные задачи обеспечивает хорошие результаты на GSM8K и HumanEval, а модель остаётся достаточно компактной для запуска на потребительском оборудовании. Эти сравнения приведены в README без подробностей методики оценки. Модель распространяется в формате Safetensors под лицензией Apache 2.0.

WestLake-Munin-Cat-NorskGPT — объединённая модель на архитектуре Mistral, созданная с помощью LazyMergekit из шести моделей, включая NorskGPT-Mistral-7b, Munin, WestLake, MetaMath-Mistral и OpenHermes. Модель насчитывает 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового использования. Её можно применять для ответов на вопросы, написания и продолжения текстов, а также помощи с кодом и математическими задачами благодаря возможностям входящих в объединение моделей. Формат весов — safetensors; модель опубликована в феврале 2024 года. В карточке не приведены результаты оценки качества или отдельные инструкции по эксплуатации. Условия лицензирования в доступных данных не указаны.

TheBloke/wizardLM-7B-HF — полноразмерная модель WizardLM-7B в формате Hugging Face для генерации текста и выполнения инструкций. Она основана на Llama 7B: к исходным весам применены delta-веса WizardLM, полученные методом Evol-Instruct, после чего объединённая модель преобразована в float16. В репозитории указано около 6,6 млрд параметров и контекст до 2048 токенов. Модель предназначена для ответов на запросы и выполнения разнообразных инструкций на естественном языке; файлы подходят для инференса на GPU и как основа для дальнейшей квантизации или конвертации. Карточка отмечает, что ранняя WizardLM уступала ChatGPT на полном тестовом наборе и оставалась на начальном этапе развития, хотя показывала преимущество на сложных инструкциях. Лицензия в метаданных обозначена как other.