II.4Отладка, тестирование и качество ПО

Карточка модели tayaee/Qwen2.5-1.5B-Instruct-ko-Reasoning-alpha-smoke на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Qwen2.5-72B-0.6x-Instruct-GGUF — набор GGUF-квантизированных версий инструкционной языковой модели Qwen2.5-72B-0.6x-Instruct. Квантизацию выполнил bartowski с использованием llama.cpp b4058 и метода imatrix. Модель предназначена для текстовой генерации и диалоговых сценариев, включая работу в LM Studio; README указывает английский язык и формат чата с системными и пользовательскими сообщениями. Доступны варианты квантизации от Q8_0 размером 77,26 ГБ до IQ1_M размером 25,49 ГБ. Версии Q6_K, Q5_K_M, Q5_K_S и Q4_K_M обозначены как рекомендованные благодаря хорошему соотношению качества и размера, при этом более сильная квантизация уменьшает требования к памяти, но может снижать качество ответов. Q3 и Q2-варианты рассчитаны на системы с ограниченным объёмом RAM и характеризуются более низким качеством. Некоторые форматы оптимизированы для ARM и AVX, а Q4_0_8_8 требует поддержки SVE на ARM и не рекомендуется для Mac. Модель использует лицензию Qwen; ссылка на текст лицензии ведёт к лицензии исходной модели Qwen2.5-72B-Instruct. В README не указаны архитектурные детали, размер контекстного окна, полный список поддерживаемых языков, мультимодальные возможности и результаты бенчмарков, поэтому эти характеристики нельзя надёжно определить по предоставленным данным.

ThomasBaruzier/Qwen2.5-72B-Instruct-GGUF — набор GGUF-квантизаций 72-миллиардной инструкционно настроенной языковой модели Qwen2.5-72B-Instruct. Квантизации подготовлены ThomasBaruzier с использованием llama.cpp и метода imatrix, а для калибровки применён файл Bartowski. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций в локальных приложениях, совместимых с llama.cpp. Это текстовая autoregressive-модель без заявленной поддержки изображений или других модальностей. В README указана поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Представлено множество вариантов квантизации от IQ1_S до Q8_0 с размером файлов примерно от 21,6 до 78,5 ГБ; варианты позволяют выбирать компромисс между требованиями к памяти, скоростью и сохранением качества. В таблице README для доступных вариантов приведены значения perplexity и accuracy, причём более низкая perplexity соответствует лучшему результату. Сильной стороной набора является широкий выбор квантизаций и наличие измерений качества для их сравнения. Ограничения включают существенные требования к оперативной или видеопамяти даже у наиболее сжатых вариантов, возможную потерю качества из-за квантизации и отсутствие данных о размере контекстного окна, архитектурных деталях и производительности на конкретном оборудовании. Модель распространяется по лицензии Qwen; точные условия следует уточнять в лицензии базовой модели Qwen/Qwen2.5-72B-Instruct.

Qwen3-30B-A3B-Instruct-2507-MLX-6bit — это 6-битная квантованная версия инструкционной языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантование в формате MLX выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях использования, включая работу через совместимые инструменты на устройствах Apple Silicon. Она относится к семейству text-generation и использует архитектуру и характеристики исходной модели Qwen3-30B-A3B-Instruct-2507, однако README не содержит сведений о языках, длине контекста, поддерживаемых модальностях и других архитектурных деталях. Ключевое преимущество версии — снижение требований к памяти по сравнению с полноразмерными весами благодаря 6-битному квантованию и оптимизации под MLX. Ограничения включают возможную потерю точности из-за квантования, зависимость от платформы Apple Silicon и отсутствие в README подробных данных о качестве, производительности и бенчмарках. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A3B-Thinking-2507-MLX-4bit — это 4-битная квантованная версия языковой модели Qwen3-30B-A3B-Thinking-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием mlx_lm и оптимизировано для работы на устройствах Apple Silicon. Модель предназначена для генерации текста и локального запуска в сценариях, где важны совместимость с экосистемой Apple и сниженное потребление памяти по сравнению с полноразмерной версией. Архитектура, поддерживаемые языки, размер контекстного окна, модальности и специализированные задачи в README не указаны. Известно, что модель относится к семейству Qwen3 и имеет конфигурацию 30B-A3B, а 4-битное представление обеспечивает более эффективное развертывание, потенциально с компромиссом между требованиями к ресурсам и точностью. Модель распространяется по лицензии Apache-2.0. Следует учитывать, что квантованная версия может наследовать ограничения исходной модели, включая вероятность неточных, вредных или неподходящих ответов.

Qwen3-4B-Instruct-2507-GGUF — квантизированная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, включая диалоговые сценарии, ответы на вопросы, подготовку и преобразование текстов, а также другие задачи общего назначения. Вариант распространяется в формате GGUF и создан bartowski на основе llama.cpp release b6096; LM Studio выступает площадкой распространения, а не разработчиком модели. Модель содержит 4 миллиарда параметров и относится к текстовым autoregressive-моделям для text generation. Формат GGUF и поддержка llama.cpp упрощают локальный запуск и позволяют использовать её в совместимых инструментах, однако конкретные уровни квантования, размер контекста, поддерживаемые языки и дополнительные характеристики в README не указаны. К преимуществам относятся относительно компактный размер и возможность локального использования; ограничения включают возможное снижение точности из-за квантования, меньшие возможности по сравнению с более крупными моделями и типичные риски генерации неточной или неподходящей информации. Лицензия в предоставленных данных не указана.

Qwen3-4B-Instruct-2507-GPTQ-Int4 — квантизированная версия модели Qwen/Qwen3-4B-Instruct-2507, опубликованная под идентификатором superjob/Qwen3-4B-Instruct-2507-GPTQ-Int4. Она предназначена для генерации текста и работы в диалоговых и прикладных сценариях, где важны компактность модели и снижение требований к памяти. Заявлена поддержка 104 языков, включая русский и другие языки стран СНГ. Модель использует 4-битную GPTQ-квантизацию весов и 16-битные активации (W4A16), размер группы — 128, порядок активаций статический. Формат compressed-tensors обеспечивает нативную поддержку в vLLM и оптимизирован для запуска с этим движком. README не содержит данных о точном размере контекстного окна, числе параметров исходной архитектуры, поддерживаемых модальностях помимо текста или результатах тестирования, поэтому оценить качество и ограничения по бенчмаркам невозможно. Модель распространяется по лицензии Apache 2.0, как и исходная модель.

OnlyTextLLMs/Qwen3.5-2B-OnlyText — текстовая причинно-следственная языковая модель на базе Qwen/Qwen3.5-2B. Разработчик репозитория удалил из исходной модели компоненты обработки изображений и аудио и мультимодальные специальные токены, сохранив текстовую основу, языковую голову и черновую MTP-голову; дополнительного обучения не проводилось. Модель имеет плотную архитектуру Qwen3_5ForCausalLM, около 1,7 млрд параметров по метаданным и контекст до 262 144 токенов. Модель предназначена для генерации текста и диалогов. Она принимает текст и выдаёт текст; заявленный интерфейс также поддерживает вызов инструментов. Репозиторий использует Transformers и формат safetensors. Лицензия — Apache-2.0. Удалённые аудио- и визуальные компоненты исключают обработку изображений и аудио; сведения о языках в предоставленных данных не приведены.

Qwen35B-Agent-R2-i1-GGUF — квантизированная GGUF-версия модели Qwen35B-Agent-R2, подготовленная mradermacher. Базовая модель разработана автором или организацией hotdogs; точная информация о разработчике в README не указана. Модель предназначена для генерации текста, диалоговых сценариев, reasoning, агентских задач, использования инструментов и tool calling. Обучение или дообучение связано с датасетами для рассуждений, агентскими траекториями и conversational-задачами. Модель относится к архитектуре Mixture-of-Experts и имеет заявленный размер 35B, поддерживает текстовый ввод и вывод. В метаданных указаны английский и тайский языки. Модель распространяется в виде набора квантизаций GGUF с разным компромиссом между размером, скоростью и качеством: от IQ1_S размером 7,6 ГБ до Q6_K размером 28,6 ГБ. Варианты IQ-квантизации могут быть предпочтительнее сопоставимых обычных вариантов по размеру, но низкобитные версии заметно ограничены по качеству. Оптимальными по соотношению размера, скорости и качества README называет i1-Q4_K_S, а i1-Q4_K_M — быстрой и рекомендуемой. В README не указаны размер контекстного окна, точные параметры архитектуры, мультимодальные возможности и результаты бенчмарков, поэтому нельзя сделать выводы об этих характеристиках. Лицензия модели — AGPL-3.0; условия использования производных квантизированных файлов следует учитывать вместе с лицензией базовой модели.

Qwen3.6-27B-Q8_0-dequant-bf16-vllm — конвертированная версия весов Qwen3.6-27B, подготовленная exolabs для запуска через vLLM. Веса взяты из GGUF-квантизации Q8_0 репозитория unsloth/Qwen3.6-27B-GGUF, деквантизированы, преобразованы в формат Transformers и сохранены в BF16 как safetensors. Это плотная модель семейства Qwen3.5 с поддержкой чата и интерфейса вызова инструментов. Исходная архитектура предусматривает обработку текста и изображений, однако в этом репозитории отсутствует визуальная башня. README рекомендует запускать модель в режиме только языковой части, поэтому для данного набора весов следует рассчитывать на текстовый ввод и генерацию текста. Конфигурация проверена на H200 с vLLM 0.23.0; автор указывает максимальную длину контекста 4096 токенов в рекомендуемой команде запуска. Это преобразование уже квантизированных весов Q8_0 в BF16, а не исходный чекпойнт BF16: точность деквантизации ограничена исходной квантизацией. Лицензия в предоставленных данных не указана.

88plug/Qwen3.6-27B-W8A16 — квантованная версия мультимодальной модели Qwen3.6-27B, разработанной командой Qwen и опубликованной пользователем 88plug. Модель предназначена для обработки изображений и текста с генерацией текста: анализа изображений, визуально-текстовых запросов, рассуждений и задач общего назначения. Поддерживает английский язык; заявленный контекст составляет до 262 144 токенов. Это плотная модель примерно на 27 млрд параметров без MoE, с гибридной архитектурой Gated DeltaNet и полносвязных MLP-блоков. В ней 41 чередующийся слой полной и линейной внимания. Применена посттренировочная квантование AutoRound W8A16: веса хранятся в INT8, а активации — в BF16; размер группы квантования равен 32. Модель занимает около 27 ГБ и рассчитана на запуск на GPU Ampere и новее, включая RTX 4090, A6000 и A100-40. Для развёртывания предпочтителен vLLM версии 0.21 или новее с форматом compressed-tensors. К сильным сторонам относятся существенно меньшие требования к памяти по сравнению с BF16-версией, поддержка длинного контекста и возможность работы на распространённых GPU без ограничений, характерных для FP8. Текстовые компоненты калибровались на смешанном наборе UltraChat-200k и WikiText-103, однако визуальный энкодер получил некалиброванное RTN-квантование INT8, поэтому качество обработки изображений может быть менее проверенным. Формат compressed-tensors не поддерживается TGI, а виджет Hugging Face может работать нестабильно. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-GGUF — это GGUF-квантизация базовой модели Qwen/Qwen3.6-35B-A3B, подготовленная разработчиком 0xSero. Модель предназначена для генерации текста и запуска через llama.cpp, включая сценарии локального инференса на совместимом оборудовании. Доступны варианты с разными уровнями квантизации, включая динамическую смешанную квантизацию DYNAMIC.gguf. Модель имеет 35 млрд общих параметров, при этом на один токен активируется около 3 млрд параметров. В её основе используется гибридная архитектура Gated DeltaNet и Gated Attention с маршрутизацией через 256 экспертов; для DYNAMIC.gguf критичные компоненты внимания и маршрутизатор сохраняются в более высокой точности, а экспертные слои квантуются сильнее. Указан формат GGUF, однако размер контекста, число слоёв, скрытый размер, поддерживаемые языки и модальности в README не приведены. Сильной стороной являются варианты, ориентированные на баланс качества, размера и скорости, а также результаты тестирования на AMD Ryzen AI MAX+ 395 с Radeon 8060S, Vulkan и llama.cpp. Ограничение — заявленные показатели производительности относятся к конкретной конфигурации и могут отличаться на другом оборудовании; квантизация также может влиять на качество. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

aquaduck/Qwen3.8-27B-GGUF — это квантизированная GGUF-версия причинной языковой модели Qwen3.8-27B, разработанной командой Qwen и Alibaba Cloud. Репозиторий Aquaduck предоставляет полную модель в формате Q4_K_M, полученную из unsloth/Qwen3.8-27B-GGUF, а также дополнительные шардированные файлы для поэтапной или многосетевой загрузки. Aquaduck отвечает за хостинг и упаковку, а не за обучение или отдельную тонкую настройку модели. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые с GGUF инструменты, такие как llama.cpp, а также использование в приложении Aquaduck. Она поддерживает мультиязычную работу в соответствии с возможностями базовой Qwen3.8-27B и рассчитана на контекст до 262 144 токенов. Архитектура включает около 27,8 млрд параметров, 64 слоя, GQA с 24 Q- и 4 KV-головами и размер скрытого состояния 5120. Ключевые преимущества — существенно меньший размер по сравнению с полноточными вариантами, совместимость с экосистемой GGUF и возможность staged loading с помощью двух шардов, разделённых после слоя 32. Полный файл подходит для обычного одноузлового запуска, тогда как отдельные шардированные файлы не являются самостоятельными моделями и предназначены только для Aquaduck Arc. Квантизация Q4_K_M может снижать качество по сравнению с версиями в более высокой точности; отдельные оценки для этого размещённого варианта не проводились, поэтому его ограничения, риски и смещения соответствуют базовой модели Qwen3.8-27B. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели. При использовании необходимо соблюдать требования лицензии и рекомендации базовой карточки модели, включая корректный chat template и режимы thinking или instruct.

Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored-NVFP4-W4A16-T336 — производная модель, опубликованная esatapedico на основе DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored, которая, в свою очередь, основана на Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и развёртывания через vLLM; настройка TWIN-TURBO ориентирована на сокращение количества токенов рассуждений при сохранении качества ответов. Это 27-миллиардная языковая модель с архитектурой Qwen3_5ForCausalLM, 64 слоями, гибридной архитектурой GatedDeltaNet, поддержкой мультиязычных сценариев и заявленным контекстом до 262144 токенов. В репозитории также сохранены vision tower и MTP head, пригодный для speculative decoding. Контрольная точка использует формат compressed-tensors NVFP4: веса W4A16 с группировкой 16 и масштабами FP8; часть наиболее чувствительных компонентов оставлена в BF16. Калибровочные данные не применялись, размер файла model.safetensors составляет около 21 ГБ. Главные преимущества — значительное сжатие весов, совместимость с vLLM, сохранение полноточных компонентов, влияющих на качество, а также измеренная близкая к родительской модели perplexity на англоязычном наборе. Ограничения включают зависимость от vLLM-совместимых движков, необходимость подходящей аппаратной конфигурации и отсутствие GGUF в репозитории; заявленная проверка проводилась при tensor parallel 2 и контексте 2048 токенов, поэтому практические характеристики на максимальном контексте могут отличаться. Модель распространяется по лицензии Apache 2.0.

Qwen3-Next-80B-A3B-Instruct-8bit — языковая модель для генерации текста и диалогового взаимодействия, разработанная сообществом mlx-community на основе Qwen/Qwen3-Next-80B-A3B-Instruct от Qwen. Модель преобразована в формат MLX с использованием mlx-lm версии 0.27.1 и предназначена для запуска через библиотеку mlx-lm. Из README известно, что это 8-битная версия модели с архитектурой и характеристиками базовой модели Qwen3-Next-80B-A3B-Instruct, однако подробности об архитектуре, фактическом числе активных параметров, поддерживаемых языках, модальностях и размере контекста не указаны. Модель ориентирована на текстовую генерацию и может использоваться в чат-сценариях через встроенный chat template. Для работы требуется библиотека mlx-lm; пример запуска предполагает загрузку модели и токенизатора средствами Python. Ключевое преимущество модели — адаптация в MLX-формат и 8-битное представление, что делает её подходящей для экосистемы MLX и потенциально снижает требования к памяти по сравнению с полноточной версией. Ограничения, результаты оценивания и особенности качества в README не описаны. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-Instruct-2507-GGUF — это квантизированная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет архитектуру и размер исходной версии Qwen3-235B-A22B-Instruct-2507; в названии указаны 235 млрд параметров и конфигурация A22B. Представлены варианты GGUF с разными уровнями квантизации — от Q2 до Q8_0 — размером примерно от 93 до 250 ГБ для указанных файлов. Более высокие уровни обычно обеспечивают лучшее качество, но требуют больше оперативной или видеопамяти. README не содержит сведений о поддерживаемых языках, длине контекста и мультимодальности. Сильной стороной являются разнообразие вариантов квантизации и возможность локального запуска, включая рекомендации Q6_K, Q5_K_M, Q5_K_S и Q4_K_M для разных компромиссов между качеством и требованиями к памяти. Ограничениями выступают очень крупный размер модели и высокие аппаратные требования; при низких уровнях квантизации качество снижается. Лицензия в предоставленных данных не указана.

Это GGUF-квантизированная версия языковой модели Qwen3-30B-A3B-Thinking-2507, разработанной Qwen и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp; формат подходит для офлайн-сценариев на оборудовании с ограниченными ресурсами по сравнению с полной версией BF16. Модель относится к семейству Qwen3 и имеет заявленный размер 30B параметров, при этом в названии указано A3B. README не содержит сведений о поддерживаемых языках, длине контекста, конкретной архитектуре, мультимодальности и результатах тестирования. Доступны варианты от BF16 до различных уровней квантизации Q8_0, Q6, Q5, Q4, Q3 и IQ; они различаются размером файлов, качеством и требованиями к оперативной памяти. Версии Q6 и Q5 отмечены как высококачественные, Q4_K_M — как стандартный вариант для большинства сценариев, а Q3 предназначены для систем с небольшим объёмом памяти, но дают более низкое качество. Сильными сторонами являются широкий выбор квантизаций, совместимость с популярными локальными инструментами и возможность подобрать баланс между качеством, скоростью и потреблением памяти. Ограничения включают неизбежное снижение качества в более компактных вариантах, значительный размер файлов даже после квантизации и отсутствие в README сведений о лицензии, языках и максимальном контексте. Для корректного диалога рекомендуется использовать указанный в README шаблон prompt format с секцией <think>.

Qwentile 2.5 32B Instruct — экспериментальная текстовая модель для генерации и диалогов, созданная автором карточки путём интерполяции и объединения нескольких моделей семейства Qwen2.5 в пространстве сигналов. В метаданных указана архитектура Qwen2ForCausalLM с 32 млрд параметров и контекстом 32 768 токенов; модель работает через Transformers и распространяется в формате safetensors. Модель предназначена для диалогов, задач на рассуждение и генерации структурированных ответов, в частности XML. Автор отмечает хорошую управляемость инструкциями и стабильность вывода, однако модель иногда пропускает закрывающие XML-теги, поэтому такие ответы следует проверять и при необходимости исправлять. Лицензия — Apache-2.0.

RekaAI_reka-flash-3.1-GGUF — набор GGUF-квантизованных версий модели RekaAI/reka-flash-3.1, подготовленный пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp; README также указывает формат промпта human: {system_prompt} {prompt} <sep> assistant:. Доступны варианты от исходных весов BF16 размером 41,82 ГБ до компактных квантований Q2 и IQ3 размером примерно от 9,18 ГБ, а также Q3, Q4, Q5, Q6 и Q8. Более высокие уровни квантования обеспечивают лучшее сохранение качества, но требуют больше памяти; Q4_K_M обозначен как рекомендуемый вариант общего назначения, а Q5 и Q6 — как высококачественные варианты. Некоторые форматы оптимизированы для определённых аппаратных платформ, включая Apple silicon, ARM и AVX CPU. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, модальностях и размере контекста исходной модели, поэтому эти характеристики нельзя достоверно указать. Ограничения связаны с потерями качества при низких уровнях квантования и значительными требованиями к памяти у крупных вариантов. Распространение указано по лицензии Apache-2.0.

Salamandra-7B-Instruct-Aina-Hack — разговорная языковая модель, разработанная подразделением языковых технологий Barcelona Supercomputing Center для мероприятия AinaHack, посвящённого созданию ИИ-инструментов для администрации Каталонии. Это инструкция-настроенная версия Salamandra-7B: decoder-only трансформер семейства Llama с 32 слоями и примерно 7 млрд параметров. Модель принимает текст и генерирует текст, использует шаблон ChatML и поддерживает контекст до 8192 токенов. Модель предназначена для диалоговых помощников и генерации текста на европейских языках, а также может служить основой для прикладной донастройки. Семейство Salamandra обучалось с нуля на многоязычном корпусе из 35 европейских языков и программного кода; карточка этой версии описывает её как proof of concept с предварительной настройкой следования инструкциям. Модель распространяется под лицензией Apache 2.0. У модели выявлены социальные и когнитивные смещения, а анализ охватывает не все поддерживаемые языки. Карточка предупреждает, что модель не прошла RLHF-выравнивание для фильтрации чувствительных тем и может создавать вредный или неподходящий контент; перед применением в продуктах необходимы оценка рисков и дополнительная настройка безопасности.

arcee-ai/saul-mistral-v0.1-7b-slerp — объединённая модель от Arcee AI, созданная методом SLERP с помощью mergekit из Equall/Saul-Base и mistralai/Mistral-7B-Instruct-v0.1. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалоговых ответов. Базовая модель Mistral-7B-Instruct-v0.1 ориентирована на выполнение инструкций; слияние добавляет компоненты Saul-Base. Модель принимает текст и выдаёт текст, поддерживает чат-сценарии и имеет контекст до 32 768 токенов. В карточке не заявлены конкретные языки или специализированные предметные области, поэтому её следует считать моделью общего назначения. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0.

KnutJaegersberg/Tri-21B-Think-gguf — GGUF-версия модели Tri-21B-Think-Preview, подготовленная на основе Tri-21B. Это причинная языковая модель с декодерным Transformer, RoPE, SwiGLU, RMSNorm и GQA, содержащая 20,73 млрд параметров. Она дообучена для диалогов, пошаговых рассуждений и использования инструментов. Контекст составляет 32 768 токенов, а с YaRN может расширяться до 262 144 токенов. Модель предназначена для генерации ответов в чат-сценариях, решения задач на рассуждение и работы с длинными текстовыми запросами. В первую очередь она оптимизирована для английского, корейского и японского языков; на других языках качество может снижаться. Это промежуточный чекпойнт, и README указывает на Tri-21B-Think как на финальную версию. Для базовой Tri-21B указана лицензия trillion, а для Think и Think-Preview — Apache 2.0; при этом метаданные репозитория обозначают лицензию как other, поэтому условия использования следует сверить с файлами лицензии в репозитории.

ukisai_Swift-Qwen3.8-27b-GGUF — это квантизированная версия модели Swift-Qwen3.8-27b, разработанной ukisai и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp. Модель содержит около 28 млрд параметров и предназначена для задач генерации текста, рассуждений и эффективного по токенам решения задач. В README также заявлена поддержка обработки изображений вместе с текстом при использовании файла mmproj, поэтому модель может применяться в мультимодальных сценариях image-text-to-text. Модель поддерживает speculative decoding через MTP и использует imatrix-квантизацию. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ3, а также популярные Q4 и Q5; размер файлов варьируется примерно от 12,8 до 54,66 ГБ. В качестве универсального компромисса между качеством и размером рекомендуется вариант Q4_K_M объёмом 17,44 ГБ, тогда как Q6 и Q8 ориентированы на максимально высокое качество. Сведения о поддерживаемых языках и размере контекста в README не указаны. Сильными сторонами модели являются крупный размер, поддержка рассуждений, мультимодальный ввод, speculative decoding и широкий выбор уровней квантизации для различного объёма памяти. Ограничения включают значительные требования к дисковому пространству и памяти, возможное снижение качества в компактных вариантах, необходимость совместимого runtime llama.cpp, а для работы с изображениями — отдельного mmproj-файла. Модель распространяется по лицензии Swift Open License 1.0; в метаданных также указано, что доступ к ней является gated.

MaziyarPanahi/WizardLM-2-8x22B-GGUF — это набор файлов модели в формате GGUF для базовой модели microsoft/WizardLM-2-8x22B, разработанной Microsoft и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на вопросы и создание подробных, полезных и вежливых ответов ассистента. Файлы подходят для запуска с совместимыми инструментами, включая llama.cpp; репозиторий содержит шардированные варианты модели. Доступны квантизированные варианты с разной разрядностью: 2-, 3-, 4-, 5-, 6- и 8-битные GGUF-файлы. Исходная архитектура, общее число параметров, поддерживаемые языки и размер контекста в README не указаны. Модель относится к текстовым, мультимодальность не заявлена. Разные уровни квантизации позволяют выбирать компромисс между размером файлов, требованиями к памяти и качеством, однако конкретные характеристики каждого варианта не приведены. Лицензия — Apache 2.0. Для использования требуется совместимое программное обеспечение, а параметры запуска зависят от выбранного файла квантизации и средства инференса.

1.5-Pints-16K-v0.1 — языковая модель команды Pints AI для диалогов и генерации текста. Она основана на авторегрессионной архитектуре Llama 2, содержит около 1,57 млрд параметров и использует токенизатор Mistral. Модель обучалась на 57 млрд токенов отобранных данных, затем была дообучена на инструкциях и оптимизирована по предпочтениям; в карточке указано окно контекста 16 384 токена и формат весов safetensors. Модель предназначена для создания компактного помощника, ответов на запросы и рассуждений, а также для запуска нескольких экземпляров в агентных сценариях. Авторы рекомендуют использовать поиск с генерацией (RAG) для ответов, требующих точных фактических знаний, и дообучать модель для специализированных областей. В сравнении, приведённом в карточке, результат MTBench для версии 16K — 3,40; это ограничивает ожидания от её качества по сравнению с более крупными моделями. Указана лицензия MIT.

Anrn 12B R1 — мультимодальная модель на основе Gemma 4 Unified, выпущенная проектом Anrn и представленная как BF16-база Google Gemma 4 12B с отдельным обученным адаптером LoRA, применяемым с проверенным коэффициентом 0,45. Архитектура — плотный декодер с 11,95 млрд параметров; заявлены входы в виде текста, изображений, аудио и видео. Для Transformers доступен мультимодальный сервис, а дополнительная сборка llama.cpp предназначена для текстового режима. Для llama.cpp указана поддержка контекста 128K. Модель рассчитана на диалог и решение сложных текстовых задач, а также на анализ изображений, аудио и видео через нативный сервис. В README приведены результаты MMLU-Pro, GPQA Diamond и AIME 2026 без инструментов; показатели получены в проектной оценке за август 2026 года и зависят от шаблонов промптов, параметров генерации и версии оценочного набора. BF16-веса требуют значительных ресурсов, а выгрузка части вычислений на CPU снижает скорость. Путь llama.cpp является квантованным текстовым вариантом и не поддерживает нативный мультимодальный ввод. Лицензия — Apache-2.0.

mrcuddle подготовил объединённую диалоговую языковую модель на базе Llama 3 8B. Веса NousResearch/Hermes-2-Pro-Llama-3-8B и jondurbin/bagel-8b-v1.0 объединены методом SLERP с помощью mergekit; архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров. Модель работает через Transformers, сохранена в формате safetensors, поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста и диалоговых ответов. Её можно использовать для общения с ассистентом, ответов на вопросы, написания текстов и кода, а также выполнения разнообразных текстовых инструкций. Метаданные указывают на возможность чата, однако README не приводит оценок качества или результатов тестирования. Сведения о лицензии в предоставленных источниках отсутствуют.

Bielik-11B-v3.0-Instruct-GGUF — квантизированная версия инструкционной языковой модели Bielik-11B-v3.0-Instruct, разработанной SpeakLeash совместно с ACK Cyfronet AGH. Это каузальная decoder-only модель для генерации текста и диалогового взаимодействия, представленная в формате GGUF для локального запуска с помощью llama.cpp, Ollama и совместимых приложений. Модель мультиязычная и поддерживает 32 европейских языка, при этом оптимизирована для польского. В README размер указан как 11B параметров; сведения о длине контекста и дополнительных модальностях не приведены. Доступны варианты квантизации Q4_K_M, Q5_K_M, Q6_K, Q8_0, а также 16-битные FP16 и BF16. Квантизация позволяет снизить требования к ресурсам, но может уменьшать качество ответов и повышать вероятность галлюцинаций; Q8_0 требует значительных ресурсов, а низкобитные варианты требуют особенно осторожной настройки. Модель предназначена для локального текстового вывода, включая диалоги и задачи, поддерживаемые инструкционной языковой моделью. В конфигурации для Ollama предусмотрен экспериментальный вызов инструментов с ответом в формате JSON. Модель распространяется по лицензии Apache 2.0.

Calme-Ties2-78B — объединённая чат-модель на архитектуре Qwen2, опубликованная prithivMLmods. Она создана методом TIES с помощью mergekit на основе prithivMLmods/Calme-Ties-78B и модели MaziyarPanahi/calme-3.1-instruct-78b. Модель содержит 76,7 млрд параметров, принимает текст и генерирует текст, поддерживает диалоговый режим и имеет контекстное окно 32 768 токенов. Модель предназначена для диалогов и общих задач генерации текста. В конфигурации объединения использованы нормализация, int8-маска и тип данных bfloat16; для работы доступна библиотека Transformers. Репозиторий распространяется под лицензией, указанной в метаданных Hugging Face, однако конкретное значение лицензии в предоставленных данных отсутствует.

bartowski/cognitivecomputations_Qwen3-72B-Embiggened-GGUF — это набор GGUF-квантизаций языковой модели Qwen3-72B-Embiggened, разработанной cognitivecomputations. Квантизации подготовлены bartowski с использованием llama.cpp версии b5627 и метода imatrix. Модель предназначена для генерации текста и локального инференса через llama.cpp, LM Studio и совместимые проекты. В набор входят варианты от Q8_0 до Q3_K и IQ3/IQ4, размером примерно от 31,76 до 77,26 ГБ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше памяти; Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые, тогда как некоторые варианты Q3 имеют заметно более низкое качество. Отдельные файлы используют legacy-форматы или особенности, оптимизированные для ARM, AVX или Apple silicon. README не содержит сведений о точной архитектуре исходной модели, поддерживаемых языках, максимальном контексте, мультимодальности, результатах тестирования или специализированных сценариях применения. Поэтому модель можно уверенно охарактеризовать как крупную текстовую LLM для локальной генерации текста, но её конкретные возможности следует уточнять в документации исходной cognitivecomputations/Qwen3-72B-Embiggened. Распространение указано по лицензии Apache-2.0.