I.11Классификация, ранжирование и сопоставление

Qwen3-30B-A3B-Instruct-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной Qwen и квантизированной компанией Second State Inc. Модель предназначена для генерации текста в формате text-generation и диалогового использования через шаблон chatml, включая работу как сервиса LlamaEdge. В README также указан prompt template для взаимодействия с системными и пользовательскими сообщениями. Модель имеет архитектуру Mixture-of-Experts, о чём свидетельствует обозначение 30B-A3B, однако подробные характеристики архитектуры и языков в README не приведены. Поддерживается контекст размером до 256 000 токенов. Доступны варианты GGUF с разной точностью квантизации от 2 до 8 бит, а также f16; размеры файлов составляют примерно от 3,28 до 16,4 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые, поскольку обеспечивают баланс между размером и потерей качества. Сильной стороной модели являются большой контекст и широкий выбор вариантов квантизации, позволяющий адаптировать требования к памяти и качеству. Ограничения связаны с потенциальной потерей качества при низкой точности квантизации; кроме того, версия LlamaEdge в README указана как находящаяся в разработке. Модель распространяется по лицензии Apache-2.0.

YOYO-AI/Qwen3-30B-A3B-Mixture-2507 — объединённая модель от YOYO-AI на архитектуре Qwen3 MoE. Она создана слиянием Qwen/Qwen3-30B-A3B-Thinking-2507 и Qwen/Qwen3-30B-A3B-Instruct-2507 методом nuslerp; в README указаны параметры float32 для слияния и bfloat16 для выходных весов. Модель предназначена для диалогов, выполнения инструкций и генерации текста, а также поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Метаданные указывают английский и китайский языки, активный размер — 2,6 млрд параметров, контекст — до 262 144 токенов. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Практическое качество и ограничения отдельно не описаны; характеристики унаследованных режимов Instruct и Thinking для объединённой модели не уточнены.

SassyDiffusion/Qwen3.5-9B-heretic-ara-GGUF — это GGUF-версия декензурированной модели SassyDiffusion/Qwen3.5-9B-heretic, созданной на основе Qwen3.5-9B с помощью Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA). Модель предназначена для генерации и анализа текста, а также для мультимодальных сценариев с изображениями, поскольку базовая Qwen3.5-9B описана как причинная языковая модель с vision encoder. Она может применяться в чат-ботах, ассистентах, задачах рассуждения, программирования, работы с агентами и визуального понимания. Архитектура базовой модели включает 9 млрд параметров, 32 слоя, гибрид Gated Delta Networks и разреженного Mixture-of-Experts, а также 4096-мерное скрытое представление. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Формат GGUF ориентирован на использование в совместимых средах инференса, однако конкретные квантизация и требования к ресурсам в README не указаны. Главная особенность версии — существенное снижение частоты отказов по сравнению с оригинальной Qwen3.5-9B: в приведённом тесте 7 отказов из 100 против 93 из 100 у исходной модели, при KL divergence 0,0168. Это может быть полезно для сценариев, где требуется более свободная генерация, но одновременно означает ослабление исходных механизмов безопасного отказа. Результаты приведены для ограниченного теста и не характеризуют качество во всех задачах. Модель распространяется по лицензии Apache-2.0.

AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Multimodal-NVFP4-MTP — мультимодальная модель генерации текста, разработанная AEON-7 на базе AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16. Модель предназначена для диалогов, анализа и генерации текста, программирования и других сценариев, поддерживаемых Qwen3.6. Заявлены языки English, Chinese и multilingual. Модель опубликована в формате NVFP4 с поддержкой Multi-Token Prediction (MTP) и speculative decoding. Архитектура использует гибридный стек Gated DeltaNet (GDN) и attention, а также мультимодальный режим. Размер модели — 27B параметров. В конфигурации развертывания указан контекст до 229 376 токенов. Формат NVFP4 снижает требования к памяти и рассчитан на ускорители NVIDIA Blackwell, включая DGX Spark/GB10 и дискретные RTX, при использовании совместимого контейнера vLLM. Поддерживаются native MTP и внешний DFlash drafter; заявлены функции reasoning и вызова инструментов через соответствующие парсеры vLLM. К сильным сторонам относятся большой контекст, мультимодальность, оптимизация для Blackwell, ускоренное декодирование и uncensored/abliterated-настройка. Ограничения включают зависимость от специализированных версий vLLM, аппаратных и конфигурационных требований, а также то, что модель помечена как устаревшая: автор рекомендует вместо неё Qwen3.8 Ultimate Uncensored NVFP4-MIXED. Лицензия — Apache-2.0.

Qwen3.8-27B-abliterated-AWQ-MTP — квантизированная модель, опубликованная пользователем twolven на базе JonathanColetti/Qwen3.8-27B-Uncensored и исходной Qwen3.8-27B от Qwen. Модель использует AWQ-квантизацию W4A16 с размером группы 128, сохраняя модуль MTP для speculative decoding. Лицензия — Apache-2.0. Модель предназначена для генерации и понимания текста, диалоговых приложений, tool calling и обработки изображений с текстовыми запросами. Это vision-language model с гибридной архитектурой: 64 слоя, включая 48 слоёв linear attention на базе Qwen3_5GatedDeltaNet и 16 полноценных attention-слоёв. Зрительная башня содержит 27 слоёв и оставлена в формате bfloat16. Заявленный контекст — 262 144 токена; модуль MTP содержит один скрытый слой и также не квантизирован. Ключевые преимущества — заметно меньшее потребление памяти по сравнению с FP8-версией, поддержка изображений без дополнительного ухудшения со стороны квантизации vision tower и ускорение генерации при корректно работающем MTP. На конфигурации с двумя RTX 3090 автор получил медианную скорость около 84 токенов в секунду и подтвердил работу извлечения данных из длинного контекста, tool calling и распознавания содержимого изображений. Точность относительно исходной bfloat16-модели отдельно не оценивалась, поэтому степень потери качества из-за W4A16 неизвестна. Модель имеет ограничения: MTP требует правильной настройки и при некорректной загрузке может снизить производительность; абсолютные показатели скорости зависят от характера запросов. Не рекомендуется использовать greedy decoding с temperature 0, поскольку возможны зацикливание и повторение предложений. Следует применять repetition_penalty около 1.05 и ненулевую temperature. Термин «abliterated» означает удаление исходных механизмов отказа, поэтому поведение модели в отношении безопасных ограничений может отличаться от оригинальной Qwen3.8-27B.

RentedNoodle/Qwen3.8-27B-GSQ-RCO-IQ3_XXS-Uncensored — это квантизированная GGUF-версия модели Qwen3.8-27B, созданная на основе abliterated-чекпойнта huihui-ai/Huihui-Qwen3.8-27B-abliterated. Это не новая дообученная модель: снижение выраженности отказов унаследовано от Huihui, а квантизация выполнена по методологии GSQ/RCO, разработанной ISTA-DASLab. Модель ориентирована на генерацию текста, диалоги, рассуждения, программирование, извлечение информации, работу с инструментами и мультимодальные сценарии, заявленные для базовой Qwen3.8. В README явно указаны английский и китайский языки, а также поддержка long-context и vision; конкретные характеристики мультимодального ввода для этого файла отдельно не подтверждены. Модель использует смешанную 3-битную квантизацию IQ3_XXS с размером файла около 9,75 GiB и примерно 27,3 млрд параметров. Сохранена MTP-head для speculative decoding, а 96 чувствительных тензоров оставлены в BF16. Заявлен контекст до 196K токенов с KV-кэшем q4_0 на видеокарте с 16 ГБ памяти, однако полноценная точность извлечения на всём окне 196K ещё не подтверждена: основные проверки проводились при 32K и 64K. Есть шаблон froggeric-qwen3.8-tool-use.jinja для вызова инструментов. Сильные стороны модели — возможность размещения большого контекста на одной 16-ГБ GPU, поддержка MTP и заметное ускорение генерации при совместимом llama.cpp, а также хорошие результаты в тестах извлечения из контекста, базового tool calling, связности диалога и смешанных задач. Ограничения связаны с потерями качества из-за квантизации и abliteration: для конкретного файла GPQA-Diamond составил 60,6% без рассуждений и 61,6% с рассуждениями, а расширенный тест вызова инструментов дал 9/14. Снижение отказов не гарантирует универсального соблюдения запросов, поэтому ответственность за безопасное и соответствующее требованиям использование несёт развёртывающая сторона. Модель распространяется по лицензии Apache-2.0.

lyf/Qwen3.8-27B-Heretic-ARA-NVFP4-MTP-VL — мультимодальная версия модели Qwen3.8-27B-Heretic-ARA, подготовленная lyf и распространяемая как квантизированный релиз на базе heretic-org/Qwen3.8-27B-heretic-ara. Модель предназначена для генерации текста, рассуждений, вызова инструментов, а также анализа изображений и видео через vision/video tower. Поддерживаются английский и китайский языки. Основные веса преобразованы в формат NVFP4 W4A4 с использованием compressed-tensors, при этом vision/video tower и 15 нативных BF16-тензоров MTP сохранены. MTP поддерживает speculative decoding с рекомендуемым числом спекулятивных токенов 3. Релиз ориентирован на запуск в vLLM с CUDA 13 на GPU Blackwell, в частности RTX 5090. Для текстового режима заявлена практическая длина контекста до 192K токенов и агрессивная конфигурация до 256K; мультимодальный режим требует существенно больше видеопамяти и обычно ограничивается диапазоном 32K–96K. Сильными сторонами являются сочетание низкой разрядности, мультимодальности, длинного контекста и ускорения генерации через MTP. Ограничения включают зависимость от совместимого стека vLLM/CUDA и GPU Blackwell, высокие требования к видеопамяти, рекомендованную однопоточную конфигурацию и необходимость самостоятельно проверять лимиты изображений, видео и кэша энкодера перед эксплуатацией. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-OQ3-GGUF — квантованная версия Qwen3.8-27B, подготовленная Ora Computing методом посттренировочной калибровочной квантизации. Модель предназначена для диалогов и генерации текста; с дополнительным vision-проектором GGUF поддерживает также входные изображения и видео. Репозиторий содержит файл модели размером 10,54 ГБ со средней точностью 3,026 бита на вес и отдельный проектор изображения размером 0,93 ГБ. В основной файл встроена голова многотокенного предсказания, которую можно использовать для ускорения декодирования в совместимых версиях llama.cpp. По приведённым в карточке тестам модель сохраняет 95,4% совокупного результата исходной версии bf16 на MMLU-Pro и AIME-25, занимая примерно в 5,3 раза меньше места. Для запуска автор рекомендует llama.cpp; заявленный родительский чекпойнт — Qwen/Qwen3.8-27B. Лицензия указана как other, поэтому условия использования следует проверять на странице репозитория.

cyankiwi/Qwen3-VL-8B-Instruct-AWQ-4bit — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3-VL-8B-Instruct, разработанной командой Qwen. Модель предназначена для обработки изображений, видео и текста: она поддерживает визуальные вопросы и ответы, описание и анализ изображений, OCR, понимание документов и видео, пространственное рассуждение, STEM- и математические задачи, а также взаимодействие с графическими интерфейсами и инструментами. В README также заявлена генерация Draw.io, HTML, CSS и JavaScript по изображениям и видео. Модель имеет плотную архитектуру с 8 млрд параметров, поддерживает текстово-визуальное понимание и контекст до 256K токенов с возможностью расширения до 1M. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных зависимостей, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа видео. OCR заявлен для 32 языков, однако полный перечень языков в README не приведён. К преимуществам относятся улучшенное распознавание объектов, документов и пространственных отношений, длительный контекст и понимание видео; ограничения конкретной AWQ-квантизации, точные требования к оборудованию и результаты тестов для данного репозитория не указаны. Распространяется по лицензии Apache-2.0.

Карточка модели Jackrong/Qwopus-GLM-18B-Healed на Hugging Face совпадает с карточкой KyleHessling1/Qwopus-GLM-18B-Healed, поэтому описание составлено по ней. Qwopus-GLM-18B-Healed — плотная языковая модель примерно на 18 млрд параметров, собранная Kyle Hessling как 64-слойное слияние двух дообученных моделей Qwen3.5-9B от Jackrong. Первые 32 слоя взяты из Jackrong/Qwopus3.5-9B-v3.5, остальные — из Jackrong/Qwen3.5-9B-GLM5.1-Distill-v1; границу между частями сгладили 1000 шагами QLoRA-дообучения. В репозитории размещены исходные веса BF16 в формате safetensors для дальнейшей квантизации или дообучения. Модель предназначена для генерации текста в диалоге, рассуждений, вызова инструментов и агентных сценариев. Автор сообщает о результатах на собственной серии из 44 тестов, включая проверки вызова инструментов и агентных задач; это заявление автора, а не независимая оценка. Метаданные указывают поддержку английского, китайского, корейского, японского, французского, немецкого и испанского языков. Лицензия — Apache-2.0. Для запуска и квантизации требуются подходящие вычислительные ресурсы; готовая квантизированная версия размещена отдельно.

SpydazWeb AI — дообученная языковая модель Leroy Dyer для диалогов, генерации текста и работы в сценариях с планированием и агентным взаимодействием. Она основана на SpydazWeb_AI_ChatQA_005/006 и использует плотную архитектуру Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для ответов на вопросы, составления сводок, генерации и объяснения кода, перевода, выявления сущностей и тем, а также ролевых диалогов. В README также заявлены сценарии RAG, планирования и вызова функций; карточка упоминает обучающие данные из OpenHermes, SlimOrca, Cosmopedia, CulturaX и других наборов. Заявления автора о широких знаниях и точности не являются независимой оценкой качества. Модель принимает текст и генерирует текст. В тегах указаны английский, испанский, каталонский, хинди, суахили, игбо, сомалийский, коса, зулу, хауса, акан, африкаанс, бамбара и сунданский языки; README описывает многоязычное обучение, но не подтверждает одинаковое качество для всех перечисленных языков. Лицензия — Apache-2.0. Модель обозначена как uncensored и предназначена в том числе для ролевых диалогов; медицинские ответы могут быть ненадёжными и требуют проверки специалистом.

ThinkingCap-Qwen3.6-27B — мультимодальная модель Bottlecap AI, полученная дообучением Qwen/Qwen3.6-27B. Она предназначена для диалогов и задач рассуждения с изображениями и текстом, включая вопросы с вариантами ответа, математику, программирование и агентные сценарии. Разработчики сообщают, что модель в среднем использует примерно на 50% меньше токенов рассуждения, чем базовая Qwen3.6-27B, при сохранении качества ответов; в лучших случаях экономия превышает 90%. В тестах также отмечено меньшее число незавершённых ответов из-за ограничения генерации, а показатели отказа на вредоносные запросы статистически не отличались от базовой модели. Модель загружается через Transformers как AutoModelForImageTextToText и AutoProcessor; репозиторий содержит веса safetensors и использует архитектуру Qwen с поддержкой изображений. В README приведены оценки на наборах для рассуждения, вопросов по знаниям, повседневного диалога, безопасности, математики, кода и агентных задач. Указанная лицензия — Apache-2.0. Результаты зависят от задачи и настроек генерации; README отмечает вариативность качества рассуждений при рекомендуемой температуре Qwen и возможное загрязнение обучающих данных в тестах безопасности.

Sakalti/ultiima-72B — слитая языковая модель автора Sakalti на архитектуре Qwen2, созданная методом TIES с помощью mergekit на основе Qwen/Qwen2.5-72B и Qwen/Qwen2.5-72B-Instruct. Это плотная авторегрессионная модель на 71,5 млрд параметров в формате safetensors с контекстом до 131 072 токенов; она предназначена для генерации текста и диалогов. Метаданные отмечают интерфейс вызова инструментов, а карточка приводит результаты оценки на Open LLM Leaderboard, включая IFEval и BBH. Модель поддерживает множество языков, среди которых английский, китайский, русский, французский, испанский, немецкий, японский, арабский и хинди. Её можно применять для диалоговых ассистентов, генерации текстов и ответов на инструкции. Карточка указывает лицензию «other», поэтому условия использования следует сверить с лицензией и правилами репозитория; конкретные ограничения применения в карточке не описаны.

aquif-3.5-Max-1205-GGUF — это квантизированная GGUF-версия языковой модели aquif-3.5-Max-1205, разработанной aquif-ai. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, рассуждений, математических задач и программирования; запуск возможен через llama.cpp, LM Studio и другие совместимые проекты. В карточке указано, что модель относится к архитектуре MoE, однако точное число параметров, размер активной части, максимальная длина контекста и другие архитектурные характеристики не приведены. Поддерживаются текстовые запросы; заявлены английский, немецкий, итальянский, португальский, французский, хинди, испанский, тайский, китайский и японский языки. Доступны варианты от BF16 до низкобитных Q3-, Q4-, Q5-, Q6- и Q8-квантизаций размером примерно от 19,48 до 84,78 ГБ. Сильной стороной являются разнообразие вариантов квантизации и возможность локального запуска, при этом варианты Q5 и Q6 позиционируются как обеспечивающие высокое качество, а Q4 — как компромисс между качеством и требованиями к памяти. Более агрессивная квантизация уменьшает размер, но может снижать качество ответов. В README не приведены результаты бенчмарков, сведения о мультимодальности или ограничения по применению. Указана лицензия Apache-2.0.

bartowski/c4ai-command-r-v01-GGUF — это набор квантованных версий большой языковой модели c4ai-command-r-v01, разработанной CohereForAI и подготовленной в формате GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и может использоваться в локальных сценариях через совместимые реализации llama.cpp. В README указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков. Архитектура, количество параметров, модальности и размер контекста не указаны. Доступны варианты квантования Q2_K–Q8_0 размером примерно от 13,81 до 37,17 ГБ; Q6_K отмечен как рекомендуемый вариант с очень высоким качеством, а Q8_0 — как вариант максимального доступного качества. Более сильное квантование обычно сохраняет лучшее качество, но требует больше места и памяти; варианты Q3 и Q2 экономичнее, однако сопровождаются заметным снижением качества. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

mlx-community/DeepSeek-V4-Pro-Qwen3.5-9B-4bit — это 4-битная MLX-квантизированная версия модели Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B, подготовленная сообществом mlx-community с использованием mlx-vlm 0.4.4. Модель предназначена прежде всего для запуска на компьютерах Apple Silicon через MLX и сохраняет шаблон диалогов и конфигурацию мультимодального процессора исходной модели. Модель поддерживает текстовые и программные запросы, работу с изображениями и входными данными в видеоформате, а также сценарии tool use и function calling. В карточке она обозначена как MoE-модель семейства Qwen3.5 с размером 9B; языки включают английский, китайский, испанский, русский и японский. Для мультимодальных задач рекомендуется использовать mlx-vlm, а для текстовых и кодовых сценариев возможен соответствующий инструментарий MLX. Ключевое преимущество версии — сниженное потребление памяти благодаря 4-битной affine-квантизации языковых весов при сохранении мультимодальных компонентов для изображений и видео. Ограничения связаны с зависимостью от экосистемы MLX и Apple Silicon, а также с возможной потерей точности из-за квантизации; сведения о контекстном окне, производительности и качестве по отдельным задачам в README не приведены. Лицензия — Apache 2.0, унаследованная от исходной модели.

Dolphin X1 405B — диалоговая модель общего назначения, разработанная командой Dolphin на базе allenai/Llama-3.1-Tulu-3-405B. Это плотная авторегрессионная модель семейства Llama с 403,7 млрд параметров и контекстом до 131 072 токенов. Она сохраняет способности базовой модели следовать инструкциям и предназначена для диалогов и генерации текста; разработчики подчёркивают управляемость системным промптом и более низкий уровень отказов по сравнению с другими моделями этого класса. Модель рассчитана на развёртывание в собственных приложениях и инфраструктуре, где владелец задаёт системный промпт и правила поведения. В README приведены способы запуска через vLLM, Transformers и llama.cpp. Модель доступна по лицензии Apache-2.0. README заявляет о снижении частоты отказов, поэтому модель может выдавать ответы на запросы, которые другие модели отклоняют; качество и поведение следует оценивать в целевом сценарии.

Gemma 2 27B IT — инструктивно дообученная текстовая языковая модель Google из семейства Gemma 2. Это декодерная трансформерная модель с открытыми весами, предназначенная для диалога и генерации текста по инструкциям. В репозитории указаны формат safetensors и библиотека Transformers; модель основана на google/gemma-2-27b. Модель подходит для ответов на вопросы, суммаризации, диалоговых помощников, создания текстов и рассуждений по заданному контексту. В карточке семейство описано как англоязычное; модель принимает текст и генерирует текст. Размер модели составляет 27 млрд параметров. Ответы могут содержать фактические ошибки и отражать предвзятости обучающих данных; модель может испытывать трудности с тонкими языковыми нюансами и сложными открытыми задачами. Условия лицензии Gemma определяются лицензией Google Gemma; перед использованием следует ознакомиться с её условиями и политикой допустимого применения.

coder3101/gemma-3-27b-it-heretic-v2 — мультимодальная чат-модель на архитектуре Gemma 3, созданная дообучением Google/gemma-3-27b-pt. Она принимает текст и изображения и генерирует текст; подходит для диалога, ответов на вопросы по изображениям, извлечения визуальной информации, суммаризации и других задач генерации текста. В README указаны контекст до 128 тыс. токенов и поддержка более 140 языков для семейства Gemma 3. Метаданные отмечают модель как uncensored/abliterated, поэтому для приложений с пользовательским контентом следует самостоятельно оценивать безопасность ответов. Лицензия — Gemma.

llmfan46 представил uncensored-вариант Gemma 4 26B A4B IT, дообученный с изменением компонента attn.o_proj. Это диалоговая мультимодальная модель для анализа изображений и генерации текста; карточка указывает на поддержку чата и vision, а также на архитектуру Gemma 4 и формат safetensors. Базовая модель разработана Google DeepMind, использует гибридный механизм внимания и рассчитана на контекст до 256 тысяч токенов. Модель подходит для ответов на вопросы по изображениям и документам, распознавания текста и рукописей, понимания графиков и интерфейсов, а также для диалогов, рассуждений, программирования и вызова инструментов. Вариант предназначен для ослабления ограничений базовой модели, однако карточка не описывает метод дообучения и не приводит отдельные оценки качества именно этой версии. Поддерживаемые базовой линейкой языковые и аудиовозможности не следует полностью переносить на этот чекпойнт: метаданные подтверждают только image-text-to-text и vision. Модель выпущена по лицензии Apache-2.0. Возможны предвзятость и пробелы в данных, ошибки в фактах и затруднения с неоднозначными или сложными запросами; маркировка uncensored также означает, что ответы могут быть менее ограничены защитными механизмами.

unsloth/GLM-4-9B-0414-GGUF — GGUF-квантизированная версия языковой модели GLM-4-9B-0414, подготовленная Unsloth на базе модели THUDM. Модель предназначена для локального текстового общения и генерации текста, включая выполнение инструкций, программирование, математическое и общее рассуждение, создание отчётов и работу в ресурсно-ограниченных средах. Она поддерживает китайский и английский языки и относится к классу text-generation. Модель содержит 9 миллиардов параметров; точная архитектура, длина контекста, доступные варианты квантования и поддерживаемые дополнительные модальности в представленном README не указаны. Формат GGUF ориентирован на локальный запуск, в частности через llama.cpp; для корректной обработки системного промпта рекомендуется использовать параметр --jinja. Заявленные сильные стороны исходной GLM-Z1-9B-0414 включают математическое рассуждение, выполнение общих задач и баланс между эффективностью и качеством при небольших требованиях к ресурсам. Ограничения, результаты конкретных бенчмарков и требования к оборудованию не приведены. Лицензия — MIT.

professorf/gpt-oss-20b-mxfp4-gguf — GGUF-квантизация модели gpt-oss-20b, опубликованная профессором Ником В. Флором. Это открытая языковая модель OpenAI семейства gpt-oss с архитектурой MoE: около 21 млрд параметров, из которых активно используются 3,6 млрд. Вариант MXFP4 рассчитан на локальный запуск и, согласно карточке, укладывается примерно в 16 ГБ памяти; модель работает в формате диалога Harmony и поддерживает настройку уровня рассуждений. Модель предназначена для диалога, генерации текста, задач рассуждения и агентных сценариев, включая вызов функций и работу с инструментами. Её можно запускать через Transformers, vLLM, Ollama и LM Studio. Карточка предупреждает, что формат Harmony обязателен для корректной работы, а цепочку рассуждений не следует показывать конечным пользователям. Лицензия — Apache 2.0.

Granite 4.2 30B GGUF — квантизированная версия языковой модели IBM Granite 4.2 30B, разработанной IBM и опубликованной как ibm-granite/granite-4.2-30b. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, рассуждений, диалоговых сценариев и вызова инструментов. Модель содержит около 29 млрд параметров и работает с текстовыми входными данными. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. В карточке не указаны архитектура и размер контекстного окна. Спекулятивное декодирование не поддерживается. Для работы предусмотрен специальный шаблон запросов с системными и пользовательскими сообщениями, а также секцией рассуждений <think>. Главное преимущество этой версии — выбор множества вариантов квантизации с разным соотношением качества, размера и требований к памяти: от BF16 и Q8_0 до компактных вариантов Q2 и IQ3. В README наиболее сбалансированным вариантом назван Q4_K_M размером 18,03 ГБ, а варианты Q5 и Q6 характеризуются как высококачественные. При этом снижение разрядности может ухудшать качество ответов, особенно у компактных вариантов, а для запуска требуются значительные ресурсы. Лицензия модели — Apache-2.0.

Huihui-Qwen3.6-35B-A3B-abliterated-NVFP4 — квантованная версия модели huihui-ai/Huihui-Qwen3.6-35B-A3B, подготовленная пользователем YuYu1015. Модель предназначена для генерации текста, диалоговых и рассуждающих сценариев, а также использования с вызовом инструментов. Она поддерживает режим рассуждений, tool calling через парсер qwen3_xml и спекулятивное декодирование MTP; совместимость с DFlash также заявлена. В основе лежит MoE-архитектура с 35 млрд параметров в общей сложности и примерно 3 млрд активных параметров: 256 экспертов, 8 маршрутизируемых и 1 общий эксперт, в сочетании с GDN/Mamba и механизмом внимания. Поддерживается контекст до 262 144 токенов, языки — английский и китайский. Модель использует NVFP4-квантизацию W4A4, занимает около 25,1 ГБ вместо примерно 71,9 ГБ в исходном формате BF16 и оптимизирована для NVIDIA DGX Spark с GPU GB10 SM121. Основные преимущества — существенно сниженные требования к памяти, сохранённые MTP-веса в BF16 и специальная смешанная калибровка на диалоговых и рассуждающих данных для восстановления точности. Ограничения включают зависимость от совместимых версий vLLM, FlashInfer и CUDA, а также необходимость подходящего оборудования и программного стека для заявленного режима W4A4. После abliteration распределение активаций отличается от исходного, поэтому эффективность DFlash снижается; для этой версии рекомендуется MTP с одним спекулятивным токеном. Модель распространяется по лицензии Apache-2.0.

Linkbricks-Horizon-AI-Avengers-V3-32B — языковая модель, дообученная директором по данным Linkbricks Джи Юнсоном (Saxo) на базе Saxo/Linkbricks-Horizon-AI-Avengers-V2-32B. Это плотная модель семейства Qwen2 на 32 млрд параметров с контекстом 32 768 токенов; для обучения части параметров применялись SFT и методы предпочтений, включая DPO и ORPO. Модель предназначена для диалогов, генерации текста и вызова инструментов. По карточке, обучение включало многоязычные новости и Википедию, переводческие и суммаризационные данные, вопросы и ответы, математику и логические задачи. Заявлены улучшения для работы с корейским, японским, китайским и английским языками, анализа отзывов и публикаций в соцсетях, написания текстов и кода, а также решения математических и логических задач. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Модель распространяется по лицензии Apache-2.0. Описание не приводит количественных результатов оценивания, поэтому заявленные улучшения не позволяют сравнить её качество с другими моделями.

Meta Llama 3.1 70B — большая авторегрессионная языковая модель на оптимизированной архитектуре Transformer с Grouped-Query Attention. Она генерирует текст и рассчитана на многоязычный диалог; семейство включает предварительно обученные и настроенные версии, а настроенные модели используют SFT и RLHF. В этой карточке описана модель размером 70B, но не уточняется, является ли именно этот репозиторий предварительно обученной или настроенной версией. Модель подходит для диалогового помощника, генерации текста и создания синтетических данных. Она принимает и выдаёт текст; заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. В README отмечены более длинное контекстное окно и возможность интеграции с внешними инструментами, но конкретная длина контекста не приведена в предоставленных данных. Модель разработана Meta и выпущена в июле 2024 года. Использование регулируется специальной коммерческой лицензией Llama 3.1 Community License и Acceptable Use Policy; перед применением необходимо соблюдать их условия. К ограничениям относятся статичность модели, риски небезопасных или неточных ответов и сниженная заявленная пригодность для общения на языках вне списка поддержки.

brittlewis12/Llama-3.1-Tulu-3.1-8B-GGUF — это квантизированная версия языковой модели Tülu 3.1 8B, разработанной Allen Institute for AI (AI2) на базе Llama 3.1. Модель предназначена для генерации текста и следования инструкциям в диалоговых и прикладных сценариях, включая общение, решение математических задач, ответы на вопросы, выполнение заданий с ограничениями и генерацию кода. Указан английский язык. Модель использует архитектуру Llama и содержит около 8 миллиардов параметров. Она распространяется в формате GGUF для запуска с совместимыми инструментами, включая llama.cpp, в том числе локально на устройствах. В версии Tülu 3.1 был улучшен финальный этап обучения с переходом от PPO к GRPO без reward model и дополнительной настройкой гиперпараметров. В README не указан размер контекстного окна и не описаны конкретные схемы квантизации представленных файлов. Сильными сторонами модели являются следование инструкциям, математические рассуждения, выполнение заданий с формальными ограничениями и ответы на вопросы; согласно приведённым оценкам, особенно высокие результаты показаны в GSM8K, IFEval, DROP и BigBenchHard. Ограничениями являются ориентация преимущественно на английский язык, меньший размер по сравнению с крупными моделями и возможные потери качества, связанные с квантизацией. Модель распространяется по лицензии llama3.1.

alpindale/Llama-3.2-1B-Instruct — это текстовая инструкционная модель семейства Llama 3.2, разработанного Meta. Репозиторий содержит версию с примерно 1,2 млрд параметров; модель построена на авторегрессионной архитектуре Transformer с Grouped-Query Attention и предназначена для генерации текста в Transformers. Для согласования ответов с предпочтениями пользователей применялись supervised fine-tuning и обучение с обратной связью от людей. Модель рассчитана на диалог в роли ассистента, поиск знаний и суммаризацию, а также на мобильных помощников для письма, переформулирование запросов и подсказок и агентные сценарии. Она принимает и генерирует текст, включая код, поддерживает контекст до 131 072 токенов и официально рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Компактный размер позволяет рассматривать модель для применения на устройствах с ограниченными ресурсами. Качество, безопасность и полезность могут уступать более крупным моделям, поэтому разработчикам следует проверять поведение модели в конкретном сценарии. Знания ограничены данными с отсечкой по декабрю 2023 года. Использование регулируется специальной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

bartowski/Llama-3.3-70B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Llama 3.3 70B Instruct, разработанной Meta и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, однако конкретные поддерживаемые языки, размер контекста и детали архитектуры в предоставленном README не указаны. Ключевая характеристика этой версии — квантизация, которая обычно позволяет снизить требования к памяти по сравнению с полноразмерными весами, но может сопровождаться некоторой потерей качества; конкретный уровень квантизации README не сообщает. Модель ориентирована на текстовые задачи, а сведения о мультимодальности отсутствуют. Ограничения, показатели качества и рекомендации по аппаратному обеспечению также не приведены, поэтому их нельзя достоверно оценить по имеющимся данным. Модель распространяется на условиях Llama 3.3 Community License от Meta. Лицензия предоставляет ограниченные права на использование, воспроизведение, распространение и модификацию при соблюдении условий соглашения, включая передачу текста лицензии, указание «Built with Llama», обязательное уведомление об авторских правах и соблюдение Acceptable Use Policy. Для продуктов или сервисов с более чем 700 миллионами ежемесячных активных пользователей требуется отдельное разрешение Meta.

MaziyarPanahi/Llama-3.3-70B-Instruct-GGUF — это набор квантованных файлов модели Llama-3.3-70B-Instruct в формате GGUF. Исходную модель разработала meta-llama, а квантованные версии подготовил MaziyarPanahi. Модель предназначена для генерации текста и работы в диалоговых сценариях с инструкциями. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между размером файла, требованиями к памяти, скоростью работы и качеством вывода. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые инструменты, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие приложения с поддержкой GGUF. Модель работает с текстом; сведения о мультимодальности, поддерживаемых языках и размере контекстного окна в README не указаны. К сильным сторонам относятся возможность локального использования, широкий выбор уровней квантования и совместимость с популярной экосистемой llama.cpp. К ограничениям относятся потенциальная потеря качества в более компактных вариантах квантования, высокие требования к ресурсам для 70-миллиардной модели и зависимость от совместимого программного обеспечения. Лицензия в предоставленных данных не указана.