II.7DevOps, облако и эксплуатация IT-систем

Это конверсия Phi-3 Medium-128K-Instruct от Microsoft в формат ONNX, оптимизированная для инференса на CPU через ONNX Runtime. Модель представляет собой плотную авторегрессионную языковую модель семейства Phi-3 примерно с 13,8 млрд параметров, настроенную следовать инструкциям и вести диалог. Лицензия — MIT. Модель предназначена для генерации ответов и текста, включая задачи рассуждения, понимания языка, математики и кода. README описывает вариант семейства с контекстом до 128 тысяч токенов, однако метаданные указывают native context в 4096 токенов, поэтому доступную длину контекста следует сверять с конкретной конфигурацией ONNX. Репозиторий содержит CPU-вариант с квантизацией INT4 методом RTN; для запуска рекомендуется компьютер с 16 ГБ оперативной памяти. README сообщает скорость около 20 токенов в секунду на Intel Core i9-10920X, но производительность зависит от оборудования и настроек.

MaziyarPanahi/Phi-4-mini-instruct-GGUF — это набор квантованных файлов в формате GGUF для исходной модели microsoft/Phi-4-mini-instruct. Базовую модель разработала Microsoft, а квантование и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью. Набор содержит варианты с квантованием 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством вывода. Формат GGUF ориентирован на локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов. Архитектура, количество параметров, поддерживаемые языки и размер контекста в предоставленных данных не указаны. Ключевые преимущества — доступность нескольких уровней квантования и совместимость с широким набором локальных средств запуска, включая варианты с GPU-ускорением и OpenAI-совместимыми API. Ограничения связаны с потерями качества, возможными при низкобитном квантовании, а также с зависимостью характеристик производительности от выбранного варианта и оборудования. Лицензия в README не указана.

QuantFactory/Qwen2-1.5B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Qwen2-1.5B-Instruct, созданная QuantFactory с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, понимание естественного языка, программирование, математику и рассуждения. Формат GGUF ориентирован на локальный запуск с совместимыми инструментами. Модель содержит около 1,5 млрд параметров и построена на декодерной архитектуре Transformer с активацией SwiGLU, смещениями в QKV-проекциях и group query attention. Токенизатор адаптирован для нескольких естественных языков и языков программирования, однако в карточке явно указан только английский язык. Обучение включало предварительное обучение, supervised fine-tuning и direct preference optimization. Размер контекста, точные параметры квантизации и перечень поддерживаемых языков не указаны. К сильным сторонам относятся компактный размер, возможность локального использования и заявленная конкурентоспособность в задачах понимания языка, генерации, программирования и математики. В опубликованном сравнении Qwen2-1.5B-Instruct получил 52,4 на MMLU, 37,8 на HumanEval, 61,6 на GSM8K, 63,8 на C-Eval и 29,0 на IFEval Prompt Strict-Acc. Ограничениями являются меньший объём модели по сравнению с крупными LLM, возможное снижение качества из-за квантизации и отсутствие данных о конкретном формате квантизации. Лицензия — Apache-2.0.

ThomasBaruzier/Qwen2.5-0.5B-Instruct-GGUF — это набор GGUF-квантизаций инструкционно дообученной языковой модели Qwen2.5-0.5B-Instruct, разработанной командой Qwen при Alibaba Cloud и подготовленной ThomasBaruzier для запуска с llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, работы со структурированными данными и создания структурированных ответов, включая JSON. Набор поддерживает варианты квантизации с размером примерно от 302 до 507 МБ, а также F16-версию размером около 949 МБ. Это каузальная Transformer-модель на 0,49 млрд параметров, из которых 0,36 млрд приходятся на параметры без эмбеддингов. Архитектура использует RoPE, SwiGLU, RMSNorm, bias в QKV attention, связанные входные и выходные эмбеддинги и Grouped-Query Attention с 14 головами для Q и 2 для KV; модель содержит 24 слоя. Полная длина контекста составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся небольшой размер, возможность локального запуска, мультиязычность, улучшенное следование инструкциям, генерация длинных текстов, поддержка кода и математики, а также заметная устойчивость к разным системным промптам. Квантизации позволяют выбрать компромисс между размером, качеством и точностью: по приведённой таблице F16 обеспечивает наивысшие показатели, а более компактные варианты снижают требования к памяти, но могут ухудшать качество. Модель относится к текстовым, мультимодальность не заявлена. Лицензия — Apache-2.0.

Qwen2-57B-A14B — базовая большая языковая модель серии Qwen2, разработанной командой Qwen. Это декодерная модель на архитектуре Transformer с разреженной смесью экспертов (MoE): всего 57 млрд параметров, из которых 14 млрд активируются при одном проходе. Модель предназначена для дальнейшего обучения и оценки возможностей в генерации и понимании текста, ответах на вопросы, рассуждениях, математике, программировании и многоязычных задачах. Модель принимает текст и генерирует текст; карточка указывает контекст до 131 072 токенов и адаптивный к разным естественным языкам и кодам токенизатор. В README не советуют использовать базовую версию для прямой генерации и рекомендуют сначала провести дополнительное обучение, например SFT, RLHF или продолжение предобучения. Для загрузки архитектуры Qwen2MoE требуется Transformers версии 4.40.0 или новее. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0.

graelo/Qwen2.5-7B-Instruct-1M-AWQ — это 4-битная GEMM-квантизованная версия модели Qwen/Qwen2.5-7B-Instruct-1M, разработанной командой Qwen. Модель относится к классу instruction-tuned языковых моделей с примерно 7 миллиардами параметров и предназначена для выполнения инструкций и генерации текста. Из идентификатора базовой модели следует поддержка контекста до 1 миллиона токенов, однако сведения о языках, модальностях и точной архитектуре в README не приведены. Квантизация до 4 бит может снизить требования к памяти и сделать запуск модели более доступным, но потенциально сопровождается потерей качества по сравнению с исходной версией и требует совместимого программного обеспечения для формата AWQ/GEMM. README не содержит результатов тестирования, подробностей о производительности или рекомендуемых сценариях использования. Модель распространяется по лицензии Apache-2.0.

Карточка модели filippovg199/Qwen2.5-7B-Instruct-abliterated-v2 на Hugging Face совпадает с карточкой huihui-ai/Qwen2.5-7B-Instruct-abliterated-v2, поэтому описание составлено по ней. Qwen2.5-7B-Instruct-abliterated-v2 — доработанная методом abliteration версия инструктивной языковой модели Qwen2.5-7B-Instruct, созданная huihui-ai. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалогов и генерации текста; она поддерживает контекст до 32 768 токенов и предназначена для работы через библиотеку Transformers. В карточке отмечены чат-возможности и интерфейс вызова инструментов. Версия позиционируется как менее ограниченная в отказах на запросы, чем исходная модель. В README приведены оценки IF_Eval 77,82, MMLU Pro 42,03 и TruthfulQA 57,81; результаты отдельных тестов отличаются от исходной Qwen2.5-7B-Instruct. Метаданные указывают языковые теги для китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-Instruct-2507-MLX-6bit — это 6-битная квантованная версия текстовой instruct-модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и предназначено для оптимизированного запуска на компьютерах с Apple Silicon. Модель распространяется как community-модель LM Studio и основана на оригинальной модели Qwen/Qwen3-235B-A22B-Instruct-2507. Модель предназначена для генерации текста и выполнения инструкций, однако README не содержит подробностей о поддерживаемых языках, размере контекста, архитектуре, модальностях и конкретных сценариях применения. Квантование снижает требования к памяти по сравнению с полноразмерной версией, но может влиять на точность и качество ответов; кроме того, вариант ориентирован прежде всего на экосистему Apple Silicon. Модель предоставляется по лицензии Apache-2.0. Как и другие генеративные модели, она может создавать неточные, вредные или вводящие в заблуждение материалы, поэтому результаты требуют проверки.

MaziyarPanahi/Qwen3-32B-GGUF — это набор квантованных файлов модели Qwen3-32B в формате GGUF. Исходную модель разработала команда Qwen, а конвертацию и публикацию квантованных вариантов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые приложения и библиотеки. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством вывода. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов; возможны ускорение на GPU и предоставление OpenAI-совместимого API в зависимости от используемого ПО. Карточка не содержит подробностей об архитектуре, количестве параметров исходной модели, поддерживаемых языках, размере контекста, мультимодальности, результатах оценки или конкретных ограничениях качества. Условия лицензирования в README также не указаны, поэтому их следует уточнить на странице исходной модели Qwen/Qwen3-32B и публикации квантованных файлов.

Qwen3-4B-INT8-INT4 — квантизированная версия языковой модели Qwen3-4B, разработанной Alibaba Cloud и обработанной командой PyTorch с использованием torchao. Это авторегрессионная модель для генерации текста, диалогов, работы с кодом и математическими задачами; заявлена поддержка многоязычных сценариев. Модель предназначена для локального и мобильного развертывания, в частности через ExecuTorch. Ключевая особенность — схема квантизации INT8-INT4: эмбеддинги используют 8-битные веса, динамические активации представлены в 8 битах, а линейные слои используют 4-битные веса. Размер базовой модели — 4 млрд параметров. Предоставляемый файл model.pte экспортирован с максимальной длиной последовательности и контекстом 1024 токена; этот параметр можно изменить повторным экспортом. На iPhone 15 Pro заявлена скорость около 14,8 токена в секунду при использовании примерно 3379 МБ памяти. Сильные стороны модели — уменьшенные требования к памяти и возможность запуска на мобильных устройствах при сохранении назначения исходной Qwen3-4B для диалогов, генерации текста, кода и решения математических задач. Ограничениями являются возможная потеря качества из-за квантизации, ограничение предоставленной сборки контекстом 1024 токена и зависимость мобильного запуска от ExecuTorch и совместимого устройства. В README приведена лицензия MIT; подробные результаты бенчмарков отсутствуют.

tvall43/Qwen3.5-14B-A3B-Claude-4.6-Opus-Reasoning-Distilled-reap-gguf — GGUF-версия экспериментальной текстовой reasoning-модели, разработанной tvall43 на базе Qwen3.5 и дообученной с использованием дистилляции цепочек рассуждений, связанных с Claude-4.6 Opus. Модель предназначена для офлайн-аналитики, программирования, математики, планирования и других задач, где важны пошаговое решение и структурированный анализ. Она обучалась в формате с блоками <think> и итоговым ответом, однако README не гарантирует, что внутренние рассуждения всегда будут корректно или безопасно отображаться пользователю. В описании указана MoE-архитектура Qwen3.5 с конфигурацией 35B-A3B, тогда как идентификатор модели содержит 14B-A3B; точные характеристики GGUF-квантизации и итоговый размер файла не приведены. Указано текстовое назначение, языки Chinese, English и Korean, а также контекстное окно 8192 токена. Обучение выполнялось с SFT и LoRA при помощи Unsloth, с использованием отфильтрованных наборов данных по reasoning-дистилляции. Сильные стороны модели — структурированное пошаговое мышление и ориентация на сложные логические задачи. Ограничения включают риск галлюцинаций, экспериментальный статус, возможные проблемы совместимости и нестабильность инструментальной экосистемы; приведённые тесты также показывают неоднозначные результаты на генерации HTML-игры и сценарии с автомобилем. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая мультимодальная fine-tune-модель на базе Qwen3.6-27B, опубликованная nostrbuild при участии нескольких разработчиков и команд, включая DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh. Модель распространяется в формате GGUF, включая обычные и MTP-варианты с NEO IMATRIX-квантованием, и предназначена для запуска на потребительском оборудовании. В описании заявлены улучшенное следование инструкциям, решение задач, рассуждение и общее повышение интеллектуальных возможностей. Модель рассчитана на широкий круг сценариев, включая программирование, диалоги, анализ, творческое письмо и roleplaying, хотя специально не оптимизировалась только под творчество. Также заявлена поддержка vision. Указанные языки — английский и китайский. Размер базовой модели — 27B параметров; точное архитектурное устройство и размер контекстного окна в README не приведены. Доступны кванты с разрядностью 4 и 8 бит, а также варианты MTP для многотокенного предсказания. Для MTP рекомендуется температура не выше 1 и отключённая repetition penalty; при низкой доле принятия токенов следует использовать обычный квант. Автор заявляет превосходство над базовой Qwen3.6-27B в шести из семи тестов и сопоставимый результат в седьмом, однако эти результаты приведены без независимой проверки. Сильными сторонами заявлены instruction following, reasoning, problem solving, сохранение возможностей базовой модели, поддержка vision и хорошее качество даже у низкоразрядных квантов. Ограничения включают зависимость качества и производительности от выбранного кванта и настроек MTP, а также заявленный uncensored/heretic-профиль, который может означать ослабленные ограничения безопасности. Модель распространяется по лицензии Apache-2.0.

FreedomAISVR выпустила GGUF-квантизацию модели Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled, дообученной на базе Qwen/Qwen3.6-35B-A3B с дистилляцией рассуждений Claude 4.7 Opus. Это текстовая MoE-модель для диалогов и генерации ответов; архитектура использует 35 млрд параметров, около 3 млрд из которых активны на токен. Контекст составляет 262 144 токена, поддержка изображений отсутствует. Эксперты квантизированы в MXFP4, остальные веса — в Q8_0, веса маршрутизатора хранятся в F32; файл GGUF занимает около 18,87 ГБ. Модель можно запускать через llama.cpp, например как сервер для диалогового приложения. Лицензия — Apache 2.0.

Qwen3.6-40B-Fable-Fusion-6-Core-Deckard-Eleanor-Heretic-Uncensored-NM-DAU-NEO-MAX-MTP-GGUF — крупная 40-миллиардная fine-tune-модель, разработанная DavidAU при участии Nightmedia, TeichAI и других авторов. Она создана на основе Qwen3.6 и объединяет несколько версий Fable Fusion, Deckard Qwen3.6 40B, многоэтапное дообучение и слияние моделей с использованием Unsloth. Модель распространяется в форматах GGUF, включая обычные и MTP-квантизации, с вариантами разрядности 4 и 8 бит. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач и аналитического рассуждения, генерации кода, творческого письма, создания историй и roleplay. Заявлены улучшенные reasoning и thinking, автоматическая адаптация глубины рассуждений к сложности запроса, подробные ответы и сильные творческие возможности. В карточке также указана поддержка vision и языков English и Chinese, однако конкретные поддерживаемые визуальные форматы и параметры контекста не приведены. К сильным сторонам относятся многоэтапная настройка, акцент на общем интеллекте, instruction following, problem solving и качестве рассуждений, а также доступность квантизированных вариантов для потребительского оборудования. Модель описывается как uncensored и heretic, что может быть полезно для менее ограниченных сценариев, но одновременно означает потенциально более высокие риски нежелательного или небезопасного вывода. Заявления о превосходстве над другими моделями основаны на тестах авторов и не подтверждены независимой проверкой в предоставленных данных. Лицензия модели указана как Apache-2.0. README не содержит точных требований к аппаратному обеспечению, размера контекстного окна, подробных инструкций по запуску или результатов стандартизированных бенчмарков, поэтому эти характеристики нельзя определить по имеющейся информации.

Qwen3.6-Whittle-25B-A3B — текстовая MoE-модель для диалогов и генерации текста, созданная автором проекта Whittle на основе Qwen3.6-35B-A3B. В основной версии репозитория удалены 30% маршрутизируемых экспертов базовой модели (256 → 180 на слой), а оставшиеся веса дообучены с помощью самодистилляции от исходной модели. Общее число параметров по метаданным — 2,9 млрд; модель поддерживает контекст до 262 144 токенов. В репозитории также описаны отдельные экспериментальные и GGUF-артефакты, поэтому характеристики конкретных файлов различаются. Модель предназначена для диалогов, следования инструкциям и агентных сценариев; метаданные отмечают интерфейс вызова инструментов. Карточка приводит результаты небольших проверок и указывает на близкую к исходной модели точность в отдельных заданиях, но эти результаты основаны на малом числе примеров. Для текстового и кодового дополнения в стиле базовой модели автор отмечает потерю качества без удалённой n-граммной памяти. Метаданные указывают лицензию Apache-2.0.

Avifenesh/Qwen3.8-27B-NVFP4-MTP-GGUF — квантизированная версия Qwen3.8-27B, разработанная Qwen и подготовленная Avifenesh как артефакт сервинга лаборатории tiyuvta. Модель предназначена для генерации текста, диалоговых приложений и агентных сценариев; встроенный MTP (multi-token prediction) позволяет использовать speculative decoding для ускорения инференса в совместимых движках, прежде всего memra. Модель использует NVFP4-квантизацию с 4-битными весами, эмбеддинги и выходную голову в формате Q5_K, а также включает отдельный MTP-блок и маскированную draft head для speculative decoding. Размер базовой модели — 27B параметров, словарь содержит 248 320 токенов, встроенный chat template поддерживает tool calling и thinking blocks. Заявлен нативный текстовый контекст до 262 144 токенов. Мультимодальный VL-компонент в этот артефакт не входит, а поддерживаемые языки в README не указаны. К сильным сторонам относятся существенно сниженный размер файла, поддержка длинного контекста и ускорение декодирования: для конфигурации MTP K=3 указаны медианная скорость 137,9 токена в секунду на RTX PRO 6000 Blackwell и 73,6 токена в секунду на RTX 5090 Laptop при коэффициенте принятия черновых токенов 0,74. Ограничения связаны с необходимостью движка, поддерживающего GGUF, NVFP4 и MTP, а также с оптимизацией под аппаратные платформы Blackwell; приведённые сервисные измерения относятся к уже закрытому endpoint и не являются текущей гарантией производительности. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — квантованная GGUF-версия модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также работы с изображениями и видео; заявлена поддержка английского, китайского и других языков. Aggressive-профиль ориентирован на прямые ответы с минимальным вступлением и без стандартного отказного поведения. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder, 64 слоями, размером скрытого состояния 5120, FFN-размером 17408 и словарём из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживается нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Встроенный NextN/MTP сохранён, а FastMTP 32K предоставляется как отдельный профиль ускорения; заявлено ускорение генерации до 3,02 раза для документов и до 1,93 раза для рассуждений относительно режима без MTP. К сильным сторонам относятся широкий набор текстовых, визуальных и видеосценариев, длинный контекст, несколько вариантов квантования и совместимость с GGUF-совместимыми средами, включая llama.cpp и LM Studio. Aggressive-профиль может быть менее подходящим для надёжно контролируемых агентских задач, поскольку ориентирован на отсутствие отказов; README также не приводит подробностей о качестве на стандартных бенчмарках. Распространение указано по лицензии Apache-2.0.

Qwen3.8-4B-Distill-GGUF — набор GGUF-квантизаций модели, разработанной Empero. Это полнопараметрическая дистилляция Qwen3.8 2.4T A95B в архитектуру Qwen3.5-4B, предназначенная для генерации текста и запуска в llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и других совместимых средах. Модель ориентирована на рассуждения и использует встроенный шаблон чата; ответы начинаются с блока <think>, который при необходимости можно удалять перед показом пользователю. Доступны варианты от Q4_K_M до BF16 размером примерно от 2,783 до 8,666 ГБ. Рекомендуемый Q4_K_M обеспечивает баланс качества и размера, а Q8_0 и BF16 дают более высокое качество при повышенных требованиях к памяти. Архитектура Qwen3.5 использует гибрид из слоёв Gated DeltaNet и полноценных attention-слоёв, поэтому требуется свежая версия llama.cpp с поддержкой Qwen3.5 и Gated DeltaNet. В карточке указаны английский язык и сценарий text-generation; размер контекста не заявлен. По приведённым оценкам, модель заметно превосходит базовую Qwen3.5-4B в MMLU, но уступает ей в GSM8K CoT, поэтому качество зависит от типа задачи. Для Q4_K_M и Q5_K_M подходят видеокарты с 4–6 ГБ памяти, Q6_K и Q8_0 требуют примерно 6–8 ГБ, а BF16 — от 12 ГБ; при длинном контексте дополнительные ресурсы нужны для KV-кэша. Веса распространяются по лицензии Apache-2.0.

Карточка модели lvandy/Qwen3-Embedding-8B на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-8B, поэтому описание составлено по ней. Qwen3-Embedding-8B — текстовая модель эмбеддингов семейства Qwen3, разработанная командой Qwen. Это плотная архитектура Qwen3ForCausalLM с 7,6 млрд параметров, дообученная на базе Qwen/Qwen3-8B-Base для получения векторных представлений текста. Модель предназначена для семантического поиска и ранжирования, а также поддерживает классификацию, кластеризацию, поиск по коду и межъязыковой поиск. Модель поддерживает более 100 естественных и программных языков, обрабатывает длинные последовательности с контекстом до 40 960 токенов по метаданным и выдаёт эмбеддинги размерностью до 4096; README также сообщает о настройке выходной размерности от 32 до 4096. Можно задавать инструкции для конкретной задачи, языка или сценария. Модель рассчитана на получение векторов из текста; метаданные также отмечают возможности чата и интерфейс вызова инструментов, но основной сценарий этой версии — эмбеддинги. По данным карточки, версия 8B заняла первое место в мультиязычном рейтинге MTEB на 5 июня 2025 года с результатом 70,58. Для некоторых задач retrieval README отмечает снижение качества примерно на 1–5% без подходящей инструкции. Для работы с поддержкой Qwen3 требуется Transformers 4.51.0 или новее. Лицензия — Apache-2.0.

Fulcrum-AI/Ryze-Mistral-7B-Instruct-v0.3-10 — текстовая генеративная модель для диалогов и выполнения инструкций. Карточка сообщает, что модель создана с помощью mergekit методом passthrough; в слиянии участвовала mistralai/Mistral-7B-Instruct-v0.3. Метаданные классифицируют её как плотную архитектуру Mistral с классом MistralForCausalLM и указывают 16,3 млрд параметров, контекст до 32 768 токенов и формат safetensors. Модель подходит для генерации ответов и текста в диалоге, а также для сценариев с интерфейсом вызова инструментов. Базовая Mistral-7B-Instruct-v0.3 предназначена для диалогов, генерации текста и работы с инструментами. В README и метаданных лицензия не указана.

Sakura-SOLAR-Instruct-GGUF — квантизированная версия инструкционной языковой модели Sakura Solar Instruct, разработанной KyujinHan. Модель предназначена для генерации текста и диалогового взаимодействия по системным и пользовательским инструкциям; её можно запускать локально на CPU и GPU через llama.cpp и совместимые интерфейсы и библиотеки. Репозиторий содержит файлы в формате GGUF, включая варианты с 2-, 3-, 4-, 5-, 6- и 8-битной квантизацией. Архитектура модели — SOLAR, формат GGUFv2; точный размер, число параметров и максимальная длина контекста в README не указаны. Заявлен английский язык, поддерживается только текстовая модальность. Квантизация уменьшает требования к памяти и позволяет выбирать компромисс между размером, скоростью и качеством, однако более агрессивные варианты могут сильнее терять в качестве по сравнению с исходной моделью. Для работы используется шаблон запроса с секциями System, User и Assistant. Модель и её квантизированные файлы распространяются по лицензии CC BY-NC-SA 4.0.

TernaryQuench-Qwen3.8-27B-GGUF — это сжатая версия языковой модели Qwen3.8-27B, подготовленная penkia с использованием проекта TernaryQuench. Базовая модель разработана командой Alibaba Qwen. Модель предназначена для локального текстового вывода и совместима с llama.cpp и Ollama; заявлена поддержка генерации текста, структурированного JSON и tool calling. Модель содержит 27 млрд параметров. В большинстве матриц декодера применено ternary-кодирование с тремя значениями весов: −scale, 0 и +scale; первые 62 слоя хранятся в формате Q2_K, последние два слоя — в BF16, а embeddings и output head — в Q4_1. Файл занимает около 10,86 ГБ, при этом требуется дополнительная память для runtime и context cache; в примере запуска указан контекст до 32 768 токенов. Сжатие снижает качество относительно исходной BF16-модели: средняя точность в пяти zero-shot задачах составила 72,28% против 74,35% у Qwen3.8-27B BF16, а perplexity на WikiText-2 — 12,8569 против 7,7471 у 4-битной версии. Модель рассчитана на эффективный локальный инференс, но приведённые проверки не подтверждают надёжность сложных многошаговых агентских сценариев. Лицензия — Apache-2.0.

TIGER-Lab_Qwen2.5-32B-Instruct-CFT-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-32B-Instruct-CFT, разработанной TIGER-Lab и подготовленной в формате GGUF пользователем bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста, выполнения инструкций, решения математических задач и рассуждений; исходная модель обучалась с использованием датасета TIGER-Lab/WebInstruct-CFT. В README заявлен английский язык. Модель основана на архитектуре Qwen2.5 с 32 миллиардами параметров и поддерживает текстовый сценарий использования через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты квантизации от Q8_0 размером 34,82 ГБ до более компактных IQ3 и Q3 с размером около 14–18 ГБ. Более качественными и рекомендуемыми названы варианты Q6, Q5 и Q4, тогда как Q3 обеспечивают экономию памяти ценой снижения качества. Размер контекста, мультимодальные возможности и дополнительные языки в предоставленных данных не указаны. Преимуществами являются крупный размер модели, специализация исходной версии на инструкциях, математике и рассуждениях, а также широкий выбор квантизаций для различного объёма оперативной памяти. Ограничения связаны с потерями качества при агрессивной квантизации, значительными требованиями к памяти и отсутствием сведений о производительности, контекстном окне и поддержке языков помимо английского. Модель распространяется по лицензии Apache-2.0.

Triangulum-10B-GGUF — это квантизированная версия языковой модели Triangulum-10B, разработанной prithivMLmods и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста, задач рассуждения и сценариев, где требуется пошаговое объяснение решения. В метаданных также указаны поддержка оценки кода, точности, математических задач и символьных операций. Модель содержит около 10 млрд параметров и относится к семейству causal language models на базе Llama. Доступны варианты от F16 до низкобитных квантований Q8, Q6, Q5, Q4, Q3 и Q2, включая форматы IQ. Размер файлов составляет примерно от 3,6 до 20,6 ГБ. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель работает с текстом; сведения о мультимодальности и размере контекстного окна не указаны. Сильной стороной являются разнообразие вариантов квантования и возможность локального запуска через llama.cpp и совместимые приложения, включая LM Studio. В README рекомендуются варианты Q6_K_L, Q6_K, Q5 и Q4 для сочетания качества и размера, тогда как низкобитные варианты экономят память, но снижают качество. Формат инструкций для запросов не указан, поэтому его необходимо уточнять по странице исходной модели. Лицензия обозначена как llama3.1.

xdg-llama-3-8B — языковая модель на архитектуре Llama 3, опубликованная xiaodongguaAIGC. Модель содержит около 7,5 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. Она дообучена с использованием SFT, DPO и RLHF, включая обучение reward model и PPO, на смешанных инструкционных данных; среди датасетов указаны набор разработчика alpaca_en_zh_ruozhiba и наборы для безопасности PKU-SafeRLHF и CValues_DPO. Модель предназначена для генерации ответов на инструкции и вопросы, в том числе на китайском и английском языках; автор также заявляет возможности в программировании, рассуждениях и безопасном отказе. README приводит результаты MMLU, C-EVAL и C-MMLU, которые ниже указанных там результатов базовой Llama-3-8B и Llama-3-8B-Instruct. Файлы представлены в формате safetensors. Лицензия в предоставленных данных не указана.

MaziyarPanahi/zephyr-7b-alpha-dare-0.85-Mistral-7B-Instruct-v0.1 — чат-модель для генерации текста, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и uukuguy/zephyr-7b-alpha-dare-0.85. В README указан метод слияния slerp с выбором параметров по слоям для блоков self-attention и MLP. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации ответов на инструкции и диалоговые запросы; заявленная длина контекста — 32 768 токенов. Доступны веса в формате safetensors. Лицензия — Apache-2.0. В карточке не приведены сведения о поддерживаемых естественных языках или специальных предметных областях.