II.4Отладка, тестирование и качество ПО

unsloth/gemma-3-12b-it-GGUF — это GGUF-версия инструкционно дообученной модели Google Gemma 3 12B, опубликованная Unsloth. Модель создана Google DeepMind и относится к семейству компактных открытых моделей, разработанных на основе технологий Gemini. Модель предназначена для генерации текста, ответов на вопросы, суммаризации документов, рассуждений и анализа изображений. Она мультимодальная: принимает текст и изображения, но генерирует текст. Для версии 12B заявлено контекстное окно до 128 000 токенов, максимальный объём генерируемого ответа — до 8192 токенов. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов каждое. Gemma 3 поддерживает более 140 языков, однако для данной карточки явно указан английский язык. Сильными сторонами модели являются сочетание относительно компактного размера, мультимодальности, большого контекстного окна и пригодности для локального развёртывания на ноутбуках, настольных компьютерах или собственной облачной инфраструктуре. Ограничения включают зависимость качества от выбранного GGUF-квантизованного варианта и аппаратных ресурсов, а также возможное снижение точности по сравнению с более крупными моделями; конкретные параметры квантизации в README не указаны. Модель распространяется по лицензии Gemma; условия использования определяются официальными Terms of Use Google.

heretic-org/IBM-granite-4.1-8b-heretic — производная модель на базе IBM Granite-4.1-8B, созданная методом abliteration, который резко снижает склонность модели отказывать в ответах. В сравнении с исходной моделью в карточке указаны 5 отказов из 416 запросов против 409 из 416; также приведено значение KL divergence 0,0285. Это плотный decoder-only трансформер Granite с 8,4 млрд параметров и контекстом до 131 072 токенов, доступный в формате safetensors для Transformers. Модель предназначена для диалога и генерации текста: она может следовать инструкциям, отвечать на вопросы, суммировать и извлекать информацию, классифицировать текст, помогать с кодом и использовать вызов инструментов, унаследованные от Granite-4.1-8B. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; качество на других языках может отличаться от английского. Модель опубликована heretic-org под лицензией Apache 2.0. Снижение числа отказов не гарантирует точности или безопасности ответов: модель может выдавать ошибочную, предвзятую или небезопасную информацию, поэтому её следует проверять и настраивать для целевого применения.

Qwen3-VL-235B-A22B-Thinking-GGUF — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Репозиторий содержит веса модели Qwen3-VL-235B-A22B-Thinking в формате GGUF и предназначен для локального запуска на совместимых устройствах через llama.cpp, Ollama и другие инструменты GGUF. Модель предназначена для анализа и генерации текста по изображениям и видео, визуального распознавания, OCR, пространственного и временного рассуждения, решения STEM- и математических задач, генерации Draw.io/HTML/CSS/JS по визуальным примерам, а также взаимодействия с графическими интерфейсами и инструментами. Заявлены улучшенные возможности понимания документов, объектов, сцен, событий в видео и GUI. Поддерживается нативный контекст до 256 тысяч токенов с возможностью расширения до 1 миллиона; OCR заявлен для 32 языков. Архитектура включает языковую модель и отдельный vision encoder mmproj. Для компонентов доступны варианты FP16 и квантованные варианты Q8_0 и Q4_K_M для языковой модели, а также FP16 и Q8_0 для vision encoder. Поддерживаются CPU, NVIDIA GPU через CUDA, Apple Silicon через Metal и Intel GPU через SYCL. Основные ограничения — очень высокий размер модели и соответствующие требования к памяти и вычислительным ресурсам; производительность и доступное качество зависят от выбранной точности и оборудования. Модель распространяется по лицензии Apache-2.0.

Granite-3.1-1B-A400M-Instruct — языковая модель IBM Granite Team для выполнения инструкций и создания диалоговых ассистентов. Это дообученная на Granite-3.1-1B-A400M-Base модель с архитектурой GraniteMoE; README также описывает этапы supervised fine-tuning, выравнивания с помощью reinforcement learning и слияния моделей. В метаданных указано 163,6 млн параметров и контекст до 131 072 токенов. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова функций, а также для многоязычного диалога и работы с длинными документами и встречами. README перечисляет английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Производительность на других языках может уступать английской; ответы могут быть неточными, предвзятыми или небезопасными. Лицензия — Apache 2.0.

Llama-3.3-70B-Instruct-FP8-dynamic — это 70-миллиардная инструкционно дообученная языковая модель Meta на архитектуре Llama 3.3, опубликованная RedHatAI в динамически квантизованном варианте FP8 и адаптированная FuriosaAI для запуска на аппаратуре FuriosaAI RNGD с использованием Furiosa-LLM. Модель предназначена для автодополнения текста, многоязычного диалога, выполнения инструкций и вызова инструментов через функции. Модель работает с текстом на входе и выходе, поддерживает английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий языки. Это плотный autoregressive Transformer; веса линейных слоёв квантизованы в FP8, а активации квантизуются динамически для каждого токена во время инференса. Поддерживается tool calling через парсер llama3_json. Для запуска на RNGD используется tensor parallelism с 32 PE, что соответствует четырём картам RNGD. Сильные стороны модели — сочетание большого размера, инструкционного обучения, многоязычности, поддержки вызова инструментов и сниженных требований к вычислительным ресурсам благодаря FP8-квантизации. Ограничения включают необходимость совместимой инфраструктуры для запуска оптимизированной версии: Furiosa-LLM и аппаратуры FuriosaAI RNGD; в README не указаны размер контекстного окна, результаты бенчмарков и подробные ограничения безопасности. Модель распространяется по лицензии Llama 3.3 Community License.

Blackfrost-AI/Qwen3.8-27B-ABLITERATED-GGUF — локальная GGUF-версия модифицированной модели Qwen3.8-27B, разработанная Blackfrost. Это плотная гибридная vision-language модель для запуска через llama.cpp, предназначенная для диалогов, рассуждений, обработки текста, изображений и видео, а также сценариев с tool-calling. Модель генерирует текст и ориентирована на локальное развертывание; релиз обозначен как экспериментальный и требует проверки поведения в конкретных рабочих нагрузках. Архитектура включает 64 текстовых слоя с сочетанием Gated DeltaNet и full attention, а также vision tower из 27 слоёв. Поддерживаются текстовые, графические и видео-входы, контекст до 262 144 токенов, девять стандартных квантованных вариантов от Q2_K до Q8_0 и встроенная MTP speculative head. Для ускорения доступен отдельный BF16 DFlash2 sidecar, совместимый с экспериментальной версией llama.cpp. В качестве сбалансированного варианта рекомендуется Q4_K_M размером 16,8 ГБ; фактические требования зависят от доступной RAM/VRAM и параллелизма. Это abliterated-сборка: поведение отказов было изменено на уровне весов, без fine-tuning, merge, LoRA или pruning. В заявленном внутреннем тесте R1-HARMFUL-BENCH-450 зафиксировано 11 остаточных отказов из 450 случаев, однако результат получен на производном варианте W4A4 NVFP4 и не является полноценным тестом всех GGUF-квантов в финальной конфигурации. Ограничениями являются экспериментальный статус, возможные компромиссы качества при низких уровнях квантования и зависимость длинного контекста от ресурсов системы. Базовая модель и указанный DFlash2-компонент распространяются по лицензии Apache-2.0.

Qwen3-VL-32B-Instruct — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen и представленная в формате GGUF компанией Unsloth. Это инструкционно настроенная dense-модель для обработки текста и визуальных данных, включая изображения и видео, с поддержкой сценариев image-text-to-text. Модель предназначена для визуального вопросно-ответного взаимодействия, анализа изображений и видео, OCR, понимания документов, STEM- и математического рассуждения, пространственного анализа, генерации кода и взаимодействия с графическими интерфейсами через визуального агента. Заявлены нативный контекст 256K токенов с возможностью расширения до 1M, улучшенное понимание длительных видео и событий с временными метками, а также OCR на 32 языках. Среди архитектурных компонентов указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. К сильным сторонам относятся объединённое понимание текста и визуальной информации, детальное восприятие сцен, объектов и документов, расширенный контекст и широкий набор мультимодальных задач. Ограничения включают высокие требования к вычислительным ресурсам, характерные для модели с 32B параметрами, а также потенциальные потери точности из-за квантования в GGUF; конкретный вариант квантования в README не указан. Для llama.cpp рекомендуется использовать параметр --jinja из-за исправлений chat template. Лицензия модели — Apache-2.0.

Qwen3-VL-8B-Thinking — мультимодальная vision-language модель из серии Qwen, разработанная командой Qwen и представленная в GGUF-репозитории Unsloth. Это Thinking-версия с усиленным рассуждением, предназначенная для анализа изображений и видео вместе с текстом, генерации ответов, STEM- и математического анализа, распознавания документов и OCR, пространственного рассуждения, а также взаимодействия с графическими интерфейсами и инструментами. Модель также может генерировать Draw.io, HTML, CSS и JavaScript по изображениям или видео. Модель имеет плотную архитектуру и размер 8B параметров; конкретные характеристики GGUF-квантизации в README не указаны. Поддерживаются текст, изображения и видео, а заявленный нативный контекст составляет 256K токенов с возможностью расширения до 1M. Для видео предусмотрено понимание временной динамики и событий с привязкой к временным меткам. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. OCR поддерживает 32 языка, однако полный перечень языков в README не приведён. Сильные стороны модели — объединённое текстово-визуальное понимание, визуальное и пространственное рассуждение, обработка длинных документов и продолжительных видео, распознавание текста в сложных условиях, включая низкую освещённость, размытие и наклон. Ограничения связаны с вычислительными и мультимодальными ресурсами, необходимыми для работы с длинным контекстом, изображениями и видео; точные требования к памяти и производительности не указаны. Модель распространяется по лицензии Apache-2.0.

AtomicChat/gemma-4-31B-it-GGUF — это квантизированная GGUF-версия мультимодальной модели Google Gemma 4 31B Instruct, подготовленная командой Atomic Chat на основе оригинальных весов google/gemma-4-31B-it. Модель предназначена для локального и полностью автономного применения в чат-ботах, генерации и анализе текста, задачах рассуждения, а также обработки изображений совместно с текстом. Для работы с изображениями в репозитории поставляется vision-проектор mmproj. Модель содержит 30,7 млрд параметров и 60 слоёв. Она использует плотную decoder-архитектуру Gemma4ForConditionalGeneration с гибридным вниманием: sliding-window с окном 1024 токена и глобальным вниманием; предусмотрены 32 attention heads и 16 KV heads. Заявленная длина контекста — 256 тысяч токенов, размер словаря — 262 тысячи. Поддерживаются текстовая и визуальная модальности. Доступны варианты квантования от Q2_K до Q8_0; кванты откалиброваны с importance matrix, что должно помогать сохранять качество при уменьшении размера. Рекомендуемым компромиссом между размером, скоростью и качеством указан Q4_K_M. Сильные стороны модели — большой контекст, мультимодальность, возможности рассуждения, автономная работа и широкий выбор вариантов квантования для разных объёмов памяти. Ограничения связаны с высокими требованиями к памяти: размер файлов варьируется примерно от 11,9 до 32,6 ГБ, а низкобитные варианты могут заметно терять качество. Для корректной работы в llama.cpp требуется применять chat template Gemma 4 через параметр --jinja; для изображений необходим vision-проектор и поддержка соответствующих инструментов. Репозиторий распространяется по лицензии Apache-2.0.

Granite-4.0-Micro-Base — базовая языковая модель IBM Granite Team для генерации текста и кода. Это декодерный трансформер с плотной архитектурой GraniteMoeHybridForCausalLM; в метаданных указано 3,4 млрд параметров и контекст до 131 072 токенов. Модель обучена с нуля на смеси открытых и проприетарных данных примерно на 15 трлн токенов. Модель предназначена для генерации текста, суммаризации, классификации, извлечения информации, ответов на вопросы и дополнения кода, включая заполнение пропусков между префиксом и суффиксом (FIM). Поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Архитектура включает GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Модель не проходила safety alignment, поэтому может генерировать предвзятые, ошибочные или проблемные ответы; для небольшой модели также отмечен риск дословного воспроизведения обучающих данных. Лицензия — Apache 2.0.

Это модель realoperator42, представляющая собой «разцензурированную» версию IBM Granite-4.1-3B, созданную с помощью Heretic v1.4.0. Это плотный декодерный трансформер с 3,4 млрд параметров, ориентированный на диалог и генерацию текста; максимальная длина контекста — 131 072 токена. Модель распространяется в формате Safetensors по лицензии Apache 2.0. Модель подходит для генерации ответов на инструкции и диалоговых сценариев, включая суммаризацию, извлечение и классификацию текста, ответы на вопросы, RAG, задачи с кодом и вызов функций. Исходная Granite-4.1-3B поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; данные карточки не подтверждают отдельную языковую оценку именно этой модификации. В README приведено сравнение отказов: 3 из 100 для этой версии против 88 из 100 у исходной модели, поэтому её поведение в отношении отказов заметно изменено. Модификация создана методом abliteration, меняющим поведение модели без обычного дообучения на целевом наборе данных. README сообщает о воспроизводимости процесса и приводит KL-дивергенцию 0,2603 относительно исходной модели. Она может выдавать неточные, предвзятые или небезопасные ответы; перед применением требуется оценить её поведение и настроить подходящие меры безопасности.

MyAwesomeModel — модель из репозитория liufeftwer145, распространяемая через Hugging Face и предназначенная для извлечения признаков; в метаданных указаны библиотека Transformers, PyTorch и тег BERT. README описывает обновлённую версию модели с улучшенными способностями к рассуждению и выводу, а также применением алгоритмической оптимизации на этапе post-training. Модель заявлена для математического и логического рассуждения, понимания текста, ответов на вопросы, классификации, анализа тональности, генерации кода и текста, суммаризации, перевода, диалогов, поиска знаний и следования инструкциям. README также упоминает поддержку системного промпта, function calling, загрузки файлов и генерации с использованием результатов веб-поиска, а также доступ через чат-интерфейс и API. В README приведены результаты внутренних или заявленных benchmark-оценок по нескольким категориям, включая математику, программирование и общую логику; для AIME 2025 указано повышение точности с 70% до 87,5% по сравнению с предыдущей версией. Рекомендуемая температура составляет 0,6. Модель распространяется по лицензии MIT.

NVIDIA Qwen3-Next-80B-A3B-Instruct NVFP4 — это квантизированная версия авторегрессионной текстовой модели Qwen3-Next-80B-A3B-Instruct, разработанной Alibaba. NVIDIA подготовила и оптимизировала эту версию с помощью TensorRT Model Optimizer; сама базовая модель не является разработкой NVIDIA. Модель предназначена для генерации текста, чат-ботов, AI-агентов, RAG-систем и других приложений на базе больших языковых моделей. Модель использует архитектуру Transformers с сетевой архитектурой Qwen3NextForCausalLM, принимает текстовые последовательности и генерирует текст. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Количество параметров в карточке не раскрыто. Веса и активации линейных операторов внутри трансформерных блоков переведены в формат NVFP4, что уменьшает число бит на параметр с 16 до 4, а размер на диске и требования к памяти GPU примерно в 3,3 раза. К сильным сторонам относятся сниженные требования к памяти и готовность к ускоренному выводу через TensorRT-LLM. Основные ограничения связаны с привязкой к NVIDIA GPU, совместимостью прежде всего с микроархитектурой NVIDIA Blackwell и предпочтительной средой Linux; для использования требуется дополнительное тестирование на данных конкретного сценария. Модель распространяется по лицензии Apache License 2.0 и допускает коммерческое и некоммерческое использование. Для инференса заявлена интеграция с TensorRT-LLM; результаты полной оценки в предоставленной карточке приведены не полностью.

Qwen3-VL-30B-A3B-Thinking-GGUF — мультимодальная vision-language модель из серии Qwen3-VL, разработанная командой Qwen и представленная в формате GGUF проектом Unsloth. Модель предназначена для генерации текста на основе текстовых и визуальных входных данных, включая анализ изображений и видео, визуальное рассуждение, OCR, понимание пространственных отношений, решение задач STEM и математики, а также взаимодействие с графическими интерфейсами и инструментами. Модель использует MoE-архитектуру и относится к reasoning-ориентированной версии Thinking; заявленный размер — 30B параметров при 3B активных параметрах. Поддерживаются текст, изображения и видео. Контекст составляет 256K токенов с возможностью расширения до 1M. Среди архитектурных особенностей указаны Interleaved-MRoPE для временного и пространственного позиционирования, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа событий в видео. OCR поддерживает 32 языка, однако полный список языков в README не приведён. Сильные стороны модели — мультимодальное понимание, визуальное и пространственное рассуждение, обработка длинного контекста и видео, распознавание текста в сложных условиях, а также генерация Draw.io, HTML, CSS и JavaScript по изображениям или видео. Ограничения, требования к ресурсам, точные показатели производительности и конкретные параметры GGUF-квантизации в README не указаны. Модель распространяется по лицензии Apache-2.0; в репозитории Unsloth также отмечены исправления chat template.

salamanderDixon/granite-4.1-3b-heretic — производная версия Granite-4.1-3B, созданная методом abliteration: в карточке приведены параметры удаления отказов и сравнение с исходной моделью IBM. Это плотный decoder-only трансформер семейства Granite с 3,4 млрд параметров, предназначенный для диалогов и генерации текста. Метаданные указывают контекст до 131 072 токенов и формат safetensors. Модель подходит для ответов на вопросы, суммаризации, извлечения и классификации текста, RAG, задач с кодом и диалоговых сценариев. Базовая Granite-4.1-3B поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки, а также работу с инструментами. В приведённом сравнении у этой версии 3 отказа из 100 против 88 у исходной модели; снижение отказов может сопровождаться ослаблением защитного поведения. Лицензия — Apache 2.0.

eousphoros выпустил экспериментальную производную модели Qwen3.8-27B: к исходным весам BF16 применена слитая LoRA-калибровка с нормализацией и статическим YaRN-масштабированием. Модель предназначена для диалогов и мультимодальных задач с длинным контекстом; принимает текст, изображения и видео, а в ответ генерирует текст. В каталоге Hugging Face для неё указаны архитектура Qwen3.5, 27 млрд параметров у базовой модели и контекст до 1 048 576 токенов в конфигурации автора; библиотека — Transformers. Калибровка выполнена на 137 обновлениях с использованием текстовых, агентных и мультимодальных примеров. Метрики сходства слияния проверяют корректность экспорта, но не являются оценкой общих возможностей. Полная оценка на длинном контексте, включая RULER, ещё не завершена, поэтому пригодность для конкретной нагрузки нужно проверять отдельно. Статическое масштабирование YaRN применяется на любой длине последовательности. Лицензия — Apache-2.0.

Qwen3-VL-2B-Instruct-FP8 — это FP8-квантизированная версия мультимодальной модели Qwen3-VL-2B-Instruct, разработанной командой Qwen. Квантование выполнено методом fine-grained FP8 с размером блока 128; согласно README, показатели почти идентичны исходной версии в формате BF16. Модель предназначена для задач image-text-to-text и обработки текста, изображений и видео. Модель ориентирована на визуальное понимание и рассуждение, распознавание текста на изображениях, анализ документов, пространственное восприятие, понимание видеосцен и временных событий, а также взаимодействие с графическими интерфейсами и инструментами. Она может применяться для визуального программирования, генерации Draw.io/HTML/CSS/JS по изображениям и видео, STEM- и математических задач, OCR и агентских сценариев. Заявлена поддержка OCR на 32 языках, однако полный перечень языков в README не приведён. Архитектура относится к семейству Qwen3-VL и включает механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Указан нативный контекст 256K с возможностью расширения до 1M, но эти характеристики описаны для поколения Qwen3-VL в целом и не уточнены отдельно для данной 2B-версии. Размер модели — 2B параметров по идентификатору базовой модели. README рекомендует развёртывание через vLLM или SGLang и отмечает, что Transformers пока не поддерживает прямую загрузку этих весов. Модель распространяется по лицензии Apache-2.0.

QuantTrio/Qwen3-VL-32B-Instruct-AWQ — это квантизированная версия AWQ мультимодальной instruct-модели Qwen3-VL-32B-Instruct, разработанной командой Qwen. Репозиторий предназначен для запуска модели с использованием Transformers и vLLM; размер файлов модели составляет около 20 GiB, а в README приведена конфигурация с контекстом 32 768 токенов и тензорным параллелизмом на двух GPU. Модель принимает текст и визуальные данные, включая изображения и видео, и предназначена для генерации ответов, визуального анализа, OCR, пространственного и временного рассуждения, STEM- и математических задач, визуального программирования, а также взаимодействия с графическими интерфейсами и инструментами. Для OCR заявлена поддержка 32 языков, однако полный перечень языков в README не указан. Базовая архитектура включает механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками, направленные на улучшение обработки длинного контекста, деталей изображений и видеособытий. Для исходной модели заявлен нативный контекст до 256K с возможностью расширения до 1M, но для данной AWQ-конфигурации в примере запуска задан лимит 32 768 токенов. Сильные стороны модели — сочетание текстового и визуального понимания, работа с изображениями и видео, распознавание текста в сложных условиях и развитое пространственно-временное рассуждение. Ограничения связаны с необходимостью совместимого программного окружения и GPU-инфраструктуры; README рекомендует vLLM версии 0.11.0 или выше и qwen-vl-utils 0.0.14. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3-VL-32B-Instruct-AWQ-4bit — 4-битная квантованная версия мультимодальной модели Qwen3-VL-32B-Instruct. Базовую модель разработала команда Qwen, а данную сборку подготовил Ton Cao. Модель предназначена для генерации текста по изображениям и тексту, визуального анализа, распознавания текста на изображениях, понимания видео, пространственного рассуждения, мультимодального решения задач и взаимодействия с графическими интерфейсами. Она также ориентирована на визуальное программирование и может генерировать Draw.io, HTML, CSS и JavaScript по изображениям или видео. Модель имеет плотную архитектуру с 32 миллиардами параметров и поддерживает текстово-визуальные входы. Заявлены контекст длиной 256K токенов с возможностью расширения до 1M, анализ продолжительных видео, индексация событий по времени и OCR для 32 языков. Среди архитектурных особенностей указаны Interleaved-MRoPE для обработки временных и пространственных измерений, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками. Квантование выполнено методом AWQ до INT4 с размером группы 32 на основе датасета FineVision с использованием llm-compressor. Сильные стороны модели — широкий набор визуальных и текстовых возможностей, работа с длинным контекстом, видео, документами, пространственными отношениями и агентными сценариями при сниженных требованиях к памяти благодаря INT4-квантованию. Ограничения включают возможную потерю качества по сравнению с полноразмерной моделью, а также высокие вычислительные требования, связанные с исходным размером 32B и мультимодальной обработкой. В README не указаны полный перечень поддерживаемых языков для генерации, точные системные требования и результаты численных тестов. Модель распространяется по лицензии Apache-2.0.

Qwen1.5-7B-Chat — диалоговая языковая модель от команды Qwen, бета-версия семейства Qwen2. Это декодерная модель на архитектуре Transformer с 7,1 млрд параметров, предназначенная для генерации текста в формате беседы и ответов на запросы. Модель принимает текстовые сообщения и генерирует текст. Модель поддерживает контекст до 32 768 токенов и многоязычную работу. В карточке указаны улучшения качества диалоговых моделей по предпочтениям пользователей и токенизатор, адаптированный к нескольким естественным языкам и программным кодам. Для загрузки используется библиотека Transformers; удалённый код не требуется. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить на странице модели. В README отмечено, что при переключении между языками или других проблемах генерации рекомендуется использовать параметры из generation_config.json.

Qwen3.5-9B-AWQ — это 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen группы Alibaba. Модель предназначена для генерации текста по текстовым запросам, а также для обработки интерleaved-входов с изображениями и текстом; базовая модель также поддерживает видео. Предусмотрен режим рассуждений, включённый по умолчанию. Модель содержит около 9 млрд параметров и использует гибридную архитектуру Gated DeltaNet и sparse MoE с vision encoder. Нативная длина контекста составляет 262 144 токена, с возможностью расширения посредством RoPE scaling. Заявлена поддержка 201 языка и диалекта. Квантизация выполнена по схеме W4A16: веса линейных слоёв языковой модели представлены в 4-битном формате, а активации — в 16-битном; vision tower, router gates и lm_head сохранены в более высокой точности. Главное преимущество версии AWQ — уменьшенные требования к дисковому пространству и VRAM при сохранении возможностей базовой vision-language модели, что делает её подходящей для запуска на одной потребительской GPU. Для инференса требуется совместимая GPU с поддержкой INT4 Marlin и свежая версия vLLM с поддержкой архитектуры Qwen3_5ForConditionalGeneration; работоспособность проверена на NVIDIA Blackwell. Ограничения включают зависимость от поддержки compressed-tensors в используемом стеке и потенциальные потери точности, характерные для квантизации, хотя vision tower намеренно не квантизован для сохранения качества понимания изображений. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели Qwen3.5-9B.

TaterTotterson/Qwen3.8-27B-GGUF-Tater-NoThink — это упаковка официальной модели Qwen3.8-27B в формате GGUF для работы с llama.cpp. Базовую модель разработала команда Qwen, а автор репозитория изменил только метаданные chat template, добавив режим Tater NoThink. Тензоры, квантизация, vision projector и MTP draft model не изменялись. Модель представляет собой плотную vision-language модель с 27 млрд параметров. Она предназначена для понимания текста, изображений и видео, поддерживает вызов инструментов, контекстное окно размером 262K токенов и Multi-Token Prediction (MTP) для speculative decoding. В комплект входят основная модель Q4_K_M, vision projector Q8_0 и MTP draft model Q8_0. Для использования мультимодальных возможностей требуется vision projector, а для speculative decoding — отдельная MTP-модель; эффективность ускорения зависит от аппаратного обеспечения, бэкенда, промпта и длины контекста. Главная особенность варианта NoThink — принудительное отключение режима рассуждений: генерация начинается с пустого блока <think></think> и сразу переходит к ответу, даже если клиент запрашивает thinking mode. Это может быть удобно для получения более прямых ответов и сокращения служебного вывода, но ограничивает использование явного режима рассуждений. Модель распространяется по лицензии Apache License 2.0.

Cyronius/Qwen3.8-Flash-Next-131B-A6B-GGUF — это оптимизированная GGUF-версия Qwen3.8-Flash-Next, основанная на модели Qwen от Qwen и подготовленная автором Cyronius. Модель предназначена для генерации текста, рассуждений и агентских сценариев с вызовом инструментов через llama.cpp. Это текстовая сборка; отдельные vision-тензоры поставляются отдельно, а работа визуального контура после модификации не тестировалась. Модель использует MoE-архитектуру с 48 слоями и 512 экспертами, из которых активируются параметры объёмом около 6B на токен. Общее число параметров сокращено примерно с 176B до 131B за счёт уменьшения n-gram hash-embedding-таблицы с 51,2B до 6,4B параметров: сохранено по одной из восьми голов для каждого типа n-грамм. Основная сборка Q3_K_XL занимает 64,8 GB, также доступна версия Q4_0 размером 75,4 GB. Заявлена поддержка контекста до 256K токенов в исходной архитектуре, но поведение на длинном контексте для этой модификации не проверялось; опубликованные тесты проведены при контексте до 8K. По небольшому набору тестов сборка сохранила показатели базовой модели в tool calling, GSM8K и MMLU, однако perplexity на WikiText-2 ухудшилась с 2,40 до 4,66. Поэтому модель хорошо подходит для рассуждений, задач общего назначения и вызова инструментов, но может быть менее качественной в точном воспроизведении цитат, шаблонного текста и других сценариях, зависящих от поверхностного предсказания продолжений. Q4_0 структурно проверена, но отдельно не тестировалась. Для запуска требуется llama.cpp от 2026-08-27 или новее с поддержкой qwen4exp, а также значительный объём VRAM или оперативной памяти. Модель распространяется по лицензии qwen-community-1.0.

Qwen3-VL-2B-Thinking-FP8 — мультимодальная vision-language модель из серии Qwen, разработанная командой Qwen. Это FP8-квантизированная версия Qwen3-VL-2B-Thinking с мелкозернистой квантизацией и размером блока 128; согласно README, её показатели почти идентичны исходной BF16-модели. Модель предназначена для обработки изображений, видео и текста, включая генерацию и понимание текста, визуальное рассуждение, OCR, анализ документов, пространственное восприятие, STEM- и математические задачи, а также взаимодействие с графическими интерфейсами и инструментами. Модель поддерживает нативный контекст до 256K токенов с возможностью расширения до 1M, понимает длительные видео и использует механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Заявлена поддержка OCR на 32 языках, однако полный перечень языков в README не приведён. Среди сильных сторон — детальное визуальное восприятие, анализ пространственных отношений и видео, мультимодальное рассуждение, распознавание текста в сложных условиях и снижение требований к памяти благодаря FP8-квантизации. README указывает на ограничения совместимости: Transformers пока не поддерживает прямую загрузку этих весов. Для запуска рекомендуются vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-2B-Thinking-GGUF — мультимодальная vision-language модель серии Qwen, разработанная командой Qwen. Это GGUF-версия базовой модели Qwen3-VL-2B-Thinking, предназначенная для локального запуска через llama.cpp, Ollama и другие инструменты, совместимые с GGUF. Модель сочетает языковую модель примерно на 2 млрд параметров с vision encoder и работает с текстом и изображениями, а также поддерживает анализ видео. Релиз включает языковые веса в форматах FP16, Q8_0 и Q4_K_M и отдельный vision encoder в FP16 или Q8_0. Заявлены расширенный контекст до 256K токенов с возможностью масштабирования до 1M, визуальное и пространственное рассуждение, OCR для 32 языков, понимание документов, STEM-задач, видео и пользовательских интерфейсов. Архитектурные особенности включают Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Модель подходит для визуального вопросно-ответного взаимодействия, распознавания и структурирования текста на изображениях, анализа документов и видео, визуального рассуждения, генерации кода и задач визуального агента. Наличие нескольких уровней точности позволяет выбирать баланс между качеством, скоростью и требованиями к памяти, а поддержка CPU, NVIDIA GPU, Apple Silicon и Intel GPU упрощает локальное развертывание. Ограничения включают возможное снижение качества при квантовании, зависимость производительности от оборудования и отсутствие в README подробных числовых результатов тестирования и полного списка поддерживаемых языков. Модель распространяется по лицензии Apache-2.0.

ChatGLM3-6B-32K 是由 ChatGLM 项目团队开发的中文、英文对话模型，基于 ChatGLM3-6B，并针对长文本对话进行了扩展训练。 Это плотная архитектура ChatGLM примерно с 7,5 млрд параметров; модель принимает текст и поддерживает контекст до 32 768 токенов. Модель предназначена для многоходового диалога и работы с длинными текстами: она может отвечать на вопросы по объёмным материалам, обобщать их и поддерживать сценарии с вызовом инструментов и исполнением кода, заявленные для семейства ChatGLM3. В карточке также указаны задачи генерации текста и классификации текста. Для контекстов до 8K токенов разработчики рекомендуют ChatGLM3-6B; вариант 32K рассчитан на более длинный ввод. Модель работает с PyTorch и Transformers. Веса открыты для академических исследований; бесплатное коммерческое использование допускается после регистрации через анкету.

Gemma 3 4B Instruction-tuned QAT compressed-tensors — это мультимодальная instruction-tuned модель семейства Gemma 3, разработанного Google DeepMind. Данная версия представляет собой конвертацию Gemma 3 4B IT из формата GGUF Q4_0 в формат compressed-tensors с типом данных BF16; преобразование не является полностью без потерь. Модель принимает текст и изображения, а генерирует текст. Модель предназначена для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Она поддерживает более 140 языков, контекст входных данных до 128K токенов, изображения с нормализацией до 896×896 пикселей, кодируемые в 256 токенов каждое, и генерирует до 8192 токенов. Размер 4B и QAT-квантизация снижают требования к памяти при сохранении качества, близкого к bfloat16, что облегчает запуск на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Модель можно запускать, в частности, через vLLM; исходная карточка также описывает использование llama.cpp. Ограничения включают возможные потери качества из-за преобразования и квантизации, а также стандартные ограничения генеративных и мультимодальных моделей. Модель распространяется по лицензии Gemma; конкретные условия определяются официальными Terms of Use Google.

duyntnet/granite-3.0-2b-instruct-imatrix-GGUF — GGUF-квантизации модели Granite-3.0-2B-Instruct, разработанной командой Granite компании IBM. Модель дообучена на базе Granite-3.0-2B-Base с использованием открытых наборов данных для обучения инструкциям, синтетических данных, supervised fine-tuning, обучения с подкреплением для выравнивания и объединения моделей. Она содержит около 2 миллиардов параметров и предназначена для генерации текста по инструкциям. Модель подходит для создания ассистентов и бизнес-приложений, суммаризации, классификации и извлечения текста, ответов на вопросы, Retrieval Augmented Generation (RAG), задач, связанных с кодом, function calling и многоязычного диалога. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые интерфейсы, включая KoboldCPP, Ollama, text-generation-webui, GPT4All и Jan. К сильным сторонам относятся компактный размер, широкий набор прикладных сценариев, структурированный чат-формат и поддержка 12 языков. README не содержит сведений о длине контекста, конкретных вариантах квантизации, требованиях к оборудованию или результатах бенчмарков, поэтому производительность и ограничения в этих аспектах оценить нельзя. Для исходной модели указана лицензия Apache 2.0; для данного репозитория в метаданных отмечена лицензия other, без дополнительных пояснений.

Granite-4.0-H-1B-Base — базовая языковая модель команды Granite компании IBM для генерации текста. Это декодерный плотный трансформер семейства GraniteMoeHybrid с компонентами GQA, Mamba2, SwiGLU и RMSNorm. Модель содержит 1,2 млрд параметров, обучена с нуля примерно на 15 трлн токенов и поддерживает контекст до 131 072 токенов. Модель предназначена для краткого и эффективного запуска, в том числе на устройствах с ограниченными ресурсами, и для офлайн-сценариев, где важна приватность. Она может использоваться для суммаризации, классификации и извлечения информации, ответов на вопросы и дополнения кода; поддерживается заполнение пропусков в коде в формате Fill-in-the-Middle. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель распространяется по лицензии Apache 2.0. Она не проходила выравнивание безопасности, поэтому может генерировать проблемный или недостоверный текст; авторы также отмечают риск дословного воспроизведения обучающих данных. Качество следует проверять для конкретной задачи.

Goekdeniz-Guelmez/Josiefied-Qwen2.5-14B-Instruct-abliterated-v4-gguf — текстовая инструкционная языковая модель, разработанная и профинансированная Gökdeniz Gülmez. Она основана на Qwen/Qwen2.5-14B-Instruct, дополнительно дообучена на пользовательском наборе данных и модифицирована для снижения склонности к отказам. Модель предназначена для диалогов, ответов на вопросы, программирования и выполнения широкого круга пользовательских задач. Модель относится к архитектуре qwen2 и имеет размер 14 млрд параметров. Указаны английский и немецкий языки, а также другие языки без уточнения. Репозиторий содержит GGUF-вариант, включая файл с квантованием Q4_K_M; в примере конфигурации Ollama задан контекст до 32 768 токенов. Это текстовая модель без заявленной поддержки изображений, аудио или других модальностей. К сильным сторонам относятся инструкционная настройка, поддержка диалогового шаблона, интеграция с Ollama и OpenWebUI, а также ориентация на менее ограниченные ответы. При этом README не содержит результатов тестирования, точных сведений о качестве, аппаратных требованиях или подробной оценки безопасности. Разработчик предупреждает об использовании на собственный риск; поведение модели может быть менее безопасным и предсказуемым из-за удаления отказов. Лицензия указана как Apache 2.0.