II.4Отладка, тестирование и качество ПО

Phi-3 Medium-4K-Instruct ONNX DirectML — версия языковой модели Phi-3 Medium, опубликованная Microsoft для ускоренного вывода через ONNX Runtime и DirectML на GPU в Windows. Это плотная авторегрессионная модель семейства Phi-3 примерно с 13,8 млрд параметров и контекстом до 4096 токенов; она настроена следовать инструкциям с помощью supervised fine-tuning и direct preference optimization и поддерживает диалоговый режим. Репозиторий содержит ONNX-вариант с квантизацией INT4 методом AWQ. Модель предназначена для генерации текста, диалогов, ответов на вопросы, рассуждений, математических и кодовых задач. DirectML позволяет запускать её на совместимых GPU AMD, Intel и NVIDIA в Windows. В README указаны проверка на RTX 4090 и минимальная конфигурация Windows с GPU DirectX 12 и не менее 10 ГБ совокупной памяти. Квантизация помогает снизить требования к ресурсам, однако может влиять на точность; производительность зависит от оборудования и конфигурации. Лицензия — MIT. Указанные в README языки программирования относятся к примерам интеграции, а не к естественным языкам модели; конкретный перечень поддерживаемых естественных языков в предоставленных данных не установлен.

RedHatAI/phi-4-FP8-dynamic — квантизированная версия языковой модели Microsoft Phi-4, разработанная Red Hat совместно с Neural Magic. Это текстовая causal language model на архитектуре Phi3ForCausalLM: принимает текст и генерирует текст, преимущественно на английском языке. Модель предназначена для исследовательских задач, генеративных AI-функций, диалоговых и общих текстовых сценариев, а также задач рассуждения, логики, работы с математикой и кодом в условиях ограниченных ресурсов или повышенных требований к задержке. В модели к FP8 квантизированы веса и активации линейных операторов внутри трансформерных блоков. Веса используют симметричную статическую поканальную квантизацию, а активации — симметричную динамическую потокенную квантизацию. По заявлению разработчиков, это примерно на 50% снижает требования к GPU-памяти и размер диска, а также может примерно вдвое увеличить пропускную способность матричных умножений по сравнению с представлением FP16. Для квантизации использована библиотека llm-compressor; модель оптимизирована для развертывания с vLLM и валидирована в RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5. Длина контекста в предоставленных данных не указана. Сильные стороны модели — уменьшенные требования к памяти и дисковому пространству, потенциально более высокая производительность и поддержка сценариев, где важны рассуждение, логика, низкая задержка и эффективность вычислений. Ограничения включают преимущественную ориентацию на английский язык, отсутствие специальной оценки для всех прикладных сценариев и типичные для языковых моделей риски ошибок, проблем безопасности и несправедливых результатов; перед применением в ответственных областях необходимы отдельная проверка и меры контроля. Модель выпущена под лицензией MIT.

AIArchiveInfo/Qwen3-0.6B — побитовая архивная копия Qwen3-0.6B от команды Qwen, без изменения весов; репозиторий указывает базовую модель Qwen/Qwen3-0.6B-Base. Это плотная причинная языковая модель на 507,9 млн параметров с 28 слоями, предназначенная для генерации текста и диалогов. Модель работает с текстом, поддерживает переключение между режимами рассуждения и обычного диалога, а также интерфейс вызова инструментов. Метаданные указывают контекст до 40 960 токенов; в README приведено значение 32 768 токенов. Заявлена поддержка более 100 языков и диалектов, включая многоязычные инструкции и перевод. Модель подходит для ответов на вопросы, следования инструкциям, диалогов, генерации кода, математических и логических задач, творческого письма и сценариев с внешними инструментами. Это компактная модель, которую можно использовать для локальных экспериментов и приложений с ограниченными ресурсами; качество на сложных задачах может уступать более крупным моделям. README отмечает риск повторов при некоторых настройках генерации. Лицензия — Apache-2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP — мультимодальная модель семейства Qwen3.5, дообученная и собранная DavidAU совместно с Nightmedia на основе нескольких собственных дообучений Qwen3.5-9B. Это плотная архитектура с 9 млрд параметров, 32 слоями и зрительным энкодером; модель принимает текст и изображения и формирует текстовые ответы. В карточке заявлены контекст до 256 тыс. токенов, режимы рассуждения и диалога, а также интерфейс вызова инструментов. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования и творческого письма, включая ролевые сценарии. По заявлению автора, она прошла многоэтапное дообучение и слияние моделей; опубликованы также варианты GGUF, включая квантизованные и MTP-сборки, но эта карточка содержит исходные веса BF16 в safetensors. Автор приводит сравнительные результаты тестов, однако они не гарантируют превосходства на любых задачах. Модель помечена как uncensored; лицензионные условия — Apache-2.0.

AtomicChat/Qwen3.6-27B-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.6-27B, подготовленный и самостоятельно квантизированный командой Atomic Chat из оригинальных весов с использованием importance matrix. Модель предназначена для локального и полностью офлайн-использования в задачах генерации текста, диалоговых сценариях, программировании, фронтенд-разработке и рассуждениях на уровне репозитория. Для работы рекомендуется использовать llama.cpp и применять шаблон чата Qwen3.6 через параметр --jinja. Модель содержит 27,8 млрд параметров, имеет плотную decoder-архитектуру с 64 слоями, 24 attention heads и 4 KV heads, словарь из 248 320 токенов и контекст до 262 144 токенов. Базовая Qwen3.6-27B поддерживает текст и изображения, однако представленные в этом репозитории GGUF-файлы являются текстовыми и не содержат vision projector. Доступны варианты квантизации от Q2_K до Q8_0; Q4_K_M заявлен как оптимальный баланс размера, скорости и качества, а Q6_K и Q8_0 обеспечивают более высокую точность при повышенных требованиях к памяти. К сильным сторонам относятся офлайн-запуск, широкий выбор размеров, калибровка всех вариантов с importance matrix и сохранение большинства характеристик полноточной модели, особенно начиная с Q4_K_M. Ограничения включают потерю качества в низкобитных вариантах, значительные требования к оперативной или видеопамяти и отсутствие поддержки изображений в поставляемых файлах. В README указана лицензия Apache-2.0.

Qwen3.6-35B-A3B-128E-Pruned-GGUF — экспериментальная GGUF-версия модели Qwen3.6-35B-A3B, созданная пользователем xero0000 на основе официальной модели Qwen/Qwen3.6-35B-A3B. Это неофициальный исследовательский артефакт, предназначенный для локального запуска и тестирования задач генерации текста, включая программирование, работу агентных систем, JSON, математику и вызовы инструментов. Модель распространяется в форматах квантования от Q8_0 до IQ1_S и рассчитана на использование с llama.cpp и совместимыми движками. Архитектура представляет собой разреженную mixture-of-experts (MoE) модель: в каждом из 40 MoE-слоёв число экспертов сокращено с 256 до 128, при этом для каждого токена сохраняются 8 активных экспертов. Такое прореживание уменьшает размер файлов и требования к памяти, но не сокращает число матричных операций активных экспертов на токен. Доступны варианты размером примерно от 3,95 до 18,39 GiB; конкретные характеристики качества и скорости зависят от квантования и оборудования. Калибровка прореживания была небольшой и смещённой в сторону задач программирования и агентного использования, поэтому результаты на других сценариях требуют самостоятельной проверки. Наиболее сбалансированным вариантом автор считает Q5_K_M: он прошёл 8 из 8 локальных проверок при заявленном росте perplexity на 1,05%. Q8_0 служит эталонным прунинг-вариантом, тогда как варианты Q3 и ниже имеют более заметные потери качества и требуют осторожного тестирования; IQ1_M и IQ1_S являются экспериментальными однобитными вариантами с низкими результатами проверок. Приведённые оценки являются локальным smoke-тестом и не заменяют комплексные бенчмарки или проверки безопасности. Лицензия — Apache-2.0; лицензия базовой модели также должна учитываться при использовании.

Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 — дообученная методом abliteration версия мультимодальной модели Qwen3.8-27B от Alibaba, опубликованная lactroiii. Это плотная модель на 27 млрд параметров в формате BF16 на базе архитектуры Qwen3.5; она принимает текст и изображения и генерирует текст. В README описана проверка на NVIDIA H200 через vLLM, включая работу с изображениями, режим рассуждений и вызов инструментов. Для обслуживания автор проверял контекст 16 384 токена и указывает, что базовое окно модели достигает 262 144 токенов. Модель предназначена для диалогов и инструкций, рассуждений, программирования, анализа изображений, вызова инструментов, творческого письма и исследований безопасности и выравнивания. Abliteration уменьшает склонность модели отказывать и делает ответы более прямыми; автор сообщает о сохранении связности ответов, но это не является независимой оценкой качества. Модель может выдавать опасный, незаконный или откровенный контент и не должна использоваться в сценариях высокого риска без внешних мер безопасности. Лицензия — Apache-2.0.

Карточка модели KevinCha/Qwen3-VL-8B-Instruct-BoxSpecialToken на Hugging Face совпадает с карточкой Qwen/Qwen3-VL-8B-Instruct, поэтому описание составлено по ней. Qwen3-VL-8B-Instruct — мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen. Это плотная модель с 8 млрд параметров для диалога и генерации текста по текстовым и визуальным входам; репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. Лицензия — Apache-2.0. Модель предназначена для анализа изображений и видео, визуальных вопросов и ответов, распознавания текста и структуры документов, пространственного рассуждения, STEM-задач и управления интерфейсами через инструменты. Она также генерирует код и разметку Draw.io, HTML, CSS и JavaScript по изображениям или видео. Заявлены контекст 256K токенов с возможностью расширения до 1M, временная привязка событий в видео и OCR на 32 языках. Модель объединяет текстовое и визуальное понимание, поддерживает агентные сценарии и вызов инструментов. Карточка описывает возможности семейства Qwen3-VL; конкретные показатели качества для версии 8B в предоставленном README не приведены.

Qwen3-VL-8B-Thinking — плотная мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen; этот репозиторий содержит её веса. Модель принимает изображения и текст, поддерживает диалог и интерфейс вызова инструментов, а режим Thinking предназначен для задач, требующих рассуждений. Архитектура — Qwen3VLForConditionalGeneration, веса доступны в формате safetensors; модель использует библиотеку Transformers. Модель предназначена для визуальных вопросов и ответов, распознавания текста и структуры документов, анализа видео и временных событий, пространственных рассуждений, STEM-задач и управления графическими интерфейсами с помощью инструментов. Также она может генерировать код интерфейсов Draw.io и HTML/CSS/JS по изображениям или видео. В README заявлен контекст 256K токенов с возможностью расширения до 1M и OCR на 32 языках; эти характеристики относятся к описанию семейства Qwen3-VL. Лицензия — Apache-2.0. README не приводит отдельных результатов бенчмарков для этой версии 8B; заявленные возможности и качество следует считать характеристиками из карточки разработчика, а эффективность на конкретных задачах может зависеть от входных данных и конфигурации запуска.

QwQ-32B-GGUF — языковая модель для генерации текста и рассуждений из семейства Qwen, разработанная командой Qwen. Это GGUF-версия базовой модели Qwen/QwQ-32B, ориентированная на локальный запуск и диалоговые сценарии, включая решение сложных математических, логических и других задач, где важны пошаговое рассуждение и качество вывода. Модель предназначена для использования с llama.cpp и совместимыми инструментами. Модель является авторегрессионной causal language model с архитектурой на базе Qwen2.5, использующей RoPE, SwiGLU, RMSNorm и смещения в QKV-вычислениях внимания. Она содержит около 32,5 млрд параметров, 64 слоя и механизм grouped-query attention с 40 головами для Q и 8 для KV. Заявленная длина контекста составляет до 131 072 токенов, однако для GGUF-версии без дополнительных настроек рекомендуется учитывать ограничение около 32 768 токенов; обработка более длинных последовательностей требует YaRN и поддержки со стороны используемого фреймворка. Указан английский язык. Сильная сторона модели — усиленная способность к рассуждению, обеспеченная последующим обучением с учителем и reinforcement learning; заявляется конкурентоспособность с современными reasoning-моделями, включая DeepSeek-R1 и o1-mini. Доступны варианты квантования q4_K_M, q5_0, q5_K_M, q6_K и q8_0, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Для стабильной работы рекомендуются специальные параметры семплирования и начало ответа с маркера <think>. Лицензия — Apache-2.0.

SakalFusion-7B-Beta — объединённая языковая модель на архитектуре Qwen2, созданная методом TIES с помощью mergekit. В слиянии использованы Qwen2.5-Coder-7B-Instruct, Qwen2.5-Math-7B-Instruct и Sakalti/model-3; базовая модель слияния — bunnycore/Qwen2.5-7B-RRP-1M. Модель содержит 7,1 млрд параметров и распространяется в формате safetensors для библиотеки Transformers. Модель предназначена для генерации текста в диалоговом формате, в том числе для задач программирования и математики, унаследованных от входящих в слияние моделей. Метаданные указывают контекст до 1 010 000 токенов и интерфейс для вызова инструментов. Карточка не приводит результатов оценивания, поэтому качество на конкретных задачах и практическая эффективность такого длинного контекста не подтверждены. Лицензия в предоставленных данных не указана. Модель создана на основе нескольких чекпойнтов, поэтому условия использования следует сверить с лицензиями исходных моделей.

StarFuse-7B-DARE — диалоговая языковая модель на архитектуре Mistral, созданная объединением четырёх моделей с помощью mergekit и метода dare_ties: openchat/openchat-3.5-0106, FuseAI/FuseChat-7B-VaRM, Nexusflow/Starling-LM-7B-beta и Weyaxi/Newton-7B. Модель содержит 7,1 млрд параметров и принимает текстовые запросы, генерируя текстовые ответы в формате диалога. Она предназначена для общения и генерации текста, включая ответы на общие вопросы, программирование и математические рассуждения. Контекст составляет 8192 токена. Модель опубликована в формате safetensors с точностью bfloat16 и лицензией Apache-2.0. В README не приведены сведения о целевых языках или специальных ограничениях качества.

Tess-v2.5 (Qwen2-72B) — разговорная языковая модель, созданная Migel Tissera и дообученная на базе Qwen2-72B. Она предназначена для диалога и генерации текста, включая рассуждения, программирование, математику и ответы на вопросы по широкому кругу тем. Архитектура — плотная Qwen2ForCausalLM, размер — 71,5 млрд параметров, контекст — до 131 072 токенов. Модель принимает текст и использует формат запросов ChatML. Для дообучения применён датасет Tess-v2.5 из 300 тысяч синтетических примеров по бизнесу, истории, социальным наукам, искусству, STEM и программированию; модель обучалась с Axolotl. Автор сообщает о сильных результатах на MMLU и AGIEval, однако эти заявления основаны на оценках автора. Модель не проходила RLHF или DPO и может выдавать неточные, вводящие в заблуждение, предвзятые или оскорбительные ответы. Лицензия указана как other, поэтому условия использования следует проверить в репозитории модели.

Youtu-LLM-2B-Base — базовая авторегрессионная языковая модель Tencent из семейства Youtu-LLM. Она содержит около 1,96 млрд параметров, использует плотную архитектуру с Multi-head Latent Attention (MLA) и предназначена для генерации текста и дальнейшей адаптации под конкретные задачи. Модель принимает текст и генерирует продолжение; карточка описывает её возможности в рассуждениях, STEM, программировании, работе с длинным контекстом и агентных сценариях. Контекст модели составляет 131 072 токена. В README приведены результаты сравнительных тестов, в том числе по общим знаниям и агентным задачам; заявленные результаты не гарантируют аналогичного качества в каждом применении. Указана лицензия `other`, поэтому перед использованием следует проверить её условия в карточке модели. README не уточняет поддерживаемые естественные языки.

Buzz-3b-Small-v0.6.3 — промежуточный чат-чекпойнт проекта H-D-T, дообученный на базе семейства Llama. Модель имеет плотную архитектуру LlamaForCausalLM примерно с 3,8 млрд параметров и использует шаблон диалога Llama 3. Она обучалась одну эпоху на примерно 6,2 млн примеров; этот чекпойнт соответствует двум десятым пути по датасету Buzz и его срезам. Модель предназначена для диалоговой работы в роли универсального ассистента: она может писать код, разбирать задачи, объяснять и проводить пошаговые разборы, играть персонажей, анализировать данные и выполнять математические вычисления. Принимает текст и генерирует текст, поддерживает контекст до 8192 токенов. Ответы могут быть неточными. Лицензия — Apache-2.0.

Camelidae-8x7B — языковая модель семейства Camelidae, разработанная авторами проекта Parameter-Efficient Sparsity Crafting. Это разреженная MoE-модель для генерации текста и выполнения инструкций общего назначения; при обучении использовались QLoRA, адаптеры и эффективное преобразование плотных моделей в Mixture-of-Experts. В карточке указаны обучающие наборы для инструкций, программирования и математики. Модель содержит 6,6 млрд параметров и имеет контекстное окно 4096 токенов. Она построена на архитектуре LLaMA для причинной генерации текста и доступна в формате PyTorch через Transformers; для загрузки карточка приводит пример с trust_remote_code=True. Метаданные отмечают английский язык. Модель подходит для диалоговых ответов, математических рассуждений и помощи с кодом. README описывает результаты семейства Camelidae на тестах, но приведённая таблица относится к Camelidae-8x34B-pro, поэтому её показатели нельзя переносить на версию 8x7B. Лицензия — Apache-2.0.

Cerebrum-1.0-8x7b — языковая модель AetherResearch для генерации текста и решения задач, требующих рассуждений. Это дообученная версия Mixtral 8x7B с архитектурой sparse Mixture of Experts (MoE); модель обучали на небольшом наборе примеров с цепочками рассуждений и дополнительно выравнивали с помощью targeted RLHF. В метаданных указано 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для ответов на вопросы, математических и логических задач, программирования, творческой работы и мозгового штурма. Карточка сообщает о конкурентных результатах на отдельных тестах относительно Gemini 1.0 Pro и GPT-3.5 Turbo, однако оценки получены в разных режимах и условиях. Для диалога рекомендуется шаблон Alpaca с запросом описать ход решения. Модель работает с текстом и рассчитана на английский язык; лицензия — Apache 2.0. Результаты могут зависеть от формулировки запроса и выбранного шаблона.

Dolphin3.0-Mistral-24B-GGUF — это набор квантованных GGUF-версий языковой модели Dolphin3.0-Mistral-24B, разработанной cognitivecomputations и подготовленной quantized_by bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp; поддерживается формат prompt с ролями system, user и assistant. В README указан английский язык, однако полного описания языковых возможностей нет. Модель имеет 24 млрд параметров и поставляется в вариантах от F32 до низкобитных Q3, Q4, Q5, Q6, Q8 и IQ-квантизаций. Размер файлов составляет примерно от 12,4 до 94,3 ГБ, поэтому требования к памяти зависят от выбранного варианта. Доступны версии, ориентированные на высокое качество, экономию памяти, работу на CPU и Apple Silicon. Среди заявленных наборов данных для обучения или дообучения — OpenCoder, Orca, NuminaMath, Hermes Function Calling, Tulu, Dolphin Coder и другие коллекции инструкций, программного кода и математических задач. Сильные стороны модели — большой размер, широкий набор обучающих данных, поддержка задач генерации текста, программирования, математики и function calling, а также возможность локального запуска с разным компромиссом между качеством и потреблением памяти. Ограничения — отсутствие в README сведений о длине контекста, архитектурных деталях, мультимодальности, результатах тестирования, системных требованиях для конкретных конфигураций и лицензии. Условия лицензирования в предоставленных данных не указаны.

Deepthink-Reasoning-7B — дообученная PrithivMLmods языковая модель на базе Qwen2.5-7B-Instruct с 7,1 млрд параметров. Она предназначена для диалоговой генерации текста с упором на рассуждения, решение логических задач, математику и программирование; также подходит для творческого письма, следования инструкциям и формирования структурированных ответов, включая JSON. Модель использует архитектуру Qwen2 и принимает текстовые запросы, выдавая текст. В метаданных указан контекст до 32 768 токенов, тогда как README заявляет поддержку до 128 тысяч токенов и генерацию до 8 тысяч; это расхождение стоит учитывать при настройке. Карточка заявляет поддержку более 29 языков, включая русский и английский, но метаданные подтверждают английский. Модель распространяется по лицензии CreativeML Open RAIL-M. Заявления README об улучшениях в математике, коде, следовании инструкциям и длинном контексте не сопровождаются результатами оценивания, поэтому фактическое качество на конкретных задачах следует проверять отдельно.

Mihaiii создал прореженную версию модели cognitivecomputations/dolphin-2.6-mistral-7b-dpo: из исходных 7,24 млрд параметров удалены шесть слоёв, и в результате осталось около 5,93 млрд параметров. Модель основана на плотной архитектуре Mistral и предназначена для генерации текста; в метаданных также указан контекст длиной до 32 768 токенов. Модель подходит для диалоговых ответов, следования инструкциям и генерации кода. В карточке перечислены обучающие датасеты Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder и Capybara; это указывает на широкий набор инструкционных и кодовых сценариев, но не гарантирует качество для каждой задачи. Модель опубликована в формате Safetensors по лицензии Apache-2.0.

Это 4-битная версия Dolphin 2.9.3 на базе Mistral Nemo, преобразованная mlx-community из cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b в формат MLX с помощью mlx-lm 0.16.1. Модель представляет собой плотную причинную языковую модель Mistral с 12,1 млрд параметров и предназначена для генерации текста в диалоговом формате; среди возможных сценариев — ответы на вопросы, помощь с кодом, математические задачи и вызов инструментов, на которые указывают обучающие наборы данных и возможности базовой Dolphin-модели. Модель дообучена на Mistral-Nemo-Base-2407, а данный репозиторий содержит её MLX-представление для запуска на устройствах Apple с MLX. Метаданные указывают контекст до 1 024 000 токенов и лицензию Apache-2.0. В README не описаны отдельные ограничения качества; применимость столь длинного контекста и заявленные сценарии зависят от конкретной конфигурации запуска.

Valiant Labs разработала Esper 4 — инструкционную модель для программирования, архитектуры систем, DevOps и MLOps на базе Gemma 4 12B. Это плотная мультимодальная модель семейства Gemma 4 с поддержкой изображений; метаданные указывают на архитектуру Gemma4UnifiedForConditionalGeneration и формат весов safetensors. Она предназначена для диалогового помощника и агентных сценариев, включая разработку и эксплуатацию ИИ-систем. Модель ориентирована на сложные запросы по коду, проектированию архитектуры и DevOps. В карточке отмечены примеры применения с Python, TypeScript, JavaScript, Java, C++, C#, Rust, Go, Haskell, Bash и PowerShell, а также Jenkins, Terraform, Ansible, Docker, Kubernetes, Helm, Grafana, Prometheus и облачными платформами Azure, AWS и GCP. Метаданные указывают английский язык; базовая модель также поддерживает работу с текстом, изображениями, видео и аудио, но карточка Esper отдельно подтверждает только поддержку изображений. Лицензия — Apache-2.0. Заявленные улучшения относятся к программированию, архитектуре и DevOps; независимые оценки качества и сведения о длине контекста в предоставленных данных отсутствуют.

Это 4-битная MXFP4-квантизация инструкционной модели Google Gemma 4 12B-it, подготовленная FreedomAISVR в формате GGUF. В основе лежит плотный декодерный трансформер Gemma4ForCausalLM с 12,08 млрд параметров; README указывает размер файла 6,3 ГБ и целевую платформу — видеокарты NVIDIA Blackwell, включая RTX 50-й серии. Модель предназначена для диалогов и генерации текста по инструкциям: она подходит для ответов на вопросы, рассуждений и задач по коду. Базовая Gemma 4 поддерживает мультимодальное понимание, однако в этой карточке репозитория заявлена задача text-generation и возможность чата; другие входные модальности для данной сборки не подтверждены. README сообщает о контексте до 256 тыс. токенов и приводит результаты скорости на RTX 5060 Ti 16 ГБ. Квантизация уменьшает требования к памяти и ориентирована на запуск локально с llama.cpp на совместимом оборудовании; качество и скорость могут зависеть от реализации и аппаратуры. Модель распространяется по лицензии Apache-2.0. Sведения о поддерживаемых естественных языках в карточке ограничены английским языковым тегом.

Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced — мультимодальная версия модели Gemma 4 12B от Google DeepMind, модифицированная HauhauCS. Это GGUF-сборка с уменьшенным количеством отказов в ответах, предназначенная для агентного программирования, рассуждений, творческого письма, ролевого общения и диалоговых сценариев, где важны следование инструкциям и надёжность. Модель поддерживает текстовый ввод и изображения через отдельный mmproj-модуль; заявленный язык — английский. Модель имеет плотную архитектуру размером 12B параметров и контекстное окно 256K токенов. Основной файл использует QAT-квантизацию Q4_K_M и занимает около 6,9 ГБ; заявляется сохранение качества, близкого к полной точности. В комплект входит MTP-голова для speculative decoding, которая в llama.cpp, по данным автора, обеспечивает примерно на 60% более высокую скорость генерации без изменения проверенного результата. Поддерживаются llama.cpp, LM Studio, Jan, koboldcpp и другие GGUF-совместимые среды. К сильным сторонам относятся большое контекстное окно, поддержка изображений, оптимизация под 4-битную квантизацию, ускоренная генерация с MTP и настройка для кодинга, рассуждений и творческих задач. Ограничения включают зависимость визуального режима от отдельного mmproj-файла, экспериментальный характер заявлений об отсутствии отказов и ограниченность тестирования ускорения llama.cpp. Для LM Studio отмечена возможная нестабильность в режиме tensor-split на нескольких GPU; рекомендуется использовать один GPU или альтернативное распределение слоёв. Модель распространяется по лицензии Gemma.

Карточка модели nfsff/Gemma-4-31B-JANG_4M-CRACK на Hugging Face совпадает с карточкой ZHENDANG/Gemma-4-31B-JANG_4M-CRACK, поэтому описание составлено по ней. ZHENDANG/Gemma-4-31B-JANG_4M-CRACK — мультимодальная модель семейства Gemma 4 от dealignai, созданная на основе google/gemma-4-31b-it. Это доработанная методом abliteration версия плотной архитектуры Gemma 4 с 31 млрд параметров, гибридным скользящим и глобальным вниманием и сохранённым визуальным энкодером. Модель предназначена для диалогов, рассуждений, программирования и ответов на запросы по тексту и изображениям; поддерживает режим thinking. В README авторы сообщают о высокой доле ответов на вредоносные запросы в их тесте HarmBench и о прохождении проверок по кибербезопасности и пентестингу. Эти результаты отражают заявленные авторами тесты и не гарантируют качество в других сценариях. Для запуска рекомендован vMLX на компьютерах Apple Silicon с не менее чем 32 ГБ объединённой памяти; указано, что стандартные mlx_lm и mlx_vlm на момент подготовки карточки модель не поддерживают. Модель распространяется по лицензии Gemma; авторы указывают исследовательское назначение и ответственность пользователя за соблюдение законов.

AtomicChat/gemma-4-E4B-it-assistant-GGUF — это локальная GGUF-квантизированная версия модели google/gemma-4-E4B-it-assistant, разработанной Google и самостоятельно преобразованной в GGUF командой Atomic Chat. Модель предназначена для генерации текста, диалоговых ассистентов, рассуждений, программирования и автономного офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые приложения. Архитектура модели — плотный decoder с 42 слоями, гибридным вниманием: скользящее окно 512 токенов сочетается с глобальным вниманием. Указано 4,5 млрд эффективных параметров и 8 млрд параметров с учётом embeddings, контекст до 128K токенов, словарь 262K токенов, 4 attention heads и 2 KV heads. Базовая модель поддерживает текст, изображения и аудио, однако представленные в этом репозитории кванты являются текстовыми и не содержат vision projector. Языки модели в README не указаны. Доступны варианты Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; квантизация выполнена с importance matrix, что должно уменьшать потери качества на низкой разрядности. Q4_K_M рекомендован как компромисс между размером, скоростью и качеством, а Q8_0 и F16 — для большей точности. Ограничениями являются текстовый формат поставки, возможная потеря качества из-за квантизации и необходимость использовать шаблон чата Gemma 4 через параметр --jinja. Приведённые в README результаты бенчмарков относятся к базовой модели Google, а не к независимым измерениям данной квантизированной версии. Модель распространяется по лицензии Apache 2.0.

GLiClass Multilang Edge от Knowledgator — компактная модель семейства GLiClass для классификации последовательностей с произвольными метками в zero-shot и few-shot режимах. Модель насчитывает около 140 млн параметров и предназначена для эффективной классификации текста; карточка указывает архитектуру GLiClassModel и формат safetensors. Модель поддерживает тематическую и тональную классификацию, определение намерений, проверку следования правилам и безопасности LLM, выявление галлюцинаций, NLI и оценку релевантности текстовых фрагментов. Можно задавать описания меток, пользовательские инструкции и иерархии меток; текст и метки могут быть на разных языках. По карточке, модель обучена для 20 языков: шведского, норвежского, чешского, польского, литовского, эстонского, латышского, испанского, финского, немецкого, французского, румынского, итальянского, португальского, нидерландского, украинского, хинди, китайского, арабского и иврита. Английский также присутствует в метках языков карточки. Небольшой размер обеспечивает высокую скорость: в тесте автора средняя пропускная способность составила 553,6 примера в секунду при пакетной обработке на RTX PRO 6000 Blackwell. Качество зависит от языка и задачи; приведённые в карточке результаты показывают более низкие средние показатели Edge по сравнению с более крупными вариантами multilang-mini и multilang-ultra. Лицензия — Apache-2.0.

GLM-4.7-Flash-MXFP4-MOE-GGUF — квантизированная версия языковой модели GLM-4.7-Flash от Zhipu AI, опубликованная в формате GGUF. Это модель Mixture-of-Experts на архитектуре DeepSeek2 с Multi-head Latent Attention: около 30 млрд параметров всего, из которых примерно 3,2 млрд активируются на токен; используются 64 маршрутизируемых эксперта и один общий. В README указан контекст до 200 000 токенов. Модель предназначена для генерации текста и диалогов, включая рассуждения и программирование. Она поддерживает английский и китайский языки; режим рассуждений включён по умолчанию. В квантизации MXFP4 веса экспертов представлены в 4-битном формате, а остальные тензоры — в Q8_0; файл весов занимает 15,8 ГБ. README указывает на запуск через llama.cpp на GPU или CPU. Квантизация рассчитана на более эффективный вывод при небольшом снижении качества относительно исходной модели. Репозиторий распространяется по лицензии MIT.

unsloth/GLM-Z1-32B-0414-GGUF — GGUF-версия 32-миллиардной reasoning-модели GLM-Z1-32B-0414, разработанной командой THUDM на основе GLM-4-32B-0414 и подготовленной в формате GGUF проектом Unsloth. Модель предназначена для локального текстового диалога и генерации текста, особенно для задач, требующих глубокого рассуждения: математики, программирования, логики и решения сложных многоэтапных задач. Модель поддерживает китайский и английский языки и относится к задачам text-generation. Заявлены улучшенные математические способности и общее качество решения сложных задач по сравнению с базовой моделью. В README указано 32 миллиарда параметров; архитектура подробно не описана. Для работы с длинным контекстом предусмотрен YaRN: при длине входа свыше 8192 токенов рекомендуется включать масштабирование RoPE, исходный максимальный размер позиционных эмбеддингов составляет 32768 токенов. Модель подходит для локального развертывания через совместимые инструменты, включая llama.cpp; для корректной обработки системного промпта в llama.cpp рекомендуется параметр --jinja. Для генерации рекомендованы temperature 0.6, top_p 0.95, top_k 40 и max_new_tokens 30000. Ограничения включают значительные требования к вычислительным ресурсам из-за размера 32B и возможное небольшое ухудшение качества на коротких текстах при постоянном включении YaRN. Лицензия — MIT.

Mungert/granite-3.0-8b-instruct-GGUF — квантованная GGUF-версия инструкционной языковой модели Granite 3.0 с 8 млрд параметров. Базовая модель — ibm-granite/granite-3.0-8b-base; модель предназначена для генерации текста и выполнения инструкций, включая рассуждения, ответы на вопросы, работу с кодом, математические задачи и задачи на понимание прочитанного. Разработчик GGUF-сборки — Mungert; исходное семейство моделей разработано IBM Granite. Модель создана с использованием llama.cpp. В README не указаны архитектурные детали, максимальная длина контекста, точный набор языков и конкретные варианты квантования. Упоминается экспериментальный подход к квантованию с повышением точности отдельных важных слоёв с помощью параметра --tensor-type; автор сообщает об улучшении точности на заданном уровне квантования ценой увеличения размера файла. Приведены результаты на англоязычных и многоязычных тестах, включая IFEval, MT-Bench, MMLU, HumanEval, GSM8K, PAWS-X и MGSM, однако их достоверность в метаданных не подтверждена. Модель подходит для локального запуска в совместимых инструментах экосистемы llama.cpp и сценариев, где важны снижение требований к памяти и возможность самостоятельного развертывания. Ограничения связаны с потерями качества, характерными для квантованных моделей, отсутствием подробных сведений о конфигурации и тем, что README не содержит инструкций по выбору конкретного файла квантования. Лицензия указана как Apache 2.0.