II.4Отладка, тестирование и качество ПО

RedHatAI/OpenHermes-2.5-Mistral-7B-pruned2.4 — разреженная оптимизированная версия OpenHermes-2.5-Mistral-7B, подготовленная для высокопроизводительного запуска через NM-vLLM. В основе лежит дообученная на инструкциях и диалогах модель Mistral с 7,1 млрд параметров; архитектура — MistralForCausalLM, формат весов — PyTorch. Контекст модели составляет до 32 768 токенов. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции и помощь с кодом. Разреживание с помощью SparseGPT позволяет уменьшить требования к памяти и повысить пропускную способность при обслуживании в NM-vLLM. В README также описана возможность настраивать сжатие через recipe.yaml. Лицензия в предоставленных данных не указана.

Locutusque/Orca-2-13b-SFT_v5 — плотная языковая модель на архитектуре Llama, созданная полным дообучением Microsoft Orca-2-13b на наборах No Robots, EverythingLM, Guanaco, OpenAssistant и Open-Platypus. Модель содержит 12,9 млрд параметров и рассчитана на генерацию текста; карточка отмечает поддержку кода и языки английский, французский, испанский, хинди и китайский. Контекст составляет 4096 токенов, для запросов используется шаблон ChatML. Модель подходит для диалоговых ответов, следования инструкциям, решения задач и генерации кода. В README сообщается о тестовом loss 0,38 на Open-Platypus, но сравнительные оценки качества не приведены. Репозиторий содержит веса в формате safetensors. Для использования необходимо соблюдать исследовательскую лицензию Microsoft Orca-2; метаданные обозначают лицензию как other.

bartowski/phi-4-GGUF — это набор GGUF-квантизаций языковой модели Phi-4, разработанной Microsoft. Модель предназначена для генерации текста, диалоговых сценариев, решения математических задач, программирования и других задач NLP. В README указана поддержка английского языка и текстовая модальность; исходная модель доступна на Hugging Face как microsoft/phi-4. Набор создан с использованием llama.cpp и метода imatrix, включает варианты от F32 и F16 до низкобитных Q2–Q8-квантизаций. Размер файлов варьируется примерно от 4,49 до 58,64 ГБ, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. Для запуска рекомендуются llama.cpp и LM Studio. Указан шаблон prompt с маркерами системного, пользовательского и ассистентского сообщений, а также исправления tokenizer по рекомендациям команды Unsloth. Сильная сторона набора — широкий выбор вариантов квантизации, включая версии, ориентированные на высокое качество или ограниченный объём RAM. Ограничения зависят от выбранной квантизации: низкобитные варианты занимают меньше памяти, но обеспечивают более низкое качество. Архитектура, число параметров и размер контекста в README не указаны. Лицензия — MIT.

Карточка модели huuhyj/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

YOYO-AI Qwen3-30B-A3B-YOYO-V5 — объединённая модель семейства Qwen3 MoE, созданная YOYO-AI алгоритмом yoyo_fusion на основе Qwen/Qwen3-30B-A3B-Instruct-2507, Qwen/Qwen3-30B-A3B-Thinking-2507 и Qwen/Qwen3-Coder-30B-A3B-Instruct. Она предназначена для диалогов, выполнения инструкций, генерации текста и вызова инструментов; объединение сводит навыки исходных моделей в один чекпойнт. Репозиторий содержит веса safetensors в формате bfloat16. Модель принимает текст и выдаёт текст. Метаданные указывают 2,6 млрд параметров и контекст до 262 144 токенов; в README также заявлена длина контекста 1 010 000 токенов, но не поясняется, при каких условиях она доступна. В карточке отмечены английский и китайский языки. Модель распространяется по лицензии Apache-2.0. Указанные в README параметры генерации: temperature 0,7, top-p 0,8 и top-k 20. Фактическое качество объединения, результаты оценок и практические требования к оборудованию в карточке не приведены.

FreedomAISVR/Qwen3.5-4B-Instruct-MTP-MXFP4-GGUF — мультимодальная модель для генерации текста и понимания изображений, представленная в формате GGUF. По карточке, она основана на Qwen3.5-4B и распространяется в виде MXFP4-квантизированных весов; для обработки изображений используется отдельный проектор SigLIP в F16. Модель рассчитана на многоязычные инструкции, диалог, рассуждения и вызов инструментов; также заявлена поддержка видео. Режим рассуждений по умолчанию выключен. Архитектура включает 32 блока Transformer с гибридными механизмами внимания, FFN и SSM, а также одну голову Multi-Token Prediction. Заявлено контекстное окно 262 144 токена. Карточка указывает поддержку английского, китайского и кода; метаданные также отмечают мультиязычность. Модель распространяется по лицензии Apache-2.0. Для работы с изображениями нужен файл мультимодального проектора; фактическая скорость и качество зависят от используемого оборудования и совместимого ПО.

barozp/Qwen3.6-28B-REAP20-A3B-GGUF — набор GGUF-квантизаций модели, созданной на основе 0xSero/Qwen3.6-28B-REAP20-A3B, которая, в свою очередь, является вариантом Qwen3.6-35B-A3B от Qwen с удалением 20% экспертов методом REAP (Router-weighted Expert Activation Pruning). Модель предназначена для генерации текста, диалоговых сценариев, программирования, рассуждений и работы со знаниями, включая локальный запуск через llama.cpp, LM Studio, Jan или Ollama. Указан английский язык. Это разреженная MoE-модель с гибридной архитектурой Qwen3.6, объединяющей Gated DeltaNet и Mixture of Experts. Она содержит около 28 млрд параметров, из которых примерно 3 млрд активны на токен; всего используется 205 экспертов, 8 из которых активируются для каждого токена. Контекст составляет до 262 144 токенов. Репозиторий предоставляет варианты от BF16 до 2-битных и IQ-квантизаций; рекомендуемый вариант Q4_K_M занимает около 17 ГБ и обеспечивает баланс качества и размера. Для него заявлены требования от 20 ГБ VRAM при полном запуске на GPU либо около 24 ГБ RAM при работе только на CPU. Сильные стороны модели — уменьшенный размер по сравнению с исходной MoE-моделью, сохранение примерно 3 млрд активных параметров на токен, широкий выбор квантизаций и совместимость с локальными инструментами на базе llama.cpp. Более сильное сжатие уменьшает требования к памяти, но может снижать качество генерации; точные результаты бенчмарков, поддержка других языков и практические ограничения качества в README не приведены. Распространение заявлено по лицензии Apache 2.0.

Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B — это квантизированная и подвергнутая экспертному прунингу языковая модель для генерации текста, разработанная сообществом mlx-community на базе mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit. Модель использует архитектуру Mixture-of-Experts: в каждом слое сохранено 128 из 256 экспертов, при этом для каждого токена активируются 8 экспертов. Число параметров уменьшено с 35,1 до 18,8 млрд, размер на диске составляет 13,8 ГБ, а пиковое потребление памяти — около 11,6 ГБ. Данные о поддерживаемых языках и размере контекста в README не указаны. Модель предназначена для локального запуска и генерации текста на устройствах Apple Silicon через MLX, а также для задач следования инструкциям, математических рассуждений, вызова функций и генерации кода. Прунинг выполнен методом REAP без деквантизации, повторной квантизации или дообучения; активные параметры на токен и скорость декодирования сохраняются, а скорость в указанном сравнении выросла с 47,0 до 54,7. По сравнению с исходной моделью Capability Score снизился с 80,03 до 76,57; особенно заметно падение на MMLU, тогда как результаты GSM8K и IFEval улучшились. Модель распространяется по лицензии Apache-2.0.

Qwen3-Swallow 32B RL v0.2 AWQ-INT4 — квантованная 4-битная версия большой языковой модели, разработанная командой Tokyo Institute of Technology под названием tokyotech-llm на основе Qwen3. Модель дообучалась с использованием непрерывного предварительного обучения, supervised fine-tuning и reinforcement learning with verifiable rewards (RLVR), включая датасеты по математике, программированию, рассуждениям и диалогам. Модель предназначена для генерации текста, общения, японско-английского перевода, решения математических задач, программирования и задач, требующих развитого рассуждения. Она оптимизирована для японского и английского языков. Размер исходной модели составляет 32 млрд параметров; архитектурные детали и токенизатор соответствуют Qwen3. Рекомендуется использовать контекст длиной не более 32 768 токенов и параметры генерации temperature 0,6, top-p 0,95 и top-k 20. К сильным сторонам относятся высокая двуязычная компетентность, улучшенные возможности рассуждения и сохранение производительности в математике и программировании. Для данной AWQ-квантизованной версии результаты оценки пока не опубликованы. Модель не обучалась специально для использования инструментов и function calling, а переключение режима рассуждений ON/OFF не поддерживается. Лицензия — Apache-2.0.

unsloth/Qwen3-VL-2B-Instruct-bnb-4bit — 4-битная квантованная версия мультимодальной модели Qwen3-VL-2B-Instruct, опубликованная Unsloth на основе модели Qwen. Это instruction-модель архитектуры Dense с примерно 2 млрд параметров, предназначенная для обработки изображений и текста, а также для задач понимания видео и визуально-текстового диалога. Модель подходит для описания и анализа изображений, визуального и пространственного рассуждения, OCR, STEM- и математических задач, генерации кода и разметки Draw.io/HTML/CSS/JS по визуальным материалам, а также для взаимодействия с графическими интерфейсами и инструментами. Заявлены контекст длиной 256 тысяч токенов с возможностью расширения до 1 млн, понимание длинных документов и продолжительных видеозаписей, а также OCR для 32 языков. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. К сильным сторонам относятся сочетание языкового и визуального понимания, улучшенная работа с пространственными отношениями, видео, документами и мелкими визуальными деталями, а также сниженные требования к памяти благодаря 4-битному формату. README не приводит точный перечень поддерживаемых языков, аппаратные требования и детальные ограничения квантованной версии; на практике 4-битное представление может влиять на точность, но конкретные потери здесь не указаны. Лицензия — Apache-2.0.

Kaoeiri/Qwenwify2.5-32B-v3.98 — языковая модель семейства Qwen2, созданная разработчиком Kaoeiri путём объединения предварительно обученных моделей с помощью mergekit и метода DARE TIES. В качестве базовой использована Qwen/QwQ-32B-Preview; в объединение также вошли Sao10K/32B-Qwen2.5-Kunou-v1, Kaoeiri/Qwenwify-32B-v3 и Dans-DiscountModels/Qwen2.5-32B-ChatML. Модель содержит 32 млрд параметров, использует архитектуру Qwen2ForCausalLM и принимает текст для генерации диалоговых ответов. Заявленная длина контекста — 32 768 токенов. Метаданные отмечают поддержку интерфейса вызова инструментов. Модель может быть полезна для математических рассуждений и программирования благодаря свойствам базовых моделей, однако отдельные результаты оценки для этого объединения не приведены. Лицензия — CC BY-NC-ND 4.0, с ограничениями на коммерческое использование и создание производных распространённых версий; тег карточки предупреждает, что модель подходит не для всех аудиторий.

Sarvam-30B — языковая модель семейства Sarvam, разработанная Sarvam AI. Это модель Mixture-of-Experts для генерации текста и диалогов; в README указано 2,4 млрд активных параметров без эмбеддингов, а метаданные репозитория — 3,7 млрд параметров. Модель ориентирована на практическое развёртывание, рассуждения, программирование и диалоги на индийских языках. Поддерживает вызов инструментов; архитектура включает 128 экспертов и маршрутизацию top-6. Контекст по метаданным — до 131 072 токенов. Основной упор сделан на индийский контекст и 22 индийских языка. В метаданных явно перечислены английский, хинди, бенгальский, тамильский, телугу, маратхи, гуджарати, каннада, малаялам, пенджаби, ория, ассамский, урду, санскрит, непальский, синдхи, конкани, майтхили, догри, манипури, сантали, кашмирский и тибетский. Модель может применяться для многоязычных голосовых звонков в составе речевой системы, но сама карточка описывает её как текстовую генеративную модель. Распространяется по лицензии Apache-2.0.

Swift-Qwen3.8-27b-int4-AMD — квантованная версия модели Swift-Qwen3.8-27B, разработанная UkisAI на базе Qwen3.8-27B. Модель предназначена для задач рассуждения, генерации текста, программирования и структурированного вывода, а также заявлена как image-text-to-text модель с поддержкой визуального компонента. Swift оптимизирована для сокращения избыточных рассуждений: по данным разработчика, она использует на 58,3% меньше thinking-токенов при потере производительности менее 1% и ускорении до 1,95 раза на ряде задач. Данный выпуск использует квантование AMD Quark AWQ INT4 в формате W4A16: веса имеют точность INT4, активации — BF16, применяется симметричное группирование с размером группы 128. Квантованы 496 линейных слоёв языковой модели, а vision tower, embeddings, output head и 15 MTP-тензоров сохранены в BF16. Размер файлов весов составляет около 19,5 ГБ против 55,6 ГБ у BF16-версии. Калибровка выполнена на 128 образцах Pile по 512 токенов. Сильными сторонами являются снижение объёма весов и потенциальное ускорение инференса при сохранении основных возможностей базовой модели. Проверки показали небольшой рост perplexity на Wikitext-2, успешную арифметическую и JSON-генерацию, однако это не является полноценным сравнением качества. Ключевое ограничение выпуска состоит в том, что квантование и проверка проводились на NVIDIA H100, а работа и производительность на AMD/ROCm ещё не валидировались; требуется совместимый с native Quark INT4 runtime. Vision inference и MTP decoding отдельно не тестировались. Модель распространяется по лицензии swift-open-license-1.0.

Это GGUF-сборка Qwen3.8 27B, подготовленная zhangrover для локального запуска на компьютерах с ограниченной видеопамятью. В основе лежит unsloth/Qwen3.8-27B-GGUF; веса подвергнуты смешанной квантизации KQV-Q4 + IQ3 Floor, а полный MTP-блок из 15 тензоров сохранён в файле размером около 10,13 ГиБ. Модель предназначена для диалогов и генерации текста, включая рассуждения и программирование. По заявлению автора, на видеокарте с 16 ГБ памяти при кэше KV Q4 помещается контекст свыше 130 тысяч токенов. В полной точности ключевые K/Q/V-блоки оставлены на уровне Q4_K, нормализации — F32, а значительная часть FFN-контуров снижена до IQ3_XXS; MTP позволяет использовать спекулятивное декодирование в llama.cpp. Сборка рассчитана на запуск через llama.cpp; производительность и качество зависят от оборудования, настроек квантизации и совместимости используемой версии. Автор указывает, что модель предоставляется без гарантий. Лицензия — Apache-2.0.

YAYI2-30B — базовая версия мультиязычной большой языковой модели, разработанной компанией Wenge Technology (中科闻歌). Модель построена на архитектуре Transformer с плотной причинно-языковой архитектурой YayiForCausalLM и содержит 36,3 млрд параметров по метаданным; в README масштаб обозначен как 30B. Она предварительно обучена на 2,65 трлн токенов качественных многоязычных данных. Контекст — до 4096 токенов. Модель предназначена для генерации текста и может служить основой для прикладных решений, включая понимание языка, ответы на вопросы, математические и логические рассуждения, а также генерацию кода. В README упомянуты дообучение на инструкциях и RLHF для семейства YAYI 2, однако этот выпуск обозначен как Base-модель. Репозиторий содержит веса PyTorch. Для запуска BF16/FP16 требуется не менее 80 ГБ видеопамяти; README рекомендует Python 3.8+, PyTorch 2.0.1+ и CUDA 11.7+. Лицензия указана как other, поэтому условия использования следует сверить с файлами лицензии репозитория. Описание не устанавливает точный перечень поддерживаемых языков.

Zen Designer GGUF — мультимодальная модель семейства Zen от Hanzo AI и Zoo Labs Foundation, дообученная на основе Qwen/Qwen3-VL-235B-A22B-Instruct, обработанная методом abliteration и выпущенная в формате GGUF. Это MoE-модель на 235 млрд параметров, из которых активно 22 млрд; заявленная длина контекста — 256 тыс. токенов. В репозитории указаны варианты квантизации Q2_K и Q4_K_M, а метаданные также отмечают GGUF F16. Модель предназначена для диалогов и анализа изображений, видео, документов, диаграмм, таблиц и интерфейсов, включая OCR, пространственное понимание и навигацию по GUI. README сообщает о поддержке временных рассуждений по видео и визуального определения областей. Поддерживаемые языки по метаданным: английский, китайский, японский, корейский, французский, немецкий, испанский, португальский, итальянский и русский; в карточке отдельно не выделен основной язык. Abliteration удаляет заложенные в весах отказы, поэтому поведение модели может быть менее безопасным; автор рекомендует задавать правила поведения на уровне приложения. Для локального запуска предлагается llama.cpp с отдельным файлом mmproj для визуального ввода. Модель распространяется по лицензии Apache-2.0.

Bonsai-2-27B-CRACK-1.75bit-JANG — языковая модель семейства Qwen3.5, подготовленная dealign.ai на основе тернарно-квантованной модели prism-ml/Ternary-Bonsai-2-27B-mlx-2bit. Это плотная модель на 27 млрд параметров с гибридной архитектурой: 48 слоёв GatedDeltaNet SSM и 16 слоёв полнослойного внимания, а также отдельной визуальной башней. Весовые данные языковой части упакованы с плотностью 1,75 бита на параметр; заявленный размер набора — около 6,1 ГБ. Указан контекст до 262 тысяч токенов. Модель предназначена для диалоговой генерации текста, рассуждений, программирования и вызова инструментов через XML-интерфейс. README также заявляет обработку изображений и видео и поддержку английского и китайского языков. В карточке приведены результаты MMLU: 77,19% на указанном наборе из 2280 вопросов, близко к базовой модели. Отказное поведение удалено на уровне весов, поэтому модель может выдавать ответы на запросы, которые базовая модель могла бы отклонить. Для запуска требуется MLX на Apple Silicon и среда vMLX с JANG-Hadamard runtime и загрузчиком ternary_packed_26b; обычный mlx_lm.load() с этим набором, по README, даёт некорректные результаты. Лицензия — Apache 2.0. Это производная модель, а заявленные характеристики и результаты приведены авторами карточки.

Chimera-Apex-7B — экспериментальная диалоговая языковая модель, созданная объединением нескольких моделей семейства Mistral с помощью mergekit. Она содержит 7,1 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы, генерации кода и широкого круга текстовых задач. В состав объединения входят Azazelle/Half-NSFW_Noromaid-7b, cognitivecomputations/dolphin-2.0-mistral-7b, Endevor/InfinityRP-v1-7B и FuseAI/FuseChat-7B-VaRM. README отмечает экспериментальный характер модели и возможность ошибок и унаследованных предубеждений; также упоминается возможность генерации NSFW-контента. Модель распространяется по лицензии Apache-2.0.

collinzrj/DeepSeek-R1-Distill-Llama-8B-abliterate — версия DeepSeek-R1-Distill-Llama-8B с применённой abliteration; автор карточки сообщает, что при оценке HarmBench итоговый показатель вырос с 0,35 у базовой модели до 0,68. Модель основана на DeepSeek-R1-Distill-Llama-8B, разработанной DeepSeek и дистиллированной на данных рассуждений, и предназначена для генерации текста в диалогах, решения задач и других сценариев, где нужны рассуждения языковой модели. Это плотная причинная языковая модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Метаданные указывают контекст до 131 072 токенов, поддержку китайского и английского языков и формат весов safetensors. Указана лицензия MIT. Карточка содержит сравнение по HarmBench, но не описывает методику abliteration и не приводит полные результаты по всем категориям.

huihui-ai/DeepSeek-R1-Distill-Qwen-7B-abliterated-v2 — разговорная языковая модель на архитектуре Qwen2, созданная методом abliteration на основе deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Разработчик описывает её как экспериментальную версию с уменьшенным количеством отказов при ответах; модель предназначена для диалогов и генерации текста. Размер — 7,1 млрд параметров, контекст — до 131 072 токенов. Работает через библиотеку Transformers, веса опубликованы в формате safetensors. Модель унаследовала от базовой дистиллированной модели DeepSeek возможности многошаговых рассуждений, включая задачи по математике и программированию. README называет abliteration грубой реализацией и демонстрацией концепции; в отдельных случаях модели может потребоваться пример, задающий формат ответа. Лицензия в предоставленных данных не указана.

Dolphin-2.7-mixtral-8x7b-GGUF — квантизированная версия языковой модели Dolphin 2.7 Mixtral 8X7B, разработанной Cognitive Computations и преобразованной в формат GGUF компанией Second State Inc. Модель основана на архитектуре Mixtral и предназначена для диалоговых сценариев и генерации текста; README также указывает на использование обучающих наборов для инструкционного следования, программирования и универсальных задач. Заявлен английский язык. Модель поддерживает шаблон запросов ChatML и контекст длиной 4096 токенов. Доступны варианты квантизации от Q2_K до Q8_0 размером примерно от 15,6 до 49,6 ГБ. Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые варианты с балансом между размером и качеством, тогда как более низкие уровни квантизации могут приводить к существенной потере качества. Для запуска через LlamaEdge требуется версия 0.2.8 или новее. README не содержит данных о мультимодальности или поддержке других языков. Лицензия модели — Apache-2.0.

FuseChat-7B-TA — диалоговая языковая модель FuseAI, разработанная в рамках исследовательской работы учёных Университета Сунь Ятсена. Это вариант FuseChat-7B, полученный слиянием знаний нескольких чат-моделей; версия TA использует один из методов слияния. В метаданных указаны архитектура Mistral, 7,1 млрд параметров и базовая модель OpenChat 3.5, дообучение которой также входит в процесс создания FuseChat. Модель предназначена для диалогов и выполнения текстовых инструкций общего назначения, включая ответы на вопросы, письмо, ролевые сценарии, рассуждения, математику, программирование и темы STEM и гуманитарных наук. Контекст составляет 8192 токена. В README для FuseChat-7B-TA указана средняя оценка 8,20 на MT-Bench. Модель принимает и выдаёт текст; в карточке отмечен английский язык. Слияние позволяет объединить способности нескольких моделей в одной без необходимости загружать несколько экспертов во время инференса. Модель выпущена под лицензией Apache-2.0. Показатель MT-Bench не гарантирует качество для конкретной задачи; подтверждённые возможности в карточке ограничены генерацией текста и чатом.

FuseMix-3.2-3B — объединённая языковая модель, опубликованная bunnycore и созданная с помощью mergekit методом passthrough на основе FuseAI/FuseChat-Llama-3.2-3B-Instruct и bunnycore/Llama-3.2-3B-General-lora_model. Это плотная авторегрессионная модель семейства Llama с 3,2 млрд параметров, рассчитанная на диалоговое взаимодействие и генерацию текста; заявленная длина контекста — 131 072 токена. Модель доступна в формате safetensors и использует библиотеку Transformers. Она подходит для диалогов, ответов на инструкции и генерации текста; описание базовой FuseChat также указывает на задачи математики и программирования. Языковые возможности с достаточной определённостью не перечислены, поэтому конкретные языки не указаны. Данных о лицензии в предоставленной карточке нет.

Карточка модели dealignai/Gemma-4-12B-it-qat-MXFP4-CRACK на Hugging Face совпадает с карточкой Ishowbackup/Gemma-4-12B-it-qat-MXFP4-CRACK, поэтому описание составлено по ней. Gemma 4 12B MXFP4 CRACK — мультимодальная модель на базе Google Gemma 4 12B Instruct, опубликованная dealignai. Это дообученная и квантизированная 4-битная версия с архитектурой Gemma4 Unified и гибридным скользящим и глобальным вниманием; автор заявляет поддержку изображений и аудио, многоязычность, рассуждения и генерацию кода. Модель предназначена для диалогов, ответов на вопросы, анализа изображений и аудио, многошаговых рассуждений и генерации кода; интерфейс также поддерживает вызов инструментов. README сообщает об удалении отказов и высокой готовности отвечать на запросы из вредоносных категорий HarmBench, при заявленном сохранении результата MMLU базовой модели. Эти показатели приведены автором и не являются независимой проверкой. Для запуска автор рекомендует vMLX с поддержкой Gemma 4 на Mac с Apple Silicon; стандартные mlx_lm и mlx_vlm, согласно README, поддерживают модель не полностью. Лицензия указана как Gemma; автор позиционирует публикацию как исследовательскую и возлагает на пользователей ответственность за соблюдение законов.

Gemma4 E4B 8B Heretic Ultra — версия Gemma 4 E4B Instruct от Google DeepMind, обработанная llmfan46 с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA) для снижения склонности к отказам. Это плотная мультимодальная модель семейства Gemma 4 для диалога и генерации ответов по тексту, изображениям и аудио. В репозитории доступны исходные веса fp16 в формате safetensors; в отдельной ветке размещена конверсия MLX 4-bit для mlx-lm на Apple Silicon. Модель подходит для диалоговых сценариев, рассуждений, программирования, анализа изображений и обработки аудио. В приведённых автором тестах доля отказов составила 3 из 100 против 99 из 100 у исходной модели; точность на PIQA составила 85,85%, а на MMLU — 68,60%. Эти результаты относятся к указанным тестам и не гарантируют качество в других задачах. Ablation немного снизила результаты относительно исходной Gemma 4 E4B Instruct. Лицензия — Apache 2.0. Поскольку модель специально изменена для снижения отказов, она может отвечать на запросы, которые исходная модель отклоняла; следует учитывать это при выборе сценариев применения.

Mungert/gpt-oss-20b-heretic-GGUF — это GGUF-версия декензурированной модели OpenAI gpt-oss-20b, созданная пользователем Mungert с применением Heretic v1.0.0 и преобразованная с помощью llama.cpp. Модель предназначена для генерации текста, локального запуска и специализированных сценариев, включая задачи рассуждения, разработку и агентские приложения, поддерживаемые исходной моделью. Для корректной работы требуется формат ответов Harmony. Исходная gpt-oss-20b имеет архитектуру Mixture of Experts: около 21 млрд параметров, из которых примерно 3,6 млрд активны при обработке запроса. Модель выпускается в формате GGUF; автор также применяет специальное повышение точности отдельных слоёв при квантовании, что может улучшать качество при увеличении размера файла. Доступны настраиваемые уровни усилий рассуждения, а исходная модель поддерживает вызов функций, веб-навигацию, выполнение Python-кода и структурированные ответы. Языки и размер контекста в предоставленных данных не указаны. Главная особенность этой версии — снижение склонности к отказам: в приведённом сравнении модель отказалась в 58 из 100 случаев против 100 из 100 у исходной модели, однако это сопровождается отличием от оригинала, измеренным KL-дивергенцией 0,96. Лицензия Apache 2.0 допускает свободное использование, модификацию и коммерческое развёртывание. Показатели качества, безопасность декензурированной версии и совместимость конкретных квантов зависят от выбранного GGUF-файла и требуют самостоятельной проверки.

ClaudioItaly/Intelligence-R1-Distill-7B — слитая модель генерации текста на архитектуре Qwen2, созданная автором репозитория с помощью mergekit и метода SLERP из DeepSeek-R1-Distill-Qwen-7B и happzy2633/qwen2.5-7b-ins-v3. Модель содержит 7,1 млрд параметров и рассчитана на диалоговую генерацию текста; в карточке указано контекстное окно 32 768 токенов. Слияние объединяет возможности двух исходных моделей, одна из которых — дистилляция DeepSeek R1 на Qwen. Карточка не описывает отдельные гарантированные преимущества или результаты оценки именно этой слитой версии. Модель распространяется в формате safetensors; лицензия в предоставленных данных не указана.

JOSIE-4B-Instruct — разговорная instruction-following модель Гёкдениза Гюльмеза, созданная полновесным дообучением gabliterated-версии Qwen3-4B-Instruct-2507. Это плотная причинная языковая модель семейства Qwen3 с 3,7 млрд параметров; метаданные указывают контекст до 262 144 токенов. Модель предназначена для естественного диалога, практических ответов и повседневной помощи, а также для письма, мозгового штурма, объяснений, анализа и задач по программированию. Модель ориентирована на следование инструкциям и прямой, дружелюбный стиль общения без чрезмерной угодливости; карточка также заявляет сохранение способностей к рассуждению и отсутствие встроенной фильтрации контента. Поддерживаются английский, испанский, французский, португальский, итальянский, арабский, японский, корейский, индонезийский, русский, вьетнамский, немецкий и тайский языки. Модель распространяется по лицензии MIT. Её ответы могут быть неподходящими для части аудиторий; результаты в узкоспециализированных областях и критически важных сценариях требуют проверки, а стиль с эмодзи подходит не для всех формальных задач.

Hutgaecha дообучил диалоговую модель Kakao kanana-1.5-8b-instruct-2505 и объединил результат в отдельную модель. Это плотная авторегрессионная языковая модель семейства Llama с 7,5 млрд параметров и контекстом до 32 768 токенов. Она предназначена для генерации текста в диалоге; базовая модель также поддерживает программирование, математические задачи и интерфейс вызова инструментов. Модель принимает текстовые запросы и генерирует текстовые ответы. Для обучения использовались Unsloth и библиотека TRL от Hugging Face. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0, допускающей коммерческое использование при соблюдении её условий.

Laser-Dolphin-Mixtral-4x7b-dpo — языковая модель семейства Mixtral, опубликованная macadeliccc. Это MoE-модель для генерации текста, созданная на основе cognitivecomputations/dolphin-2.6-mistral-7b-dpo-laser; карточка указывает на проект laserRMT и приводит оценки модели на тестах языковых моделей. Метаданные описывают архитектуру как MixtralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель подходит для диалогов и генерации текста, включая написание кода и ответы на запросы; в README приведён пример запроса на Python-код. Веса опубликованы в формате safetensors, а карточка сообщает об оценке в 4-битной квантизации AWQ. Репозиторий распространяется по лицензии Apache-2.0. Данные о поддерживаемых естественных языках не приведены.