II.2Создание и понимание программного кода

Yuan2-2B-Februa-hf — компактная языковая модель IEIT System из семейства Yuan 2.0, представленная в архитектуре YuanForCausalLM с плотной структурой и примерно 1,9 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия; в карточке заявлено контекстное окно 8192 токена. Модель опирается на Yuan 1.0 и обучалась на расширенном наборе предварительно обучающих и инструкционных данных. Разработчик описывает её применение для понимания языка, математики, рассуждений, кода и общих знаний; в README приведены оценки на GSM8K, AGIEval-GK-Math, HumanEval и TruthfulQA для версий Yuan 2.0. Доступны веса PyTorch и указана лицензия other; README сообщает о коммерческом использовании по условиям лицензии Yuan 2.0 и Apache 2.0 для исходного кода репозитория. Модель может выдавать неточные ответы и поддаваться вводящим в заблуждение инструкциям. README также возлагает на пользователя ответственность за соблюдение условий лицензии и требований безопасности при развёртывании.

airoboros-33b-gpt4-1.4 — плотная авторегрессионная языковая модель семейства LLaMA с 32,3 млрд параметров, дообученная Джоном Дёрбином методом QLoRA на синтетических данных, созданных GPT-4. Модель предназначена для диалогов с ассистентом, ответов на вопросы по заданному контексту, написания текстов и кода, ролевых бесед, загадок и викторин. Для программирования обучающие примеры включают задачи Rosetta Code на десяти языках программирования. Модель принимает текст и генерирует текст; для диалогов использует шаблон Vicuna 1.1 и обученный формат с ролями пользователя и ассистента. В карточке указан контекст длиной 2048 токенов. При ответах по предоставленному контексту модель настраивали опираться на него и ограничивать выдуманные сведения, однако README отмечает, что этот режим лучше дополнительно инструктировать не придумывать неизвестные ответы. Автор пометил модель как ещё не протестированную, поэтому её качество и надёжность не подтверждены. В README также указано, что она формировалась для ответов без отказов, в том числе независимо от законности или морали запроса. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

airoboros-7b-gpt4 — дообученная модель семейства LLaMA с 6,6 млрд параметров, созданная Jondurbin на синтетических обучающих данных, сгенерированных GPT-4. Она предназначена для диалоговой генерации текста и отвечает на вопросы по заданному контексту, а также решает задачи на эрудицию, математику и рассуждение, программирование, тесты с выбором ответа, заполнение пропусков и общие темы. Для общения используется шаблон Vicuna; максимальная длина контекста по метаданным — 4096 токенов. Модель обучена следовать предоставленному контексту и ограничивать ответы его содержимым, чтобы уменьшить галлюцинации. Автор отмечает, что качество математических рассуждений ограничено, а результаты примеров для версии 13B могут отличаться от версии 7B. Модель распространяется под лицензией CC BY-NC 4.0, допускающей использование с указанием авторства, но запрещающей коммерческое использование.

airoboros-7b-gpt4-1.4 — полноточная дообученная модель семейства LLaMA с плотной архитектурой, созданная jondurbin на синтетических данных, сгенерированных GPT-4. Веса представлены в формате PyTorch; модель содержит около 6,6 млрд параметров и рассчитана на контекст до 2048 токенов. Модель предназначена для диалогов и генерации текста: она отвечает на вопросы, выполняет инструкции, помогает с программированием, письмом, загадками и ролевыми сценариями. Отдельно автор описывает режим ответов по предоставленному контексту, настроенный на использование информации из него. Обучающие примеры кода охватывают десять языков программирования, однако карточка не перечисляет естественные языки, на которых модель обучалась. Автор отмечает, что модель почти не тестировалась, поэтому качество и надёжность ответов не валидированы. В обучающем шаблоне заложено стремление отвечать без отказов независимо от законности или моральной стороны запроса. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

Bagel-8b-v1.0-GGUF — квантизированная версия текстовой генеративной модели bagel-8b-v1.0, разработанной jondurbin на базе Meta-Llama-3-8B. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF с вариантами квантизации от Q8_0 до IQ2_XXS. Модель предназначена для генерации и обработки текста, включая диалоговые сценарии, следование инструкциям, программирование, работу с математическими и естественно-научными задачами, суммирование, ответы на вопросы и function calling. Это одномодальная языковая модель: поддерживается только текстовый ввод и вывод. В README не указаны точный размер контекста, полный список поддерживаемых языков и подробные параметры архитектуры. Сильная сторона модели — выбор вариантов квантизации, позволяющий подобрать баланс между качеством, размером файла и требованиями к памяти: Q6_K и Q5 рекомендованы для высокого качества, а более компактные варианты подходят для систем с ограниченными ресурсами, хотя могут заметно уступать по качеству. Ограничения включают возможное ухудшение результатов при низких уровнях квантизации, а также отсутствие в представленных данных независимых оценок качества и подробностей о поведении модели в специализированных задачах. Лицензия обозначена как other с именем llama3; применяется лицензия Meta Llama 3, ссылка на текст которой приведена в карточке модели.

Baichuan2-7B-Chat — разработанная Baichuan Intelligence чат-модель семейства Baichuan 2 с плотной архитектурой BaichuanForCausalLM и 7 млрд параметров. Семейство обучено на 2,6 трлн токенов; модель предназначена для диалога и генерации текста на китайском и английском языках. Её проверяли на задачах общего назначения, права, медицины, математики, программирования и многоязычного перевода. Модель принимает текст и генерирует текст, а её контекст ограничен 4096 токенами. Для запуска требуется PyTorch 2.0 или новее. Карточка описывает поддержку академических исследований; коммерческое использование требует предварительной заявки и получения лицензии Baichuan, с указанными в соглашении ограничениями. Возможны ошибки и небезопасные ответы; разработчик предупреждает о необходимости соблюдать требования к проверке и регистрации интернет-сервисов.

BigFalcon3-from10B — языковая модель для генерации текста и диалогов, созданная ehristoforu с помощью объединения весов через mergekit. В README указана модель tiiuae/Falcon3-10B-Instruct как единственная включённая в объединение; метаданные каталога классифицируют результат как дообучение этой базовой модели. Архитектура плотная, семейства Llama; модель содержит 15,8 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста, а также может использовать интерфейс вызова инструментов. Метаданные базовой модели указывают на сценарии рассуждений, программирования и математики. Репозиторий содержит веса в формате safetensors. Сведения о лицензии и поддерживаемых языках в предоставленных данных отсутствуют.

Bonsai-27B-antidoom-1bit-DSpark — текстовая генеративная модель, разработанная на базе Bonsai-27B от prism-ml с применением метода antidoom от Liquid4All и ускорения DSpark от PrismML. Модель предназначена для генерации текста, включая программный код, а также поддерживает работу с изображениями через поставляемый vision projector. Указанный язык — английский. Это гибридная attention-модель Qwen3.5 с 27 млрд параметров, квантованная в 1-битный формат GGUF Q1_0 с показателем 1,125 бит на вес при группировке g128. В комплект входят основная модель размером около 4,5 ГБ, DSpark-драфтер в формате Q4_1 и vision projector в формате Q8_0. Для запуска требуется форк llama.cpp от PrismML с CUDA и поддержкой специальных Q1_0-ядер гибридного внимания; протестированная конфигурация использует одну RTX 5090 с 32 ГБ памяти. Контекст в приведённой конфигурации составляет 16 384 токена. Antidoom — это FTPO-настройка, направленная на снижение зацикливания и повторов: модель обучалась предпочитать связное продолжение вместо продолжения повторяющегося цикла. При этом агрессивное 1-битное квантование частично ослабляет эффект LoRA, поэтому он сильнее проявляется при более высокой точности. DSpark ускоряет генерацию на задачах с высокой долей принятых черновых токенов, однако на обычной прозе с низкой долей принятия может работать медленнее нативного режима. Лицензия модели — Apache-2.0.

C2Rust — полноразмерный дообученный чекпойнт Qwen/Qwen3.5-27B, созданный Pu Zhao, Changdi Yang и соавторами из Northeastern University, EmbodyX Inc и Aibao LLC. Модель предназначена для перевода программ на C в поведенчески эквивалентный Rust. Это плотная модель с 27 млрд параметров; в чекпойнте также сохранён визуальный энкодер базовой Qwen3.5, но при переводе кода он не используется. Обучение проводилось только на тексте в три этапа: продолженное обучение на Rust, настройка на отладку по обратной связи верификатора и специализированное дообучение на парах C–Rust. Веса представлены в Safetensors, лицензия — Apache-2.0. В описанной авторами оценке модель достигла 87,30% успешных переводов на тестовом наборе из 200 программ C: результат засчитывался, если Rust-код компилировался и проходил все заданные тесты в пределах шести попыток генерации и исправления. Модель рассчитана на эксперименты и помощь при миграции кода; сгенерированные программы требуют компиляции, тестирования и проверки человеком. Прохождение предоставленных тестов не доказывает полной семантической эквивалентности, безопасности памяти или защищённости, а код может содержать raw pointers и `unsafe` Rust. После специализации отмечено небольшое снижение результата на SWE-bench Verified относительно базовой модели.

CerebrumDolphin-2.0-Mistral-7B-v0.2 — языковая модель на архитектуре Mistral, созданная объединением моделей cognitivecomputations/dolphin-2.8-mistral-7b-v02 и Locutusque/OpenCerebrum-2.0-7B методом SLERP с помощью mergekit. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов. В описании базовой модели упоминаются программирование, математика и естественно-научные вопросы; карточка этой модели не приводит отдельных результатов оценки качества. Доступны веса в формате safetensors для Transformers. Лицензия в предоставленных данных не указана.

Clary 2 Cyber Heavy — открытая языковая модель Aurora System для задач кибербезопасности и системного программирования. Она дообучена на Qwen/Qwen3-4B и содержит около 3,7 млрд параметров; архитектура — плотная Qwen3ForCausalLM. Веса доступны в формате Safetensors с объединёнными DoRA-адаптерами. Модель предназначена для диалогов и генерации кода при аудите веб-приложений и исходников, анализе бинарных файлов и ассемблерного кода, задачах reverse engineering и криптоанализа. README заявляет поддержку русского и английского языков и перечисляет сценарии от анализа уязвимостей до написания системного кода. Контекст модели — до 40 960 токенов. В карточке приведены результаты профильных тестов по кибербезопасности и программированию, однако методика и часть таблиц представлены не полностью, поэтому эти результаты не позволяют независимо оценить качество. Модель распространяется по лицензии Apache-2.0; ответы по безопасности следует проверять, а практические проверки проводить только в разрешённой среде.

Dans-PersonalityEngine-V1.1.0-12b-GGUF — квантизированная GGUF-версия языковой модели Dans-PersonalityEngine V1.1.0 с 12 млрд параметров. Исходную модель разработала PocketDoc, а квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста общего назначения, ролевого общения, написания историй, работы с кодом, математикой, логикой, химией, биологией, климатическими и операционными сценариями, а также для задач с инструментами и функциями. Указан английский язык; поддерживается текстовая модальность и формат диалоговых сообщений ChatML. Модель дообучалась на наборах данных для ассистентских диалогов, персонажей, прозы, программирования, математических и логических задач, научных тем, следования инструкциям, вызова инструментов и работы с командами оболочки. В репозитории доступны варианты от F16 до различных уровней квантования Q4–Q8; это позволяет выбирать между качеством генерации и требованиями к памяти. README не содержит сведений об архитектуре базовой модели, размере контекстного окна, подтвержденных результатах оценки или точных ограничениях применения. Модель выпускается по лицензии Apache-2.0. К основным ограничениям относятся отсутствие заявленных количественных бенчмарков, неполная информация о поддерживаемых языках и контекстной длине, а также возможное снижение качества при использовании более сильного квантования. Для запуска рекомендуется совместимое программное обеспечение, например llama.cpp или LM Studio.

Dans-PersonalityEngine-V1.3.0-24b-GGUF — текстовая генеративная модель, опубликованная под идентификатором Mungert/Dans-PersonalityEngine-V1.3.0-24b-GGUF. Она создана на базе Mistral-Small-3.1-24B-Base-2503 и представлена в формате GGUF; сборка выполнена с использованием llama.cpp. В README не указано имя отдельной организации-разработчика, однако модель связана с серией Dans и использует наборы данных PocketDoc и других авторов. Модель предназначена для универсальной генерации текста, ролевого общения, написания и редактирования историй, работы с инструкциями, математикой, рассуждениями, кодом, инструментами и специализированными темами, включая химию, биологию, климат, право, медицину и финансы. Заявлены английский, арабский, немецкий, французский, испанский, хинди, португальский, японский и корейский языки. Мультимодальность не заявлена, поэтому модель следует рассматривать как текстовую. Ключевая особенность — низкобитные варианты квантования IQ-DynamicGate с адаптивным распределением точности по слоям, ориентированные на снижение требований к памяти при сохранении качества. Такие варианты подходят для ограниченных по памяти GPU, CPU и периферийных устройств, но могут уступать более точным форматам по качеству. Приведённые в README результаты относятся к тестам Llama-3-8B, а не непосредственно к этой 24-миллиардной модели, поэтому их нельзя напрямую считать её характеристиками. Размер контекста для данной модели не указан. Лицензия — Apache-2.0.

huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2 — модифицированная версия DeepSeek-R1-Distill-Qwen-14B от huihui-ai. Автор применил abliteration — экспериментальный метод изменения весов, предназначенный для ослабления отказов модели. Это плотная причинная языковая модель семейства Qwen2 на 14 млрд параметров; она принимает текст и генерирует текст, в том числе в диалоговом формате. Метаданные указывают контекст до 131 072 токенов и использование Transformers. Модель предназначена для диалогов и генерации текста, включая сценарии, где требуется меньше отказов на запросы. Базовая модель рассчитана на рассуждения, математику и программирование, однако карточка этой модификации называет её изменение грубым proof of concept и не приводит оценки качества. Лицензия в предоставленных данных не указана.

DeepSeek-V4-Flash-0731-REAP37-native-MLX — это MLX-конверсия модели DeepSeek-V4-Flash-0731, разработанной командой DeepSeek. Модель предназначена для генерации текста, диалоговых приложений, агентских сценариев и вызова инструментов через формат DSML. Она работает только с текстом и не содержит компонентов для обработки изображений. Модель использует архитектуру deepseek_v4 с механизмом внимания HISA, hyper-connections и маршрутизацией экспертов: в 40 слоях применяется обучаемая маршрутизация, а в первых трёх — hash-routing. Из исходных 256 экспертов в каждом слое сохранено 163, что соответствует сокращению примерно на 36,7%. Размер модели на диске составляет около 96 ГБ против примерно 155 ГБ у исходного варианта с 304 млрд параметров. Сохранённая точность является штатной для исходных весов — дополнительное квантование не применялось; выжившие эксперты побитово совпадают с исходным checkpoint. Главное преимущество модели — уменьшенный размер при сохранении исходной 4-битной точности оставшихся весов, а также поддержка нативного вызова инструментов DSML. Модель рассчитана на запуск в экосистеме MLX и тестировалась с oMLX; также доступна через mlx_vlm. Ограничения включают отсутствие независимого сравнения с полной моделью на стандартных бенчмарках, поэтому качество следует проверять на собственных задачах. Лицензия — MIT, унаследованная от базовой модели.

mlx-community/DeepSeek-V4-Pro-Qwen3.5-9B-4bit — это 4-битная MLX-квантизированная версия модели Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B, подготовленная сообществом mlx-community с использованием mlx-vlm 0.4.4. Модель предназначена прежде всего для запуска на компьютерах Apple Silicon через MLX и сохраняет шаблон диалогов и конфигурацию мультимодального процессора исходной модели. Модель поддерживает текстовые и программные запросы, работу с изображениями и входными данными в видеоформате, а также сценарии tool use и function calling. В карточке она обозначена как MoE-модель семейства Qwen3.5 с размером 9B; языки включают английский, китайский, испанский, русский и японский. Для мультимодальных задач рекомендуется использовать mlx-vlm, а для текстовых и кодовых сценариев возможен соответствующий инструментарий MLX. Ключевое преимущество версии — сниженное потребление памяти благодаря 4-битной affine-квантизации языковых весов при сохранении мультимодальных компонентов для изображений и видео. Ограничения связаны с зависимостью от экосистемы MLX и Apple Silicon, а также с возможной потерей точности из-за квантизации; сведения о контекстном окне, производительности и качестве по отдельным задачам в README не приведены. Лицензия — Apache 2.0, унаследованная от исходной модели.

Это конвертированная версия разговорной модели Dolphin 2.6 на архитектуре Phi-2. Модель предназначена для генерации текста в диалогах и ответов на инструкции. В карточке указаны форматы PyTorch, Safetensors и GGUF, а максимальный контекст составляет 2048 токенов. Модель ориентирована на английский язык и обучена на смесях диалоговых и инструктивных наборов данных, включая Dolphin, Airoboros, OpenHermes и Magicoder. Лицензия обозначена как other, поэтому условия использования следует уточнить в исходной карточке.

Falcon-H1-1.5B-Instruct-GGUF — инструкционная языковая модель, разработанная Technology Innovation Institute (TII). Это каузальная decoder-only модель с гибридной архитектурой Transformers и Mamba, предназначенная для генерации текста и выполнения инструкций, включая задачи рассуждения, математики, работы с научными вопросами, программирования и следования сложным указаниям. Модель доступна в формате GGUF и рассчитана на использование с llama.cpp; также поддерживается запуск через Transformers и vLLM. Модель относится к семейству Falcon-H1 и имеет размер 1,5 млрд параметров. Она поддерживает английский и многоязычные сценарии, включая арабский, китайский, чешский, немецкий, испанский, французский, хинди, итальянский, японский, корейский, нидерландский, польский, португальский, румынский, русский, шведский и урду. В опубликованных оценках Falcon-H1-1.5B показывает сильные результаты среди сопоставимых компактных моделей в общих задачах, математике, научных вопросах, программировании и следовании инструкциям, однако уступает некоторым моделям на отдельных тестах. Длина контекста и точные требования к ресурсам в README не указаны. Использование регулируется лицензией Falcon-LLM License; приведена ссылка на её условия. Модель подходит для локального запуска и приложений, где важны компактность, многоязычность и эффективность, но результаты следует дополнительно проверять для критически важных задач.

Это конвертированная в формат MLX модель Gemma 4 12B Unified, основанная на google/gemma-4-12B. Конверсию выполнило сообщество mlx-community с помощью mlx-vlm версии 0.6.0; модель предназначена для запуска на устройствах Apple с MLX. Базовая модель Google DeepMind поддерживает диалоги, код, рассуждения и анализ текста, изображений, видео и аудио. Репозиторий содержит веса safetensors в формате bf16. Лицензия — Apache-2.0. README отсылает за подробностями к карточке исходной модели, поэтому специфические для этой конверсии сведения о контекстном окне, языковой поддержке и качестве не приведены. Для запуска через описанный интерфейс требуется mlx-vlm.

Это GGUF-представление Gemma-4-12B-it-AEON-Abliterated-K4-BF16 от mradermacher, подготовленное как набор статических квантованных файлов. Базовая модель — дообученная AEON-7 версия Gemma-4-12B-it; в её описании каталога указано удаление отказов. Репозиторий предназначен для запуска модели в совместимом с GGUF программном обеспечении. Модель используют для диалоговой генерации текста и следования инструкциям; метаданные также указывают на английский язык, чат и работу с кодом, рассуждениями и инструментами в базовом варианте. README перечисляет несколько вариантов квантизации, включая Q2_K и Q3_K, с разными размерами и компромиссами качества. Доступный вариант обозначен как GGUF BF16. Лицензия — Gemma; перед использованием следует учитывать её условия.

Abiray/Gemma-4-12B-it-AEON-Abliterated-K4-GGUF — это GGUF-квантизированная версия инструкционной модели Gemma-4-12B-it-AEON-Abliterated, разработанной AEON-7 на основе Google Gemma-4-12B-it. Модель предназначена для генерации текста, чат-взаимодействия, выполнения инструкций, рассуждений, программирования, а также сценариев с tool calling и function calling. В карточке указана поддержка английского языка. Модель использует архитектуру gemma4_unified и содержит около 12 миллиардов параметров. Отличительная особенность — abliteration с применением пользовательской K=4 multi-direction norm-preserving biprojection, призванной сохранять качество генерации и устранять стандартные шаблоны отказов. Репозиторий предоставляет варианты квантизации от 3 до 8 бит: размеры файлов составляют примерно от 6,09 до 12,70 ГБ. Рекомендуемый вариант Q4_K_M занимает 7,38 ГБ и рассчитан на запуск на одной видеокарте уровня T4 или RTX 3060/4060; Q8_0 близок к точности BF16 и требует около 16 ГБ видеопамяти. В примере запуска указан контекст 4096 токенов, но максимальный размер контекста в README не заявлен. Сильными сторонами являются широкий выбор уровней квантизации, возможность запуска через llama.cpp и llama-cpp-python, поддержка локального развёртывания и ориентация на сценарии, где требуется меньше отказов. Ограничения включают отсутствие заявленных сведений о качестве на стандартных бенчмарках, неполные данные о мультимодальности и максимальном контексте, а также возможные риски, связанные с удалением стандартных механизмов отказа. Модель распространяется под лицензией Gemma.

Карточка модели imtoolonley/Gemma-4-12B-it-qat-JANG_4M-CRACK на Hugging Face совпадает с карточкой Ishowbackup/Gemma-4-12B-it-qat-JANG_4M-CRACK, поэтому описание составлено по ней. Gemma 4 12B JANG4M CRACK — мультимодальная модель на основе Google Gemma 4 12B IT, опубликованная dealignai. Это дообученная и квантизованная версия с плотной унифицированной архитектурой для обработки текста и изображений; в README также заявлена поддержка аудиовхода. Модель предназначена для диалогов, ответов на вопросы, многошаговых рассуждений, генерации кода и работы с визуальными входами. Квантизация JANG_4M использует 8-битные веса для attention и 4-битные для MLP. Авторы сообщают о сохранении возможностей базовой модели, включая vision и audio, и приводят результаты собственных проверок MMLU и HarmBench. Метаданные указывают библиотеку MLX и формат safetensors; для запуска README требует Apple Silicon и vMLX с поддержкой Gemma 4. Модель описана как abliterated: авторы заявляют об удалении отказов и высокой доле выполнения запросов из категорий HarmBench. Это важное ограничение для сценариев, где требуется безопасное ограничение ответов. Лицензия — Gemma; авторы указывают исследовательское назначение и возлагают на пользователей ответственность за соблюдение применимых законов.

Gemma-4-1-E4B-it-heretic — производная от мультимодальной Gemma 4 E4B Instruct модели Google DeepMind, подготовленная eshucode. Это версия с ослабленным механизмом отказов: к весам применили оптимизированное удаление направления отказа, не проводя дообучение. Архитектура — плотная Gemma4ForConditionalGeneration; репозиторий содержит веса safetensors и классифицируется как any-to-any. Базовая модель поддерживает диалог, рассуждения, программирование, анализ изображений и обработку аудио. Версия предназначена для диалоговых и мультимодальных сценариев, где требуется меньше отказов на запросы. В оценке автора сборка показала 25 отказов из 100 на тесте harmful_behaviors при KL-дивергенции 0,0219 относительно базы; это результаты конкретной оценки, а не гарантия качества. README называет её trial 198 из серии экспериментов по подбору компромисса между снижением отказов и сохранением поведения базовой модели. Лицензия — Apache 2.0.

Это GGUF-сборка Gemma-4-26B-A4B-it, подготовленная ironbcc для запуска через llama.cpp и LM Studio. Комплект включает основную 26-миллиардную MoE-модель Gemma-4 и вспомогательную модель-драфтер gemma-4-26B-A4B-it-assistant от Google для speculative decoding. Основная модель использует 128 экспертов; доступны варианты драфтера с квантованием Q2_K, Q4_K_M, Q8_0 и F16. Указан английский язык, а модель предназначена для генерации текста, диалогов, рассуждений и программного использования через совместимые серверы и клиенты. Максимальный контекст Gemma-4 заявлен как 256K токенов, однако конкретные возможности зависят от runtime и настроек. Ключевое преимущество сборки — ускорение генерации за счёт Multi-Token Prediction и speculative decoding: в приведённом тесте на Apple M5 Max скорость достигала примерно 1,55 раза относительно режима без MTP, а при отключении reasoning — до 143,2 токена в секунду. Q2_K-драфтер рекомендован как наиболее быстрый и показал наивысшую долю принятых токенов в тесте. Ограничения включают необходимость специальной ветки llama.cpp с поддержкой Gemma-4 MTP; на момент подготовки README эта функциональность ещё не была включена в основную ветку, а LM Studio требовал соответствующего runtime. Включение thinking повышает качество рассуждений, но снижает скорость. Основной файл имеет размер около 26 ГБ, поэтому запуск требует значительного объёма памяти; для полного контекста 256K README указывает примерно 31 ГБ RSS при старте с дальнейшим ростом потребления. Распространение заявлено по лицензии Apache-2.0, при этом для доступа к Gemma на Hugging Face необходимо принять условия использования Google.

MoonRide/gemma-4-31B-it-heretic-ara-custom-GGUF — GGUF-версия инструкционно настроенной мультимодальной модели Gemma 4 31B, разработанной Google DeepMind и модифицированной MoonRide. Модель создана на основе google/gemma-4-31B-it с использованием Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA), направленного на снижение частоты отказов от ответов. По заявленным данным, она обрабатывает текст и изображения и генерирует текст. Модель предназначена для генерации и понимания текста, рассуждений, программирования, работы с длинным контекстом и мультимодальных сценариев с изображениями. Архитектура базовой модели — плотная Transformer-модель примерно с 30,7 млрд параметров, 60 слоями, гибридным вниманием с локальным окном 1024 токена и глобальными слоями. Максимальный контекст заявлен до 256K токенов, размер словаря — 262K; поддерживается более 140 языков. Формат GGUF ориентирован на локальный запуск в совместимых средствах инференса, однако конкретная степень квантования и требования к памяти в README не указаны. Главная особенность этой версии — существенно меньшее число отказов в приведённой оценке: 16 из 100 против 99 из 100 у исходной модели; при этом указано KL-расхождение 0,0417 относительно оригинала. Это может сделать модель более готовой к ответам на запросы, которые базовая версия отклоняет, но одновременно снижает гарантии встроенного безопасного поведения. Модель распространяется по лицензии Apache 2.0 согласно README; для Gemma также следует учитывать применимые условия лицензии Google Gemma 4.

Gemma4 E4B 8B Heretic Ultra — версия Gemma 4 E4B Instruct от Google DeepMind, обработанная llmfan46 с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA) для снижения склонности к отказам. Это плотная мультимодальная модель семейства Gemma 4 для диалога и генерации ответов по тексту, изображениям и аудио. В репозитории доступны исходные веса fp16 в формате safetensors; в отдельной ветке размещена конверсия MLX 4-bit для mlx-lm на Apple Silicon. Модель подходит для диалоговых сценариев, рассуждений, программирования, анализа изображений и обработки аудио. В приведённых автором тестах доля отказов составила 3 из 100 против 99 из 100 у исходной модели; точность на PIQA составила 85,85%, а на MMLU — 68,60%. Эти результаты относятся к указанным тестам и не гарантируют качество в других задачах. Ablation немного снизила результаты относительно исходной Gemma 4 E4B Instruct. Лицензия — Apache 2.0. Поскольку модель специально изменена для снижения отказов, она может отвечать на запросы, которые исходная модель отклоняла; следует учитывать это при выборе сценариев применения.

Gemma-4-E4B-it-GGUF — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google и представленная в формате GGUF пользователем prithivMLmods. Модель предназначена для локального запуска на ноутбуках, производительных смартфонах и потребительских GPU, включая сценарии с повышенными требованиями к конфиденциальности и задержке ответа. Модель поддерживает работу с текстом, изображениями и аудио; заявлены анализ документов и PDF, распознавание текста и рукописного ввода, анализ интерфейсов и экранов, интерпретация диаграмм, обнаружение объектов с указанием их положения, программирование, агентские сценарии и понимание речи. Указана поддержка английского языка. Архитектура описана как плотная мультимодальная модель с 42 слоями, эффективным числом параметров около 4,5 млрд и общим объёмом 8 млрд параметров с Per-Layer Embeddings. Заявлены контекст до 128K токенов, словарь размером 262K и скользящее окно на 512 токенов, а также настраиваемые режимы рассуждения. Сильными сторонами являются мультимодальность, большой контекст, возможность локального инференса и наличие вариантов квантизации размером примерно от 4,4 до 8,01 ГБ, а также BF16 и F16. Ограничения включают отсутствие в карточке результатов независимого тестирования, подробностей о поддерживаемых языках помимо английского и конкретных требований к производительности; для мультимодального режима может потребоваться отдельный файл mmproj и совместимый runtime, например llama.cpp. Модель распространяется по лицензии Apache-2.0.

Mungert/GigaChat3-10B-A1.8B-GGUF — GGUF-квантизированная версия диалоговой модели GigaChat3-10B-A1.8B, созданная на основе ai-sage/GigaChat3-10B-A1.8B-bf16 с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с русским и английским языками, а также другими языками, добавленными в обучающий корпус. Модель использует архитектуру Mixture-of-Experts (MoE) с 10 млрд общих и 1,8 млрд активных параметров, Multi-head Latent Attention (MLA) для снижения требований к памяти и Multi-Token Prediction (MTP) для ускорения генерации. Обучение проводилось на 20 трлн токенов, включая данные по книгам, академическим материалам, программированию и математике, а также около 5,5 трлн токенов синтетических данных. Длина контекста в представленном описании не указана. GGUF-версия ориентирована на эффективный локальный инференс в экосистеме llama.cpp. В сборке применяется квантизация с выборочным повышением точности отдельных важных слоёв, что может улучшать качество при заданном уровне квантизации, но увеличивает размер файла. Ограничениями являются возможная потеря точности по сравнению с исходной bf16-версией и отсутствие в карточке подробностей о конкретных вариантах квантизации, размере файлов и измерениях качества именно этой GGUF-сборки. Лицензия — MIT.

GPT-OSS-Swallow 20B SFT v0.1 — двуязычная языковая модель Tokyo Tech, созданная на основе GPT-OSS с продолжением предобучения и supervised fine-tuning. Она предназначена для диалога на японском и английском языках, перевода между ними, а также задач по математике, программированию и естественным наукам. Модель имеет MoE-архитектуру семейства GPT-OSS, около 1,6 млрд параметров по метаданным и поддерживает контекст до 131 072 токенов; карточка рекомендует ограничивать контекст 32 768 токенами или меньше, поскольку длинный контекст отдельно не обучался и не оценивался. Для инференса разработчики рекомендуют vLLM. Модель улучшает владение японским языком и перевод, сохраняя заявленные способности GPT-OSS в математике и коде. Разработчики отмечают, что модель находится на раннем этапе разработки и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Использование инструментов и управление уровнем рассуждений не проходили специального обучения, поэтому эти сценарии не валидированы. Лицензия — Apache 2.0.

SirSahOl подготовил конверсию диалоговой языковой модели IBM Granite 4.1 3B в формат MLX для локального запуска на Apple Silicon. Это плотная авторегрессионная модель GraniteForCausalLM с 3,4 млрд параметров, весами в 16-битном формате и контекстом до 131 072 токенов. Репозиторий содержит веса safetensors и предназначен для инференса через MLX. Модель подходит для многоходового чата, генерации текста и локальных ассистентов, включая сценарии с кодом и вызовом инструментов, поддерживаемые базовой моделью. Главные преимущества этой версии — запуск на GPU Apple Silicon и сохранение 16-битной точности; для весов требуется около 7 ГБ объединённой памяти, а для комфортной работы рекомендуется не менее 16 ГБ. Скорость зависит от устройства и длины запроса, а длинный контекст требует дополнительной памяти. Это конверсия базовой модели ibm-granite/granite-4.1-3b с помощью MLX, а не самостоятельное дообучение. Лицензия — Apache-2.0. Версия рассчитана на Apple Silicon и не является универсальным форматом для GPU других производителей.