I.6Перевод и языковая адаптация

ZEUS-8B-V24 — объединённая языковая модель семейства Llama 3.1, созданная автором карточки с помощью mergekit и метода DARE TIES. В объединение вошли инструкционная модель unsloth/Meta-Llama-3.1-8B-Instruct и несколько других моделей Llama 3.1, включая варианты для диалога, рассуждений и медицинских ответов. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; длина контекста — до 131 072 токенов. Модель предназначена для генерации текста и диалогов, включая ответы на инструкции и задачи, где полезны рассуждения. Метаданные также отмечают интерфейс вызова инструментов. В README приведены результаты Open LLM Leaderboard, в том числе 60% на IFEval и 26,15% на BBH; эти оценки не гарантируют качество в конкретном сценарии. Лицензия в предоставленных сведениях не указана.

Zrald-AI Qwen 3.8 27B zraldv1-ac — GGUF-релиз модели Qwen3.8-27B от Zrald, подготовленный для запуска через llama.cpp. В карточке указаны файл размером 17,08 GiB и профиль с приоритетом точности; заявлено сохранение 99,68% точности и минимальная рекомендуемая видеопамять 20 ГБ. README сообщает о физических замерах производительности на AMD Instinct MI300X, но эти показатели зависят от оборудования и конфигурации запуска. Модель предназначена для генерации текста в диалогах, а метаданные также отмечают сценарии программирования и рассуждений. Базовая модель в каталоге описана как мультимодальная, способная анализировать изображения и видео, однако README этого релиза не подтверждает поддержку этих входов, поэтому здесь она не заявляется. Репозиторий содержит GGUF-файл, а метаданные указывают связь с Qwen/Qwen3.8-27B как с базовой моделью. Лицензия — Apache-2.0. Заявленные точность, скорость и требования к VRAM приведены автором релиза и не являются гарантией производительности на другом оборудовании.

Behemoth-Gigaberg-SLERP-0.2 — объединённая языковая модель на архитектуре Mistral, созданная методом SLERP с помощью mergekit из Behemoth-123B-v1.2 и Gigaberg-Mistral-Large-123B. Модель предназначена для генерации текста и диалогового общения; в метаданных также заявлен интерфейс вызова инструментов. Модель содержит 122,2 млрд параметров, использует формат safetensors и имеет контекстное окно до 131 072 токенов. Она принимает текст и генерирует текст. Данные о поддерживаемых естественных языках в предоставленной карточке не приведены. Лицензия и конкретные ограничения применения в предоставленных данных не описаны. Качество и надёжность ответов могут зависеть от запроса и сценария использования; ответы следует проверять, особенно при вызове инструментов.

Dolphy-1.0 — диалоговая языковая модель от Dolphy AI, дообученная методом LoRA на базе Qwen/Qwen3-4B-Instruct-2507. Это плотная причинная модель семейства Qwen3 с 3,7 млрд параметров и контекстом до 262 144 токенов. В обучающем конвейере использовано 1,5 млн примеров из 20 наборов данных; среди перечисленных источников — материалы для диалогов, следования инструкциям, математики, программирования, письма и ответов на вопросы. Модель предназначена для генерации ответов в чате, выполнения инструкций, решения задач и работы с инструментами через совместимый с Qwen3 интерфейс вызова функций. Она поддерживает многоязычные возможности базовой модели; точный перечень языков в карточке не приведён. Репозиторий содержит веса safetensors, а README также рекомендует GGUF для локального запуска. Лицензия — Apache-2.0. Заявление автора о превосходстве над более крупными моделями не сопровождается результатами сравнительной оценки в предоставленной карточке. Качество может различаться в зависимости от задачи; подробные результаты тестирования и конкретный перечень поддерживаемых языков не приведены.

FuseChat-Qwen-2.5-7B-Instruct-Heretic-GGUF — языковая модель в формате GGUF, созданная на основе FuseAI/FuseChat-Qwen-2.5-7B-Instruct и опубликованная пользователем ChiKoi7. Базовая модель относится к семейству Qwen 2.5 и имеет 7 млрд параметров. FuseChat-3.0 разработана FuseAI с использованием неявного объединения возможностей нескольких крупных языковых моделей через Supervised Fine-Tuning и Direct Preference Optimization на данных предпочтений; в качестве целевой модели использовалась Qwen-2.5-7B-Instruct. Для данной версии дополнительно применён Heretic v1.0.1 — метод удаления ограничений на отказы от ответов. Модель предназначена для генерации текста, диалогов и выполнения инструкций, включая общие разговорные задачи, следование инструкциям, математику и программирование. По приведённому сравнению, версия Heretic отказалась от ответа в 3 случаях из 100 против 93 из 100 у исходной модели, при этом её KL-дивергенция относительно оригинала составила 0,07. Это указывает на существенно более редкие отказы при сохранении близкого поведения к исходной модели, однако одновременно означает потенциально менее выраженные защитные ограничения. В README не указаны поддерживаемые языки, размер контекстного окна, точная архитектура трансформера, требования к аппаратному обеспечению и конкретная лицензия. Также не приведены результаты независимой оценки качества после применения Heretic. Поэтому модель следует использовать с учётом возможного отсутствия встроенных ограничений безопасности; условия распространения необходимо уточнять по лицензии базовой модели и репозитория модели.

amd/Kimi-K3-Quark-MXFP4 — мультимодальная модель на базе moonshotai/Kimi-K3, разработанная и оптимизированная Advanced Micro Devices, Inc. Она предназначена для генерации текста по текстовым, графическим и видеовходам, а также для задач рассуждения, включая работу с инструментами. Архитектура указана как KimiK3ForConditionalGeneration; выход модели — текст. Модель квантизирована с помощью AMD-Quark: веса и активации используют формат OCP MXFP4, а слои self-attention — PTPC-FP8. В MoE-компонентах experts и shared_experts применяется OCP MXFP4. README не содержит сведений о количестве параметров, длине контекста и поддерживаемых языках. Для запуска заявлена совместимость с AMD MI350 и MI355, ROCm 7.1.1, PyTorch 2.10.0, Transformers 5.2.0 и Linux; в качестве inference engine используются vLLM и, для оценки, SGLang. К сильным сторонам относятся мультимодальность и снижение требований к памяти и вычислениям благодаря квантизации. На тесте GSM8K модель показала 96,36 против 96,82 у исходной moonshotai/Kimi-K3, что соответствует восстановлению 99,52% исходного результата. Ограничения включают зависимость от совместимого оборудования и программного стека, а также необходимость специальных настроек vLLM для воспроизведения указанной конфигурации. Лицензия обозначена как other с названием kimi-k3; модификации защищены авторским правом Advanced Micro Devices, Inc. за 2026 год.

Luminea-Dare — объединённая диалоговая языковая модель от Arkhiveus, созданная методом DARE TIES с помощью mergekit. В качестве основы использована Arkhiveus/L3.1-70B-Luminea; при объединении также использованы NeverSleep/Lumimaid-v0.2-70B и nvidia/Llama-3.1-Nemotron-70B-Instruct-HF. Модель предназначена для генерации текста в диалоге и ответов на инструкции. По описанию автора, она сохраняет формат ответов Nemotron и стиль письма Lumimaid. Это плотная Llama-архитектура класса LlamaForCausalLM с 69,5 млрд параметров, контекстом до 131 072 токенов и весами в формате safetensors для Transformers. В метаданных лицензия не приведена.

QuantFactory/LLaMA3-iterative-DPO-final-GGUF — это неофициальная GGUF-квантизованная версия инструкционной языковой модели LLaMA3-iterative-DPO-final, созданная QuantFactory с использованием llama.cpp на основе модели RLHFlow. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы и использование в conversational-приложениях. Модель имеет около 8 млрд параметров и обучена методом Iterative DPO — вариантом онлайн-RLHF, основанным на Direct Preference Optimization. По данным README, обучение проводилось на открытых наборах данных без дополнительной разметки людьми или GPT-4. В опубликованных результатах модель показывает высокие показатели на Alpaca-Eval-V2, MT-Bench и Chat-Arena-Hard, а также на академических тестах GSM-8K, MMLU, HumanEval, TruthfulQA, ARC и MBPP. Конкретный формат квантизации, поддерживаемые языки, длина контекста и точные требования к ресурсам не указаны. К сильным сторонам относятся компактный для инструкционной модели размер, возможность запуска в GGUF-совместимой инфраструктуре и хорошие заявленные результаты в диалоговых, математических, кодовых и общеобразовательных задачах. Ограничения включают неофициальный статус чекпойнта, возможные потери качества из-за квантизации и отсутствие подробных сведений о её параметрах. Указана лицензия llama3; дополнительные условия использования в README не раскрыты.

Meta-Llama-3-8B-Instruct-GGUF — это инструкционная языковая модель семейства Llama 3, разработанная Meta и представленная в формате GGUF сообществом bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, а также другие задачи обработки естественного языка. В README указаны английский язык и категория text-generation. Из доступных данных известно, что модель основана на Llama 3 и имеет размер 8 миллиардов параметров. Формат GGUF ориентирован на локальный запуск совместимыми средствами инференса, однако конкретная схема квантования, максимальная длина контекста, требования к оборудованию и дополнительные возможности в README не указаны. Сильными сторонами являются компактный для крупной языковой модели размер и специализация на следовании инструкциям; ограничения включают отсутствие подтверждённых сведений о поддерживаемых языках помимо английского, точности и производительности в различных сценариях. Модель распространяется по лицензии Meta Llama 3 Community License. При использовании и распространении необходимо соблюдать условия этой лицензии, включая требования к атрибуции, отображению надписи «Built with Meta Llama 3», соблюдение Acceptable Use Policy и ограничения, связанные с крупными коммерческими сервисами.

mlx-community/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-OptiQ-4bit — это MLX-квантизированная версия модели GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking, которая представляет собой reasoning fine-tune архитектуры MiniCPM5-1B примерно на 1 млрд параметров. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения задач с рассуждениями, программирования, tool calling и function calling. Заявлена поддержка английского и китайского языков, а формат работы ориентирован на Apple Silicon через MLX. Основная точность квантования — 4-bit, при этом чувствительные слои хранятся в 8-bit. Всего квантизировано 169 слоёв: 67 в 8-bit и 102 в 4-bit; эффективная разрядность составляет 5,805 бит на вес. Размер весов уменьшен с 2,0 ГБ в bf16 до 874 МБ, что делает модель удобной для локального запуска на компьютерах Apple Silicon. При генерации модель формирует рассуждения внутри тегов <think>...</think>, поэтому ей требуется достаточно большой лимит max_tokens. К сильным сторонам относятся малый размер, локальная работа без облачных сервисов и PyTorch, поддержка MLX-native serving, смешанной точности KV-cache и LoRA fine-tuning через mlx-optiq. При этом для данной квантованной версии не проводились task-бенчмарки, а распределение разрядности перенесено с базовой модели MiniCPM5-1B и может несколько отличаться по оптимальности для этого fine-tune. В карточке указана лицензия Apache-2.0; также рекомендуется учитывать условия лицензии исходной модели.

mistral-orpo-beta-NeuralBeagle14-7B-dare-ties — объединённая модель на архитектуре Mistral, созданная с помощью LazyMergekit из kaist-ai/mistral-orpo-beta и mlabonne/NeuralBeagle14-7B методом dare_ties. Она предназначена для диалоговой генерации текста и может использоваться для ответов на вопросы, следования инструкциям, рассуждений и творческого письма. Модель содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Карточка приводит конфигурацию с весами слияния 0,6 и 0,4 и точностью bfloat16. Лицензия — Apache-2.0. Языки и отдельные ограничения качества в карточке не описаны.

Это неизменённая копия Muse-Glimmer-30B от Meta, размещённая Positron AI как закреплённый снимок исходного репозитория для сборки и тестирования в CI. Веса, токенизатор и конфигурация побайтово совпадают с указанной ревизией upstream; изменений Positron AI нет. Базовая модель — плотная мультимодальная модель семейства Muse-Glimmer примерно на 29,6 млрд параметров, предназначенная для диалогов и локальных агентных задач, включая работу с инструментами, программирование и анализ изображений. Для этой копии не приведены отдельные оценки качества или подробные инструкции по использованию; назначение и оценки отсылаются к карточке базовой модели. Репозиторий содержит веса Safetensors, библиотека для работы — Transformers. Лицензия — Apache-2.0.

Nous-Hermes-2-DPO_into_Nous_Hermes-2-Pro — слитая модель, созданная с помощью LazyMergekit на основе NousResearch/Nous-Hermes-2-Mistral-7B-DPO и NousResearch/Hermes-2-Pro-Mistral-7B. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров. Она предназначена для генерации текста и диалогов; контекстное окно составляет 32 768 токенов. Модель поддерживает чат-сценарии и использует формат весов safetensors. Слияние выполнено методом SLERP с настройками, заданными по слоям и компонентам внимания и MLP; в README указан тип данных bfloat16. Метаданные не содержат сведений о лицензии и конкретном наборе поддерживаемых языков, поэтому их нельзя надёжно указать.

Это четырёхбитная версия модели NVIDIA Nemotron Nano 9B v2, подготовленная сообществом mlx-community для запуска в формате MLX. Исходная модель разработана NVIDIA; эта версия преобразована из nvidia/NVIDIA-Nemotron-Nano-9B-v2 с помощью mlx-lm 0.26.3. Метаданные относят её к генеративным языковым моделям для диалога и указывают интерфейс вызова инструментов. Модель предназначена для генерации ответов в чате и выполнения инструкций; базовая модель также рассчитана на программирование и управляемое рассуждение. Карточка связывает её с английским, испанским, французским, немецким, итальянским и японским языками. Лицензия указана как other, поэтому условия следует уточнять на странице репозитория и базовой модели. Четырёхбитное представление и формат MLX предназначены для локального инференса на совместимом оборудовании; количественные показатели качества в карточке не приведены.

mlx-community/phi-4-4bit — это 4-битная версия модели phi-4, преобразованная сообществом mlx-community из microsoft/phi-4 в формат MLX с использованием mlx-lm версии 0.21.0. Модель предназначена для генерации текста и диалогового взаимодействия, включая сценарии, связанные с программированием, математикой и обработкой естественного языка. Указан английский язык. Модель поддерживает работу в экосистеме MLX через библиотеку mlx-lm и может использовать chat template для передачи сообщений с ролями пользователя и ассистента. Ключевые параметры исходной архитектуры, число параметров, максимальная длина контекста и перечень поддерживаемых модальностей в README не указаны; по имеющимся данным, модель работает только с текстом. 4-битное представление ориентировано на более экономичное локальное использование, однако может сопровождаться ограничениями точности по сравнению с полноразмерной версией. README не содержит подробных результатов оценивания, поэтому нельзя надёжно судить о качестве модели в конкретных задачах. Модель распространяется по лицензии MIT.

Qwen2.5-7B-Instruct-1M-GGUF — GGUF-квантизированная версия инструкционной языковой модели Qwen2.5-7B-Instruct-1M, разработанной командой Qwen. Квантизацию выполнил bartowski на базе llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с инструкциями, а также для задач, требующих обработки очень больших текстовых контекстов. Модель имеет около 7 миллиардов параметров и поддерживает контекст длиной до 1 миллиона токенов. Она сохраняет возможности работы с короткими запросами и оптимизирована для задач с длинным контекстом. В README указан английский язык; сведения о других языках и дополнительных модальностях отсутствуют. Для последовательностей длиннее 262 144 токенов возможно снижение точности до появления улучшенной поддержки. Модель распространяется по лицензии Apache-2.0. Формат GGUF и совместимость с llama.cpp ориентированы на локальный запуск в инструментах, поддерживающих этот формат, включая LM Studio. README не содержит подробностей о конкретных вариантах квантования, требованиях к аппаратным ресурсам и результатах бенчмарков.

Qwen3.5-21B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking — плотная мультимодальная модель на 21 млрд параметров, созданная DavidAU на основе Qwen3.5-27B-Deckard-PKD-Heretic-Uncensored-Thinking. По карточке, модель уменьшена с 27B, дообучена на наборах Deckard/PDK и данных рассуждений Claude 4.6 Opus; заявлен режим пошагового рассуждения переменной длины. Архитектура Qwen3.5 поддерживает текстовый диалог и обработку изображений; заявленное родное контекстное окно — 256K токенов. Модель предназначена для диалога, ответов на вопросы, генерации кода и творческого письма, включая художественные жанры и ролевые сценарии. Автор отмечает отсутствие ограничений на контент и предупреждает о возможности откровенных или графичных ответов. В карточке также указаны возможные повторы при низких квантизациях или недостаточно содержательных запросах; качество и скорость могут зависеть от квантизации и настроек генерации. Доступна под лицензией Apache-2.0. Для использования изображений и инструментальных вызовов автор рекомендует качественные квантизации; практические характеристики следует оценивать на выбранной сборке и конфигурации.

Qwen3-8B-Abliterated — доработанная Richard Young (DeepNeuro) версия Qwen/Qwen3-8B, созданная методом abliteration. В плотной архитектуре Qwen3 изменены средние слои 15–30, чтобы ослабить отказы модели на запросы; указанный масштаб абляции — 1.0. Модель предназначена для диалоговой генерации текста, следования инструкциям, рассуждений, работы с кодом и вызова инструментов. Модель содержит 7,6 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов. В карточке указана библиотека Transformers и формат safetensors. Базовая Qwen3-8B описана как многоязычная, однако конкретный перечень поддерживаемых языков для этой версии не приведён. Снижение числа отказов означает ослабление защитных ограничений и требует внимательного выбора сценариев применения. Модель выпущена по лицензии Apache-2.0; автор предупреждает, что защитные механизмы частично удалены, и возлагает ответственность за этичное использование на пользователей.

Kre80r/Qwopus3.8-27B-Flash-V2-W4A16 — квантованный чекпойнт мультимодальной модели Qwopus3.8-27B-Flash-V2, подготовленный с помощью AutoRound 0.15.1. Веса квантованы до 4 бит с группами по 128, активации BF16; визуальный энкодер и отдельные чувствительные тензоры сохранены в BF16. Модель основана на Qwen3.8-27B через промежуточную Qwopus3.8-27B-Flash и прошла дополнительное постобучение с изменёнными функциями вознаграждения и методами обучения с подкреплением. Модель предназначена для диалоговых и мультимодальных задач, рассуждений и длительных агентных сценариев с повторными вызовами инструментов. В карточке также указаны генерация кода, вызов функций и ускорение вывода с MTP speculative decoding; заявленные сценарии включают локальный запуск и ресурсоёмкие рабочие процессы, где важны скорость и стоимость генерации. Поддерживаются английский, китайский, испанский, русский и японский языки. Метаданные указывают архитектуру Qwen3.5 и класс Qwen3_5ForConditionalGeneration; точный размер параметров и длина контекста в предоставленных данных не приведены. Разработчик позиционирует выпуск как экспериментальный. Карточка описывает компромисс между эффективностью вывода и сохранением качества, а также отмечает возможный дрейф рассуждений и зависимость агентных результатов от промпта, инструментов и среды. Широкая оценка безопасности и надёжности не проводилась. Лицензия — Apache-2.0.

Reflection Llama-3.1 70B — языковая модель, созданная Matt Shumer на основе Meta Llama 3.1 70B Instruct с применением метода Reflection-Tuning. Она предназначена для диалогов и генерации текста, в том числе для задач, требующих пошагового рассуждения и исправления ошибок. Модель имеет плотную архитектуру LlamaForCausalLM, содержит около 69,5 млрд параметров и поддерживает контекст до 131 072 токенов. Во время генерации модель разделяет ход рассуждения и итоговый ответ специальными токенами; для диалогов используется шаблон Llama 3.1. Карточка описывает обучение на синтетических данных Glaive и рекомендует системный запрос, задающий формат рассуждений и ответа. Доступны веса в формате safetensors; лицензия — Llama 3.1 Community License. Метаданные указывают интерфейс вызова инструментов, но README не приводит оценок его качества. Модель унаследовала языковые возможности базовой модели; конкретный набор языков в предоставленных данных не перечислен.

StockSeaLLMs-7B-v1 — текстовая диалоговая модель на 7,1 млрд параметров, созданная слиянием моделей на базе SeaLLMs-v3-7B-Chat. В карточке указано слияние методом TIES; метаданные также связывают модель с SeaLLMs-v3-7B-Chat как с базовой моделью. Архитектура — плотная Qwen2ForCausalLM, веса представлены в safetensors, контекст — до 131 072 токенов. Модель предназначена для диалога и генерации текста по инструкциям; метаданные также отмечают интерфейс для вызова инструментов. Описание базовой модели указывает поддержку английского, китайского и языков Юго-Восточной Азии. Лицензия в предоставленных данных не указана.

MaziyarPanahi/bagel-dpo-7b-v0.1-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на основе Mistral-7B-Instruct-v0.1 и jondurbin/bagel-dpo-7b-v0.1. Веса объединены методом SLERP; архитектура — плотная авторегрессионная MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста в ответ на инструкции и ведения диалогов. Обучающие данные включают наборы для вопросов и ответов, рассуждений, математики, кода и диалогов, поэтому модель подходит для широкого спектра текстовых запросов. Указана лицензия Apache-2.0.

CerebrumDolphin-2.0-Mistral-7B-v0.2 — языковая модель на архитектуре Mistral, созданная объединением моделей cognitivecomputations/dolphin-2.8-mistral-7b-v02 и Locutusque/OpenCerebrum-2.0-7B методом SLERP с помощью mergekit. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов. В описании базовой модели упоминаются программирование, математика и естественно-научные вопросы; карточка этой модели не приводит отдельных результатов оценки качества. Доступны веса в формате safetensors для Transformers. Лицензия в предоставленных данных не указана.

DeepSeek-V4-Flash-0731 REAP K160 — экспериментальный производный чекпойнт модели DeepSeek-V4-Flash-0731 от DeepSeek, созданный пользователем 0xSero с применением метода REAP. Модель предназначена для исследовательского использования и инференса в условиях ограниченной памяти, включая генерацию текста, программирование, рассуждения, вызов инструментов и агентские сценарии. Это неофициальный релиз DeepSeek. Модель использует архитектуру Mixture-of-Experts: в каждом MoE-уровне сохранено 160 из 256 маршрутизируемых экспертов, то есть удалено 37,5% экспертов, при этом маршрутизация top-6, общие эксперты, attention, embeddings, output head, mHC, compressor и indexer tensors сохранены. В backbone предусмотрено 43 MoE-слоя, а также 3 DSpark MTP-блока. Заявлены английский и китайский языки. Контекст проверен на конфигурации 8192 токенов, однако полные характеристики контекста в README не указаны. Чекпойнт содержит 48 шардов Safetensors и около 107,8 млрд байт данных. К сильным сторонам относятся существенное сокращение числа экспертов и требований к памяти, структурная валидация всех тензоров и успешная базовая проверка генерации и программирования. Ограничения включают экспериментальный статус, возможное снижение качества из-за агрессивного pruning, отсутствие свежего наблюдения для весов версии 0731, отсутствие подтверждения паритета с исходной моделью по бенчмаркам и отдельную необходимость проверки совместимости DSpark MTP. Для запуска требуется DeepSeek-V4-совместимый runtime; generic Transformers может не поддерживать необходимые MXFP4, sparse-attention, tokenizer и DSpark MTP-компоненты. Производная распространяется по лицензии MIT.

DeepSeek-V4-Flash-GGUF — набор GGUF-квантизаций базовой модели DeepSeek-V4-Flash, разработанной deepseek-ai и опубликованной пользователем teamblobfish. Модель предназначена для генерации текста, агентских сценариев и задач с вызовом инструментов, включая рабочие процессы наподобие Claude Code. Варианты представлены с разной степенью квантизации: от Q8_0 размером около 282 ГиБ до IQ1_S-XL размером около 57 ГиБ. Рекомендуемый вариант Q4_K_M-XL занимает около 163 ГиБ и сочетает 4-битное тело модели с хранением ряда важных тензоров в Q8_0; заявлена поддержка tool calling. GGUF-файлы используют архитектуру DeepSeek V4 с MoE-компонентами и специализированными операциями, включая compressor decode, hyperconnection, lightning indexer, FP8 KV simulation и NextN heads. Для запуска требуется форк llama.cpp с поддержкой V4; стандартный upstream llama.cpp не подходит. Поддерживаются Apple Silicon через Metal, NVIDIA CUDA на совместимых GPU и CPU. ROCm, Vulkan и Metal на AMD не поддерживают необходимые V4-ядра. В репозитории также присутствуют встроенный DSML chat template и калибровочные данные для некоторых вариантов. Проект находится в статусе WIP. Квантизации позволяют уменьшить требования к диску и памяти, однако качество и производительность зависят от выбранного варианта и оборудования; для некоторых старых GPU CUDA-путь FP8 не был проверен в работе. Модель и материалы репозитория распространяются по лицензии MIT.

DeepSeek V4 Flash REAP K128 (Uniform) — производная версия DeepSeek V4 Flash от sleepyeldrazi. В модели удалена половина маршрутизируемых экспертов MoE с помощью метода REAP; механизм внимания, эмбеддинги, общие эксперты, маршрутизатор и компоненты MTP сохранены. Тонкая настройка не выполнялась: оставшиеся веса взяты без изменений из исходной модели. Репозиторий содержит GGUF с равномерной квантизацией экспертов IQ2_XXS/Q2_K; заявленный размер файла — 46,98 ГиБ. Модель предназначена для генерации текста и диалогового использования, в том числе для задач программирования, вызова инструментов и поиска знаний. Совместима со средой ds4-engine; для запуска требуется ds4-for-reaped с поддержкой компактного GGUF. Калибровка при отборе экспертов проводилась на контексте 4096 токенов, но это не подтверждает максимальную длину контекста модели. Лицензия — MIT. Удаление половины экспертов и низкая точность квантизации могут повлиять на качество ответов; README не приводит количественных результатов оценки. Вызов инструментов обозначен как сценарий калибровки и использования, но сам по себе не подтверждает наличие отдельного интерфейса tool calling.

G9v3-3B-Heretic-Abliterated-GGUF — плотная каузальная языковая модель с 3 млрд параметров, разработанная командой AI9Stars. Это GGUF-сборка базовой модели Vortecks/G9v3-3B-Heretic-Abliterated, предназначенная для локального запуска на устройствах с ограниченными ресурсами. Модель относится к задачам генерации текста и рассчитана на повседневное использование в роли ассистента, программирование, сценарии с вызовом инструментов и задачи, требующие рассуждений. Заявлена поддержка английского и китайского языков, а также сценариев с длинным контекстом, однако точный размер контекстного окна в README не указан. Сборка представляет собой вариант heretic abliterated: из активационного пространства удалены направления, связанные с отказами, поэтому модель позиционируется как uncensored и обычно отвечает на более широкий круг запросов, чем исходная instruction-tuned версия. Это одновременно является ограничением: у варианта отсутствуют обычные защитные механизмы safety-alignment, поэтому его ответы требуют дополнительной фильтрации и контроля. Доступны варианты GGUF с точностью от F32, F16 и BF16 до различных квантов Q8, Q6, Q5, Q4, Q3 и IQ; размер файлов составляет примерно от 1,4 до 12 ГБ. Квантизации созданы с помощью llama.cpp, а низкобитные варианты IQ1_*–IQ3_XXS — с использованием importance matrix. Модель распространяется по лицензии Apache-2.0. Для запуска и выбора компромисса между качеством, скоростью и потреблением памяти рекомендуется использовать совместимые с llama.cpp GGUF-квантизации; в README отдельно отмечены Q6_K, Q5_K_M, Q5_K_S и Q4_K_M.

noctrex/GLM-4.7-MXFP4_MOE-GGUF — квантованная версия языковой модели GLM-4.7 от Z.ai, подготовленная в формате GGUF с применением imatrix на основе данных от Unsloth. Модель предназначена для диалогов и генерации текста; базовая GLM-4.7 рассчитана также на программирование, агентные задачи и рассуждения. MXFP4_MOE обозначает используемый вариант квантования модели типа MoE. Репозиторий содержит формат GGUF, подходящий для запуска в совместимом с ним программном обеспечении. Карточка не сообщает размер модели, длину контекста или поддерживаемые языки напрямую; описание базовой модели указывает на английский и китайский.

Это GGUF-сборка модели llmfan46/gpt-oss-120b-ultra-heretic, подготовленная независимым автором llmfan46. В README указано, что исходная модель прошла abliteration: изменялись слои 15–32 с целью снизить частоту отказов при сохранении возможностей. Доступны варианты BF16, Q8_0 и Q5_K_M; метаданные классифицируют эту копию как дообученную модель в формате GGUF. Модель предназначена для диалоговой генерации текста, рассуждений и сценариев с использованием инструментов. README также заявляет поддержку вызова функций, веб-браузинга и структурированных ответов, а запуск описан через llama.cpp, LM Studio и Ollama. Указанные в карточке показатели — 3 отказа из 100 и KL-дивергенция 0,0703 — относятся к оценке автора и не гарантируют результаты на других запросах. Лицензия — Apache 2.0. Сборка ориентирована на пользователей, которым нужна модель с меньшим числом отказов; такие ответы могут быть менее ограничены. Размер параметров и длина контекста для этой GGUF-копии в предоставленных данных не указаны.

HuskyLM 2.5 — диалоговая языковая модель Darkcloud AI, дообученная на основе meta-llama/Meta-Llama-3-8B-Instruct с применением supervised fine-tuning, Direct Preference Optimization и собственной методики RLAIF. Это плотная Llama 3 модель для генерации текста и общения; в метаданных указаны 7,5 млрд параметров, контекст 8192 токена и формат Safetensors. Модель рассчитана на английский язык, а автор заявляет поддержку ряда других языков, включая китайский, испанский, французский и польский. Модель предназначена для следования системным инструкциям и общих диалоговых сценариев: написания текстов и кода, работы чат-агентом и создания реплик NPC. Среди заявленных достоинств — разговорные навыки, выполнение инструкций и дружелюбный тон. Она может ошибаться, несмотря на заявленный акцент на правдивости; сведения о знаниях ограничены декабрём 2023 года. Лицензия — Llama 3 License.