II.3Рефакторинг, миграция и модернизация

Dolphin3.0-Llama3.1-8B-GGUF — это GGUF-квантизированная версия языковой модели Dolphin3.0-Llama3.1-8B, разработанной cognitivecomputations и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста на английском языке и запуска через совместимые средства, включая LM Studio и llama.cpp. Модель основана на архитектуре Llama 3.1 с размером 8 млрд параметров и относится к классу текстовых генеративных моделей. В обучении использовались наборы данных для программирования, математических задач, instruction following, function calling, агентных сценариев и диалогов. Доступны варианты от F32 и F16 до низкобитных форматов Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством генерации, размером файла и требованиями к памяти. Контекст, мультимодальность и поддержка других языков в README не указаны. Сильная сторона модели — широкий выбор квантизаций и возможность локального запуска на различном оборудовании; варианты Q6 и Q5 характеризуются как близкие к исходному качеству, а Q4 рекомендуются как сбалансированные по размеру и качеству. Более агрессивные квантизации экономят память, но снижают качество. Ограничениями являются преимущественно англоязычная заявленная поддержка и отсутствие в README подробных данных о производительности, максимальном контексте и системных требованиях. Указана лицензия llama3.1.

Eurus-7B-SFT — языковая модель с открытыми весами, разработанная OpenBMB и дообученная на базе Mistral-7B. Она предназначена для генерации ответов с упором на рассуждения, в том числе для задач программирования и математики; также поддерживает диалог. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и имеет контекст длиной до 32 768 токенов. Для дообучения использованы корректные действия из UltraInteract-SFT и небольшая доля примеров UltraChat, ShareGPT и OpenOrca. В карточке авторы сообщают о высоких результатах среди открытых моделей сопоставимого размера; это заявление основано на их оценке и не гарантирует качество на конкретных задачах. Для программирования и математики рекомендуется формат промптов из UltraInteract. Модель распространяется в формате safetensors по лицензии Apache-2.0. Как и другие генеративные языковые модели, она может ошибаться в рассуждениях, вычислениях и коде; результаты следует проверять.

EXAONE-Deep-32B GGUF — квантизированная GGUF-версия языковой reasoning-модели EXAONE-Deep 32B, разработанной LG AI Research. Репозиторий Mungert содержит вариант базовой модели LGAI-EXAONE/EXAONE-3.5-32B-Instruct, преобразованный с помощью llama.cpp. Модель предназначена для генерации текста, решения математических задач, рассуждений, программирования и диалогового использования. Модель содержит около 30,95 млрд параметров без эмбеддингов, 64 слоя и использует Grouped-Query Attention с 40 Q-головами и 8 KV-головами. Размер словаря составляет 102 400 токенов, контекст — до 32 768 токенов. Заявлена поддержка английского и корейского языков. Формат GGUF ориентирован на запуск через совместимые инструменты, включая llama.cpp; конкретные характеристики зависят от выбранного уровня квантизации. Ключевая особенность сборки — экспериментальный подход к квантизации: отдельные важные слои переводятся в более высокую точность с помощью tensor-type bumping. Это может повысить точность при заданном размере файла, особенно на низких уровнях квантизации, но увеличивает объём модели. Модель ориентирована на задачи, требующие рассуждений, однако README не содержит полной информации о требованиях к оборудованию, ограничениях применения и сравнительных результатах именно этой GGUF-сборки. Лицензия указана как EXAONE; подробные условия находятся в файле LICENSE.

Это GGUF-сборка Gemma-4-26B-A4B-it, подготовленная ironbcc для запуска через llama.cpp и LM Studio. Комплект включает основную 26-миллиардную MoE-модель Gemma-4 и вспомогательную модель-драфтер gemma-4-26B-A4B-it-assistant от Google для speculative decoding. Основная модель использует 128 экспертов; доступны варианты драфтера с квантованием Q2_K, Q4_K_M, Q8_0 и F16. Указан английский язык, а модель предназначена для генерации текста, диалогов, рассуждений и программного использования через совместимые серверы и клиенты. Максимальный контекст Gemma-4 заявлен как 256K токенов, однако конкретные возможности зависят от runtime и настроек. Ключевое преимущество сборки — ускорение генерации за счёт Multi-Token Prediction и speculative decoding: в приведённом тесте на Apple M5 Max скорость достигала примерно 1,55 раза относительно режима без MTP, а при отключении reasoning — до 143,2 токена в секунду. Q2_K-драфтер рекомендован как наиболее быстрый и показал наивысшую долю принятых токенов в тесте. Ограничения включают необходимость специальной ветки llama.cpp с поддержкой Gemma-4 MTP; на момент подготовки README эта функциональность ещё не была включена в основную ветку, а LM Studio требовал соответствующего runtime. Включение thinking повышает качество рассуждений, но снижает скорость. Основной файл имеет размер около 26 ГБ, поэтому запуск требует значительного объёма памяти; для полного контекста 256K README указывает примерно 31 ГБ RSS при старте с дальнейшим ростом потребления. Распространение заявлено по лицензии Apache-2.0, при этом для доступа к Gemma на Hugging Face необходимо принять условия использования Google.

Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-MTP — модификация Gemma 4 31B-it, разработанная HauhauCS на основе официальных QAT-весов модели Google DeepMind. Это плотная модель на 31 млрд параметров с 4-битной квантизацией Q4_K_M, контекстом до 256K токенов и поддержкой изображений через отдельный mmproj-модуль. В README заявлен английский язык; модель распространяется в формате GGUF и совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-рантаймами. Модель предназначена для агентного программирования, рассуждений, творческого письма, ролевого общения и диалоговых сценариев, где важны следование инструкциям и надежность. Вариант Balanced ориентирован на широкий круг пользователей и описан как полностью uncensored-модификация без изменений исходных датасетов и базовых возможностей. В комплект входит MTP draft head для speculative decoding; по данным автора, при использовании через llama.cpp это дает примерно 53% ускорения генерации без изменения проверяемого результата. К сильным сторонам относятся большой контекст, поддержка визуального ввода, 4-битная QAT-квантизация с заявленным близким к полноточному качеством и ускорение генерации с MTP. Ограничения включают крупный размер файлов: основная модель занимает около 18,7 ГБ, mmproj — 1,2 ГБ, а MTP-модуль — 280 МБ. Работа MTP-технологии проверялась автором через llama.cpp, а для LM Studio отмечены возможные сбои в режиме tensor-split при использовании нескольких GPU; рекомендуется использовать одну GPU с layer-split или приоритетным порядком. Лицензия указана как Gemma. В README также отмечено, что заявления об отсутствии отказов основаны на тестах автора и не исключают редких случаев уклонения от ответа на отдельных запросах.

Guru-7B — модель генерации текста на базе Qwen2.5-7B, представленная авторами работы «Revisiting Reinforcement Learning for LLM Reasoning from A Cross-Domain Perspective». Она предназначена для диалоговых сценариев и решения задач рассуждения в разных областях, включая математику и программирование. В опубликованных результатах приведены оценки на AIME24 и MATH500 для математики, а также LiveCodeBench для кода. Модель имеет плотную архитектуру Qwen2 и содержит 7,1 млрд параметров. Метаданные указывают контекст до 131 072 токенов, поддержку чата и интерфейса вызова инструментов; формат весов — safetensors, для работы заявлена библиотека Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. README приводит результаты отдельных бенчмарков, однако они не гарантируют качество на других задачах.

Модель v2ray/Llama-3-70B — повторно опубликованная версия Meta Llama 3 с 69,5 млрд параметров. Это авторегрессионная языковая модель на архитектуре Transformer с Grouped-Query Attention; репозиторий содержит веса в формате Safetensors. Модель принимает текст и генерирует текст и код, а заявленная длина контекста составляет 8192 токена. Модель предназначена для генерации текста на английском языке: её можно применять для диалогов с ассистентом и адаптировать под другие задачи генерации естественного языка. В README описано семейство Llama 3, включая предварительно обученные и настроенные для инструкций варианты, однако точный вариант этой копии отдельно не уточнён. Модель разработана Meta и опубликована 18 апреля 2024 года. Для семейства указана специальная коммерческая лицензия Meta Llama 3; перед использованием следует ознакомиться с её условиями и Acceptable Use Policy. README отмечает, что модель не предназначена для языков, отличных от английского, и что для безопасного применения в конкретной системе могут понадобиться дополнительные меры защиты.

senseable/moe-x33 — модель генерации текста для помощи в программировании, опубликованная пользователем senseable. README описывает её как модель для понимания и создания кода, включая генерацию фрагментов и скриптов, отладку и ответы на вопросы о программировании. Примеры применения включают работу с Python и другими языками программирования. В метаданных указаны архитектура Mixtral MoE с классом MixtralForCausalLM, 33,1 млрд параметров и контекстное окно 16 384 токена. Репозиторий содержит веса в формате safetensors; модель предназначена для текстового ввода и генерации текста. Метаданные связывают её обучение с наборами синтетических задач извлечения информации и инструкций по программированию Magicoder-Evol-Instruct-110K. README называет модель основанной на Llama, что расходится с архитектурой Mixtral в метаданных, поэтому базовую модель установить нельзя. Лицензия — Apache-2.0. README заявляет поддержку разных языков программирования, но не перечисляет их; метаданные указывают английский как язык карточки. Приведённые в карточке результаты нескольких тестов не позволяют оценить качество на конкретных языках программирования или сценариях. Сгенерированный код следует проверять перед использованием.

AceReason-Nemotron-14B-GGUF — это квантизированная версия языковой модели AceReason-Nemotron-14B, разработанной NVIDIA. Сборка подготовлена bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, решения математических задач, рассуждений и программирования; поддерживает английский язык и запускается через llama.cpp, LM Studio и другие совместимые проекты. Размер исходной модели составляет 14 млрд параметров. В репозитории доступны варианты от BF16 до низкобитных квантований Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемыми названы варианты Q6_K, Q6_K_L, Q5 и Q4_K_M; для устройств с ограниченной памятью доступны более компактные варианты, но с более низким качеством. Архитектура, максимальная длина контекста и другие подробные характеристики в README не указаны. Модель удобна для локального запуска и ресурсоэффективного вывода, однако качество зависит от выбранного уровня квантования, а низкобитные варианты могут заметно уступать более крупным по точности. Для корректной работы следует использовать указанный формат prompt. Модель распространяется по NVIDIA Open Model License; конкретные условия необходимо уточнять в тексте лицензии NVIDIA.

Это конвертированная в формат MLX версия языковой модели NVIDIA Nemotron 3 Nano 30B A3B, опубликованная mlx-community. Исходная модель — nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16; README указывает, что преобразование выполнено с помощью mlx-lm 0.29.1. Метаданные описывают модель как диалоговую и указывают поддержку английского, испанского, французского, немецкого, японского и итальянского языков. Модель предназначена для генерации текста в диалоге и может использоваться для ответов на вопросы, написания текстов и программного кода. Репозиторий рассчитан на запуск с библиотекой MLX. В README не приведены дополнительные сведения о размере активной части MoE, длине контекста или оценках качества; базовая модель описана в каталоге как гибридная языковая модель для рассуждений, программирования и агентных приложений. Лицензия указана как other, поэтому конкретные условия использования следует сверить с лицензией исходной модели.

Olmo Hybrid Instruct DPO 7B — англоязычная авторегрессионная языковая модель семейства Olmo Hybrid, разработанная Allen Institute for AI (Ai2). Это плотная гибридная RNN-модель на 6,3 млрд параметров, дообученная методом supervised fine-tuning и оптимизации предпочтений DPO на запросах по математике, программированию, диалогам и общим знаниям. Она предназначена для диалоговых ответов и генерации текста; поддерживает контекст до 32 768 токенов и запускается через Transformers 5.3.0 или выше. В карточке приведены результаты оценки на математических бенчмарках, включая MATH и AIME. Модель выпускается в формате safetensors и распространяется по лицензии Apache 2.0; Ai2 указывает исследовательское и образовательное применение в соответствии с рекомендациями Responsible Use. Без дополнительной фильтрации она может генерировать вредный или предвзятый контент, а ответы могут содержать фактические ошибки.

Карточка модели LimitlessMindd/Phi-4-reasoning на Hugging Face совпадает с карточкой microsoft/Phi-4-reasoning, поэтому описание составлено по ней. Phi-4-reasoning — открытая по весам языковая модель Microsoft Research, дообученная на базе Phi-4 с помощью supervised fine-tuning на примерах цепочек рассуждений и обучения с подкреплением. Она предназначена для диалоговых генеративных приложений, где важны рассуждения и логика, а также ограничены вычислительные ресурсы или допустимая задержка. Основные области обучения и оценки — математика, наука и программирование; модель рассчитана прежде всего на английский язык. Модель использует плотный декодерный Transformer архитектуры Phi-3 с 14,1 млрд параметров и контекстом до 32 768 токенов. При инференсе рекомендуется ChatML-шаблон; для более сложных запросов авторы советуют выделять больше токенов на генерацию. Модель может ошибаться и не проходила оценку для всех прикладных сценариев, поэтому ответы следует проверять, особенно при использовании в задачах с высокими последствиями. Лицензия — MIT.

Qwen3.6-27B-Uncensored-HauhauCS-Aggressive-MTP — пользовательская версия модели, опубликованная AIOpsInSpace. Она основана на Qwen3.6-27B и HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive и распространяется в формате GGUF. Модель предназначена для генерации текста, диалогов, задач рассуждения и сложных рабочих процессов, включая программирование. Заявлены плотная архитектура размером 27B параметров, англоязычная поддержка и режим Multi-Token Prediction (MTP) для speculative decoding, который может ускорять инференс при совместимом программном обеспечении. Модель позиционируется как aggressively uncensored, то есть с минимальными ограничениями на содержание ответов. К сильным сторонам относятся заявленные conversational и reasoning-возможности, ориентация на локальное развёртывание и потенциально повышенная скорость генерации благодаря MTP. Ограничения включают отсутствие в предоставленных данных сведений о размере контекстного окна, точных результатах бенчмарков, требованиях к оборудованию и полной совместимости бэкендов; эффективность speculative decoding зависит от используемой инфраструктуры. Указанная лицензия — Apache-2.0.

Qwen3.6-27B-uncensored-heretic-v2 — мультимодальная модель на 27 млрд параметров, созданная независимым автором на основе Qwen/Qwen3.6-27B методом abliteration. Модель предназначена для диалогов, работы с изображениями, программирования и агентных сценариев с вызовом инструментов; автор сообщает о снижении частоты отказов по сравнению с исходной моделью. Архитектура — плотная Qwen3.5 с языковой моделью и визуальным энкодером. Базовая модель поддерживает контекст 262 144 токена с возможностью расширения; в карточке указана работа с изображениями и чат-возможности. В README приведены результаты MMLU исходной модели, но сопоставимых результатов для этой версии нет. Модель распространяется в формате safetensors по лицензии Apache-2.0. Уменьшение числа отказов не гарантирует их полного отсутствия, а результаты тестирования базовой модели нельзя считать оценкой качества этой производной версии.

Карточка модели spinochenza/Qwen3.6-27B-uncensored-heretic-v2 на Hugging Face совпадает с карточкой llmfan46/Qwen3.6-27B-uncensored-heretic-v2, поэтому описание составлено по ней. Qwen3.6-27B-uncensored-heretic-v2 — мультимодальная модель на 27 млрд параметров, созданная независимым автором на основе Qwen/Qwen3.6-27B методом abliteration. Модель предназначена для диалогов, работы с изображениями, программирования и агентных сценариев с вызовом инструментов; автор сообщает о снижении частоты отказов по сравнению с исходной моделью. Архитектура — плотная Qwen3.5 с языковой моделью и визуальным энкодером. Базовая модель поддерживает контекст 262 144 токена с возможностью расширения; в карточке указана работа с изображениями и чат-возможности. В README приведены результаты MMLU исходной модели, но сопоставимых результатов для этой версии нет. Модель распространяется в формате safetensors по лицензии Apache-2.0. Уменьшение числа отказов не гарантирует их полного отсутствия, а результаты тестирования базовой модели нельзя считать оценкой качества этой производной версии.

Qwen3.6-27B-V2-abliterated-uncensored-TQ3_1S-GGUF — мультимодальная модель Lemura Labs на основе Qwen3.6-27B, объединённая с производной Jackrong/Qwopus3.6-27B-v2, затем изменённая методом abliteration и квантованная в GGUF TQ3_1S. Она принимает текст и изображения при подключении отдельного файла mmproj.gguf и предназначена для диалогов, рассуждений, программирования и анализа изображений. Модель содержит 27 млрд параметров, использует гибридную архитектуру с GatedDeltaNet и полным attention; заявленная длина контекста — 262 144 токена. Указанная в карточке языковая поддержка включает английский и китайский, а также мультиязычность. В README сообщается, что abliteration снизила частоту отказов в тесте автора с 91 до 4 из 100 при KL-дивергенции 0,0176; эти результаты являются заявлением разработчика. Для инференса именно квантованных весов требуется форк llama.cpp-tq3 с поддержкой TQ3_1S; для обработки изображений необходим отдельный vision-проектор mmproj.gguf. Лицензия — Apache-2.0.

KostkaIT/Qwen3.8-27B-Huihui-Abliterated-oQ6e-MTP-MLX — мультимодальная версия семейства Qwen3.8-27B, подготовленная независимым технологическим проектом KostkaIT (Łukasz Frąckowiak, vsnake87). Модель является MLX-конвертацией производного варианта huihui-ai/Huihui-Qwen3.8-27B-abliterated и предназначена для локального запуска на компьютерах с Apple Silicon через oMLX и совместимые MLX-рантаймы. Модель поддерживает работу с текстом и изображениями, включая vision-конфигурацию, файлы процессора и необходимые vision-тензоры. В комплект включены нативные веса MTP, предусмотрен один скрытый слой MTP, а в совместимых версиях oMLX эту функцию можно включать и отключать. Модель ориентирована на программирование, рассуждения, мультимодальные ассистенты и исследовательские задачи. Сведения о поддерживаемых языках и размере контекста в карточке не указаны. Используется качественно ориентированное 6-битное affine-квантование oQ6e с group_size 64, importance matrix и сохранением отдельных чувствительных тензоров в 8-битном виде. Веса распространяются в формате MLX safetensors, разделённых на пять файлов. К сильным сторонам относятся сохранение нативной MTP-поддержки и мультимодальных возможностей при уменьшенном размере, а ограничениями — зависимость от Apple Silicon и совместимого MLX/oMLX-окружения, а также потенциальные потери качества, связанные с квантованием; результаты бенчмарков не приведены. Лицензия — Apache-2.0.

Qwen3.8-27B-TURBO-FCF — многоэтапная дообученная и объединённая версия модели Qwen3.8 с 27 млрд параметров, опубликованная пользователем kamikatze13. В качестве базовой модели указана Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU от DavidAU. Модель создана с использованием методов Cold Fusion, Fable Fusion и Unsloth, а также обучалась на наборах DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель ориентирована на широкий круг задач: решение проблем, рассуждения, программирование, творческое письмо, создание художественных текстов, ролевые сценарии и другие универсальные применения. Заявленная особенность версии TURBO — сокращение объёма рассуждений и расхода токенов по сравнению с обычной Qwen3.8, что должно обеспечивать более быструю генерацию при сохранении подробности ответов. README также указывает поддержку английского и китайского языков, наличие режимов рассуждения и вариантов GGUF-квантизации, включая 4- и 8-битные сборки, обычные и MTP-варианты. К сильным сторонам относятся ориентация на детализированные ответы, программирование, reasoning и художественную генерацию, а также возможность запуска на потребительском оборудовании благодаря квантизации. Заявленные высокие результаты ARC-C и ARC-E, превосходство над рядом базовых моделей и сильные возможности tool calling приведены авторами README, но независимая проверка этих утверждений не представлена. Ограничения включают отсутствие подробных данных о размере контекстного окна, точной архитектуре, мультимодальных возможностях и требованиях к оборудованию. Модель обозначена как uncensored, поэтому её ответы могут иметь сниженные защитные ограничения и требовать дополнительного контроля. Лицензия — Apache 2.0.

coderavi/VibeThinker-3B-mlx-fp16 — преобразованная в формат MLX версия модели WeiboAI/VibeThinker-3B, подготовленная автором репозитория coderavi с помощью mlx-lm 0.31.2. Это плотная причинная языковая модель семейства Qwen2 на 3,1 млрд параметров для генерации текста в диалоговом режиме, следования инструкциям, программирования и STEM-рассуждений. Она принимает текст и генерирует текст; заявленная длина контекста составляет 131 072 токена. Метаданные указывают английский язык и лицензию MIT. Карточка подтверждает преобразование формата, но не приводит отдельные результаты оценки качества этой копии.

Alpha-Orionis-v0.1 — экспериментальная текстовая генеративная модель из серии Orion, разработанной автором fearlessdots. Она представляет собой плотную причинно-языковую модель семейства Mistral примерно на 7,1 млрд параметров с контекстом до 32 768 токенов и предназначена для диалога и генерации текста. Автор ориентирует серию на STEM, информатику и программирование, социальные науки, рассуждения, логическую дедукцию, критический анализ и общие знания; в метаданных указан обучающий набор ToxicQAFinal. В карточке указано, что модель дообучалась с применением LoRA и 4-битной конфигурации обучения, а затем адаптер был объединён с базовой моделью. Идентификатор базы не заполнен; среди благодарностей упомянута команда Wizard, но точная исходная модель не названа. Модель описана как намеренно малоцензурированная и экспериментальная, поэтому качество ответов может быть непостоянным, а результаты требуют проверки. Лицензия репозитория — Apache-2.0.

Arcana Qwen3 2.4B A0.6B — текстовая модель Mixture of Experts, созданная suayptalha. В ней заявлено 2,4 млрд параметров суммарно и четыре эксперта по 0,6 млрд параметров. Модель предназначена для диалогов и генерации ответов с навыками программирования, математических рассуждений, медицинских вопросов и следования инструкциям; каталог также отмечает интерфейс вызова инструментов. Эксперты для кода, математики и медицинских вопросов дообучены на соответствующих наборах данных, а эксперт следования инструкциям использует Qwen/Qwen3-0.6B без дополнительного дообучения. В метаданных указана поддержка английского языка и библиотека Transformers. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Заявленная цель — повысить точность и эффективность при меньшем потреблении памяти, однако сравнительные результаты в карточке не приведены.

calme-2.1-phi3-4b — диалоговая языковая модель MaziyarPanahi, полученная дообучением методом DPO модели microsoft/Phi-3-mini-4k-instruct. Она предназначена для генерации текста в формате ChatML, ответов в диалоге и задач программирования; в README приведены результаты оценивания на Open LLM Leaderboard. Модель построена на плотной архитектуре Phi-3 и содержит 3,7 млрд параметров, принимает текст и работает с контекстом до 4096 токенов. Модель доступна для использования через Transformers. Лицензия — MIT. Метаданные указывают английский язык; показатели бенчмарков и сведения о возможностях не гарантируют качество для конкретных запросов.

netcat420/DeepSeek-R1-Distill-Qwen-MFANN-Slerp-7b — языковая модель, созданная разработчиком netcat420 слиянием через SLERP двух предварительно обученных моделей: deepseek-ai/DeepSeek-R1-Distill-Qwen-7B и netcat420/Qwen2.5-Coder-Scholar-7B-Abliterated-MFANN-Slerp-Unretrained. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и доступна в формате safetensors для библиотеки Transformers; заявленная длина контекста — 131 072 токена. Модель предназначена для диалогов и генерации текста. Базовая модель DeepSeek поддерживает многошаговые рассуждения, в том числе математические задачи и программирование; вторая модель в слиянии ориентирована на код и обучение. Метаданные также отмечают интерфейс вызова инструментов, но не содержат примеров или оценок его надёжности. В README не приведены сведения о лицензии, поэтому условия использования по доступным данным определить нельзя. Качество и поведение полученного слияния отдельно не оценены; свойства исходных моделей не гарантируют их сохранения в полном объёме.

DeepSeek-V4-Flash-0731-Pruned-155B-A13B-GGUF — неофициальная производная модель, созданная сообществом на основе DeepSeek-V4-Flash-0731 и GGUF-сборки Unsloth. Она не выпущена и не одобрена DeepSeek. Модель предназначена для генерации текста и локального запуска через llama.cpp, прежде всего на Apple Silicon с 64 ГБ памяти, включая сценарии агентного программирования и задач SWE-bench. Это MoE-модель примерно со 155,5 млрд параметров и около 13 млрд активных параметров на токен. В 40 основных MoE-слоях число маршрутизируемых экспертов сокращено с 256 до 128, а первые три hash-слоя сохраняют все 256 экспертов. Веса представлены в квантизации IQ3_XXS; используется GGUF. Основная сборка требует специальной модификации llama.cpp, тогда как альтернативная ZP256 совместима с обычной версией llama.cpp, но работает медленнее. Для ускорения поддерживается speculative decoding с отдельной моделью DSpark. Главное преимущество — возможность полностью разместить основную сборку на GPU 64-гигабайтного Mac mini M4 Pro и получить существенно более высокую скорость по сравнению с частичной выгрузкой исходной модели: до 21,2 токена в секунду при коротком контексте и 14,3–16,6 токена в секунду при агентном контексте 8–32 тыс. токенов. На подмножестве SWE-bench Verified из 100 задач модель решила 77,5% задач против 84,0% у официальной FP8-версии, поэтому pruning сопровождается заметным снижением качества. Калибровочная imatrix исходной модели отдельно для обрезанной версии не проверялась. Лицензия — MIT. Для работы основной сборки требуются совместимые патченные llama.cpp и настройка лимита выделяемой GPU-памяти macOS; заявленная производительность относится к конкретной конфигурации Mac mini M4 Pro 64 ГБ и может отличаться на другом оборудовании.

duyntnet/gemma-2-27b-it-imatrix-GGUF — набор квантизированных версий instruction-tuned языковой модели Gemma 2 27B IT, опубликованный пользователем duyntnet на базе модели Google gemma-2-27b-it. Формат GGUF предназначен для запуска через llama.cpp и совместимые клиенты, включая KoboldCPP, text-generation-webui и Ollama. Модель относится к задачам генерации текста и поддерживает диалоговое взаимодействие с использованием специального chat template. Известно, что исходные веса модели имеют размер 27 миллиардов параметров и представлены в bfloat16; в данном репозитории опубликованы варианты с квантизацией imatrix. Модель ориентирована прежде всего на англоязычную генерацию, поскольку в карточке указан язык en. Она может применяться для ответов на инструкции, написания текстов, программного кода и других задач text generation. Точный набор квантизаций, размер контекста и архитектурные характеристики в README не указаны. Для запуска подходят llama.cpp и перечисленные совместимые интерфейсы. В README отмечены возможные проблемы Gemma 2 с SDPA и Flash Attention 2, поэтому рекомендуется использовать eager attention; это ограничение относится к исходной модели и способам запуска. Лицензия указана как other, без дополнительных условий в предоставленных данных.

Gemma4-12B-Reasoning-Distill — это производная от Google Gemma 4 12B Instruct, подготовленная пользователем yuxinlu1 и распространяемая в формате GGUF. Модель предназначена для локального и офлайн-использования через llama.cpp и совместимые приложения, включая LM Studio, Jan и Ollama. Она ориентирована на диалоги, генерацию текста, программирование и задачи, требующие рассуждений; дообучение выполнено на синтетических данных рассуждений, связанных с Claude Opus 4.6, 4.7 и 4.8. Модель использует архитектуру Gemma 4 и имеет размер 12B параметров. Доступны варианты квантования Q2_K, Q4_K_M, Q6_K, Q8_0 и F16 размером примерно от 4,5 до 22,2 ГБ. Максимальная длина контекста заявлена до 131K токенов и зависит от квантования, объёма памяти и типа KV-кэша. Поддерживается режим рассуждений через нативный thought channel Gemma; рекомендованные параметры генерации — temperature 1.0, top_p 0.95 и top_k 64. Дополнительно доступен MTP draft-модель для speculative decoding, способная ускорять генерацию без изменения результата при использовании свежей версии llama.cpp. Сильные стороны модели — небольшой объём по сравнению с полноразмерными моделями, возможность запуска на локальном оборудовании, приватность и отсутствие зависимости от облачного API. Ограничения включают англоязычную направленность, стилистический характер синтетических рассуждений, необходимость перепроверять факты и числа, а также сниженную безопасность: модель менее склонна к отказам и не считается safety-aligned, поэтому для production-сценариев нужны собственные защитные механизмы. Производительность и доступный контекст зависят от выбранного квантования и оборудования. В README указана лицензия Apache 2.0 для производной модели и базовой модели Google Gemma 4.

Карточка модели nvcky/MiniFABLECPM5-Thinking на Hugging Face совпадает с карточкой GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking, поэтому описание составлено по ней. MiniCPM5-1B-Claude-Opus-Fable5-Thinking — компактная языковая модель, созданная дообучением openbmb/MiniCPM5-1B на данных Fable 5. Она предназначена для локального диалога, генерации и отладки кода, выполнения инструкций, рассуждений и вызова инструментов в формате MiniCPM5. Модель использует плотную архитектуру Llama, содержит 837,6 млн параметров и принимает контекст до 131 072 токенов. Доступны веса Safetensors для Transformers; для запуска через llama.cpp, Ollama или LM Studio автор указывает отдельную GGUF-версию. Карточка заявляет улучшения в задачах кодирования и следования инструкциям по сравнению с базовой моделью. Модель поддерживает шаблон Thinking, поэтому перед итоговым ответом может выдавать блоки рассуждений, которые приложению может потребоваться убрать. Масштаб 1B ограничивает её возможности в сложных задачах общего рассуждения по сравнению с более крупными моделями. Лицензия — Apache-2.0.

Muse-Glimmer-30B-Abliterated-GGUF — экспериментальная версия 30-миллиардной агентной on-device-модели Muse Glimmer, разработанная Blackfrost на базе meta-models/Muse-Glimmer-30B от Meta. Модель распространяется в формате GGUF для локального запуска через llama.cpp на одной потребительской видеокарте или CPU, полностью офлайн. Вариант abliterated получен изменением весов, направленным на удаление отказов модели; заявленные тесты на 450 запросах показали отсутствие истинных отказов, однако эти результаты относятся к родительской модели и могут не отражать все сценарии использования. Архитектура muse_glimmer включает 52 слоя, скрытое пространство размером 6656, GQA с 32 query- и 2 key/value-головами, sliding-window attention и vision tower. Поддерживаются текстовые и визуальные входы, при этом для обработки изображений требуется отдельный mmproj-проектор. Контекстное окно составляет 131 072 токена. Доступны квантизации от Q2_K до Q8_0 размером примерно от 10 до 27,6 ГБ; рекомендуемым балансом качества и размера назван Q4_K_M. Для ускорения генерации предусмотрен DFlash drafter со speculative decoding в llama-server. Модель предназначена для локальных агентных, мультимодальных, кодовых и общих диалоговых сценариев, включая работу в условиях ограниченного или отсутствующего сетевого доступа. К сильным сторонам относятся большое контекстное окно, локальная работа, широкий выбор квантизаций и поддержка спекулятивного декодирования. Ограничения включают экспериментальный статус, необходимость совместимой свежей версии llama.cpp, значительные требования к памяти, а также потенциальные риски и непредсказуемость поведения из-за удаления защитных отказов. Базовая модель и производная распространяются по лицензии Apache-2.0.

NeuralMonarchCoderPearlBeagle — объединённая авторская модель на базе Mistral, созданная с помощью LazyMergekit методом TIES из abideen/MonarchCoder-7B и eldogbbhed/NeuralPearlBeagle. По описанию автора, эксперимент проверяет, можно ли усилить навыки программирования и математики модели NeuralBeagle14-7B, сохранив её способности к диалогу. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации кода и текста, диалогов, математических задач и рассуждений. Автор характеризует слияние как экспериментальное и несколько хаотичное, поэтому качество на конкретных задачах может быть нестабильным. Репозиторий распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая не разрешает коммерческое использование.

AceInstruct-7B-GGUF — это квантизированная версия инструкционной языковой модели AceInstruct-7B, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF и предназначена для запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель относится к задачам генерации текста и ориентирована на выполнение инструкций, программирование, математику и задачи общего назначения. В README указана поддержка английского языка. Доступны варианты от F32 и F16 до Q2_K_L, включая различные форматы Q4, Q5, Q6, Q8 и IQ; размер файлов варьируется примерно от 3,35 до 30,47 ГБ. Это позволяет выбирать баланс между качеством, требованиями к памяти и скоростью локального вывода. Ключевые архитектурные характеристики исходной модели, включая точный тип архитектуры и размер контекста, в README не указаны. К преимуществам относятся широкий выбор уровней квантизации и возможность локального запуска, а ограничениями — потенциальное снижение качества у наиболее компактных вариантов, англоязычная специализация и отсутствие сведений о мультимодальности. Модель распространяется по лицензии CC BY-NC-4.0, допускающей использование с ограничениями для некоммерческих целей.