II.1Анализ требований и архитектура ПО

Thespis-Krangled-7b-v2 — разговорная языковая модель на архитектуре Mistral, опубликованная cgato. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста; карточка указывает контекст длиной до 32 768 токенов. Для диалога предлагается шаблон с репликами пользователя и бота, совместимый с форматами Oobabooga и SillyTavern. Модель обучалась на смесях наборов Dolphin, UltraChat, Capybara, Augmental, ToxicQA, MagicCoder Evol Instruct, Yahoo Answers, OpenOrca и Airoboros 3.1. Её можно использовать для диалогов, ответов на вопросы и генерации кода. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Карточка не сообщает, на какой базовой модели выполнено дообучение, и не приводит оценки качества или подробных сведений о поддерживаемых языках. Результаты могут зависеть от промпта и выбранного шаблона диалога.

T-lite-0.1 — языковая модель на 7,5 млрд параметров, разработанная T-Bank AI на основе архитектуры Llama и предназначенная для дальнейшего дообучения. Это модель продолженного предварительного обучения, ориентированная на генерацию текста на русском языке и создание русскоязычных приложений с учётом языкового и культурного контекста России. Модель принимает текст и генерирует текст; в карточке указаны поддержка чата и контекст до 8192 токенов. Архитектура — плотный декодер Llama с RMSNorm, SwiGLU, RoPE и grouped-query attention. Обучение проводилось в bf16; веса доступны в формате safetensors. В обучающих данных преобладает русский язык, также сохранена часть английских данных и увеличена доля кода. В опубликованной оценке модель превзошла Llama-3-8B по общему результату бенчмарка MERA, но авторы отмечают снижение результатов на английских тестах после адаптации к русскому языку. Модель не позиционируется как готовый разговорный помощник: для прикладного использования предполагаются дополнительное дообучение и контроль качества и безопасности ответов. Лицензия в предоставленных данных не указана.

UNA-ThePitbull-21.4B-v2-GGUF — квантизированная версия большой языковой модели UNA-ThePitbull 21.4B v2, разработанной fblgit на основе saltlux/luxia-21.4b-alignment-v1.0. Квантизацию в формате GGUF выполнил bartowski с использованием llama.cpp и imatrix. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и универсальных задач обработки естественного языка. Указанный формат рассчитан на запуск через совместимые инструменты экосистемы llama.cpp. Модель содержит 21,4 млрд параметров и работает в текстовой модальности. В README не указаны поддерживаемые языки и размер контекста. Доступны варианты квантизации от Q4_K_S и Q4_K_M до Q8_0: более компактные варианты требуют меньше памяти, а Q6_K и Q8_0 обеспечивают более высокое качество при существенно большем размере файлов. В оценке Open LLM Leaderboard средний результат составил 77,82; среди отдельных показателей — 91,79 на HellaSwag, 77,73 на ARC, 78,24 на TruthfulQA, 87,37 на Winogrande, 68,25 на MMLU и 63,53 на GSM8K. Сильными сторонами заявлены сочетание разговорных качеств и способности к рассуждению, однако приведённые метрики отражают результаты исходной модели и не гарантируют идентичное качество каждой квантизированной версии. Ограничения включают отсутствие данных о мультимодальности, языковой специализации, контекстном окне и подробных условиях эксплуатации. Модель распространяется по лицензии AFL-3.0.

Карточка модели lmsys/vicuna-13b-v1.1 на Hugging Face совпадает с карточкой lmsys/vicuna-7b-v1.1, поэтому описание составлено по ней. Vicuna-7B-v1.1 — авторегрессионная языковая модель-чат-ассистент, разработанная LMSYS на основе архитектуры Transformer семейства LLaMA. Модель содержит 6,6 млрд параметров и дообучена на пользовательских диалогах, собранных из ShareGPT. Модель предназначена для генерации ответов в диалоге, а также для исследований и создания чат-ботов. Её могут использовать исследователи и энтузиасты в области обработки естественного языка, машинного обучения и искусственного интеллекта. Контекст модели составляет 2048 токенов. Модель работает с текстом и распространяется в формате PyTorch. В README указана некоммерческая лицензия; там же отмечено, что доступна более новая версия весов.

TheBloke/Vicuna-33B-1-3-SuperHOT-8K-fp16 — публикация TheBloke модели Vicuna 33B версии 1.3 от LMSYS в формате PyTorch fp16, объединённой с LoRA SuperHOT от Kaio Ken. Это авторегрессионная плотная трансформерная модель семейства LLaMA с 32,3 млрд параметров; для работы с контекстом до 8192 токенов README указывает использовать trust_remote_code=True или monkey patch с масштабированием RoPE. Модель предназначена для диалогового взаимодействия, создания чат-ботов и исследований больших языковых моделей. Она дообучена на пользовательских диалогах ShareGPT и может использоваться для генерации ответов и текста. В README сообщается, что тесты показали использование расширенного контекста 8K. Модель распространяется по некоммерческой лицензии. Для загрузки и инференса в описанной конфигурации требуются совместимая среда PyTorch и специальная настройка контекста; качество и поведение на длинных последовательностях могут зависеть от используемого способа масштабирования.

jungler9/vuse — текстовая разговорная модель для генерации ответов и рассуждений. В README она представлена как Ling-3.0-tiny, компактная гибридная MoE-модель для локального запуска и ресурсоограниченных сред. Однако карточка противоречит метаданным: README заявляет 7,9 млрд параметров, из которых активны 1,3 млрд на токен, а метаданные указывают 977,5 млн параметров и архитектуру Bailing MoE V3. Поэтому эти характеристики нельзя однозначно отнести к опубликованному репозиторию. README описывает чередование слоёв KDA и MLA и разреженную MoE-сеть с 128 экспертами, а также режимы быстрого ответа и пошагового рассуждения. Среди целевых сценариев названы агентные задачи, программирование, математика, научные рассуждения и следование инструкциям. Метаданные указывают контекст 131 072 токена, формат safetensors и возможность чата; заявленная в README поддержка FP8 и INT4 расходится с форматом репозитория. Модель опубликована под лицензией MIT. Из-за несоответствия README и метаданных размер, архитектуру и форматы весов следует считать неподтверждёнными; README также не перечисляет языки модели.

Это квантованные версии wisenut-nlp-team-wisenut-llama-3-8B-0.6-Instruct в формате GGUF, подготовленные командой featherless-ai-quants. Базовая модель предназначена для генерации текста и выполнения инструкций, поэтому может применяться в диалоговых системах, локальных ассистентах, подготовке и преобразовании текстов и других сценариях text-generation. Модель относится к семейству Llama и содержит 8 млрд параметров, однако сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Доступны варианты квантования IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0; их размер составляет примерно от 3 до 8,1 ГБ. Разные варианты позволяют выбирать компромисс между требованиями к памяти, скоростью работы и сохранением качества, но конкретные показатели производительности и качества не приведены. Формат GGUF удобен для локального запуска совместимыми инструментами, однако README не содержит инструкций по использованию, системных требований или результатов тестирования. Лицензия модели и условия её распространения в предоставленных данных не указаны.

WizardLM-2-7B-abliterated-GGUF — это квантизированная версия языковой модели WizardLM-2-7B-abliterated, опубликованная и подготовленная bartowski на основе оригинальной модели fearlessdots. Модель предназначена для генерации текста и запуска локально через llama.cpp; в README указан формат запросов с системным сообщением, ролями USER и ASSISTANT. Модель содержит 7 млрд параметров и представлена в формате GGUF с вариантами квантизации от Q8_0 до IQ1_S. Доступны сборки размером примерно от 1,61 до 7,69 ГБ. Квантизация выполнена с использованием llama.cpp и метода imatrix. В README не указаны поддерживаемые языки, размер контекстного окна, архитектура исходной модели или мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильная сторона семейства — широкий выбор вариантов квантизации, позволяющий подобрать баланс между качеством, размером файла и требованиями к памяти; для высокого качества рекомендуются Q6_K, Q5_K_M, Q5_K_S и некоторые варианты Q4. Более агрессивная квантизация экономит память, но снижает качество, особенно у вариантов IQ1. Модель распространяется по лицензии Apache-2.0.

Xwen-7B-Chat — диалоговая языковая модель команды xwen-team, дообученная на базе Qwen2.5-7B. Это плотная трансформерная модель с 7,1 млрд параметров для генерации текста и ведения диалога; она принимает текст и выдаёт текст. В метаданных указан контекст до 131 072 токенов, поддержка английского и китайского языков, интерфейс для вызова инструментов и библиотека Transformers. Модель предназначена для чат-ботов и ответов на пользовательские запросы. Авторы приводят результаты Arena-Hard-Auto, MT-Bench и AlignBench, где Xwen-7B-Chat показала результаты выше приведённых в карточке сравнений с рядом сопоставимых моделей; это результаты бенчмарков, а не гарантия качества для конкретного сценария. Авторы также предупреждают, что модель специально не обучали точно отвечать на вопросы о собственной личности и разработчиках. Веса распространяются по лицензии Apache-2.0. В README упомянуты отдельные репозитории с GGUF-квантованиями; эта карточка описывает версию в формате Safetensors.

Zamba2-1.2B-Instruct-v2 — диалоговая языковая модель Zyphra для генерации текста и ответов на инструкции. Она дообучена на базе Zyphra/Zamba2-1.2B с помощью SFT и DPO на наборах инструкций, диалогов, рассуждений, математики и предпочтений. Модель использует гибридную архитектуру: слои Mamba2 чередуются с общими attention-блоками Transformer; в них применяются LoRA-проекции. В метаданных указаны 2,6 млрд параметров, контекст до 4096 токенов и формат safetensors. Карточка отмечает низкую задержку генерации и меньший расход памяти по сравнению с сопоставимыми трансформерными моделями, а также приводит результаты тестов следования инструкциям и рассуждений. Модель предназначена для диалогов, выполнения инструкций, генерации текста и простых задач на рассуждение и математику. Для оптимизированного запуска рекомендуются ядра Mamba2; без них карточка предупреждает о более высокой задержке и расходе памяти. Лицензия — Apache-2.0.

Модель joannetai520/16_bit_model_try5 — дообученная плотная Llama-модель для генерации текста, опубликованная joannetai520. Она содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. В метаданных указаны возможности диалога и интерфейс вызова инструментов; модель обучалась с использованием Unsloth и библиотеки TRL от Hugging Face. Модель подходит для диалоговых сценариев и генерации текста на английском языке. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0. README указывает, что модель дообучена от joannetai520/16_bit_model_try5, то есть от самой себя; независимая базовая модель по предоставленным данным не устанавливается.

2026-05-leash-t2k-q3-1p7 — контрольная точка языковой модели в стандартном формате Hugging Face, доступная через AutoModelForCausalLM. По метаданным это плотная авторегрессионная модель семейства Qwen3 с 1,7 млрд параметров и контекстом до 40 960 токенов. Поддерживает генерацию текста и диалоговый режим; в метаданных также отмечен интерфейс вызова инструментов. Модель может использоваться для генерации продолжений текста и ведения диалога. README характеризует её как резервную копию исследовательского артефакта, но не описывает специальные сценарии или результаты оценки качества. Репозиторий содержит веса safetensors. Условия лицензии в предоставленных данных не приведены.

CausalLM/7B — это языковая модель на 7,1 млрд параметров от разработчика, представившего её как совместимую с Meta LLaMA 2. Модель имеет плотную архитектуру LlamaForCausalLM и контекст длиной 8192 токена; загружается через Transformers без удалённого кода. README описывает её как дистилляцию версии 14B, обученную для speculative sampling, с форматом диалога ChatML. Модель предназначена для генерации текста и диалоговых ответов на английском и китайском языках. В README сообщается о дообучении на синтетических данных, включая переписанные и многоязычные примеры, математические задачи и материалы энциклопедического характера. Указаны результаты на MMLU, CEval и GSM8K, однако заявленные сравнительные преимущества являются результатами автора и не гарантируют качество в других сценариях. Автор предупреждает о возможных галлюцинациях и ненадёжных ответах. Модель обучалась на неотфильтрованных данных и может выдавать оскорбительный, порнографический или жестокий контент; в README также отмечено отсутствие дополнительного RLHF-обучения безопасности. Лицензия репозитория — WTFPL, но README указывает, что из-за происхождения весов Qwen и использования весов LLaMA 2 могут применяться дополнительные ограничения их коммерческого использования.

airoboros-7b-gpt4-1.4 — полноточная дообученная модель семейства LLaMA с плотной архитектурой, созданная jondurbin на синтетических данных, сгенерированных GPT-4. Веса представлены в формате PyTorch; модель содержит около 6,6 млрд параметров и рассчитана на контекст до 2048 токенов. Модель предназначена для диалогов и генерации текста: она отвечает на вопросы, выполняет инструкции, помогает с программированием, письмом, загадками и ролевыми сценариями. Отдельно автор описывает режим ответов по предоставленному контексту, настроенный на использование информации из него. Обучающие примеры кода охватывают десять языков программирования, однако карточка не перечисляет естественные языки, на которых модель обучалась. Автор отмечает, что модель почти не тестировалась, поэтому качество и надёжность ответов не валидированы. В обучающем шаблоне заложено стремление отвечать без отказов независимо от законности или моральной стороны запроса. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

Awqward 2.5 32B Instruct — объединённая модель на архитектуре Qwen2, созданная автором репозитория maldv методом нормализованной интерполяции денойзенных сигналов. В основе лежит Qwen/Qwen2.5-32B-Instruct; в объединение также включены QwQ-32B-Preview, Rombos-LLM-V2.5-Qwen-32b, AiCloser/Qwen2.5-32B-AGI и EVA-Qwen2.5-32B-v0.2. Модель предназначена для диалоговой генерации текста и экспериментов с выводом в XML-подобном формате: автор объединил QwQ с instruct-моделью, чтобы улучшить поведение при таком выводе. Это плотная причинная языковая модель на 32 млрд параметров с контекстом до 32 768 токенов. Карточка указывает английский язык; метаданные отмечают поддержку чата и интерфейс для вызова инструментов. Автор сообщает, что провёл лишь ограниченное первоначальное тестирование, поэтому качество и устойчивость результатов не подтверждены систематической оценкой. Репозиторий распространяется по лицензии Apache-2.0.

BlueBerry-2 — дообученная модель для рассуждений на фарси и английском языке, разработанная artindnr на основе openai/gpt-oss-120b. Это причинная языковая модель с архитектурой gpt_oss и смесью экспертов; версия из репозитория — полноценно дообученный чекпойнт, а не LoRA-адаптер. Метаданные указывают 2,1 млрд параметров и контекст до 131 072 токенов. Модель предназначена для двуязычных диалогов, в том числе с переключением между фарси и английским в одном сообщении. Её специализация охватывает рассуждения над техническим текстом на фарси с английскими терминами, переводоподобные задачи и ответы на одном из двух языков или на их смеси. Поддерживаются чатовый формат Harmony и интерфейс вызова инструментов. Модель опубликована под лицензией Apache 2.0. Она не оптимизирована для других языков; возможны фактические ошибки и ошибки рассуждений, унаследованные от базовой модели. В README также отмечено отсутствие дополнительной настройки безопасности сверх базовой модели.

CAG-mistral-7b — языковая модель на архитектуре Mistral, дообученная авторами репозитория на Mistral-7B для генерации ответов с учётом достоверности сведений в контексте. Она предназначена для сценариев retrieval-augmented generation (RAG), где нужно отвечать по внешним документам, в том числе при наличии шумных или противоречивых источников. Среди заявленных сценариев — персонализированные ответы и разрешение конфликтов знаний; модель также оценивалась на вопросах по открытым и меняющимся во времени сведениям и на вопросах в условиях загрязнения дезинформацией. Модель содержит 7,1 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов. Карточка указывает английский язык и лицензию MIT. Ограничения качества и инструкции по развёртыванию в карточке не описаны.

Capybara Tess Yi 34B 200K DARE Ties GGUF — это квантизированная языковая модель для генерации текста, созданная на основе модели brucethemoose Capybara Tess Yi 34B 200K DARE Ties. Исходную модель разработал brucethemoose, а преобразование в формат GGUF выполнил TheBloke. Модель относится к семейству Yi и предназначена для текстового взаимодействия, генерации ответов и других сценариев, поддерживаемых системами text-generation. Модель имеет размер 34B параметров и рассчитана на работу с текстом; в карточке указан английский язык. Файлы представлены в формате GGUF, поддерживаемом llama.cpp и рядом совместимых приложений и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие инструменты для CPU- и GPU-инференса. Доступны варианты с различными уровнями квантизации от 2 до 8 бит, что позволяет выбирать между требованиями к памяти, скоростью и качеством. В README приведён шаблон запросов Orca-Vicuna с секциями SYSTEM, USER и ASSISTANT. К сильным сторонам относятся большой размер модели, возможность локального запуска и широкий выбор уровней квантизации. Ограничения включают зависимость качества и скорости от выбранной квантизации и аппаратной конфигурации; точные показатели производительности, перечень поддерживаемых языков помимо английского и фактический размер контекстного окна в README не указаны. Модель распространяется по лицензии yi-license; в метаданных она обозначена как other, а полный текст лицензии доступен по ссылке на лицензию Yi-34B.

commandr-35b-cpt-sft-i1-GGUF — это квантизированная версия текстовой авторегрессионной модели commandr-35b-cpt-sft, преобразованная в формат GGUF пользователем mradermacher на основе модели ubitech-edg. Модель создана для генерации текста и работы с языковыми задачами, включая ответы на вопросы, обработку материалов из научной, государственной, новостной и энциклопедической сфер. Обучение включало continual pretraining и supervised fine-tuning на английских данных, в том числе синтетических вопросах и ответах. Модель относится к классу AutoModelForCausalLM и содержит около 35 млрд параметров. Она поддерживает только текстовую модальность и английский язык. Репозиторий предоставляет множество вариантов квантизации GGUF с разным размером, скоростью и качеством: от IQ1_S размером 8,6 ГБ до Q6_K размером 28,8 ГБ. Варианты Q4_K_S и Q4_K_M позиционируются как сбалансированные по размеру, скорости и качеству, при этом Q4_K_M рекомендован как быстрый вариант. Низкобитные варианты требуют меньше памяти, но могут заметно уступать в качестве. Лицензия модели — Apache-2.0. README не указывает размер контекстного окна, точную базовую архитектуру, системные требования, результаты оценивания или гарантии качества, поэтому пригодность для конкретных сценариев следует проверять отдельно.

bartowski/datagemma-rig-27b-it-GGUF — это набор GGUF-квантизированных версий диалоговой текстовой модели datagemma-rig-27b-it, разработанной Google. Модель предназначена для генерации текста и разговорного взаимодействия, а также для локального запуска через совместимые инструменты, включая llama.cpp и LM Studio. В основе лежит модель размером 27 млрд параметров в формате instruction-tuned; доступны варианты от F16 до более компактных квантов Q8, Q6, Q5, Q4 и Q3, включая форматы, оптимизированные для ARM. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. README не содержит сведений о поддерживаемых языках, длине контекста, архитектуре, мультимодальности или точных целевых сценариях применения. Модель не поддерживает системный промпт; следует использовать указанный формат шаблона диалога. Сильными сторонами являются широкий выбор размеров файлов и компромиссов между качеством и требованиями к памяти: варианты Q6 и Q5 описаны как высококачественные, а Q4 — как более экономичные для локального использования. Более сильная квантизация уменьшает требования к ресурсам, но может снижать качество генерации. Распространение регулируется лицензией Gemma: для доступа на Hugging Face необходимо ознакомиться с условиями лицензии Google и принять их.

DeepSeek-R1-0528-Qwen3-8B-MLX-8bit — это 8-битно квантованная версия модели DeepSeek-R1-0528-Qwen3-8B, разработанной deepseek-ai. Квантование выполнено командой LM Studio с использованием mlx_lm и библиотеки MLX, созданной командой Apple Machine Learning Research. Модель предназначена для генерации текста и оптимизирована для работы на устройствах с Apple Silicon. Ключевая характеристика модели — 8-битное представление весов в формате MLX, что делает её адаптированной для локального запуска в экосистеме Apple. README не содержит сведений о поддерживаемых языках, размере контекста, точной архитектуре, мультимодальности, результатах тестирования или специализированных сценариях применения. К ограничениям относятся возможные неточности, вредное или неуместное содержание, характерные для генерирующих моделей, а также зависимость производительности от оборудования Apple Silicon. Модель распространяется по лицензии MIT.

mlx-community/DeepSeek-R1-4bit — это 4-битная версия модели DeepSeek-R1, разработанной командой DeepSeek и преобразованная сообществом mlx-community в формат MLX. Конвертация выполнена с использованием mlx-lm версии 0.21.0. Модель предназначена для локального запуска и генерации текста через библиотеку mlx-lm, включая сценарии с чат-шаблоном и передачей сообщений пользователя. README не содержит сведений о точной архитектуре, количестве параметров, поддерживаемых языках и модальностях, размере контекста, результатах тестирования, ограничениях или лицензии, поэтому эти характеристики нельзя достоверно оценить по представленным данным.

mlx-community/DeepSeek-R1-Distill-Llama-70B-8bit — это 8-битная версия модели DeepSeek-R1-Distill-Llama-70B, преобразованная в формат MLX сообществом mlx-community. Конвертация выполнена из исходной модели deepseek-ai/DeepSeek-R1-Distill-Llama-70B с использованием mlx-lm версии 0.20.2. Модель предназначена для генерации текста и диалоговых сценариев в экосистеме MLX, включая запуск через библиотеку mlx-lm. README не содержит подробных сведений об архитектуре, числе параметров, поддерживаемых языках, размере контекста, модальностях, результатах тестирования или сильных и слабых сторонах модели. Известно только, что используется 8-битное представление и предусмотрена поддержка chat template при наличии соответствующей конфигурации токенизатора. Для использования требуется установить mlx-lm и загрузить модель по её идентификатору. Лицензия в README не указана, поэтому условия использования определить по предоставленным данным невозможно.

bartowski/DeepSeek-R1-GGUF — набор GGUF-квантизаций модели DeepSeek-R1, разработанной deepseek-ai и подготовленной bartowski для запуска через llama.cpp. Модель предназначена для генерации текста и локального инференса, в том числе в LM Studio. Доступны варианты с разными уровнями квантизации — от Q8_0 до IQ1_M — чтобы выбирать между качеством ответов, требованиями к памяти и скоростью работы. В README не указаны точная архитектура исходной модели, число параметров, размер контекста, поддерживаемые языки и мультимодальные возможности, поэтому эти характеристики нельзя достоверно описать. Размер файлов зависит от варианта и составляет примерно от 133,56 до 713,29 ГБ; наиболее качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S и Q4_K_M, тогда как варианты Q2 и Q1 заметно уступают по качеству, хотя некоторые из них остаются пригодными для использования. Квантизации подготовлены с использованием imatrix и llama.cpp release b4514. Модель распространяется по лицензии MIT. Для работы следует использовать указанный формат промпта и совместимое программное обеспечение, например llama.cpp или LM Studio. Ограничениями являются исключительно большие требования к дисковому пространству и памяти, а также возможное снижение качества при выборе более агрессивной квантизации.

DeepSeek V4 Flash 0731 — DS4 Quality128 — это квантованный GGUF-вариант официальной модели DeepSeek-AI DeepSeek-V4-Flash-0731, подготовленный apetersson. Модель предназначена для генерации текста и работы в среде DS4, прежде всего на компьютерах Apple Silicon с 128 ГБ памяти. Основной файл содержит 43-слойную MoE-архитектуру примерно на 284,33 млрд логических параметров и заявленный обучающий контекст до 1 048 576 токенов. Поддерживаемые языки и мультимодальные возможности в README не указаны. Квантование ориентировано на сохранение качества: часть чувствительных экспертных тензоров хранится в нативном MXFP4, другие экспертные слои используют IQ2_XXS и Q2_K с калибровкой по importance matrix, а attention, общие эксперты и выходная голова — Q8_0. В комплект также входит необязательная трёхэтапная DSpark-модель для speculative decoding; она не является самостоятельной и должна загружаться вместе с целевой моделью. Совокупный размер двух GGUF-файлов составляет около 102,56 ГиБ. Сильными сторонами являются прямое квантование официальных весов без поведенческой модификации, сохранение нативных MXFP4-тензоров и приоритет качества на наиболее чувствительных компонентах. Ограничения связаны с высокими требованиями к памяти и необходимостью свежей версии DS4 из основной ветки. Структурная проверка CPU завершена, однако генерация через Metal, работа DSpark, производительность, пиковое потребление памяти и фактическая работа с контекстом в миллион токенов для этого артефакта ещё не подтверждены. Лицензия — MIT.

DeepSeek-V4-Flash-4bit — модель для генерации текста в формате MLX, опубликованная сообществом mlx-community при поддержке Lambda.ai. Она предназначена для использования с библиотекой mlx-lm и поддерживает сценарии диалоговой генерации через chat template, если такой шаблон доступен в токенизаторе. Из доступных данных известно, что модель представлена в 4-битном варианте, что указывает на применение 4-битного квантования. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, размере контекста, дополнительных модальностях, сильных сторонах, ограничениях или лицензии. Для работы требуется библиотека mlx-lm; конкретные требования к оборудованию в карточке не указаны.

mlx-community/DeepSeek-V4-Flash-8bit — это версия модели DeepSeek-V4-Flash, опубликованная сообществом mlx-community и предназначенная для генерации текста. Модель подготовлена для работы с библиотекой MLX и запуска через mlx-lm; в README также указана поддержка шаблона диалога, если он доступен в токенизаторе. Известно, что модель использует 8-битное представление и относится к категории text-generation. Она может применяться для диалоговой генерации и других задач создания текста, однако сведения об архитектуре, количестве параметров, размере контекста, поддерживаемых языках и модальностях в README отсутствуют. К сильным сторонам относятся интеграция с MLX и возможность локального запуска через mlx-lm. Ограничения и точные требования к аппаратному обеспечению не указаны. Лицензия в предоставленных материалах не обозначена.

RDson/Dolphin-less-Llama-3-Instruct-8B — объединённая разговорная модель на базе Llama 3 с 7,5 млрд параметров. Автор объединил cognitivecomputations/dolphin-2.9-llama3-8b и meta-llama/Meta-Llama-3-8B-Instruct, чтобы смягчить «роботизированный» стиль ответов Dolphin. Модель предназначена для генерации текста в диалогах. Она принимает текст и выдаёт текст, поддерживает контекст длиной до 8192 токенов. Репозиторий содержит веса в формате safetensors; GGUF-версии размещены в отдельном репозитории автора. Лицензия указана как other, поэтому конкретные условия использования следует проверять в карточке модели и у базовых моделей. README не сообщает о специальных ограничениях качества или целевых областях применения.

83fonseca/epicogames-Qwen3-4B-Instruct — дообученная текстовая модель семейства Qwen3, разработанная 83fonseca на базе unsloth/qwen3-4b-unsloth-bnb-4bit. Она предназначена для генерации текста и диалогового взаимодействия; метаданные также указывают интерфейс для вызова инструментов. Модель имеет плотную архитектуру Qwen3ForCausalLM, около 3,7 млрд параметров и контекст до 40 960 токенов. В карточке заявлено обучение с помощью Unsloth и библиотеки TRL. В метаданных указан английский язык. Модель распространяется под лицензией Apache-2.0. Карточка не описывает специализацию дообучения, конкретные наборы данных и результаты оценки качества, поэтому пригодность для отдельных предметных областей не установлена.

Dohyeon1/ERNIE-M-SMoE-ngroups56 — модель для генерации текста на базе архитектуры ERNIE 4.5 MoE, опубликованная на Hugging Face и предназначенная для использования с библиотекой Transformers. Модель имеет 3,3 млрд параметров и поддерживает контекст длиной до 131 072 токенов. Модель ориентирована на диалоговые сценарии и генерацию продолжений текста: ответы на запросы, создание черновиков, поддержание многошагового контекста и интеграцию в приложения на базе Transformers. Метаданные не содержат подтверждённых сведений о поддерживаемых естественных языках, лицензии, данных обучения и результатах оценки.