I.5Создание и редактирование текста

nicosuter/Qwen3.8-27B-AWQ — это мультимодальная квантованная версия модели Qwen/Qwen3.8-27B, подготовленная разработчиком nicosuter. Модель предназначена для обработки текста и изображений, включая программирование, математические и научные задачи, вызов инструментов, анализ документов, таблиц и визуальных вопросов. Архитектура и исходные веса унаследованы от Qwen3.8-27B; точное число параметров — 27 млрд. В модели применяется смешанная квантализация: большинство линейных слоёв используют асимметричный AWQ W4A16 с размером группы 128, а отдельные входные проекции Gated DeltaNet квантованы в int8. Зрительный модуль, MTP head, lm_head и ряд других компонентов сохранены в исходной точности, поэтому модель сохраняет мультимодальные возможности. Калибровка включала текстовые, длинноконтекстные, визуальные и связанные с вызовом инструментов примеры длиной до 32 768 токенов, однако точный максимальный контекст модели в карточке не указан. По приведённым тестам, относительно версии Qwen3.8-27B-FP8, среднее снижение качества составило около 0,12 процентного пункта; результаты на задачах вызова функций, программирования и мультимодального анализа практически сохранились. Ограничения включают возможную потерю качества из-за квантализации и отсутствие полноценных оценок агентного применения. Модель распространяется по лицензии Apache 2.0 и использует формат compressed-tensors, совместимый с указанным стеком Transformers и llm-compressor.

palmfuture/Qwen3.8-27B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия Qwen3.8-27B, опубликованная palmfuture и основанная на модели Qwen/Qwen3.8-27B. Модель предназначена для диалогов, следования инструкциям, генерации кода, математических рассуждений и работы с изображениями. Заявлены английский, китайский и тайский языки, а также сценарии codeswitching. Модель использует гибридную архитектуру с обычным attention и линейным attention на основе Gated DeltaNet/Mamba; визуальный encoder сохранён в формате bf16, как и embeddings, lm_head, нормализации и MTP-компоненты. Основной набор линейных слоёв квантизован в int4 с uniform group_size=32. Указана поддержка контекста до 262144 токенов в конфигурации SGLang; пример для vLLM ограничен 8192 токенами. В комплект входят веса Multi-Token Prediction для speculative decoding, совместимые с SGLang и vLLM. К сильным сторонам относятся существенное снижение требований к памяти, совместимость с популярными inference-системами, поддержка vision-задач и ускорение генерации за счёт speculative decoding. К ограничениям относятся необходимость корректной настройки runtime: для SGLang рекомендуется mamba-ssm-dtype=float32, поскольку float16 может вызывать дрейф состояния и ошибки в тайских диакритических знаках на длинных диалогах. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-int4-AutoRound — мультимодальная версия базовой модели Qwen/Qwen3.8-27B, подготовленная пользователем devan-carlin с использованием Intel AutoRound. Модель предназначена для генерации текста, решения математических и логических задач, программирования, работы с алгоритмами, а также анализа изображений и текстовых запросов. Модель содержит 27 млрд параметров и использует архитектуру qwen3_5 с 64 слоями и чередованием линейного и полноформатного внимания в соотношении 3:1. Поддерживается контекст длиной до 256K токенов. В репозитории присутствует vision tower Qwen3-VL, поэтому модель работает как в текстовом, так и в мультимодальном режиме. Квантизация выполнена в INT4 с помощью AutoRound, с размером группы 128 и симметричным представлением; отдельные компоненты сохранены в 16-битной точности. Основное преимущество — существенное снижение объёма памяти: около 18 ГБ против примерно 52 ГБ для BF16, а также более высокая скорость генерации на конфигурации из четырёх Intel Arc Pro B70. В заявленном тесте скорость составила 47,8 токена в секунду против 30,2 у BF16, при сопоставимом качестве на математических, логических, алгоритмических и программных запросах. Ограничением является более многословная генерация INT4-версии, из-за чего при длинных ответах может потребоваться увеличить параметр max_tokens. Для запуска рекомендуется vLLM с tensor parallelism; на XPU/ARK может потребоваться исправление qzeros guard для загрузки симметричных INT4-весов. Модель распространяется по лицензии Apache-2.0, как и базовая модель.

Youssofal/Qwen3.8-27B-MTPLX-Optimized-Quality — квантизированная версия Qwen/Qwen3.8-27B, подготовленная разработчиком Youssofal для запуска через MTPLX на компьютерах Mac с Apple Silicon. Модель предназначена для локальной генерации текста, программирования, задач с рассуждениями и работы в инструментах вроде OpenCode и Claude Code. Она использует архитектуру базовой модели Qwen3.8-27B, поддерживает контекст до 262 144 токенов и сохраняет multi-token prediction (MTP) для спекулятивного декодирования. Это 8-битная динамическая квантизация: матрицы весов хранятся в 8-битном формате с группами по 64 значения, а чувствительные компоненты, включая GDN-ядра, параметры рекуррентного состояния, нормализации и MTP-head, — в 16-битном. Размер загрузки составляет 29,4 ГБ, измеренное пиковое потребление unified memory — 32,7 ГБ; рекомендуется Mac минимум с 36 ГБ unified memory. Модель рассчитана на MacBook Pro, MacBook Air, Mac mini и Mac Studio на чипах M1–M5 и обеспечивает ускорение за счёт native speculative decoding, при этом заявлена близость к исходной bf16-модели: 99,3% совпадения top-1 на тестовом наборе и KL-дивергенция 0,0005. Сильная сторона модели — приоритет качества при сохранении высокой скорости локального вывода; README приводит скорость до 87,6 токена в секунду в отдельных сценариях и около 33 токенов в секунду при длинном рассуждении. Поддерживаются уровни reasoning effort low, medium и xhigh, а точность распределения вывода сохраняется при использовании спекулятивного декодирования. Ограничения — необходимость совместимого Mac с достаточным объёмом памяти, зависимость от MTPLX и отсутствие заявленной поддержки других аппаратных платформ. Модель распространяется по лицензии Apache-2.0.

TelperionAI/Qwen3.8-27B-NVFP4-AWQ-GPTQ — это квантованная версия базовой модели Qwen/Qwen3.8-27B, опубликованная под лицензией Apache-2.0. Модель предназначена для запуска большой языковой модели с меньшими требованиями к памяти, прежде всего в задачах генерации и обработки текста, включая программирование, математику, STEM, диалоги и многоязычные сценарии. В README также указана поддержка speculative decoding через MTP и возможность FP8-квантизации KV-кэша. Модель использует смешанную точность: основные MLP-слои квантованы в NVFP4 с группами размера 16 и FP8-масштабами, часть MLP-слоёв, attention- и GDN-модули работают в динамическом FP8, а эмбеддинги, lm_head, нормализации, параметры состояния GDN, MTP-голова и vision tower сохранены в BF16. Квантизация выполнена методом AWQ с последующим GPTQ и калибровкой на сбалансированном наборе данных из кода, математики, STEM, диалогов и многоязычных текстов. Размер чекпойнта составляет около 24,7 ГБ. По приведённому сравнению модель точнее других рассмотренных NVFP4-чекпойнтов и заметно компактнее FP8-версии, сохраняя высокую скорость инференса. AWQ повышает устойчивость к потере качества без увеличения размера или снижения пропускной способности. Ограничения включают необходимость Blackwell-класса GPU, совместимый vLLM с compressed-tensors и то, что оценка проводилась только на одном внутреннем корпусе; качество vision tower отдельно не оценивалось. Acceptance rate для MTP не измерялся.

hamishivi/Qwen3-8B — дообученная версия Qwen3-8B-Base с изменённым шаблоном чата, который сохраняет промежуточные рассуждения. Это плотная авторегрессионная языковая модель семейства Qwen3 на 7,6 млрд параметров, рассчитанная на генерацию текста и диалог; репозиторий использует Transformers и формат safetensors. Модель подходит для ответов на инструкции, многошаговых рассуждений, решения математических задач, генерации кода, перевода и многоязычного диалога. Она поддерживает переключение режимов рассуждения и обычного ответа, а интерфейс чата допускает интеграцию с инструментами. Метаданные указывают контекст до 40 960 токенов; README описывает 32 768 токенов штатно и до 131 072 с YaRN. В README заявлена поддержка более 100 языков и диалектов. Ограниченный объём карточки не содержит отдельной оценки качества именно этой модификации шаблона. Модель распространяется по лицензии Apache-2.0.

Litwein/Qwen3.8-Flash-Next-REAP320-oQ3e-DWQ-MTP-Vision-MTPLX — это мультимодальная квантованная версия Qwen3.8-Flash-Next, подготовленная Litwein для запуска через MTPLX на компьютерах Apple Silicon. Модель предназначена для генерации текста, агентских сценариев, задач рассуждения и программирования, а также для работы с изображениями, документами, графиками и визуальными вопросами. В обучающих данных указаны, в частности, SWE-bench, математические и кодовые наборы, ChartQA, DocumentVQA, TextVQA и COCO. Модель использует MoE-архитектуру с 512 исходными экспертами, из которых после REAP pruning оставлено 320. Она содержит 133,7 млрд параметров, общий уровень квантования составляет 4,28 бит на вес: маршрутизируемые эксперты представлены в 3-битном формате, отдельные компоненты используют 4–8 бит, а vision tower хранится в bf16. Поддерживаются английский и русский языки, текстово-визуальный ввод и контекст до 262 144 токенов архитектурно; в конфигурации для 48 ГБ памяти заявлено до 163 840 токенов. MTP sidecar и speculative decoding ускоряют генерацию, сохраняя распределение целевой модели. К сильным сторонам относятся мультимодальность, длинный контекст, поддержка агентских и reasoning-сценариев, а также высокая скорость декодирования на Apple M4 Pro с 48 ГБ памяти: примерно 31–35 токенов в секунду при глубине MTP 2. Ограничения включают зависимость от Apple Silicon с не менее 48 ГБ unified memory, MTPLX версии 2.11.2 или новее, быстрого SSD и около 72 ГБ свободного места. Это прунинговые и квантованные веса, поэтому характеристики могут отличаться от исходной модели Qwen3.8-Flash-Next. Лицензия указана как Qwen Community License 1.0.

Qwen-7B-Chat — диалоговая языковая модель семейства Qwen, разработанная Alibaba Cloud на основе предварительно обученной Qwen-7B с применением методов выравнивания. Это плотная Transformer-модель с архитектурой QWenLMHeadModel, 32 слоями, RoPE, SwiGLU и RMSNorm. В метаданных указано 11,4 млрд параметров и контекст длиной 32 768 токенов. Модель предназначена для многоходовых диалогов и генерации текста: она отвечает на вопросы, помогает с кодом и математическими задачами, а также может использоваться для длинных последовательностей и вызова внешних инструментов. README описывает токенизатор на основе tiktoken с большим словарём, ориентированным на китайский, английский и код; метаданные также указывают китайский и английский языки. Репозиторий содержит веса safetensors. Модель проверялась на китайском и английском понимании, математике, программировании, длинном контексте и использовании инструментов. Результаты могут колебаться из-за аппаратных и программных различий; при дообучении следует учитывать особенности специальных токенов токенизатора. Лицензия указана как other, поэтому перед использованием нужно проверить условия лицензирования в карточке модели.

SmolLM3-3B — открытая инструктивная языковая модель компании Hugging Face, рассчитанная на сильные результаты при небольшом размере. Это плотный декодерный Transformer с GQA и NoPE, содержащий 3,1 млрд параметров; модель дообучена на базе HuggingFaceTB/SmolLM3-3B-Base. Она поддерживает диалог, вызов инструментов и режимы с расширенными рассуждениями, а также генерацию и продолжение текста, включая задачи по математике, программированию и работе с длинными документами. Модель обучалась с контекстом 64 тыс. токенов; конфигурация задаёт 65 536 токенов, а README описывает расширение до 128 тыс. и 256 тыс. с YaRN. В README указаны английский, французский, испанский, немецкий, итальянский и португальский как нативно поддерживаемые языки; метаданные также отмечают китайский, арабский и русский. Доступны открытые веса и подробности обучения. Лицензия Apache-2.0. Модель подходит для чат-ботов, помощи в рассуждениях, генерации кода и математических ответов, а также сценариев с вызовом инструментов. Она может выдавать фактически неверные или логически непоследовательные ответы и воспроизводить смещения из обучающих данных; важные сведения следует проверять.

Unsloth SmolLM3-3B — инструктивная языковая модель, производная от HuggingFaceTB/SmolLM3-3B. Это плотный decoder-only Transformer с GQA и NoPE, рассчитанный на генерацию текста, диалоги, рассуждения и вызов инструментов. Модель содержит 3,1 млрд параметров и доступна в формате safetensors; карточка указывает лицензию Apache-2.0. Модель поддерживает многоязычные диалоги и задачи рассуждения, в том числе математику и программирование. В README заявлены обучение на контексте 64 тыс. токенов и расширение до 128 тыс. с YaRN; метаданные каталога указывают нативный контекст 65 536 токенов. Доступен режим расширенного рассуждения, включённый по умолчанию, и интерфейс вызова инструментов. README описывает SmolLM3 как открытую модель с опубликованными сведениями об обучении; версия Unsloth представлена как вариант с динамической квантизацией 2.0, хотя метаданные этого репозитория указывают формат safetensors. Сгенерированный текст может содержать фактические ошибки, противоречия и смещения, поэтому важные ответы следует проверять.

Hagwell/Ternary-Bonsai-2-27B-gguf — мультимодальная причинная языковая модель семейства Bonsai 2, разработанная Prism ML и производная от Qwen3.8-27B. Она предназначена для генерации текста, рассуждений, программирования, агентских сценариев и вызова инструментов, а также поддерживает обработку изображений при подключении отдельного vision-пакета. Модель рассчитана на локальный запуск через llama.cpp на CPU, GPU с CUDA и устройствах Apple с Metal. Модель содержит около 27,36 млрд параметров и использует гибридную архитектуру внимания: примерно 75% слоёв основаны на linear attention, а около 25% — на полном внимании. В архитектуре также используются SwiGLU, RoPE и RMSNorm. Языковые веса представлены в троичном формате со значениями −1, 0 и +1 и групповым масштабированием FP16; заявленный эффективный размер составляет около 1,72 бита на параметр. Доступны две упаковки GGUF: PTQ1_0 размером около 5,95 ГБ и PQ2_0 размером около 7,21 ГБ. Контекст поддерживает до 262 тысяч токенов. Для изображений предусмотрен отдельный vision-пакет формата Q8_0. К сильным сторонам относятся существенно меньший размер по сравнению с FP16, сохранение возможностей рассуждения, программирования и агентского поведения в низкобитном формате, а также возможность запуска 27B-класса на обычном ноутбуке или одной видеокарте. Заявлены результаты на уровне 98,2% от FP16 на среднем показателе 14 бенчмарков и производительность около 47 токенов в секунду на ноутбуке с Apple M5 Max. Ограничения включают необходимость специализированных ternary-ядер и совместимых сборок llama.cpp, а поддержка изображений требует отдельного пакета. Модель распространяется по лицензии Apache 2.0.

Tess-v2.5.2-Qwen2-72B — языковая модель для диалоговой генерации текста, созданная Мигелем Тиссерой (Migel Tissera) в серии Tess. Это плотная модель Qwen2 с 71,5 млрд параметров и контекстом до 131 072 токенов; она принимает текст и обучена следовать формату диалога ChatML. Модель дообучена на Qwen2-72B с использованием набора Tess-v2.5 из 300 тысяч синтетических примеров по широкому кругу тем, включая программирование, математику, STEM, бизнес, историю, общественные науки и искусство. Автор указывает на улучшения в рассуждениях, программировании и математике. Модель может поддерживать беседу и задавать уточняющие вопросы; чтобы отключить их, в системной инструкции можно попросить не задавать дополнительных вопросов. Обучение проводилось без RLHF и DPO. Модель подходит для диалоговых помощников, объяснений, рассуждений и помощи с кодом. Она может выдавать неточные, вводящие в заблуждение, предвзятые или оскорбительные ответы; результаты следует проверять. Автор характеризует модель как uncensored. Лицензия в метаданных обозначена как other, конкретные условия использования следует проверять в репозитории.

Misted v2 7B — языковая модель на архитектуре Mistral, созданная автором репозитория hflog слиянием нескольких моделей Mistral и misted-7b методом SLERP. Модель предназначена для генерации текста, написания кода, выполнения инструкций, решения загадок и диалогового общения. Модель содержит 7,1 млрд параметров, работает с контекстом до 32 768 токенов и распространяется в формате safetensors для Transformers. В метаданных указаны английский и испанский языки. Модель доступна по лицензии Apache 2.0.

Xing4.0-29B-A4B-GGUF — большая языковая модель серии Xing, разработанная China Telecom Artificial Intelligence Technology Co., Ltd. Это GGUF-представление модели Xing4.0-29B-A4B с квантованием смешанной точности IQ4_NL; размер файла составляет около 18 ГБ, что позволяет запускать модель на одной пользовательской видеокарте. Модель распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста, сложного рассуждения, программирования, инженерных задач, многошагового планирования, вызова инструментов и агентских сценариев. Она также подходит для дообучения под прикладные задачи, включая классификацию намерений, анализ таблиц, аудит договоров и ответы на вопросы по корпоративным знаниям. Заявлена совместимость с Transformers, vLLM, SGLang, KTransformers, LLaMA-Factory и MindFormers, а также с рядом агентских фреймворков. Архитектура включает MoE с 29 млрд общих параметров и 4 млрд активных параметров на токен, 40 слоёв, скрытый размер 3584, MLA-attention, 64 маршрутизируемых эксперта, 4 активных эксперта на токен и одного общего эксперта. Модель поддерживает контекст 256 тысяч токенов с возможностью расширения до 512 тысяч. Указана поддержка режима рассуждений, который можно включать или отключать при инференсе. README не сообщает полный список поддерживаемых языков и не описывает мультимодальные возможности, поэтому модель следует считать текстовой. Сильными сторонами являются большой контекст, высокая эффективность MoE при инференсе, ориентация на агентские и программные задачи, а также возможность локального запуска и доменной адаптации. Ограничения включают необходимость совместимого инференс-стека и значительный объём памяти; показатели бенчмарков приведены авторами README и могут зависеть от настроек оценки. Сведения о безопасности, фильтрации контента и конкретных языковых ограничениях не указаны.

Yi-1.5-9B-Chat-16K — диалоговая языковая модель семейства Yi, разработанная 01.AI. Это плотная авторегрессионная модель на архитектуре Llama с 8,6 млрд параметров и контекстом до 16 384 токенов. Она создана на базе Yi: семейство Yi-1.5 прошло дополнительное предобучение на корпусе объёмом 500 млрд токенов и тонкую настройку на 3 млн разнообразных примеров. Модель предназначена для диалогов и выполнения инструкций, а также для задач программирования, математики, рассуждений, понимания языка и чтения. В README отмечены улучшения по сравнению с Yi в этих задачах и сильные результаты среди открытых моделей сопоставимого размера. Репозиторий содержит веса в формате safetensors; лицензия — Apache 2.0. В предоставленных материалах не приведены отдельные результаты именно варианта 16K и перечень поддерживаемых языков.

Zrald-AI Qwen 3.8 27B zraldv1-cs — GGUF-версия модели Qwen3.8-27B, опубликованная Zrald и оптимизированная для компактного размера. Это чат-модель для генерации текста, диалогов, программирования и рассуждений. В репозитории указан файл размером 10,18 GiB; README приводит результаты замеров на AMD Instinct MI300X, включая сохранение 90,72% точности и скорость генерации 76,33 токена в секунду. Для запуска рекомендуется не менее 12 ГБ VRAM. Модель основана на Qwen/Qwen3.8-27B и заявлена как дообученная; доступна в формате GGUF для использования с llama.cpp. Базовая модель описана как мультимодальная, но сведения о поддержке изображений или видео именно этой сборкой не приведены. Лицензия — Apache-2.0.

Athena-1 3B — дообученная языковая модель для следования инструкциям, созданная на базе Qwen/Qwen2.5-3B-Instruct. Модель разработана для диалогов и генерации текста в компактных приложениях; она имеет архитектуру Qwen2 с 3,1 млрд параметров и поддерживает контекст до 32 768 токенов, а длина генерируемого ответа может достигать 8 000 токенов. Модель предназначена для создания чат-ботов, генерации и объяснения кода, решения математических задач, анализа документов и работы со структурированными данными, включая JSON и таблицы. README заявляет поддержку более 29 языков, в том числе английского, русского, китайского, французского, испанского, немецкого и японского; метаданные карточки отдельно подтверждают английский язык. Модель работает с текстом и может выдавать структурированные текстовые ответы. Это компактная модель для сценариев, где важны скорость и умеренные вычислительные ресурсы. Указанная лицензия — other; конкретные условия лицензии в предоставленных данных не раскрыты.

Cohere и Cohere Labs разработали Command A — авторегрессионную языковую модель на базе оптимизированного Transformer с 111 млрд параметров. Она принимает и генерирует текст, поддерживает диалог, вызов внешних инструментов и работу в сценариях RAG с фрагментами документов и цитированием источников. Модель ориентирована на корпоративные задачи, включая многоязычные сценарии и агентные приложения. Модель обучена с учителем и дополнительно настроена с помощью обучения на предпочтениях. В архитектуре чередуются слои со скользящим окном внимания размером 4096 токенов и слой с глобальным вниманием. Заявленная длина контекста — 256 тыс. токенов, хотя конфигурация Hugging Face по умолчанию ограничивает её 128 тыс. Поддерживаются 23 языка, в том числе русский и английский. Command A подходит для диалоговых ассистентов, ответов по документам, извлечения информации, суммаризации, перевода и категоризации. Для запуска требуется значительная вычислительная инфраструктура, несмотря на заявление разработчиков о возможности развёртывания на двух GPU; для работы с Transformers нужны изменения из исходного репозитория. Лицензия CC-BY-NC-4.0 предусматривает некоммерческое использование и требует соблюдения Acceptable Use Policy Cohere Labs.

Calcium-Opus-14B-Elite3 — диалоговая языковая модель на базе Qwen2.5-14B-Instruct, дообученная разработчиком на данных для пошагового рассуждения. Это плотная архитектура Qwen2 с 14 млрд параметров, предназначенная для генерации текста, следования инструкциям и решения многоэтапных задач, включая математику и программирование. Модель принимает текст и формирует текстовые ответы; поддерживает контекст до 131 072 токенов и, по карточке, генерацию ответов длиной более 8 тысяч токенов. Карточка заявляет поддержку более 29 языков, включая английский, русский, китайский, французский, испанский, немецкий, японский и арабский. Среди описанных сильных сторон — структурированные ответы, в том числе JSON, работа с таблицами, кодом и математическими задачами. Модель доступна в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Карточка предупреждает о возможных ошибках и повторениях в длинных или творческих ответах, неодинаковом качестве между языками и отсутствии актуальных сведений о событиях после обучения; для работы с длинным контекстом нужны значительные вычислительные ресурсы.

mlx-community/DeepSeek-R1-Distill-Qwen-14B — конверсия в формат MLX модели DeepSeek-R1-Distill-Qwen-14B, выполненная сообществом mlx-community с помощью mlx-lm версии 0.21.1. Это плотная авторегрессионная языковая модель семейства Qwen2 на 14 млрд параметров для диалогов и генерации текста. Она рассчитана на контекст до 131 072 токенов и поддерживает чатовый сценарий и интерфейс вызова инструментов. Модель подходит для ответов на вопросы, задач с рассуждениями, включая математику, а также генерации и помощи с программированием. README указывает на конверсию исходной модели в MLX, а метаданные — на safetensors и задачу text-generation. Лицензия в предоставленных данных не указана.

casperhansen/deepseek-r1-distill-qwen-7b-awq — это 4-битная AWQ-квантизованная версия DeepSeek-R1-Distill-Qwen-7B, опубликованная пользователем casperhansen. Исходную модель разработала DeepSeek; она создана на базе Qwen2.5-7B и дообучена на синтетических данных, сгенерированных DeepSeek-R1, для усиления способностей к рассуждению. Модель предназначена для текстовой генерации, диалогов и задач, требующих пошагового рассуждения, включая математику, программирование и ответы на вопросы. Это decoder-only модель архитектуры Qwen2ForCausalLM примерно с 7 млрд параметров, 28 слоями, 28 attention heads и контекстом до 131072 токенов. Она работает только с текстом; сведения о гарантированном наборе поддерживаемых языков в карточке этой версии не указаны. Ключевое преимущество версии casperhansen — снижение требований к памяти благодаря 4-битной AWQ-квантизации с group size 128 и размеру файлов около 5,58 ГБ, что упрощает локальный запуск. Ограничения включают возможную потерю качества из-за квантизации, зависимость результатов от используемого inference-движка и промпта, а также отсутствие в карточке подробных бенчмарков, описания безопасности и заявленных гарантий качества для разных языков. Репозиторий распространяется по лицензии MIT; для производных моделей также следует учитывать условия лицензии исходной модели Qwen.

DeepSeek-V4-Flash — текстовая генеративная модель семейства DeepSeek-V4. README описывает серию как смесь экспертов (MoE) с гибридным механизмом внимания CSA/HCA и контекстом до одного миллиона токенов; для Flash указано 284 млрд параметров, из которых активируются 13 млрд. В метаданных этого репозитория указаны архитектура DeepseekV4ForCausalLM, 10,7 млрд параметров и веса safetensors в формате FP8, что расходится с размером Flash в README. Модель предназначена для диалога, рассуждений, планирования и решения повседневных и сложных задач с длинным контекстом. README выделяет режимы ответа без рассуждений и с повышенным или максимальным уровнем рассуждений; среди сценариев применения также названы кодирование и агентные задачи. Репозиторий предоставляет отдельные скрипты для кодирования формата сообщений и разбора ответов, а стандартного Jinja-шаблона чата в выпуске нет. Модель принимает и генерирует текст. В README указана лицензия MIT. Поддерживаемые языки отдельно не перечислены; результат зависит от используемого формата запросов и конфигурации. Репозиторий создан 27 сентября 2026 года, поэтому сведения о выпуске следует считать предварительными.

puwaer подготовил сжатый вариант DeepSeek-V4-Flash-0731 методом REAP: в каждом MoE-блоке число маршрутизируемых экспертов сокращено с 256 до 132, при этом сохранены все 43 слоя и 6 экспертов на токен. Это причинная языковая модель с архитектурой DeepseekV4ForCausalLM и 10,7 млрд параметров в опубликованном чекпойнте; веса представлены в safetensors FP8. Модель предназначена для диалоговой генерации текста, рассуждений, решения математических задач и генерации кода. Поддерживает контекст до 1 048 576 токенов. По приведённым в карточке тестам, сжатый вариант сохраняет близкие к базовой модели результаты на математических и программных бенчмарках. Стандартная генерация работает, но модули многотокенного предсказания удалены, поэтому ускоренное спекулятивное декодирование на их основе недоступно. Результаты тестов получены при контексте 4096 токенов и отключённом thinking, что ограничивает переносимость этих показателей на другие настройки. Модель основана на deepseek-ai/DeepSeek-V4-Flash-0731; лицензия — MIT.

puwaer/DeepSeek-V4-Flash-0731-reap-150b-gguf — GGUF-сборка модели puwaer/DeepSeek-V4-Flash-0731-reap-150b, подготовленная для llama.cpp с использованием moe-compress и llama.cpp. Это текстовая генеративная модель класса Mixture-of-Experts (MoE), созданная на основе DeepSeek-V4-Flash-0731 и сжатая методом REAP: в каждом слое используется 132 маршрутизируемых эксперта вместо 256 в базовой модели. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и программирования. В GGUF встроен шаблон чата с включённым по умолчанию режимом reasoning; поддерживаются вызовы инструментов через OpenAI-совместимый интерфейс. Доступны варианты MXFP4_MOE размером 79,21 GiB, а также Q3_K_M, IQ3_XXS и Q2_K размером от 66,07 до 58,11 GiB. Вариант MXFP4_MOE битово идентичен исходному checkpoint, тогда как остальные являются повторной квантизацией уже 4-битных данных и могут сильнее снижать качество. Рекомендуется полный GPU offload; проверенный размер контекста — 4096 токенов. Базовый вариант помещается в одну видеокарту с 96 GB памяти. Сильные стороны модели — существенно меньший размер по сравнению с базовой моделью, сохранение высокой производительности после экспертного pruning и поддержка llama.cpp. Для REAP 150b приведены результаты исходного checkpoint: GSM8K — 0,9295, MATH-500 — 0,7140, HumanEval+ — 0,8963 и MBPP+ — 0,7593; отдельные варианты квантизации не тестировались, поэтому их влияние на точность не измерено. Языки и максимальный контекст модели в README не указаны. Распространение заявлено по лицензии MIT.

Это конверсия в формат MLX модели Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B, опубликованная сообществом mlx-community. Модель построена на архитектуре Qwen3.5 и предназначена для диалогов, работы с текстом и кодом, а также обработки изображений и видеовходов; доступны интерфейсы вызова инструментов. Веса представлены в BF16, сохранены шаблон чата и настройки мультимодального процессора. Репозиторий ориентирован на запуск на Apple Silicon через mlx-vlm; для мультимодального использования рекомендуется эта библиотека. Модель поддерживает английский, китайский, испанский, русский и японский языки. Лицензия — Apache 2.0, унаследованная от исходной модели. Размер параметров и длина контекста в предоставленных данных не приведены. Подробности о назначении и ограничениях исходной модели следует уточнять в её карточке.

Mihaiii создал прореженную версию модели cognitivecomputations/dolphin-2.6-mistral-7b-dpo: из исходных 7,24 млрд параметров удалены шесть слоёв, и в результате осталось около 5,93 млрд параметров. Модель основана на плотной архитектуре Mistral и предназначена для генерации текста; в метаданных также указан контекст длиной до 32 768 токенов. Модель подходит для диалоговых ответов, следования инструкциям и генерации кода. В карточке перечислены обучающие датасеты Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder и Capybara; это указывает на широкий набор инструкционных и кодовых сценариев, но не гарантирует качество для каждой задачи. Модель опубликована в формате Safetensors по лицензии Apache-2.0.

MaziyarPanahi/dolphin-2.6-mistral-7b-Mistral-7B-Instruct-v0.1 — чат-модель генерации текста, созданная слиянием Mistral-7B-Instruct-v0.1 и dolphin-2.6-mistral-7b методом SLERP. Это плотная авторегрессионная модель семейства Mistral на 7,1 млрд параметров; она принимает инструкции и диалоговые запросы и генерирует текстовые ответы. Указанное в метаданных окно контекста — 32 768 токенов. Модель ориентирована на общие диалоговые задачи и ответы на инструкции; теги карточки также указывают англоязычные данные и наборы для задач программирования. Модель распространяется в формате safetensors и имеет лицензию Apache-2.0. Качество и поведение зависят от формулировки запроса и данных слияния; конкретные результаты на бенчмарках в карточке не приведены.

dolphin-2.9.1-llama-3-70b-GGUF — это квантизированная версия языковой модели Dolphin 2.9.1, созданной Cognitive Computations на базе Meta-Llama-3-70B. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF и предназначена для локального запуска через совместимые инструменты, включая llama.cpp. Модель ориентирована на генерацию текста в диалогах и выполнение инструкций, а также на задачи программирования, математические задачи, function calling и агентские сценарии. Для обучения использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, Locutusque/function-calling-chatml и Agent-FLAN. Указанный шаблон запросов использует формат ChatML. Модель текстовая; сведения о поддерживаемых языках и размере контекста в README не приведены. Доступно множество вариантов квантизации от Q8_0 до IQ1_M, что позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. В README рекомендуются, в частности, варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; более компактные варианты экономят память, но снижают качество. Лицензия указана как llama3. Для точных условий использования следует дополнительно учитывать лицензию базовой модели Meta-Llama-3-70B.

Dolphin-2.9.1-Llama-3-8B-GGUF — квантизированная версия языковой модели Dolphin-2.9.1-Llama-3-8B, созданной cognitivecomputations на базе Meta Llama 3 8B. Дистрибутив подготовлен bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, программирование, математические задачи, function calling и агентские задачи. При дообучении использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, Orca Math, Locutusque Function Calling и Agent-FLAN. Доступны варианты квантизации от Q8_0 до низкобитных IQ- и Q-форматов, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Для работы предусмотрен chat-шаблон с ролями system, user и assistant. Сильной стороной модели является широкий охват инструкционных, кодовых, математических и инструментальных сценариев, а также возможность локального запуска через llama.cpp благодаря форматам GGUF. Более сильные варианты квантизации обычно обеспечивают лучшее качество, но требуют больше памяти; низкобитные варианты экономичнее, однако заметно уступают по качеству. Мультимодальность, поддерживаемые языки и размер контекстного окна в предоставленных данных не указаны. Лицензия обозначена как other, без дополнительных условий в README.

Dolphin-2.9.3-Mistral-7B-32k-GGUF — это квантизированная версия языковой модели Dolphin-2.9.3-Mistral-7B-32k, созданной Cognitive Computations на базе Mistral-7B-v0.3 от Mistral AI. Репозиторий GGUF подготовлен и квантизирован bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста в диалоговом формате, выполнения инструкций, программирования, решения математических задач, function calling и агентских сценариев. Модель содержит около 7 млрд параметров, работает с текстовой модальностью и поддерживает контекст до 32 000 токенов. Для обучения или дообучения использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, Locutusque/function-calling-chatml и Agent-FLAN. README не указывает полный перечень поддерживаемых языков, поэтому языковые возможности нельзя надежно уточнить. Главное преимущество репозитория — широкий выбор GGUF-квантизаций с разным компромиссом между качеством и потреблением памяти: от высококачественных Q8_0 и Q6_K до более компактных вариантов Q4, Q3 и IQ3. Более низкие уровни квантизации экономят память, но могут заметно снижать качество ответов; некоторые варианты отмечены как экспериментальные. Для работы требуется совместимый inference-движок, например llama.cpp. Лицензия — Apache-2.0.