II.1Анализ требований и архитектура ПО

AtomicChat/Qwen3.6-27B-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.6-27B, подготовленный и самостоятельно квантизированный командой Atomic Chat из оригинальных весов с использованием importance matrix. Модель предназначена для локального и полностью офлайн-использования в задачах генерации текста, диалоговых сценариях, программировании, фронтенд-разработке и рассуждениях на уровне репозитория. Для работы рекомендуется использовать llama.cpp и применять шаблон чата Qwen3.6 через параметр --jinja. Модель содержит 27,8 млрд параметров, имеет плотную decoder-архитектуру с 64 слоями, 24 attention heads и 4 KV heads, словарь из 248 320 токенов и контекст до 262 144 токенов. Базовая Qwen3.6-27B поддерживает текст и изображения, однако представленные в этом репозитории GGUF-файлы являются текстовыми и не содержат vision projector. Доступны варианты квантизации от Q2_K до Q8_0; Q4_K_M заявлен как оптимальный баланс размера, скорости и качества, а Q6_K и Q8_0 обеспечивают более высокую точность при повышенных требованиях к памяти. К сильным сторонам относятся офлайн-запуск, широкий выбор размеров, калибровка всех вариантов с importance matrix и сохранение большинства характеристик полноточной модели, особенно начиная с Q4_K_M. Ограничения включают потерю качества в низкобитных вариантах, значительные требования к оперативной или видеопамяти и отсутствие поддержки изображений в поставляемых файлах. В README указана лицензия Apache-2.0.

MoonRide/Qwen3.6-27B-heretic-ara-GGUF — GGUF-квантизированная версия модели Qwen3.6-27B, разработанная MoonRide. Это декензурированная модификация исходной модели Qwen/Qwen3.6-27B, созданная с помощью Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA) с сохранением row-norm. Модель предназначена для генерации текста, программирования, агентских сценариев и работы с визуально-текстовыми запросами; исходная архитектура включает языковую модель с vision encoder. Модель содержит 27B параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура сочетает Gated DeltaNet и Gated Attention, а также обучалась с использованием multi-step MTP. В репозитории представлены различные GGUF-квантизации; рекомендованы IQ3_XS размером около 12 ГБ и IQ3_XXS размером около 11,2 ГБ. Ключевая особенность модели — значительно сниженная склонность к отказам: в приведённом сравнении она отказала в 16 из 100 тестовых случаев против 91 из 100 у исходной Qwen3.6-27B. При этом декензурирование может влиять на поведение и безопасность модели, а квантизация способна снижать точность по сравнению с оригинальными весами; измеренное KL-расхождение составляет 0,0221. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-GGUF — набор квантизированных моделей в формате GGUF для llama.cpp, подготовленный BatiAI на основе Qwen/Qwen3.6-35B-A3B от Alibaba. Модель предназначена для локального запуска на устройствах Mac, включая сценарии on-device AI, генерацию текста и кода, многошаговое агентное программирование, работу с репозиториями и вызов инструментов. Указана поддержка английского, корейского, японского и китайского языков. Это текстовая MoE-модель с заявленным общим размером 35B параметров и конфигурацией A3B; доступны варианты квантизации от IQ3 и IQ4 до Q6, Q8 и других K-квантов. Размер файлов составляет примерно от 13 до 35 ГБ, а рекомендуемый объём RAM — от 16 до 48 ГБ в зависимости от варианта. Основной набор является text-only, однако репозиторий также содержит vision projector, позволяющий использовать мультимодальный режим при соответствующей настройке. Поддерживаются ChatML, thinking и tool calling. Сильные стороны модели — ориентация на агентное программирование, рассуждение на уровне репозитория, длительные итеративные задачи, генерацию кода и интеграцию с локальными инструментами. Квантизация и imatrix-калибровка делают возможным запуск на потребительских Mac без облака и API-ключей, но более компактные варианты могут уступать по качеству оригинальной BF16-модели, а запуск требует значительного объёма оперативной памяти. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-OptiQ-4bit — это квантизированная версия языковой модели Qwen3.6-35B-A3B, подготовленная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локальной генерации текста на компьютерах Apple Silicon через MLX, без PyTorch и облачных сервисов. Она подходит для диалога, рассуждений, программирования, извлечения информации из длинного контекста, вызова инструментов и агентских сценариев. Модель использует смешанную точность: большинство параметров представлены в 4-битном формате, а чувствительные слои — в 8-битном. Всего квантизировано 510 слоёв, размер группы — 64; 392 слоя имеют 8-битную, а 118 — 4-битную точность. Размер модели на диске составляет около 22,1 ГБ. В комплект входит MTP-голова для speculative decoding, которая при использовании mlx-optiq может ускорять декодирование примерно в 1,4 раза. Поддерживаются текстовые задачи; конкретные языки и размер контекста в README не указаны. К сильным сторонам относятся чувствительно-ориентированная квантизация, локальная работа на Apple Silicon и результаты, превосходящие равномерную 4-битную квантизацию по суммарному Capability Score, особенно в вызове функций и извлечении данных из длинного контекста. Ограничениями являются требования к памяти из-за размера около 22,1 ГБ, привязка к экосистеме MLX и Apple Silicon, а также небольшое снижение результатов в отдельных тестах по сравнению с равномерной 4-битной версией. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная модель, созданная HauhauCS на основе Qwen/Qwen3.6-35B-A3B. Это вариант с усиленным удалением отказов: по заявлению автора, модель не отказывается от запросов и сохраняет функциональность исходной модели, хотя иногда может добавлять короткие дисклеймеры. Подходит для диалогов, генерации и анализа текста, программирования, рассуждений, а также работы с изображениями и видео. Модель использует архитектуру MoE с 35 млрд общих параметров и примерно 3 млрд активных параметров на один проход. Она содержит 256 экспертов, из которых для каждого токена выбираются 8, включает 40 слоёв и гибридное сочетание linear attention и full softmax attention в соотношении 3:1. Заявлен нативный контекст до 262K токенов. Поддерживаются текст, изображения и видео; в README указаны английский, китайский и многоязычный режимы. Для работы с изображениями требуется дополнительный файл mmproj. Основные преимущества — высокая заявленная устойчивость к отказам, мультимодальность, большой контекст и доступность множества GGUF-квантизаций, включая оптимизированные HauhauCS варианты K_P. Ограничения включают отсутствие встроенных защитных ограничений в Aggressive-варианте, значительные требования к памяти: размер файлов варьируется примерно от 11 до 44 ГБ, а также необходимость корректно настроить совместимый runtime, например llama.cpp или LM Studio. Для сохранения возможностей режима рассуждений рекомендуется использовать контекст не менее 128K токенов. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-iMatrix-NVFP4-MTP-GGUF — квантизированная мультимодальная версия модели Qwen3.8-27B, разработанная автором cdiamond на основе Qwen/Qwen3.8-27B. Модель предназначена для работы в llama.cpp и сценариев, связанных с программированием, инфраструктурными задачами, вызовами инструментов, агентскими системами и обработкой изображений. Указан контекст до 256 тысяч токенов; поддержка зрения реализуется через отдельный проектор mmproj-Qwen3.8-27B-F16.gguf. Модель поставляется в формате GGUF и имеет размер 17,1 ГБ. Это смешанная квантизация примерно 5,01 BPW: основная часть весов использует NVFP4, а чувствительные матрицы внимания, Gated DeltaNet, поздние FFN-слои, эмбеддинги и выходная голова хранятся с более высокой точностью Q5_K, Q6_K или Q8_0. В GGUF встроен обученный MTP-слой для ускорения генерации. Калибровка проводилась на данных агентских сессий, включавших код, инфраструктуру, вызовы инструментов и польско-английские диалоги, однако эти данные не распространяются. Сильные стороны модели — сочетание компактного размера, поддержки длинного контекста, мультимодальности и высокой скорости на совместимом оборудовании. В описанных тестах она достигала 50,441 токена в секунду в производственной серии и обрабатывала заполненный контекст объёмом 261 500 входных токенов без усечения и нехватки памяти. Результаты зависят от GPU, версии llama.cpp и используемых патчей; часть измерений получена на локальной ветке runtime, не вошедшей на момент публикации в upstream. Модель не является дообученной версией, а представляет собой квантизацию базовой модели. Лицензия — Apache-2.0.

Davidmg0815/Qwen3.8-27B-MTP-GGUF — это GGUF-конверсия модели Qwen/Qwen3.8-27B, опубликованная Davidmg0815 и собранная из оригинальных BF16-весов. Репозиторий предназначен для запуска через llama.cpp и содержит отдельную MTP-модель для speculative decoding, благодаря чему Multi-Token Prediction можно использовать в llama-server. Модель рассчитана на текстовые и мультимодальные сценарии: диалог, рассуждения, генерацию и анализ текста, программирование, структурированный вывод, а также обработку изображений и видео при использовании отдельного vision/video-проектора. В метаданных указаны немецкий и английский языки. Доступны целевая модель в вариантах Q8_0 размером 27,3 ГБ и Q6_K размером 21,0 ГБ, отдельный MTP-draft размером около 3,0 ГБ и мультимодальный проектор F16 размером около 0,9 ГБ. Заявлен контекст до 262 144 токенов; в тестовой конфигурации использовался KV-cache q8_0. Сильная сторона сборки — эффективное speculative decoding: на трёх RTX 3080 по 20 ГБ MTP увеличивал скорость до 2,79 раза для рассуждений и примерно в 1,7 раза для обычного связного текста. В тестах указаны результаты 98,0% на MATH-500 и 88,4–90,2% на HumanEval+. При этом выигрыш от MTP сильно зависит от типа текста: для предсказуемых последовательностей он выше, а для творческого текста и кода ниже. Q8_0 ориентирован на максимальное сохранение качества, тогда как Q6_K быстрее и требует меньше памяти; различия в качестве между ними в приведённых тестах не обнаружены. Для работы MTP необходимы совместимые целевая и draft-модели и llama.cpp с соответствующими параметрами. Лицензия — Apache-2.0.

Qwen3.8-27B-NVFP4-all — текстовая генеративная модель на базе Qwen3.8-27B, разработанная сообществом thomasgardiner с использованием базовых чекпойнтов Qwen и RadixArk. Архитектура сочетает Gated DeltaNet и полное внимание, включает 64 слоя и поддерживает ввод и вывод текста. Модель предназначена для генерации текста, решения математических задач, ответов на сложные вопросы, следования инструкциям и генерации кода. Ключевая особенность — оптимизация NVFP4-квантизации для ускорения декодирования на GPU NVIDIA RTX 5090 и платформах SM120. Часть линейных проекций переведена из FP8 в NVFP4 с симметричной блочной схемой квантизации, тогда как отдельные компоненты сохраняют формат BF16. Размер чекпойнта уменьшен с 20,6 до 18 ГБ. Заявлено ускорение декодирования на 13–17% относительно RadixArk/Qwen3.8-27B-NVFP4 при сопоставимой точности; в полном стеке оптимизаций прирост относительно стандартного SGLang достигает 25–33% на фиксированных запросах. По представленным тестам модель сохраняет близкую к исходному NVFP4-чекпойнту точность на GSM8K, MATH-500, GPQA Diamond, IFEval и HumanEval, однако небольшое снижение наблюдается на части математических и кодовых задач. Для эффективного использования требуются совместимые версии SGLang и FlashInfer, CUDA 13.0, а на SM120 — специальный патч backend b12x; рекомендуемая конфигурация использует спекулятивное декодирование DFlash2. Лицензия — Apache-2.0.

JACK-POTTSSON/Qwen3.8-27B-OBLITERATEDpintus — текстовая generative-модель на базе Qwen/Qwen3.8-27B, распространяемая под лицензией Apache-2.0. В README она представлена как модифицированная версия Qwen с удалёнными или ослабленными механизмами отказа от ответов; описанный подход сочетает методы SVD и LEACE. Модель предназначена для генерации текста и кода, следования инструкциям, отладки, проектирования систем, извлечения данных по JSON-схеме, агентских сценариев и исследований AI safety и red teaming. Заявлены варианты в форматах GGUF, Safetensors и MLX, а также поддержка thinking mode. Для рекомендуемого режима указаны температура 0, repetition_penalty 1.15, max_new_tokens не менее 2048 и отсутствие системного промпта. README сообщает о результатах MMLU около 83,7% для V3 и 84,32% для V2, а также о семи успешных тестах из восьми на расширенных прикладных задачах; при этом эти показатели относятся к указанным в README версиям и не обязательно полностью подтверждают именно данный идентификатор. К сильным сторонам относятся близкая к исходной производительность, генерация кода и сниженная частота отказов. Ограничения включают возможную деградацию качества при sampling и repetition_penalty ниже рекомендуемого, риск циклической генерации без штрафа повторов, неполные сведения о точной архитектуре, размере контекста и поддерживаемых языках, а также потенциальную нестабильность поведения thinking mode. Отсутствие защитных отказов повышает риски небезопасного применения, поэтому модель особенно требует контроля при использовании в продуктивных и агентских системах.

YTan2000 собрал вариант Qwen3.8-27B с квантованием TurboQuant TQ3_4S и форматом GGUF для запуска через специальную сборку llama.cpp-tq3. Модель предназначена для диалогов, генерации кода и многошаговых задач; с подключённым проектором mmproj поддерживает анализ изображений и видео. Веса основаны на Qwen/Qwen3.8-27B, в которой используются гибридная архитектура Gated DeltaNet и Gated Attention и обученные головы Multi-Token Prediction для ускорения генерации. В карточке указаны 27 млрд параметров у базовой модели, контекст до 262 144 токенов, размер файла 13,8 ГБ и квантование 4,24 бит на вес. Версия v2 включает исправленный шаблон чата для строковых аргументов инструментов и режима без рассуждений; для v1 требуется отдельно указать шаблон. README приводит результаты тестов генерации кода и скорости на RTX 3090, но они зависят от конфигурации запуска. Для работы требуется TurboQuant-версия llama.cpp; поддержка изображений и видео требует файла mmproj. Лицензия — Apache-2.0.

IsValorum/Qwen3.8-35B-A3B-Distill-MTP-APEX-I-MiniPlus-V2.1-GGUF — это GGUF-квантизированная версия модели empero-ai/Qwen3.8-35B-A3B-Distill, подготовленная IsValorum. Модель предназначена для генерации текста, рассуждений, программирования и других задач, поддерживаемых llama.cpp и совместимыми инструментами. Архитектура основана на разреженной смеси экспертов (MoE): заявлены 35 млрд параметров и около 3 млрд активных параметров на токен, 40 слоёв и 256 микроэкспертов. Заявленный максимальный контекст — 256K токенов. Модель поддерживает английский, китайский, испанский, французский, немецкий, португальский, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. Квантизация APEX-I-MiniPlus V2.1 использует комбинацию форматов IQ3_XXS, Q3_K, Q5_K, Q6_K, Q8_0 и F32; размер файла составляет приблизительно 13,74 GiB. В README заявлены сохранение маршрутизации экспертов в F32, оптимизация для работы с системной RAM и поддержка Multi-Token Prediction. Для мультимодальных сценариев упоминаются отдельные компоненты mmproj и MTP, однако основная карточка относится к текстовой GGUF-модели. Сильными сторонами заявлены компактный размер при сохранении качества, поддержка длинного контекста и возможность запуска с частичной или полной выгрузкой в GPU VRAM либо системную RAM. Производительность существенно зависит от видеопамяти, процессора, пропускной способности памяти и настроек llama.cpp; приведённые в README показатели скорости и perplexity являются заявленными авторами и не подтверждены независимой проверкой. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-MLX-Serve-iQ-MLX-3.3bpw — это квантованный пакет модели Qwen3.8-Flash-Next, разработанной Qwen и адаптированной пользователем ddalcu для запуска через mlx-serve на компьютерах Mac с 64 ГБ памяти. Модель предназначена для генерации текста, работы с агентами, кодом, прозой и математическими задачами, а также поддерживает обработку изображений и видео благодаря встроенной vision tower. Доступен формат вызова инструментов Qwen3.8 с XML-синтаксисом; режим рассуждений включён по умолчанию и может быть отключён. Пакет использует экспериментальную архитектуру Qwen4 с MoE, gated residual streams, n-gram embedding и Qwen Sparse Attention. Полный исходный чекпойнт включает около 180 млрд параметров: 125 млрд параметров основного ствола, 51 млрд параметров n-gram-таблицы и 4 млрд параметров MTP-головы. В данном варианте веса квантованы примерно до 3,3 бит на параметр с imatrix-калибровкой. Заявлена нативная длина контекста до 262 тысяч токенов, а для 64-ГБ Mac рекомендован размер контекста 65 536 токенов. Пакет занимает около 52 ГБ оперативной памяти; измеренная скорость на M4 Max составляет примерно 52,6 токена в секунду при декодировании и 762 токена в секунду при предварительной обработке. Главное преимущество — возможность разместить крупную мультимодальную MoE-модель на Mac с 64 ГБ памяти при сохранении около 99% вероятностной массы более тяжёлого варианта mixed-4-8bit. Ограничения связаны с потерями качества из-за агрессивной квантизации, требованиями к памяти и специфической инфраструктурой MLX. N-gram-таблица объёмом 32 ГБ подгружается через отображение файла и при холодном кэше может замедлять обработку длинного первого запроса. Для использования требуется mlx-serve и macOS с настройкой лимита GPU-памяти. Лицензия указана как qwen-community-1.0.

Это конвертированная в формат Llama версия инструктивной языковой модели Qwen2.5-7B-Instruct. Репозиторий создан llamafy; модель предназначена для программ, совместимых с форматом Llama. По метаданным, это плотная причинная языковая модель на 7,1 млрд параметров с контекстом до 4096 токенов, сохранённая в safetensors и используемая через библиотеку Transformers. Модель подходит для диалогов и генерации текста, включая код и структурированные ответы, которые поддерживает базовая Qwen2.5-7B-Instruct. В метаданных указаны языки китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Лицензия в предоставленных данных не указана.

Qwopus3.5-122B-A10B-Kimi-K2.6-destill-healed-abliterated — мультимодальная модель OpenYourMind на архитектуре Qwen3.5 MoE, дообученная на базе Qwen/Qwen3.5-122B-A10B. В модели 122 млрд параметров, около 10 млрд активных; веса представлены в BF16 и формате safetensors. Она принимает текст и изображения, включая видеокадры, и генерирует текст. Карточка заявляет поддержку диалога, рассуждений, программирования и работы с инструментами. Модель прошла абляцию отказов, несколько этапов SFT и DPO на данных, дистиллированных из Claude Opus и Kimi K2.6; заявленные цели — сохранить рассуждения, улучшить полноту ответов и сократить повторы. Заявления о качестве и результатах бенчмарков приведены автором карточки. Vision tower и MTP head сохранены, поэтому модель совместима по архитектуре с исходной Qwen3.5-122B-A10B. Для загрузки требуются ресурсы для хранения и вычислений, соответствующие весам общим объёмом около 250 ГБ. Лицензия — MIT.

d0xin выпустил Swift-Qwen3.8-27B-Uncensored-BF16 — BF16-производную модели ukisai/Swift-Qwen3.8-27b на архитектуре Qwen3.5 dense с генерацией текста по текстовому и визуальному вводу. Модель рассчитана на диалоги, рассуждения, программирование, агентные сценарии и вызов инструментов; заявленная конфигурация контекста — 262 144 токена. Чекпойнт занимает около 52 ГБ, работает через Transformers и может обслуживаться через OpenAI-совместимый API SGLang. Модель получена ранговой абляцией направления в residual stream: изменены 131 из 1199 тензоров, а веса зрения оставлены без изменений. Автор сообщает, что на фиксированной проверке из 100 запросов модель не отказала ни разу, хотя в 10 случаях ответ сопровождался оговоркой; на отдельной проверке из 298 примеров измеримого снижения качества по сравнению с исходной моделью не обнаружено. Эти результаты относятся к описанным наборам и настройкам и не гарантируют поведение на других запросах. Из-за снижения склонности к отказам модель может выдавать небезопасный, незаконный или недостоверный контент. Лицензия указана как other; карточка рекомендует lawful use и предупреждает, что модель не предназначена для регулируемых профессиональных консультаций.

Viper-Coder-Hybrid-v1.3 — дообученная модель для генерации кода и технических текстов, созданная на базе Viper-Coder-v1.1. В карточке указано, что она использует архитектуру Qwen 2.5 с 14 млрд параметров; метаданные относят её к семейству Qwen2 и указывают контекст до 131 072 токенов. Модель работает с текстом и поддерживает диалоговый интерфейс и интерфейс вызова инструментов. Модель предназначена для написания, анализа и отладки кода, решения алгоритмических и логических задач, математических рассуждений, обработки структурированных данных и подготовки технической документации. README заявляет поддержку программирования на Python, JavaScript, C++, Java, SQL и других языках, а также документации на более чем 29 естественных языках; метаданные карточки указывают английский и китайский. Заявленная длина генерации — до 8 000 токенов. Модель может требовать мощных вычислительных ресурсов. README предупреждает о возможных ошибках в длинных ответах, разнице качества между языками программирования, зависимости результата от формулировки запроса и отсутствии доступа к актуальной информации из интернета. Лицензия — Apache-2.0.

Virtuoso-Small-v2 — языковая модель на 14 млрд параметров от Arcee AI, основанная на архитектуре Qwen2.5-14B. Модель дообучена с дистилляцией логитов DeepSeek-V3 на большом текстовом корпусе, затем дополнительно выровнена с помощью DPO. Для совместимости при переносе знаний применялась обработка токенизатора; итоговая модель использует токенизатор Qwen. Метаданные указывают контекст до 131 072 токенов и формат Safetensors. Модель предназначена для диалоговой генерации текста, ответов на технические и научные вопросы, решения математических задач и генерации кода. В карточке также заявлен интерфейс вызова инструментов. README описывает дистилляцию знаний DeepSeek-V3 и улучшение следования инструкциям, однако количественные сравнительные оценки не приведены. Модель распространяется по лицензии Apache-2.0. Среди ограничений указаны возможные пробелы в знаниях о событиях после июня 2024 года и риск генерации вредного или предвзятого текста; заявленная длина контекста в README округлена до 128k токенов.

XVERSE-13B-256K — многоязычная плотная авторегрессионная языковая модель, разработанная Shenzhen Yuanxiang Technology. Это длинноконтекстная версия XVERSE-13B-2: модель прошла продолжение предобучения с настройкой ABF и дообучение с учителем на основе NTK. В метаданных указано 13,2 млрд параметров; README заявляет окно контекста до 256 тысяч токенов, тогда как метаданные указывают native context в 32 768 токенов. Модель предназначена для работы с длинными документами и последовательностями: ответов на вопросы по одному или нескольким текстам, суммаризации литературы и отчетов, анализа текстов и дополнения кода. Для расширения контекста применяются RoPE с измененной базовой частотой и динамическая интерполяция NTK; обучение включало длинные последовательности от 32K до 256K. README описывает многоязычные возможности и приводит оценку на LongBench с задачами на английском, китайском и кодом. Модель принимает текст и генерирует текст. Она может выдавать неточные, предвзятые или оскорбительные ответы, поэтому результаты требуют проверки, а перед развертыванием рекомендуется провести тесты безопасности для конкретного применения. Лицензия Apache-2.0.

XVERSE-65B-Chat — диалоговая версия модели XVERSE-65B, разработанная компанией 元象 (XVERSE). Это плотная авторегрессионная языковая модель на архитектуре Transformer с 65,6 млрд параметров и контекстом до 16 384 токенов. Модель выровнена для диалоговой генерации; в обучающих данных уделялось внимание программированию, математике, ролевому общению, вызову инструментов, ответам на вопросы, генерации текста, безопасности, логическому рассуждению и пониманию языка. Модель предназначена для диалогов, ответов на вопросы, генерации текста, программирования и математики. В карточке приведён пример структурированного вызова инструмента поиска отеля, а также примеры общения на китайском и английском языках; модель заявлена как многоязычная. Для работы доступны веса в формате PyTorch и интеграция через Transformers. README предупреждает, что ответы могут быть неточными, предвзятыми или оскорбительными, и рекомендует проводить проверки безопасности перед развёртыванием. Исходный код распространяется по Apache-2.0; для весов действует отдельное соглашение, которое допускает академические исследования и бесплатное коммерческое использование.

Yi-1.5-34B — базовая языковая модель компании 01.AI, построенная на плотной архитектуре семейства Llama. В репозитории представлена версия примерно на 33,9 млрд параметров в формате Safetensors; метаданные указывают контекст 4096 токенов. Модель создана на основе Yi: семейство Yi-1.5 прошло дополнительное предобучение на высококачественном корпусе объёмом 500 млрд токенов и дообучение на 3 млн разнообразных примеров. Модель предназначена для генерации текста, понимания инструкций, рассуждений, чтения и ответов на вопросы, а также задач по математике и программированию. Разработчик отмечает улучшения относительно Yi в программировании, математике, рассуждениях и следовании инструкциям. В README перечислены также варианты Yi-1.5 с контекстом 16K и 32K, но метаданные этого репозитория указывают 4096 токенов. Модель распространяется по лицензии Apache-2.0. Это базовая версия, а не одна из перечисленных в README чат-версий; заявленные сильные стороны и результаты бенчмарков относятся к семейству, а не гарантируют качество на конкретных задачах. В карточке нет сведений о специальных ограничениях применения.

Yi-1.5-9B-32K — плотная авторегрессионная языковая модель семейства Llama, разработанная компанией 01.AI. Это базовая версия модели Yi-1.5 с 8,6 млрд параметров и контекстным окном до 32 768 токенов. Семейство Yi-1.5 прошло дополнительное предобучение на высококачественном корпусе объёмом 500 млрд токенов и настройку на 3 млн разнообразных примеров. Модель предназначена для генерации текста и может служить основой для задач понимания языка, чтения и ответов по тексту, рассуждений, математики, программирования и следования инструкциям. Карточка семейства отмечает улучшения в этих задачах относительно Yi; конкретные сценарии зависят от приложения и настроек генерации. Доступна в формате safetensors и выпущена под лицензией Apache 2.0. Карточка не приводит отдельной оценки качества именно версии с контекстом 32K; как базовая модель, она может требовать дополнительной настройки для диалогового или специализированного применения.

LordNeel/Agents-A1-GGUF — набор высококачественных квантованных GGUF-версий модели InternScience/Agents-A1, агентской модели на архитектуре Qwen3.5-MoE с примерно 35 млрд параметров. Модель предназначена для генерации текста, выполнения инструкций, программирования и чат-сценариев в среде llama.cpp. Для обработки изображений доступны совместимые квантизации с отдельным BF16-модулем mmproj на базе Qwen3VL, поэтому модель поддерживает мультимодальные сценарии с визуальным вводом. В набор входят варианты Q3_K_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K, Q8_0 и NVFP4 размером примерно от 16,76 до 36,90 ГБ, а также варианты с интегрированным блоком MTP для speculative decoding. IQ4_XS ориентирован на компактность и совместимость, Q6_K обеспечивает наиболее близкое к BF16 качество среди протестированных вариантов, а NVFP4 предназначен для ускоренной работы на видеокартах NVIDIA Blackwell при наличии поддержки соответствующего типа данных. В опубликованных тестах на RTX PRO 6000 Blackwell скорость генерации составляла примерно 222,7–269 токенов в секунду в зависимости от квантизации; результаты приведены для конкретной конфигурации и не гарантируют аналогичную производительность на другом оборудовании. Для запуска требуется llama.cpp с поддержкой архитектуры qwen35moe; некоторые варианты требуют поддержки GGML_TYPE_NVFP4, а мультимодальные версии — соответствующего mmproj. MTP-варианты могут ускорять генерацию, но их эффективность зависит от настроек speculative decoding и оборудования. README не содержит сведений о языках обучения и максимальном размере контекста, поэтому эти характеристики нельзя достоверно указать. Модель распространяется по лицензии Apache 2.0.

C4AI Command-R — исследовательская генеративная языковая модель с открытыми весами, разработанная Cohere For AI. Модель предназначена для рассуждений, суммаризации, ответов на вопросы и многоязычной генерации, а также демонстрирует высокую эффективность в сценариях Retrieval-Augmented Generation (RAG). В README указано, что модель относится к крупным языковым моделям размером около 35 млрд параметров; также доступны варианты на 32 и 35 млрд параметров. Многоязычные возможности оценивались для 10 языков. Сведения об архитектуре, максимальной длине контекста и точном перечне поддерживаемых языков не приведены. К сильным сторонам относятся открытые веса, поддержка широкого спектра текстовых задач, многоязычность и ориентация на RAG-сценарии. Ограничения связаны с исследовательским статусом модели, отсутствием подробных данных о характеристиках и применимостью условий некоммерческой лицензии CC BY-NC 4.0. В README также указано, что конвертацию выполнила Homebrew.

mlx-community/DeepSeek-R1-Distill-Llama-8B — конверсия в формат MLX модели DeepSeek-R1-Distill-Llama-8B от deepseek-ai, выполненная Focused с помощью mlx-lm 0.21.1. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров для генерации текста и диалогового взаимодействия; заявленная длина контекста — 131072 токена. Базовая модель дообучена на данных рассуждений DeepSeek-R1 и предназначена для многошаговых рассуждений, решения математических задач и программирования. Репозиторий предлагает использовать модель через mlx-lm; метаданные указывают формат safetensors и интерфейс вызова инструментов. В README не приведены сведения о лицензии или языковом покрытии. Возможности и качество модели наследуют ограничения базового чекпойнта; характеристики использования MLX зависят от совместимой среды.

stelterlab/DeepSeek-R1-Distill-Qwen-14B-AWQ — квантизированная версия модели DeepSeek-R1-Distill-Qwen-14B, разработанная сообществом stelterlab на основе оригинальных весов DeepSeek AI. Квантизация выполнена в формате INT4 GEMM с использованием AutoAWQ. Модель предназначена для задач рассуждения, решения математических и программных задач, генерации текста и других сценариев применения языковых моделей. Это плотная текстовая модель, дистиллированная из DeepSeek-R1 на базе Qwen2.5; заявлено, что дистилляция переносит эффективные паттерны рассуждений крупной модели в компактные модели. Размер данной версии — 14B параметров. Сведения о поддерживаемых языках и размере контекста в README не указаны. Ключевое преимущество версии AWQ — снижение требований к памяти и вычислительным ресурсам по сравнению с полноточными весами, что упрощает локальный запуск на совместимом оборудовании. Ограничения связаны с INT4-квантизацией: она может приводить к потере качества по сравнению с исходной моделью, а фактическая совместимость и производительность зависят от используемого ПО и оборудования. Модель распространяется по лицензии MIT.

Это 4-битная версия модели DeepSeek-R1-0528-Qwen3-8B, подготовленная mlx-community для запуска в формате MLX. Исходная модель основана на плотной архитектуре Qwen3 с 7,6 млрд параметров; версия создана конвертацией с применением AWQ-квантизации через mlx-lm 0.25.2. Контекстное окно составляет 131 072 токена. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения, математики, программирования и логики. Репозиторий предоставляет интерфейс для вызова инструментов. Метаданные указывают на лицензию MIT; запуск рассчитан на экосистему MLX.

DeepSeek-V3.1-Terminus-W4AFP8 — смешанно-точная квантованная версия DeepSeek-V3.1-Terminus. Репозиторий модели связан с deepseek-ai/DeepSeek-V3.1-Terminus; по метаданным это производная модели с архитектурой DeepSeek V3 и классом DeepseekV3ForCausalLM. Модель содержит 37,6 млрд параметров и рассчитана на генерацию текста, включая диалог и вызов инструментов через соответствующий интерфейс. Контекст составляет до 163 840 токенов. Веса плотных слоёв сохраняют формат FP8 исходной модели, а веса MoE-слоёв представлены в INT4 с активациями FP8 (W4AFP8). В README приведены результаты тестирования в режиме без рассуждений; для инференса описан запуск через SGLang версии 0.5.2 или новее с tensor parallel. Модель распространяется по лицензии MIT. Карточка не уточняет языки и специфические ограничения качества.

Это экспериментальная селективно-квантованная GGUF-сборка DeepSeek-V4-Flash-0731 REAP-150B от Tinker-Stack. Модель основана на обрезанном варианте REAP-150B с архитектурой DeepSeek4 и MoE: 150 млрд параметров, 132 эксперта, из которых активны 6 на токен, и один общий эксперт. Веса упакованы в контейнер TurboQuant TQ3_4S с рецептом квантования примерно 3,49 бит на параметр; для запуска нужна специальная версия llama.cpp с поддержкой этого формата. Сборка предназначена для генерации текста, диалогов, агентного использования инструментов, программирования, анализа длинных документов и задач на рассуждение. Заявлена работа с контекстом до 256 тысяч токенов при использовании подходящего KV-кэша. В README приведены внутренние сравнительные тесты и показатели perplexity, однако они не являются стандартизированными оценками; качество зависит от режима рассуждения и настроек инференса. Модель компактнее полноразмерных вариантов благодаря обрезке и квантованию, но квантование может снижать точность, а REAP-вариант может уступать исходной модели в некоторых возможностях. Сборка экспериментальная, требует нестандартного форка llama.cpp; контекст 1 млн токенов на описанном оборудовании не подтверждён. Лицензия репозитория — MIT.

Dirk-Qwen3.8-27B-GGUF — это GGUF-квантизированная версия базовой модели Qwen/Qwen3.8-27B, подготовленная разработчиком peculiar-ragdoll. Модель представляет собой плотную vision-language модель с 27 млрд параметров, поддерживающую работу с текстом и изображениями. В карточке заявлены английский и китайский языки, а также совместимость с llama.cpp. Модель предназначена для диалогов, анализа изображений, генерации кода и агентских сценариев. Она использует модифицированный Sharp chat template с настройкой краткости ответов и поддерживает Multi-Token Prediction (MTP) для ускорения генерации средствами speculative decoding. По умолчанию используется умеренный уровень рассуждений; его можно изменить через chat_template_kwargs, выбрав low, medium или xhigh. Поддерживается отключение рассуждений. Основное отличие от исходной модели заключается в шаблоне чата: веса и MTP-компоненты сохранены без изменений. Доступны варианты квантования от примерно 2 до 4 бит, включая GSQ-RCO и Unsloth Dynamic 3.0, с размерами файлов примерно от 8,8 до 17,6 ГБ. Это позволяет запускать модель на видеокартах с 12, 16 и 24 ГБ памяти, хотя более сильное квантование может снижать качество, а доступный объём памяти также зависит от длины контекста. Точный максимальный размер контекста в карточке не указан. Лицензия — Apache 2.0.

Dolphin 2.6 Mistral 7B DPO LASER — разговорная языковая модель, созданная Eric Hartford и Fernando Fernandes на основе Mistral-7B. Это специальный выпуск Dolphin-DPO: авторы применили к весам метод LASER со снижением ранга отдельных слоёв и дополнительным шумоподавлением на основе SVD. Модель имеет плотную архитектуру MistralForCausalLM, около 7,1 млрд параметров и контекст до 32 768 токенов по метаданным. Она принимает текст в формате ChatML и генерирует текст. Модель предназначена для диалогов, ответов на вопросы, помощи с кодом и выполнения инструкций. В обучении использовались наборы Dolphin, Airoboros, OpenHermes, Magicoder и Capybara. Карточка заявляет улучшение оценок относительно Dolphin 2.6 и 2.6-DPO и более устойчивые ответы, но пример вывода не приведён. Авторы характеризуют модель как uncensored и предупреждают о высокой готовности отвечать на любые запросы; перед использованием в сервисе рекомендуют добавить собственный слой выравнивания. Лицензия — Apache-2.0.