II.1Анализ требований и архитектура ПО

Big-Pluto/Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-NEO-CODE-Di-IMatrix-MAX-GGUF — GGUF-версия модели, разработанная на базе Qwen3.6 и опубликованная Big-Pluto; в README также указаны методы и наборы данных DavidAU, включая Claude 4.6 Opus High Reasoning и Deckard/PDK. Модель предназначена для универсального применения, включая рассуждения, программирование, математику, творческое и художественное письмо, ролевые сценарии и генерацию историй различных жанров. Заявлены 40 млрд плотных параметров, 96 слоёв и 1275 тензоров; модель описана как расширенная с 27B до 40B параметров и поддерживающая переменную длину рассуждений. Указан контекст до 256K токенов, языки English и Chinese, а также поддержка изображений через отдельный mmproj-файл, что соответствует мультимодальному сценарию image-text-to-text. Распространяются различные GGUF-квантизации с dual imatrix-настройками; для них заявлено сохранение значительной доли качества BF16, однако конкретные результаты зависят от выбранного кванта. Сильными сторонами заявлены развитое reasoning, работа с длинным контекстом, кодом и математикой, творческая выразительность и отсутствие цензурных ограничений. Ограничения включают значительные требования к памяти и вычислительным ресурсам из-за размера модели, необходимость отдельного mmproj для работы с изображениями и возможную нестабильность или потерю качества при использовании низких квантизаций. Лицензия — Apache-2.0.

RobinsonLabs/Qwen3.8-27B-abliterated-GGUF — это набор imatrix-квантованных сборок GGUF на основе Qwen/Qwen3.8-27B. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая технические диалоги, отладку, работу с инфраструктурой, построение моделей, использование инструментов и следование инструкциям. Доступны варианты от IQ2_M до Q8_0 размером примерно от 10,30 до 29,05 ГБ. Модель содержит около 27,32 млрд параметров, 64 основных trunk-слоя и MTP-блок; контекст в примере запуска настроен на 32768 токенов. Модель поддерживает текстовый ввод, а визуальные возможности сохраняются через отдельный файл mmproj-Qwen3.8-27B-abliterated-f16.gguf, который необходимо подключать вместе с основной квантованной моделью. Без mmproj доступен только текстовый режим. Квантизация оптимизирована на корпусе технических операторских диалогов, поэтому сборки ориентированы на длинные технические обсуждения и instruction-following, но для общего чата или неанглоязычных сценариев универсальная калибровка может оказаться предпочтительнее. Сильными сторонами являются сохранённая vision tower, специализированная калибровка и широкий выбор вариантов под разные объёмы VRAM. Качество заметно снижается на самых компактных сборках: IQ2_M показывает ухудшение perplexity на 13,4% относительно Q8_0, хотя остаётся связной и способной следовать форматным инструкциям. Abliteration уменьшает жёсткие отказы для взрослого и творческого контента, при этом защитные ограничения против самоповреждения заявлены как сохранённые; модель не предназначена для содействия реальным правонарушениям. Распространяется по лицензии Apache-2.0.

EschaLabs/Qwen3.8-27B-Escha-W2 — это 2-битная квантованная сборка модели Qwen3.8-27B, разработанная Escha Labs Inc. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и программирования. Она поддерживает режим thinking, в котором может формировать расширенное рассуждение перед ответом, а также совместима с OpenAI-совместимым HTTP-интерфейсом через специализированный runtime на базе SGLang. Модель сохраняет полный объём в 27 млрд параметров. Используется смешанная квантование 2/3 бита для проекций с эффективной точностью 2,469 бита на вес, а embedding и head имеют формат int8. Размер весов составляет около 10,15 ГБ, общий размер загрузки — около 10,18 ГБ. На одной видеокарте с 24 ГБ памяти заявлена работа с контекстом до 64K токенов, а при специальной настройке — до 128K; проверены RTX 5090, RTX 4090 и RTX 3090. Указан английский язык, однако README не содержит полного перечня языков или точного максимального размера контекста базовой модели. К сильным сторонам относятся существенная экономия памяти, возможность локального запуска и высокие заявленные результаты на тестах: 79,25% на Commonsense-6, 88,38% на GPQA-Diamond и pass@1 86,81% на LiveCodeBench v6. Ограничения включают зависимость от Linux x86-64, NVIDIA GPU с архитектурой sm_80 или новее, CUDA 12.8, Python 3.12 и специального runtime; видеокарты на 16 ГБ не проверялись и требуют уменьшенного контекста. Для корректной работы также важны совместимые версии PyTorch, SGLang и Transformers. Модель распространяется по лицензии Apache-2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-mlx-oQ8e — выпуск модели Qwen3.8-27B Cold Fusion для Apple Silicon. Исходную модель и слияние весов GAIN разработал DavidAU, а Solstice-AI выполнила квантование и упаковку в формат Apple MLX oQ8e mixed precision. Модель предназначена для рассуждений, программирования, агентной разработки ПО, отладки репозиториев, выполнения многошаговых задач и управления компьютерными средами. В метаданных также указан сценарий image-text-to-text, однако подробности о поддерживаемых визуальных возможностях не приведены. Заявлены английский и китайский языки. Модель содержит 27 млрд параметров и рассчитана на контекст до 262 144 токенов. Архитектура описана как гибридная: 75% слоёв используют линейное внимание Gated Delta Recurrent Network, а 25% — Grouped-Query Attention. Также заявлена поддержка Multi-Token Prediction для ускорения генерации на Apple Silicon. Среди сильных сторон README называет высокие результаты в SWE-bench Pro, LiveCodeBench, QwenSWEBench, OSWorld, AndroidWorld, IFBench и тестах ARC; приведённые сравнения с Claude Opus 4.6 Max являются утверждениями авторов README и зависят от методики оценки. Ограничения включают привязку оптимального использования к Apple Silicon, MLX и Metal, а также отсутствие независимой проверки заявленных результатов и неполное описание мультимодальных возможностей. Лицензия — Apache-2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-MXFP4 — языковая модель на базе DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. Исходную модель и объединение весов GAIN разработал DavidAU, а квантизацию и упаковку в формат OCP Microscaling MXFP4 выполнила Solstice-AI. Модель ориентирована на рассуждения, программирование, агентную разработку ПО, отладку репозиториев, управление компьютерными и мобильными интерфейсами, а также выполнение задач с длинным контекстом и сложными ограничениями. Заявлена поддержка английского и китайского языков. Модель содержит 27 миллиардов параметров и рассчитана на контекст до 262 144 токенов. В архитектуре заявлены гибридное внимание Qwen 3.8 с блоками Gated Delta Recurrent Network и Grouped-Query Attention, аппаратная Multi-Token Prediction для ускорения генерации, а также мультимодальный компонент пространственно-временного 3D-зрения для анализа схем, интерфейсов кода и видеокадров. Формат MXFP4 использует 4-битные значения с 8-битным масштабированием блоков; для работы рекомендуются Anvil Runtime и vLLM на современном оборудовании AMD, Intel Gaudi и Tensor Core. README заявляет высокие результаты на SWE-bench Pro, LiveCodeBench, QwenSWEBench, OSWorld, AndroidWorld, IFBench и CoWorkBench, а также превосходство над Claude Opus 4.6 Max в приведённых тестах, однако методика и независимое подтверждение этих утверждений требуют отдельной проверки. Ограничения включают зависимость производительности от совместимого рантайма и оборудования, возможные особенности MXFP4-квантизации и заявленный режим uncensored, который может требовать дополнительных мер безопасности при использовании. Лицензия — Apache 2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-NVFP4 — релиз Solstice-AI, основанный на модели DavidAU Qwen3.8-27B-TURBO-Fable-Cold-Fusion. Это 27-миллиардная языковая модель с поддержкой английского и китайского языков, оптимизированная для работы на оборудовании NVIDIA Blackwell и Ada Lovelace в формате NVFP4. Указана поддержка контекста до 262 144 токенов. Модель также заявлена как мультимодальная: вместе с ней поставляется компонент mmproj-BF16.gguf для анализа изображений, архитектурных схем, пользовательских интерфейсов и видеокадров. Архитектура сочетает гибридное линейное внимание Qwen 3.8: 75% слоёв используют Gated Delta Recurrent Network с линейной сложностью по памяти, а 25% — Grouped-Query Attention. В модель включены Multi-Token Prediction с заявленной генерацией двух токенов за проход и объединение весов Cold Fusion GAIN. Разработчики позиционируют её для рассуждений, программирования, агентной разработки ПО, отладки репозиториев, управления компьютером и мобильными устройствами, а также выполнения длинных многофайловых сценариев. README приводит высокие результаты на SWE-bench Pro, LiveCodeBench v6, QwenSWEBench, OSWorld-Verified, AndroidWorld, IFBench и тестах ARC, однако эти показатели представлены самими разработчиками и требуют независимой проверки. Заявленная оптимизация ориентирована на NVIDIA Blackwell, включая B200, GB200 и RTX 5090; также упоминается совместимость с RTX 4090. Модель описана как uncensored и может иметь ослабленные ограничения отказа, что следует учитывать при эксплуатации. Лицензия — Apache 2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-NEO-CODER-NVFP4-1M — модель на базе Qwen3.8-27B Cold Fusion, разработанной DavidAU, с последующей квантизацией, расширением контекста и упаковкой Solstice-AI. Модель предназначена для программирования, агентной разработки ПО, отладки репозиториев, многошаговых рабочих процессов, рассуждений и диалогового использования. Также заявлена поддержка визуального понимания изображений, интерфейсов, архитектурных схем и видеокадров через дополнительный модуль mmproj-BF16.gguf. Модель поддерживает английский и китайский языки. Указан контекст до 1 048 576 токенов, полученный расширением RoPE с помощью YaRN; исходный контекст заявлен как 262 тысячи токенов. Архитектура описана как гибридная: 75% слоёв используют линейное внимание Gated Delta Recurrent Network, а 25% — глобальное Grouped-Query Attention. Формат NVFP4 обеспечивает 4-битное микромасштабирование для NVIDIA Blackwell, включая B200, GB200 и RTX 5090. Также заявлена поддержка Multi-Token Prediction для ускорения генерации. Сильными сторонами README называет производительность в задачах программной инженерии, компьютерного управления, следования сложным ограничениям и длинного контекста; приведены результаты внутренних или заявленных разработчиками сравнений, включая SWE-bench Pro 61,7% и ARC-C 735. Эти показатели следует воспринимать с учётом методики оценки и аппаратных требований. Ограничения включают зависимость от совместимого оборудования NVIDIA Blackwell и соответствующего серверного ПО, а также то, что расширенный миллионный контекст и мультимодальность могут требовать специальных компонентов. Лицензия — Apache 2.0.

Qwen3.8-Flash-Next GGUF — это квантизированная версия официальной модели Qwen/Qwen3.8-Flash-Next, подготовленная BatiAI в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста, программирования, работы с инструментами и структурированного вывода, включая JSON. Заявлена поддержка английского, корейского и китайского языков. Модель использует MoE-архитектуру qwen4exp: около 176,9 млрд параметров, из которых примерно 4,9 млрд активируются на каждом токене; всего используется 512 экспертов с выбором top-10. Доступны варианты квантизации IQ3_XXS, IQ4_XS, Q4_K_M и Q6_K размером примерно от 79 до 141 ГиБ. Вариант IQ4_XS показал скорость генерации 11,7 токена в секунду на CPU и 32,74 токена в секунду на Mac Studio M2 Ultra с 192 ГиБ памяти. Для запуска требуется актуальная версия llama.cpp с поддержкой qwen4exp; старые версии, а также ранние сборки Ollama и LM Studio могут не загружать модель. Сильными сторонами являются высокая скорость для модели такого размера, проверенная генерация на корейском языке, поддержка вызова инструментов, программирования, длинных текстов и структурированного вывода. При этом модель ненадёжна в арифметике: в тестах она допустила ошибки в двух нетривиальных выражениях, поэтому вычисления, особенно связанные с деньгами и количествами, следует передавать калькулятору или проверять отдельно. Для работы требуется значительный объём памяти. Лицензия указана как qwen-community-license-1.0; применяются условия лицензии Qwen.

Qwythos-9B-v2-GGUF — набор GGUF-квантизаций модели Qwythos-9B-v2, разработанной Empero AI, предназначенный для запуска через llama.cpp, Ollama, LM Studio, jan, KoboldCpp и другие совместимые среды. Модель ориентирована на рассуждения, генерацию текста, вызов функций и мультимодальные сценарии с анализом изображений. Это 9-миллиардная гибридная модель с сочетанием блоков Gated-DeltaNet линейного внимания и полноформатного внимания в соотношении 3:1. Доступны варианты от Q4_K_M до BF16, включая версии с восстановленной MTP-головой для speculative decoding. Заявлены английский язык, контекст до 1 млн токенов с YaRN и поддержка изображений через отдельный vision projector, совместимый с Qwen3.5-9B. Версия v2 устраняет зацикливание при жадном и низкотемпературном декодировании, сохраняя показатели знаний и рассуждений на уровне базовой модели или выше; модель при этом намеренно uncensored. Для работы с изображениями требуется файл mmproj, а для MTP-ускорения — свежая сборка llama.cpp с поддержкой draft-mtp. Q4_K_M рекомендуется как начальный вариант благодаря балансу размера и качества, однако квантизация может снижать точность по сравнению с BF16. Модель распространяется по лицензии Apache-2.0.

Spark-X2.5-4B MLX 4-bit — 4-битная MLX-квантизованная версия языковой модели XHToken/Spark-X2.5-4B, разработанной XHToken. Это универсальная текстовая модель для рассуждений, программирования, использования инструментов и агентских рабочих процессов. Модель содержит около 4 миллиардов параметров и поддерживает текстовую генерацию с нативным контекстом до 1 048 576 токенов. Размер файла весов составляет 2,31 ГБ. Модель предназначена для запуска в экосистеме MLX на совместимом оборудовании Apple, а её архитектура spark2_5 на данный момент поддерживается Spark-MLX-LLM. Совместимость с oMLX и стандартным MLX-LM в README не заявлена. К сильным сторонам относятся существенно уменьшенный размер 4-битных весов и очень длинное контекстное окно, что подходит для обработки больших документов и длительных агентских сценариев. При этом README не содержит подробных результатов тестирования, сведений о языках, конкретных мультимодальных возможностях или ограничениях качества. Модель распространяется по лицензии Apache-2.0.

Sakalti/ultiima-72B-v2.0 — объединённая методом DARE TIES языковая модель, созданная с помощью mergekit на основе Sakalti/ultiima-72B с добавлением моделей Homer-v1.0-Qwen2.5-72B и shuttle-3. Модель разработана для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Это плотная архитектура Qwen2 с 71,5 млрд параметров, рассчитанная на контекст до 131 072 токенов. Репозиторий содержит веса в формате safetensors; модель использует библиотеку Transformers. Указана лицензия «other», поэтому условия использования следует сверять с лицензиями исходных моделей и карточкой репозитория.

Salience-1.5-Pro — мультимодальная модель класса vision-language, разработанная vectionlabs и представленная в GGUF-квантизациях автором bartowski. Она предназначена для работы с текстом и изображениями, задач рассуждения, программирования, software engineering, агентских сценариев и использования инструментов. В карточке также заявлены архитектура mixture-of-experts (MoE), поддержка длинного контекста и язык English; точный размер исходной модели и максимальная длина контекста не указаны. Модель содержит MTP-слои (Multi-Token Prediction), которые могут использоваться в llama.cpp для self-speculative decoding и ускорения генерации с параметром --spec-type draft-mtp. Доступны варианты от BF16 размером 71,07 ГБ до более компактных квантизаций Q8_0, Q6, Q5, Q4 и Q3; рекомендуемые варианты различаются балансом между качеством и требованиями к памяти. Ограничения включают зависимость от совместимого программного обеспечения и возможную необходимость обновления llama.cpp или других приложений при поддержке новой архитектуры. Распространение указано по лицензии Apache-2.0. Квантизации рассчитаны на запуск через llama.cpp и совместимые приложения, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI.

Salience-27B-R5-GGUF — это квантизированная версия мультимодальной модели Salience-27B-R5, разработанной vectionlabs и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель содержит около 28 млрд параметров и поддерживает обработку текста и изображений; для работы с изображениями требуется файл mmproj. Заявлена поддержка speculative decoding через MTP. Модель предназначена для задач рассуждения, эффективного пошагового анализа, программирования и software engineering, а также для агентских сценариев с использованием терминала и инструментов. В карточке указана поддержка английского языка и большой длины контекста, однако точный размер контекстного окна и подробности архитектуры не приведены. Основное преимущество — широкий выбор вариантов квантизации с разным балансом между качеством, размером и требованиями к памяти. Рекомендуемым универсальным вариантом назван Q4_K_M размером около 17,77 ГБ, а варианты Q5 и Q6 обеспечивают более высокое качество при больших требованиях к ресурсам. Более сильная квантизация экономит память, но может снижать качество ответов; точные результаты тестирования и измерения perplexity или KLD не указаны. Модель распространяется по лицензии Apache-2.0.

Whittle-Qwen-3.8-35B-A3B-GGUF — это квантизированная версия модели logic65/Whittle-Qwen-3.8-35B-A3B, разработанная David Aylward (logic65) при участии Claude от Anthropic. Модель распространяется в формате GGUF и предназначена для запуска через llama.cpp без патчей. Она ориентирована на генерацию текста, диалоги, рассуждения, программирование и математические задачи, а также на исследовательские сценарии локального запуска. Модель построена в формате qwen4_exp как смесь экспертов (Mixture of Experts): содержит около 35,1 млрд параметров, из которых активно используется примерно 3 млрд. Важная особенность — 10-миллиардная n-граммная память, являющаяся несущей частью модели; её отключение существенно ухудшает результаты на незнакомом коде. Модель дистиллирована из Qwen3.8-27B и использует память из Qwen3.8-Flash-Next. Заявлена поддержка английского, китайского и многоязычного текста. Доступны варианты квантизации от Q3_K_M до Q8_0 размером примерно от 16,7 до 37,8 ГБ. Сильные стороны модели — низкое число активных параметров при большом общем размере, поддержка режима рассуждений и эффективный локальный запуск со скоростью, близкой к моделям с 3 млрд активных параметров. Для работы требуется сохранять компонент памяти целиком; рекомендуется размещать его в оперативной памяти, поэтому требования к системе существенно зависят от выбранной квантизации. README не указывает максимальный контекст. Для лучших результатов рекомендуется включать thinking и использовать сэмплирование; жадная генерация может зацикливаться. Модель распространяется по лицензии Apache-2.0.

Карточка модели Cdsnutz/XORTRON.CriminalComputing.LARGE.2026.3 на Hugging Face совпадает с карточкой darkc0de/XORTRON.CriminalComputing.LARGE.2026.3, поэтому описание составлено по ней. XORTRON.CriminalComputing.LARGE.2026.3 — диалоговая языковая модель, опубликованная darkc0de и созданная дообучением Mistral-Large-Instruct-2411. Это плотная архитектура Mistral с 122,2 млрд параметров и контекстом до 131 072 токенов; модель работает через Transformers и распространяется в формате safetensors. Карточка сообщает о многоязычной поддержке, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Модель предназначена для генерации текста в диалоге, ответов на вопросы, рассуждений, программирования и сценариев с длинным контекстом. В README указана abliteration: в приведённом сравнении частота отказов составляет 2 из 100 против 87 из 100 у исходной модели, а KL-дивергенция — 0,0578. Это означает, что модель настроена на существенно меньшее число отказов; результаты таблицы не гарантируют поведение на всех запросах. По метаданным лицензия — WTFPL; значительный размер требует мощного оборудования для запуска.

airoboros-l2-13b-2.2.1 — экспериментальная инструкция-ориентированная языковая модель на архитектуре Llama с 12,9 млрд параметров, созданная Джоном Дурбином на основе преимущественно синтетических данных. Это обновлённая версия airoboros-l2-13b-2.2: в ней заново сгенерированы ответы для задач письма, добавлены более длинные контекстные блоки, удалены примеры ролевой игры и изменена степень снятия ограничений. Модель предназначена для выполнения инструкций, ответов на вопросы по предоставленному контексту, суммаризации, генерации текста и кода, а также формирования аргументов функций в JSON или YAML. Для диалога используется текстовый формат с метками USER и ASSISTANT; контекст составляет 4096 токенов. Модель не ориентирована прежде всего на непринуждённый чат и ролевую игру. Карточка характеризует модель как экспериментальную и предупреждает, что при ответах вне заданного контекста она может выдумывать сведения; для закрытых вопросов рекомендуется явно просить не придумывать ответ при недостатке информации. Распространяется по лицензии Llama 2.

Citaman/command-r-10-layer — языковая модель генерации текста, созданная с помощью mergekit из двух перекрывающихся срезов слоёв модели Citaman/command-r-11-layer, объединённых методом SLERP. Она предназначена для диалогов и генерации текста; в метаданных также отмечен интерфейс вызова инструментов. Модель построена на плотной архитектуре CohereForCausalLM и содержит 10,3 млрд параметров. Модель принимает текст и выдаёт текст. Указанная длина контекста — 8192 токена. Веса опубликованы в формате safetensors и типе bfloat16. Метаданные не называют поддерживаемые естественные языки. Лицензия в предоставленных данных не указана.

Citaman/command-r-37-layer — объединённая с помощью mergekit модель на архитектуре Cohere для генерации текста и диалогового взаимодействия. В README описано слияние методом SLERP двух срезов модели Citaman/command-r-38-layer; метаданные классифицируют результат как дообучение этой базовой модели. Модель содержит 32,5 млрд параметров, использует формат safetensors и рассчитана на контекст до 8192 токенов. Она предназначена для текстовых запросов, чата и сценариев с интерфейсом вызова инструментов. Лицензия в предоставленных данных не указана.

Citaman/command-r-9-layer — объединённая текстовая модель, созданная автором репозитория с помощью mergekit из срезов Citaman/command-r-10-layer методом SLERP. Это плотная авторегрессионная архитектура Cohere с 9,5 млрд параметров; метаданные также указывают поддержку диалога и интерфейса вызова инструментов. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы и работу с инструментами. Контекст — до 8192 токенов; вход и выход — текст. Репозиторий содержит веса в формате safetensors. Модель опубликована под лицензией, сведения о которой не представлены в предоставленных данных.

DBRX Instruct — большая языковая модель для генерации текста, разработанная Databricks. Представленная карточка содержит GGUF-квантизации модели dbrx-instruct с использованием importance matrix (imatrix), предназначенные для запуска через llama.cpp и совместимых инструментов. Модель основана на decoder-only Transformer и архитектуре fine-grained Mixture-of-Experts (MoE): всего 132 млрд параметров, из которых около 36 млрд активируются для каждого входа. Она использует 16 экспертов по 12 млрд параметров, выбирая 4 эксперта на токен, а также RoPE, GLU и grouped query attention (GQA). Модель обучена предсказывать следующий токен на 12 трлн токенов текста и кода; заявленная длина контекста — 32 768 токенов, число слоёв — 40. Токенизатор основан на GPT-4 tokenizer из репозитория tiktoken. Предусмотрен диалоговый шаблон с ролями system, user и assistant. Модель предназначена для генерации текста, диалоговых сценариев, написания материалов и работы с кодом. Квантизации позволяют уменьшить требования к памяти; например, вариант IQ4_XS имеет размер около 65,29 ГиБ, а в README приведены результаты perplexity на wiki.test. Ограничения включают значительные аппаратные требования из-за общего размера модели, зависимость от совместимой версии llama.cpp и чувствительность некоторых вариантов квантизации IQ3. Для запуска указан commit llama.cpp 4bd0f93e, а для работы на Metal может потребоваться дополнительное исправление. Лицензия указана как Databricks Open Model License; тип лицензии в карточке обозначен как other. Файлы квантизации опубликованы пользователем phymbert и предназначены также для тестирования imatrix-квантизации.

RedHatAI/DeepSeek-R1-Distill-Qwen-32B-quantized.w4a16 — квантизированная версия модели DeepSeek-R1-Distill-Qwen-32B, разработанная Neural Magic. Модель построена на архитектуре Qwen2ForCausalLM и предназначена для генерации и обработки текста, включая задачи рассуждения, решения математических задач, ответов на вопросы и использования в чат-сценариях. Модель имеет 32 миллиарда параметров и использует INT4-квантизацию весов линейных операторов в трансформерных блоках при формате W4A16. Применяется симметричная поканальная по группам схема с размером группы 128 и алгоритм GPTQ через библиотеку llm-compressor. Такой подход примерно на 75% сокращает размер модели на диске и требования к памяти GPU по сравнению с представлением весов в 16 битах. Входная и выходная модальности — текст; сведения о поддерживаемых языках и максимальном контексте в карточке явно не указаны. По приведённым оценкам, квантизированная версия сохраняет около 99,45% среднего результата исходной модели на наборе задач рассуждения, включая AIME 2024, MATH-500 и GPQA Diamond. Она оптимизирована для эффективного развёртывания с vLLM и может использоваться через OpenAI-совместимый сервер. Ограничением является возможное небольшое снижение точности из-за квантизации, а также зависимость эффективного запуска от совместимого GPU и программного стека vLLM. Модель распространяется по лицензии MIT.

DeepSeek-V3.2 — языковая модель, разработанная DeepSeek AI и представленная как дообученная версия DeepSeek-V3.2-Exp-Base. Модель ориентирована на эффективное рассуждение, работу с агентными сценариями и взаимодействие с инструментами, включая режим «thinking with tools». Она распространяется через Transformers и использует обновлённый формат чата с поддержкой вызова инструментов и рассуждений. Ключевой особенностью модели является механизм DeepSeek Sparse Attention (DSA), предназначенный для снижения вычислительной сложности при сохранении качества, особенно в задачах с длинным контекстом. Для обучения применялись масштабируемое reinforcement learning и pipeline синтеза данных для агентных задач. README заявляет высокие результаты в математических и программных соревнованиях, однако точные размер модели, длина контекста, поддерживаемые языки и набор модальностей не указаны. Для интеграции требуется учитывать, что релиз не содержит Jinja-шаблон chat template: разработчикам предлагается использовать скрипты из каталога encoding для кодирования сообщений в OpenAI-совместимом формате и разбора ответов. Указанная функция разбора рассчитана на корректно сформированные строки и не исправляет ошибки формата. Модель распространяется по лицензии MIT.

sail-ing-north/DeepSeek-V3-rescaled — это версия языковой модели DeepSeek-V3, размещённая в формате safetensors FP8 и предназначенная для генерации текста и диалогового общения. В карточке указаны архитектура DeepSeek-V3 и 37,6 млрд параметров; исходная модель описана как Mixture-of-Experts с 671 млрд общих и примерно 37 млрд активных параметров на токен, использующая Multi-head Latent Attention и DeepSeekMoE. Метаданные указывают длину контекста 163 840 токенов. Модель подходит для диалогов, генерации и продолжения текста, ответов на вопросы, а также вызова инструментов через соответствующий интерфейс. В README описаны предобучение на 14,8 трлн токенов, последующая настройка с учителем и обучение с подкреплением, а также перенос навыков рассуждения из DeepSeek-R1. Эти сведения относятся к DeepSeek-V3 в целом; карточка не уточняет, как именно была получена версия rescaled. Репозиторий содержит веса FP8, что может снизить требования к памяти при выводе, однако запуск требует подходящей инфраструктуры для крупной модели. README перечисляет способы развертывания через SGLang, LMDeploy, TensorRT-LLM и vLLM. Лицензия в предоставленных данных не указана.

Это конверсия в формат MLX модели Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B, опубликованная сообществом mlx-community. Модель построена на архитектуре Qwen3.5 и предназначена для диалогов, работы с текстом и кодом, а также обработки изображений и видеовходов; доступны интерфейсы вызова инструментов. Веса представлены в BF16, сохранены шаблон чата и настройки мультимодального процессора. Репозиторий ориентирован на запуск на Apple Silicon через mlx-vlm; для мультимодального использования рекомендуется эта библиотека. Модель поддерживает английский, китайский, испанский, русский и японский языки. Лицензия — Apache 2.0, унаследованная от исходной модели. Размер параметров и длина контекста в предоставленных данных не приведены. Подробности о назначении и ограничениях исходной модели следует уточнять в её карточке.

Devstral-Small-2-24B-Instruct-2512-GGUF — квантизированная в формат GGUF версия модели Devstral-Small-2-24B-Instruct-2512 от Mistral, подготовленная ByteShape с использованием ShapeLearn. Метод ShapeLearn подбирает тип данных для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для генерации текста и задач, связанных с программированием, включая function calling, а также поддерживает мультимодальные сценарии с обработкой изображений. Доступны варианты с эффективной разрядностью от 2,34 до 4,04 бит на вес и размером от 6,9 до 11,9 ГБ. Качество оценивалось на BFCL-V3, LiveCodeBench V6, HumanEval, GSM8K-V, Math500, GSM8K и MMLU; в README также указана оценка vision-возможностей. Модели оптимизированы для GPU NVIDIA RTX 40-й и 50-й серий при использовании llama.cpp и могут запускаться через Ollama. Для работы с изображениями в llama.cpp необходимы файл модели и соответствующий мультимодальный projector-файл; размер контекста в приведённом примере составляет 8192 токена. Основные преимущества — широкий выбор компромиссов между качеством, скоростью и потреблением памяти, а также поддержка низкобитной квантизации и мультимодального использования. Ограничения включают возможное снижение качества на наиболее компактных вариантах и необходимость совместимого окружения для запуска; конкретные языки, полная архитектура и точные характеристики контекстного окна в README не указаны. Модель распространяется по лицензии Apache-2.0.

DNA 3.0 — мультимодальная модель семейства Qwen, дообученная компанией Dnotitia на базе Qwen/Qwen3.6-35B-A3B. Это модель Mixture-of-Experts с 35 млрд общих и примерно 3 млрд активных параметров, объединяющая обработку текста и изображений; заявленная архитектура использует разреженные MoE-слои и гибридное внимание. Модель рассчитана на диалоги, аналитические рассуждения, агентное программирование, работу с инструментами и визуальное понимание. Дополнительное обучение включает корпоративные сведения и терминологию Dnotitia, поэтому модель подходит для сценариев, где нужен ассистент с контекстом этой компании. README заявляет поддержку 201 языка и диалекта и контекст до 262 144 токенов, расширяемый примерно до 1 010 000 токенов с YaRN. Модель совместима с Transformers, vLLM, SGLang и KTransformers; для производственного развёртывания рекомендуется многопроцессорная инфраструктура. Модель обучалась по методике с ослабленным отказом от ответов и может выдавать содержание, которое другие модели отклоняют. Она может проявлять предвзятость в пользу Dnotitia, наследует ограничения базовой модели и способна галлюцинировать; для чувствительных сценариев необходимы проверка человеком и собственные меры модерации. Лицензия — Apache-2.0.

DNA 3.0-9B — мультимодальная модель компании Dnotitia, дообученная на базе Qwen/Qwen3.5-9B. Это плотная модель с 9 млрд параметров и архитектурой Qwen3.5 для работы с текстом и изображениями; поддерживает диалог и интерфейс вызова инструментов. В README указаны поддержка 201 языка и диалектов, контекст 262 144 токена с расширением примерно до 1 010 000 токенов с помощью YaRN. Метаданные указывают формат Safetensors и лицензию Apache-2.0. Модель рассчитана на аналитические рассуждения, программирование и отладку с агентными сценариями, понимание изображений и ответы в роли ассистента, знакомого с продуктами и внутренней терминологией Dnotitia. Её дообучали с уменьшенным числом отказов и корпоративной персоной; по умолчанию она может выдавать блоки рассуждений, которые можно отключить. Для обслуживания авторы рекомендуют выделенный inference-движок и много GPU. К ограничениям относятся сниженное поведение отказа, предвзятость в пользу Dnotitia, унаследованные от базовой модели смещения и возможные галлюцинации; для решений с высокими ставками требуется проверка человеком.

Dolphin 2.8 Mistral 7B v0.2 — разговорная модель с открытыми весами, разработанная Эриком Хартфордом и Cognitive Computations. Она дообучена на базе Mistral-7B-v0.2 и предназначена для выполнения инструкций, диалогов и задач программирования. Модель имеет плотную архитектуру MistralForCausalLM, около 7,1 млрд параметров и поддерживает контекст до 32 768 токенов; полновесное дообучение проводилось с длиной последовательности 16 000 токенов. В карточке перечислены обучающие наборы для инструкций, диалогов и кода. Модель ориентирована на генерацию ответов в чате, помощь с кодом и выполнение текстовых инструкций на английском языке. Авторы характеризуют её как uncensored и предупреждают о высокой готовности выполнять запросы, в том числе неэтичные; перед предоставлением модели пользователям рекомендуется добавить собственный слой контроля. Модель распространяется по лицензии Apache 2.0, включая коммерческое использование.

Dolphin 2.9.2 Mixtral 8x22B — разговорная языковая модель, подготовленная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе mistral-community/Mixtral-8x22B-v0.1. Это дообученная модель с архитектурой Mixtral MoE и классом MixtralForCausalLM; в репозитории веса представлены в safetensors. Всего указано 22 млрд параметров, базовая модель поддерживает контекст до 65 536 токенов, а дообучение выполнялось с длиной последовательности 16 000 токенов. Модель предназначена для диалогов и следования инструкциям, генерации кода и начальных агентных сценариев; также заявлена поддержка вызова функций. Обучение включало SystemChat 2.0, созданный для следования системным инструкциям в продолжительных беседах, и другие наборы диалоговых, кодовых и математических данных. Для взаимодействия используется шаблон ChatML. В карточке указан английский язык. Авторы характеризуют модель как uncensored и отмечают высокую готовность выполнять запросы, в том числе неэтичные; перед предоставлением пользователям может потребоваться собственный слой ограничений. Веса выпущены по лицензии Apache-2.0, допускающей коммерческое использование при соблюдении её условий.

ERNIE-4.5-21B-A3B-Thinking-GGUF — текстовая MoE-модель, разработанная Baidu и представленная в формате GGUF. Она предназначена для сложных задач рассуждения, включая логические задачи, математику, естественные науки, программирование, генерацию текста и академические тесты. Модель также поддерживает эффективное использование инструментов и вызовы функций. Модель содержит 21 млрд параметров, из которых для каждого токена активируется около 3 млрд. Архитектура включает 28 слоёв, 20 Q-голов и 4 KV-головы, 64 текстовых эксперта с активацией 6 экспертов, 64 vision-эксперта с активацией 6 экспертов и 2 общих эксперта. Указана длина контекста 131 072 токена. Основная модальность — текст; заявленные языки — английский и китайский. К сильным сторонам относятся улучшенные качество и глубина рассуждений, поддержка длинного контекста, инструментов и function calling, а также вычислительная эффективность MoE-архитектуры благодаря активации только части параметров на каждом токене. README рекомендует модель прежде всего для высокосложных задач, однако отмечает повышенную длину рассуждений, что может увеличивать задержку и расход ресурсов. Для запуска полной модели указана конфигурация с GPU объёмом 80 ГБ и FastDeploy 2.2; для работы через Transformers требуется версия 4.54.0 или новее. Модель распространяется по лицензии Apache 2.0.