II.7DevOps, облако и эксплуатация IT-систем

Qwen3.6-35B-A3B-NVFP4-MTP-GGUF — производная сборка модели Qwen3.6-35B-A3B, подготовленная Nilay Parikh для запуска через llama.cpp на NVIDIA DGX Spark. Это мультимодальная модель с архитектурой MoE: всего 35 млрд параметров, из которых около 3,5 млрд активны на токен. Основные веса квантизованы в NVFP4, голова MTP сохранена в BF16 для спекулятивного декодирования, а мультимодальный проектор для изображений поставляется отдельным файлом BF16 GGUF. Модель предназначена для генерации кода и текста, анализа длинных репозиториев и документов, а также рассуждений по скриншотам интерфейсов и диаграммам. В README заявлен контекст до 256 тысяч токенов с масштабированием YaRN от базовых 128 тысяч; для обработки изображений требуется подключить отдельный mmproj. Карточка ориентирована на английский язык. Лицензия — Apache-2.0. В README указана скорость около 30 токенов/с при коротком контексте и настроенной спекулятивной генерации на DGX Spark; эти показатели зависят от оборудования и конфигурации.

Qwen3.8-27B-heretic-ara-NVFP4 — производная модель hwkranger на базе Qwen/Qwen3.8-27B, прошедшая ARA-abliteration у trohrbaugh и последующую квантизацию NVFP4 от автора репозитория. Модель предназначена для генерации текста, агентных и программных сценариев, вызова инструментов, а также обработки изображений и видео. Она ориентирована прежде всего на запуск через vLLM на NVIDIA GB10 и DGX Spark с унифицированной памятью. Модель содержит 27B параметров и использует формат квантизации W4A16 NVFP4; размер на диске составляет около 20 ГБ вместо 52 ГБ у исходной BF16-версии. Vision tower и MTP-голова сохранены без квантизации, что обеспечивает работу с изображениями и видео и поддерживает speculative decoding через vLLM. Нативный контекст составляет 262 144 токена; в рекомендуемой конфигурации используется 131 072 токена. Поддерживаются шаблон чата Qwen3, reasoning-разметка с тегами <think> и вызов инструментов в формате qwen3_coder. К сильным сторонам относятся сниженные требования к памяти, высокая пропускная способность при параллельной обработке запросов и отсутствие отказов от ответов вследствие удаления исходного refusal-поведения. MTP может повысить скорость однопоточной и многопоточной генерации, но его draft-голова не обучалась на аблитерированных весах, поэтому acceptance rate ниже; также описан единичный сбой CUBLAS при смешанной нагрузке prefill и decode. Квантизация может снизить точность, поэтому критичные сценарии следует проверять сравнением с BF16-моделью. Модель унаследует знания, смещения и ограничения базовой модели; для публичного доступа необходимы собственные защитные механизмы. Лицензия — Apache-2.0.

Satella-30B-A3B — разреженная языковая модель семейства Atem, дообученная EphAsad на базе Qwen/Qwen3-30B-A3B. Это архитектура Qwen3 MoE с 30,5 млрд параметров, из которых активируется около 3,3 млрд на токен; обучение выполнено одним проходом с LoRA в BF16. Модель поддерживает диалог, интерфейс вызова инструментов и режимы с явным рассуждением и без него. Контекст модели — до 40 960 токенов. Модель предназначена для многошаговых математических и логических задач, генерации и отладки кода, технических объяснений, аналитических сравнений и выполнения сложных инструкций. В обучающую смесь вошли данные по программированию, рассуждениям, математике, медицине и диалогам; карточка указывает английский язык. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить с лицензией репозитория. Модель не имеет доступа к актуальным данным и не является поисковой системой. Ответы по медицинским, юридическим, финансовым и другим критически важным вопросам требуют независимой проверки; заявленные возможности и качество основаны на описании автора.

Claude Sonnet 4.6 — модель семейства Sonnet, разработанная Anthropic. По карточке модели она предназначена для программирования, работы с агентами и профессиональных задач; заявлены сильные результаты в итеративной разработке, навигации по сложным кодовым базам и управлении проектами от начала до конца.

Dolphin 2.9.1 Mixtral 1x22b — чат-модель, подготовленная Эриком Хартфордом, Лукасом Аткинсом, Фернандо Фернандесом и Cognitive Computations. Она основана на Mixtral-8x22B-v0.1 и прошла полное дообучение всех слоёв; в карточке указано 22 млрд параметров. Модель представляет собой извлечённый эксперт, полученный объединением SLERP экспертов исходной архитектуры Mixtral. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0. Модель предназначена для диалогов и выполнения инструкций, помощи с программированием, начального уровня агентных задач и вызова функций. Контекст базовой модели составляет 64 тыс. токенов, а дообучение проводилось с длиной последовательности 16 тыс. токенов. В качестве обучающих данных использовались, среди прочего, наборы Dolphin-2.9, OpenHermes-2.5 и датасеты для кода, математики и вызова функций. Модель описана авторами как uncensored и может с высокой готовностью выполнять запросы, в том числе небезопасные; перед предоставлением её пользователям авторы рекомендуют добавить собственный слой выравнивания. Язык карточки и метаданных — английский.

Dolphin 2.9.3 Mistral Nemo 12B — разговорная языковая модель, дообученная Eric Hartford и командой Cognitive Computations на базе mistralai/Mistral-Nemo-Base-2407. Она предназначена для следования инструкциям, диалогов, генерации кода и начальных агентных сценариев; также поддерживает вызов функций через ChatML-шаблон. Модель содержит 12,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и формат safetensors. Базовая модель рассчитана на контекст до 128 тыс. токенов, однако при дообучении использовалась длина последовательности 8192 токена. Dolphin описана как «uncensored» и может с высокой готовностью выполнять запросы, в том числе вредоносные или неэтичные. Перед предоставлением модели пользователям автор рекомендует добавить собственный слой контроля и выравнивания. Модель лицензирована по Apache 2.0, включая коммерческое использование.

Dolphin 2.9 Mixtral 8x22B — диалоговая модель Cognitive Computations, подготовленная Eric Hartford, Lucas Atkins и Fernando Fernandes на основе mistral-community/Mixtral-8x22B-v0.1. Это дообученная модель с разреженной архитектурой Mixtral MoE, представленная в формате safetensors и предназначенная для генерации текста по инструкциям и ведения диалогов. Модель подходит для ответов на вопросы, программирования, математических задач и сценариев с вызовом функций; README также отмечает начальные агентные возможности. Она обучалась в формате ChatML, а полное дообучение проводилось на последовательностях длиной 4 тыс. токенов. Для базовой модели заявлен контекст до 64 тыс. токенов. В метаданных указан английский язык. Dolphin описана авторами как неконтролируемая модель, которая может охотно выполнять в том числе неэтичные запросы; перед предоставлением пользователям сервиса авторы рекомендуют добавить собственный слой ограничений. В данных обучения обнаружена проблема, из-за которой модель может излишне упоминать системное сообщение; README предлагает явно просить её этого не делать. Лицензия Apache-2.0 допускает коммерческое использование при соблюдении её условий.

Gemma-4-E4B-text-base — текстовая версия Gemma-4-E4B-it, подготовленная wyattearp удалением мультимодальных проекций зрения и аудио. Параметры языкового трансформера сохранены побитно относительно базовой модели; это плотная авторегрессионная модель Gemma 4 примерно на 4,2 млрд параметров с контекстом до 131 072 токенов и словарём из 256 000 токенов. Модель предназначена для генерации текста, диалогов, рассуждений, программирования и агентных сценариев с вызовом инструментов. Текстовая конфигурация сокращает расход памяти на мультимодальные компоненты и упрощает обслуживание через Transformers и совместимые движки, включая vLLM. Карточка описывает англоязычное применение; удаление аудио- и визуальных компонентов исключает обработку изображений и аудио. Модель распространяется в формате safetensors; для использования действует лицензия Gemma. README отмечает необходимость исправления парсера вызовов инструментов в vLLM для корректной обработки некоторых переходов формата Gemma 4.

Grok 4.5 — модель SpaceXAI, заявленная как модель с передовыми возможностями в программировании, интеллектуальной работе и задачах STEM. Она предназначена для помощи в написании и разборе кода, работе со знаниями и решении научных, технических, инженерных и математических задач. Доступные сведения не подтверждают конкретные архитектуру, размер, модальности, языки или длину контекста. Лицензия не указана.

HyperNova-60B-2602-GGUF — GGUF-версия модели HyperNova 60B 2602 от Multiverse Computing. Модель создана на основе openai/gpt-oss-120b и сжата технологией CompactifAI: в ней 60 млрд параметров вместо 117 млрд у базовой модели, что снижает требования к памяти. Это instruction-tuned языковая модель с архитектурой MoE, предназначенная для генерации текста, рассуждений и задач разработчика. Модель поддерживает диалог, вызов инструментов по схемам в стиле OpenAI и структурированный вывод. Её можно применять для генерации и анализа кода, чат-ботов, RAG-систем и агентных сценариев, где модель вызывает внешние инструменты. В README рекомендуют формат сообщений Harmony, используемый базовой моделью. Основной язык — английский; другие языки формально не оценивались, и качество на них может различаться. Сжатие может влиять на отдельные способности, а вызов инструментов зависит от корректных схем и настройки инструментов; поведение не гарантирует полного совпадения с базовой моделью. Лицензия — Apache-2.0.

unsloth/Kimi-K2.7-Code-GGUF — GGUF-квантизированная версия Kimi K2.7 Code, разработанная Moonshot AI и подготовленная Unsloth. Модель ориентирована на агентное программирование и выполнение сложных долгосрочных задач разработки программного обеспечения, включая сквозные рабочие процессы с кодом. По данным README, по сравнению с Kimi K2.6 она повышает качество на практических задачах и примерно на 30% сокращает расход токенов рассуждения. Модель использует архитектуру Mixture-of-Experts с общим числом параметров около 1 трлн и 32 млрд активируемых параметров. Она содержит 61 слой, 384 эксперта, из которых для каждого токена выбираются 8, механизм внимания MLA, активацию SwiGLU и словарь размером 160 тысяч токенов. Контекстное окно составляет 256 тысяч токенов. Также предусмотрен vision-энкодер MoonViT на 400 млн параметров, поэтому модель поддерживает обработку визуальной информации наряду с текстом и кодом. Главные сильные стороны — специализация на программировании, агентных сценариях, работе с длинным контекстом и высокая токеновая эффективность. Ограничениями являются очень большой общий размер модели и значительные требования к вычислительным ресурсам: согласно README, вариант UD-Q8_K_XL занимает около 595 ГБ, а характеристики конкретных GGUF-квантов могут отличаться. Модель распространяется по лицензии Modified MIT; точные условия следует проверять в прилагаемом файле лицензии.

JetBrains/Mellum2-12B-A2.5B-Instruct-GGUF-Q4_K_M — это квантизированная версия инструкционной модели Mellum2, разработанной JetBrains. Модель представлена в формате GGUF и предназначена для запуска в llama.cpp, Ollama, LM Studio и других совместимых средах, включая использование через OpenAI-совместимый API. Модель использует архитектуру Mixture-of-Experts с 64 экспертами, из которых для каждого токена активируются 8. Заявлен контекст до 131 072 токенов, поддерживается генерация текста, а в карточке указана поддержка английского языка. Квантизация Q4_K_M использует 4-битное представление и занимает около 8,1 ГБ, обеспечивая компромисс между качеством и размером. Модель ориентирована на прямые ответы без внешнего отображения цепочки рассуждений и может применяться для диалогов, генерации текста и программного кода. Основное преимущество этой версии — заметное снижение требований к дисковому пространству и памяти по сравнению с BF16 при сохранении значительной близости к исходной модели: совпадение наиболее вероятного токена составляет 87,2%, а значение KLD относительно BF16 — около 0,106 на указанном тесте Wikitext-2. Ограничением является потеря точности из-за 4-битной квантизации; приведённые метрики не заменяют полноценную оценку качества прикладных задач. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-27B-unsloth-code-reasoning-deepseek-v4-pro-destilled-Mlx — созданная сообществом 4-битная MLX-конверсия плотной vision-language модели семейства Qwen с примерно 27 млрд параметров. В основе указаны Qwen/Qwen3.5-27B и unsloth/Qwen3.6-27B; модель дообучена с использованием Unsloth и дистиллирована на примерах рассуждений DeepSeek v4 Pro. Она предназначена прежде всего для локального запуска на Apple Silicon через MLX и ориентирована на англоязычные сценарии. Модель поддерживает генерацию, дополнение и объяснение кода, задачи, требующие пошагового рассуждения, математику, логику, отладку, агентные рабочие процессы и вызов инструментов. Архитектура использует чередующиеся слои linear attention и full attention в соотношении 3:1, скрытый размер 5120, размер головы 256 и один MTP-слой; все параметры активны для каждого токена. Поддерживаются текст, изображения и видео, а также встроенный вызов функций через шаблон чата. Квантование выполнено в формате 4-bit affine с размером группы 64; для комфортной работы рекомендуется не менее 24 ГБ unified memory, предпочтительно 32 ГБ или больше. Сильные стороны модели — специализация на программировании и рассуждениях, предсказуемая задержка плотной архитектуры, мультимодальность, tool-calling и возможность приватного локального использования. Ограничения включают отсутствие официальных результатов бенчмарков, возможные галлюцинации и ошибки в коде, снижение качества из-за 4-битного квантования и преимущественную ориентацию на английский язык. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-OBLITERATED — текстовая генеративная модель из репозитория kcplummer, созданная на основе Qwen/Qwen3.8-27B. Это модификация Qwen3.8, в которой методом abliteration удалено поведение отказа от ответов на ограниченные запросы. В README описана версия V3 с итеративным уточнением, целевой обработкой направлений отказа и смешиванием результатов нескольких процедур. Модель предназначена для генерации текста, программного кода, исследовательских и red-team-сценариев, а также агентных задач, включая кибербезопасность и тестирование безопасности ИИ. Модель имеет архитектуру Qwen3, около 27 млрд параметров и поддерживает текстовый ввод и вывод. Указана совместимость с режимом рассуждений, однако для V3 рекомендуется его отключать ради более прямых ответов. В README приведён показатель MMLU 82,3% для версии V3 против 84,5% у исходной модели; также заявлены рабочая генерация кода в 20 из 20 проверенных заданий и сохранение способности отвечать в расширенных сценариях. Рекомендуемые параметры — temperature 0, repetition_penalty 1,15 и не менее 2048 новых токенов, но конкретный размер контекста и список поддерживаемых языков не указаны. Главное преимущество модели — существенно сниженная склонность к жёстким отказам и формальным «лекциям о безопасности», при сохранении большей части исходных возможностей. Ограничения включают небольшое снижение результата MMLU относительно базовой модели, риск циклической генерации без repetition_penalty и потенциально повышенные риски при использовании для вредоносных или опасных задач из-за отсутствия стандартных защитных отказов. В README указана лицензия Apache-2.0; доступны варианты в форматах GGUF, Safetensors и MLX.

DeepSeek-R1-Distill-Llama-8B-unsloth-bnb-4bit — это 4-битная динамически квантизированная версия DeepSeek-R1-Distill-Llama-8B, подготовленная Unsloth на базе модели DeepSeek-R1 от DeepSeek AI. Модель относится к семейству больших языковых моделей на архитектуре Llama и предназначена для работы через библиотеку Transformers. Модель ориентирована на задачи рассуждения, включая решение математических задач, генерацию и анализ кода, а также другие сценарии, требующие пошагового вывода. Указан английский язык. Размер базовой модели составляет 8B параметров; модальность — текстовая. Длина контекста в предоставленных данных не указана. Ключевое преимущество версии — динамическое 4-битное квантование Unsloth, при котором отдельные параметры выборочно не квантуются для сохранения более высокой точности по сравнению со стандартным 4-битным квантованием. Это снижает требования к памяти и упрощает локальный запуск, однако квантизация может влиять на качество по сравнению с полноразмерной версией. Сведения о точных ограничениях, показателях производительности и рекомендуемых аппаратных требованиях не приведены. Модель распространяется по лицензии Llama 3.1.

Карточка модели nicoboss/dolphin-2.9.3-mistral-nemo-12b-llamacppfixed на Hugging Face совпадает с карточкой dphn/dolphin-2.9.3-mistral-nemo-12b, поэтому описание составлено по ней. Dolphin 2.9.3 Mistral Nemo 12B — разговорная языковая модель, дообученная Eric Hartford и командой Cognitive Computations на базе mistralai/Mistral-Nemo-Base-2407. Она предназначена для следования инструкциям, диалогов, генерации кода и начальных агентных сценариев; также поддерживает вызов функций через ChatML-шаблон. Модель содержит 12,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и формат safetensors. Базовая модель рассчитана на контекст до 128 тыс. токенов, однако при дообучении использовалась длина последовательности 8192 токена. Dolphin описана как «uncensored» и может с высокой готовностью выполнять запросы, в том числе вредоносные или неэтичные. Перед предоставлением модели пользователям автор рекомендует добавить собственный слой контроля и выравнивания. Модель лицензирована по Apache 2.0, включая коммерческое использование.

ressl/gemma-4-31B-it-uncensored-GGUF — квантизированная GGUF-версия модели gemma-4-31B-it-uncensored, основанной на Google Gemma 4 31B-it. Формат подготовлен Robert Ressl для запуска через llama.cpp, Ollama и LM Studio; разработчик базовой модели — Google, а адаптация, «uncensored»/abliterated-обработка, конвертация и валидация выполнены Robert Ressl. Модель предназначена для генерации текста, диалоговых задач, локального запуска и сценариев, где требуется ассистент с минимальным количеством отказов, включая этичный анализ безопасности, исследование уязвимостей, анализ вредоносного и exploit-кода, написание правил обнаружения и red-teaming. GGUF-репозиторий является текстовым: мультимодальная vision-компонента удалена. Заявлены английский и немецкий языки. Модель поддерживает режим рассуждений, включаемый по умолчанию в llama.cpp; для прямых ответов его можно отключить. Доступны квантизации от q8_0 до q2_k размером примерно от 31 до 12 ГБ; q4_k_m указан как рекомендуемый баланс качества и размера. Меньшие квантизации снижают требования к памяти, но могут ухудшать качество. README сообщает о 0 эффективных отказов в большинстве уровней квантизации и о скорости около 75 токенов в секунду для q4 на одной RTX PRO 6000, однако эти показатели зависят от среды и методики тестирования. Максимальная длина контекста и архитектурные детали не указаны. Модель распространяется по Apache License 2.0, унаследованной от базовой модели Google Gemma 4; использование должно соответствовать условиям этой лицензии и применимому законодательству.

lunahr/Hermes-3-Llama-3.2-3B-abliterated — это изменённая версия Hermes 3 3B, диалоговой языковой модели Nous Research на архитектуре Llama с 3,2 млрд параметров. В основе лежит NousResearch/Hermes-3-Llama-3.2-3B, дообученная на базе Llama-3.2 3B; этот вариант описан как abliterated. Модель использует формат диалога ChatML и рассчитана на контекст до 131 072 токенов. Модель предназначена для многоходового общения и следования инструкциям, а также для генерации кода, ролевых диалогов, структурированных JSON-ответов и вызова функций. Метаданные указывают поддержку английского языка; модель работает с текстом на входе и генерирует текст. В README для Hermes 3 заявлены улучшения в рассуждениях, согласовании с запросами пользователя, связности на длинном контексте и агентных сценариях. При работе с вызовом функций нужно учитывать описанное автором отклонение в формате: ответы инструмента передаются в роли user, что требует адаптации кода интеграции. Модель распространяется по лицензии Llama 3.

MistralCode-7B-Instruct-v0.2-slerp — объединённая диалоговая языковая модель на архитектуре Mistral, созданная с помощью LazyMergekit из mistralai/Mistral-7B-Instruct-v0.2 и dhyay/mistral_codev2_3k. Веса объединены методом SLERP; модель содержит 7,1 млрд параметров и принимает текстовый контекст длиной до 32 768 токенов. Модель предназначена для генерации текста и ответов на инструкции в диалоговом формате, включая задачи программирования, на которые ориентирована одна из исходных моделей. Может использоваться для помощи с кодом и обычных текстовых запросов. Сведения о поддерживаемых естественных языках и лицензии в доступных данных отсутствуют.

SKT AI LABS представила SKT-NRS/NRS_QWEN_MYTHOS_1M — дообученную модель на архитектуре Qwen3.5-9B для диалогов, рассуждений и генерации текста. Карточка заявляет контекст до 1 048 576 токенов с масштабированием YaRN и настройку на примерах по программированию, математике и логике. Метаданные также указывают поддержку изображений в базовой мультимодальной архитектуре Qwen, хотя описание модели сосредоточено на текстовых сценариях. Модель предназначена для анализа длинных документов и кодовых баз, пошаговых рассуждений, программирования и вызова инструментов, включая Python и веб-поиск. Заявлены диалоговый режим и оптимизация инференса, однако сведения о скорости и стократном повышении качества являются утверждениями авторов без приведённых сравнительных результатов. Для обработки вывода могут потребоваться специальные меры из-за блоков <think>; критические ответы следует проверять из-за риска галлюцинаций. Лицензия в предоставленных данных не указана.

Openai_gpt-oss-20b-CODER-NEO-CODE-DI-MATRIX-GGUF — это специализированная GGUF-квантизация базовой модели openai/gpt-oss-20b, подготовленная DavidAU. Вариант ориентирован прежде всего на генерацию и анализ программного кода, а также поддерживает общий чат, рассуждения, решение задач и мозговой штурм. Для оптимизации заявлены отдельные NEO- и CODER-наборы данных, объединённые в Dual Imatrix (DI-Matrix), применённые к квантизированным версиям модели. Модель использует архитектуру Mixture of Experts с 20B параметров и поддерживает до 24 экспертов, при этом в README рекомендуются 4–8 активных экспертов в зависимости от сценария. Указаны языки и возможности работы преимущественно для английского языка, контекст до 128k токенов, использование инструментов и browsing. Доступны варианты IQ4_NL и MXFP4_MOE; наборы MXFP4_MOE предназначены для эффективного сжатия, но README отмечает проблемы совместимости и качества для некоторых конфигураций. Разработчик сообщает о тестировании на сложных задачах программирования, однако результаты приведены без независимых бенчмарков. Сильные стороны модели — специализация на коде, поддержка длинного контекста, MoE-архитектура и несколько вариантов квантизации. К ограничениям относятся зависимость качества от выбранного числа активных экспертов, параметров сэмплирования и конкретного кванта, а также возможные проблемы MXFP4_MOE из-за особенностей тензоров исходной модели. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled — модель, разработанная Jackrong на базе Qwen/Qwen3.5-27B. Она дообучена методом SFT с применением LoRA на наборах данных с примерами рассуждений, включая материалы, заявленные как дистиллированные из взаимодействий с Claude-4.6 Opus. Модель ориентирована на задачи, требующие пошагового анализа, планирования, программирования и работы в средах coding agents, включая Claude Code и OpenCode. Модель относится к плотной архитектуре размером 27B параметров. В карточке указаны поддержка английского и китайского языков, а также совместимость с Transformers, llama.cpp и форматом GGUF. Метаданные описывают её как image-text-to-text и мультимодальную, однако в описании итоговая версия явно названа text-only, поэтому возможности обработки изображений следует считать не подтверждёнными. Заявлена поддержка роли developer в шаблоне диалога и сохранённого thinking mode с выводом рассуждений в тегах <think>. К сильным сторонам относятся структурированное рассуждение, улучшенная автономность и стабильность при работе инструментального агента, а также снижение избыточных повторов в рассуждениях на простых запросах. Согласно карточке, модель способна продолжать автономную работу более девяти минут без вмешательства пользователя, но приведённые результаты основаны на общественных тестах, а не на независимой систематической оценке. Размер 27B может предъявлять существенные требования к памяти и вычислительным ресурсам, особенно без квантования. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-UDT-MTP-GGUF — это квантизированная в формате GGUF версия модели Qwen3.6-35B-A3B, подготовленная Atomic Chat на основе оригинальных весов Qwen. Модель предназначена для локального и полностью офлайн-использования в llama.cpp, Ollama, LM Studio, Jan и Atomic Chat, включая диалоговые сценарии, агентное программирование, работу с фронтенд-задачами и рассуждения на уровне репозиториев. Модель имеет 36 млрд параметров, 40 слоёв и архитектуру Mixture-of-Experts с 256 экспертами, из которых выбираются 8, а также 16 attention heads и 2 KV heads. Заявленный контекст составляет 262 144 токена. Поддерживаются текстовая и визуальная модальности; для обработки изображений в репозитории доступен vision-проектор mmproj-BF16.gguf. Квантизация выполнена с использованием importance matrix для разных уровней точности, что должно помогать сохранять качество при низкобитных форматах. К сильным сторонам относятся мультимодальность, большой контекст, MoE-архитектура, локальная работа без передачи данных во внешние сервисы и квантизация, откалиброванная importance matrix. Ограничения включают необходимость выбора подходящего GGUF-кванта, значительные требования к ресурсам и обязательное применение шаблона чата Qwen3.6 через параметр --jinja; для изображений требуется vision-проектор и совместимый интерфейс. Базовая модель выпущена под лицензией Apache 2.0, квантизация выполнена Atomic Chat.

Qwen3.8-Flash-Next REAP-384 — это мультимодальная модель класса 180B параметров, разработанная на основе Qwen/Qwen3.8-Flash-Next и опубликованная пользователем sh0wie. Версия адаптирована для MLX и выполнена в 4-битной аффинной квантизации. В каждом MoE-слое сохранено 384 из 512 экспертов, при этом маршрутизация top-10 не изменена. Модель предназначена прежде всего для генерации текста и агентских сценариев, особенно для программирования и рефакторинга кода; поддерживается запуск и OpenAI-совместимое серверное предоставление через mlx-vlm. Мультимодальные веса, включая vision tower, сохранены, однако качество работы с изображениями после pruning не оценивалось. Архитектура включает основную модель объёмом около 125B параметров, 51B-параметрическую n-gram embedding table и 48 слоёв, чередующих Gated DeltaNet и Qwen sparse attention. Используется MoE с 384 экспертами на слой, квантизация — 4-битная, с group size 64, а для n-gram-таблицы — 32. Модель требует около 80 ГБ дискового пространства и примерно 51 ГБ оперативной памяти при размещении n-gram-таблицы на NVMe; при полной загрузке в память потребление составляет около 80 ГБ. В тесте HumanEval получен результат 92,1% pass@1 против 93,9% у некропнутой 512-экспертной версии. Сильная сторона модели — близкое к исходной версии качество при сниженных требованиях к диску и памяти; доступна также speculative decoding с отдельным MTP-drafter, хотя выигрыш в скорости зависит от оборудования. Ограничения включают неполную проверку мультимодальности, возможное ухудшение качества в областях, далёких от программирования, и однократные оценки без доверительных интервалов. Модель распространяется по Qwen Community License 1.0, унаследованной от базовой модели.

Это конверсия модели Qwen3-Coder-30B-A3B-Instruct в формат GGUF F16, подготовленная Geoff Munn для локального запуска через llama.cpp и совместимые приложения, включая LM Studio, OpenWebUI и GPT4All. В основе — инструктивная MoE-модель Qwen, предназначенная для программирования, диалога и агентных сценариев. Модель подходит для генерации и объяснения кода, решения задач по программированию и математике, работы с RAG и интеграции с инструментами. В метаданных перечислена поддержка английского, китайского, испанского, французского, немецкого, русского, арабского, японского, корейского и хинди. Базовая модель поддерживает контекст до 262 144 токенов. Репозиторий содержит вариант GGUF F16; README также описывает доступные квантизованные варианты и компромиссы между размером, скоростью и качеством. Это конверсия сообщества, не связанная с Alibaba Cloud или командой Qwen. Лицензия — Apache-2.0.

Rnj-1.5-Instruct — диалоговая языковая модель Essential AI, дообученная на основе EssentialAI/rnj-1. Она содержит 8,3 млрд параметров и использует плотную архитектуру семейства Gemma 3 Text с чередованием блоков локального и глобального внимания. Окно контекста расширено до 163 840 токенов; модель рассчитана на диалоги, программирование и работу с длинными текстами, включая кодовые репозитории и научные материалы. Модель предназначена для генерации и анализа кода, понимания контекста проекта, ответов на вопросы по длинным документам и использования инструментов в диалоговом интерфейсе. В README отмечены результаты на оценках длинного контекста и SWE-Bench, но они не гарантируют аналогичного качества в конкретных задачах. Модель оптимизирована для понимания длинного контекста, а не для его продолжительной генерации: при очень длинных ответах иногда появляются бессмысленные токены. Распространяется по лицензии Apache 2.0.

Step-3.5-Flash-REAP-149B-A11B — сжатая методом REAP версия языковой модели Step-3.5-Flash, созданная авторами проекта REAP. Это причинная разреженная MoE-модель для диалогов и генерации текста. Она предназначена для программирования, математических рассуждений, вызова инструментов и агентных сценариев. По README, в модели 149 млрд параметров, из которых на каждом токене активируются около 11 млрд; она содержит 45 слоёв и 216 экспертов, из которых выбираются 8 на токен. Контекст составляет 262 144 токена. Карточка заявляет сокращение объёма памяти на 25% и близкую к исходной модели производительность; для запуска указана совместимость с vLLM. Модель принимает текст и выдаёт текст. В метаданных указан английский язык. Лицензия в README обозначена как Apache 2.0, тогда как метаданные Hugging Face содержат значение «other», поэтому условия распространения следует сверить с файлами лицензии репозитория. README описывает однократное прореживание экспертов без последующего дообучения, поэтому производная классифицирована как сжатие, а не fine-tuning.

Agnes 2.5 Pro Alpha — мультимодальная модель рассуждений, разработанная Agnes AI и дообученная на Qwen/Qwen3.5-397B-A17B. Она принимает текст и изображения и предназначена для программирования, научных задач, анализа длинных контекстов и агентных сценариев с вызовом инструментов. Модель поддерживает контекст до 1 млн токенов и генерацию до 65 536 токенов; заявлены расширенное рассуждение и понимание изображений. Модель подходит для анализа репозиториев и отладки кода, синтеза технических документов, научного решения задач и визуального анализа. В README указаны сравнительные оценки на бенчмарках, но таблица результатов в предоставленном тексте опущена. Модель доступна в формате safetensors; для локального запуска README рекомендует 8 GPU класса NVIDIA H200 и около 1 ТБ свободного места. Лицензия — Apache-2.0. Ответы могут содержать ошибки; для важных решений и действий инструментов требуется проверка.

DeepSeek-V4-Flash-0731-CRACK-NVFP4 — дообученная и модифицированная версия deepseek-ai/DeepSeek-V4-Flash-0731, опубликованная Dealign.ai. Это текстовая генеративная MoE-модель для диалогов, рассуждений, программирования, вызова инструментов и многошаговых сценариев. Модель позиционируется как исследовательский артефакт с удалёнными защитными отказами, поэтому требует ответственного и законного применения. Архитектура включает 43 слоя, 256 маршрутизируемых и одного общего эксперта, MLA, sliding-window attention и контекст примерно до 1 млн токенов с YaRN. Сохранены native-квантизация FP8 для attention и общих экспертов, FP4 класса NVFP4 для маршрутизируемых экспертов, DSpark MTP head, управляемое усилие рассуждения и спекулятивное декодирование. Чекпойнт занимает около 167 ГБ и рассчитан на tensor parallel между двумя узлами NVIDIA GB10 или DGX Spark; в README также указана конфигурация обслуживания с контекстом до 393216 токенов. Заявлены английский и китайский языки, интеграция с vLLM и поддержка OpenAI-совместимых инструментальных вызовов. К сильным сторонам относятся сохранённые знания и способности к рассуждению, высокая заявленная точность на MMLU и HumanEval, производительность 45–49 токенов в секунду в однопоточном режиме, prefix caching и высокая ёмкость GPU KV cache. Основное ограничение — отсутствие защитных отказов: модель может согласиться с вредоносными, незаконными или опасными запросами. Для запуска требуются совместимые сборки vLLM, две системы GB10/DGX Spark, tensor parallel и специализированная инфраструктура. Модель распространяется по лицензии MIT с наследованием условий upstream DeepSeek-V4-Flash; перед использованием необходимо проверить применимые условия лицензии.

Dolphin 2.6 Mistral 7B — дообученная на базе Mistral-7B языковая модель, созданная Eric Hartford при спонсорской поддержке Convai. Это плотная авторегрессионная модель с 7,1 млрд параметров, предназначенная для диалога и генерации текста; разработчик отдельно отмечает её сильные стороны в программировании. Модель обучалась полным дообучением в течение трёх эпох и использует формат запросов ChatML. Модель хорошо следует инструкциям, но не проходила DPO-настройку. В README её называют uncensored и предупреждают, что она может охотно выполнять небезопасные запросы; перед использованием в сервисе рекомендуется добавить собственный уровень фильтрации. Контекстная длина в метаданных указана как 32 768 токенов, тогда как README сообщает для базовой модели Mistral-7B контекст 16 тысяч токенов. Распространяется по лицензии Apache-2.0, допускающей коммерческое использование.