II.7DevOps, облако и эксплуатация IT-систем

OpenYourMind создала abliterated-версию MiniMax-M3: из модели удалено поведение отказа, при этом сохранены рассуждения, многоязычные и мультимодальные возможности, программирование и использование инструментов. Это большая мультимодальная модель класса Mixture of Experts с визуальным энкодером и режимом рассуждений. Архитектура, токенизатор и шаблон чата совпадают с базовой моделью, поэтому версия предназначена для замены MiniMax-M3 в совместимом окружении. Модель принимает текст и изображения и формирует текстовые ответы; её можно применять для диалогов, анализа изображений, программирования и агентных сценариев. Весовой файл содержит параметры BF16 и занимает около 854 ГБ, поэтому для развёртывания требуются несколько GPU или узлов; для менее мощных систем потребуется квантизация. Лицензия указана как Other и наследуется от лицензии MiniMax-M3.

solidrust/Mistral-7B-Instruct-v0.3-AWQ — это 4-битно квантованная версия Mistral-7B-Instruct-v0.3, разработанной компанией Mistral AI (mistralai) и опубликованной в формате AWQ пользователем Suparious. Модель представляет собой большую языковую модель с авторегрессионной архитектурой для генерации текста и была дообучена на выполнение инструкций. Модель предназначена для диалоговых сценариев, ответов на запросы пользователей, генерации и обработки текста, а также задач, где требуется следование инструкциям. Базовая версия Mistral-7B-v0.3 получила расширенный словарь размером 32768 токенов, поддержку токенизатора v3 и function calling. README не указывает поддерживаемые языки и размер контекстного окна. Ключевое преимущество версии AWQ — снижение требований к памяти и потенциально высокая скорость инференса при сохранении качества, сопоставимого с распространёнными настройками GPTQ. Ограничением является поддержка преимущественно Linux и Windows с графическими процессорами NVIDIA; для macOS рекомендуется использовать модели в формате GGUF. Для запуска доступны AutoAWQ, vLLM, Text Generation Inference, Transformers и Text Generation WebUI. Модель распространяется по лицензии Apache-2.0.

Nereus-7B — языковая модель на 7,1 млрд параметров от автора репозитория saucam. Это объединение моделей cognitivecomputations/dolphin-2.8-mistral-7b-v02 и NousResearch/Hermes-2-Pro-Mistral-7B методом mergekit DARE-TIES; архитектура — плотная Mistral с causal language modeling. Модель предназначена для диалогов, генерации кода и формирования структурированных ответов в JSON. Модель принимает текст и генерирует текст. В метаданных указан контекст до 32 768 токенов и лицензия Apache-2.0. README приводит результаты нескольких бенчмарков, однако они не дают гарантии качества для конкретного сценария. Языки модели и её специальные предметные области в доступных данных не определены.

Olmo 3 32B Think SFT — авторегрессионная языковая модель на архитектуре Transformer, разработанная Allen Institute for AI (Ai2). Это плотная модель с 31,7 млрд параметров, дообученная методом SFT на базе allenai/Olmo-3-1125-32B; в метаданных указан датасет allenai/Dolci-Think-SFT. Модель предназначена для диалогов и задач, где полезны пошаговые рассуждения, включая математику, программирование, следование инструкциям и ответы на общие вопросы. Модель работает с текстом, поддерживает английский язык и контекст до 65 536 токенов. Для запуска поддерживается Transformers версии 4.57.0 и выше; доступны веса в формате safetensors и интерфейс вызова инструментов. Лицензия — Apache 2.0. Модель может выдавать неверные сведения и без фильтрации генерировать вредный или чувствительный контент. Факты в ответах следует проверять; при внедрении нужно учитывать возможные смещения и риски генерации.

OpenChat-3.5-0106 Gemma — диалоговая языковая модель OpenChat, дообученная методом C-RLFT на данных OpenChat-3.5-0106 на базе Gemma. Это плотная архитектура Gemma для генерации текста, в том числе ответов в диалоге; заявленный размер в метаданных — 8,2 млрд параметров, контекст — до 8192 токенов. README приводит результаты тестов по программированию, математике, общим знаниям и диалоговому качеству. Модель предназначена для чат-ботов, ответов на вопросы, написания и преобразования текста, а также задач рассуждения и генерации кода. Для развертывания авторы рекомендуют OpenChat с OpenAI-совместимым сервером на базе vLLM. README указывает лицензию Apache 2.0, тогда как метаданные Hugging Face содержат значение «other»; условия распространения стоит сверить с файлами лицензии репозитория. Модель может выдумывать факты и выдавать вредные, предвзятые или небезопасные ответы, поэтому важные результаты нужно проверять, а для безопасных сценариев нужна дополнительная модерация.

OpenHermes-4.6-Dolphin-Mistral — объединённая языковая модель, созданная методом SLERP с помощью mergekit на основе cognitivecomputations/dolphin-2.1-mistral-7b и teknium/OpenHermes-2.5-Mistral-7B. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров; она предназначена для диалогового взаимодействия и генерации текста. Поддерживает контекст до 32 768 токенов и распространяется в формате Safetensors для использования с Transformers. Лицензия в предоставленных данных не указана.

Phi-3.1 Mini 4K Instruct — компактная языковая модель Microsoft, представленная в формате GGUF для запуска через llama.cpp и LM Studio. Квантизацию выполнил bartowski на основе релиза llama.cpp b3460. Модель предназначена для диалоговых сценариев, следования инструкциям, генерации текста и кода, математических задач, рассуждений, понимания языка и работы с общими знаниями. Модель построена как плотный decoder-only Transformer и содержит 3,8 млрд параметров. Она обучалась на 3,3 трлн токенов, включая отфильтрованные общедоступные документы, образовательные материалы, код, синтетические «учебниковые» данные и высококачественные диалоги. Для выравнивания использовались Supervised Fine-Tuning и Direct Preference Optimization. Доступна поддержка английского языка, контекст ограничен 4096 токенами, предусмотрена работа с тегом <|system|> и многошаговыми диалогами. К сильным сторонам относятся улучшенное следование инструкциям, структурирование ответов, математическое и логическое рассуждение, генерация кода и качество многоходового общения при небольшом размере модели. Ограничениями являются компактный контекст в 4K токенов, заявленная языковая поддержка только английского и возможные неточные, вредные или неподходящие ответы, характерные для генеративных моделей. Модель распространяется по лицензии MIT; конкретный файл GGUF предназначен для использования с совместимыми инструментами, включая LM Studio.

Карточка модели inference-optimization/Qwen3-30B-A3B-Thinking-2507-REAP-25-nonuniform на Hugging Face совпадает с карточкой Qwen/Qwen3-30B-A3B-Thinking-2507, поэтому описание составлено по ней. Qwen3-30B-A3B-Thinking-2507 — причинная языковая модель семейства Qwen3 от команды Qwen. Это модель типа Mixture of Experts с 30,5 млрд параметров, из которых при генерации активируются около 3,3 млрд; в архитектуре 128 экспертов, одновременно используются 8. Она предназначена для диалогов и сложных задач рассуждения, включая математику, науку, программирование, следование инструкциям и работу с инструментами. Модель поддерживает только режим рассуждения и имеет нативное контекстное окно 262 144 токена. В README отмечены улучшения в глубине рассуждений, общих возможностях и обработке длинного контекста. Модель принимает текст и генерирует текст; сведения о поддерживаемых естественных языках в предоставленных данных отсутствуют. Модель распространяется под лицензией Apache-2.0. Длинные рассуждения могут приводить к большому объёму вывода, а для высоких нагрузок на контекст требуются значительные вычислительные ресурсы; README рекомендует актуальную версию Transformers и описывает запуск через vLLM или SGLang.

Карточка модели inference-optimization/Qwen3-30B-A3B-Thinking-2507-REAP-25-uniform на Hugging Face совпадает с карточкой Qwen/Qwen3-30B-A3B-Thinking-2507, поэтому описание составлено по ней. Qwen3-30B-A3B-Thinking-2507 — причинная языковая модель семейства Qwen3 от команды Qwen. Это модель типа Mixture of Experts с 30,5 млрд параметров, из которых при генерации активируются около 3,3 млрд; в архитектуре 128 экспертов, одновременно используются 8. Она предназначена для диалогов и сложных задач рассуждения, включая математику, науку, программирование, следование инструкциям и работу с инструментами. Модель поддерживает только режим рассуждения и имеет нативное контекстное окно 262 144 токена. В README отмечены улучшения в глубине рассуждений, общих возможностях и обработке длинного контекста. Модель принимает текст и генерирует текст; сведения о поддерживаемых естественных языках в предоставленных данных отсутствуют. Модель распространяется под лицензией Apache-2.0. Длинные рассуждения могут приводить к большому объёму вывода, а для высоких нагрузок на контекст требуются значительные вычислительные ресурсы; README рекомендует актуальную версию Transformers и описывает запуск через vLLM или SGLang.

FreedomAISVR опубликовал GGUF-квантизацию MXFP4 MoE мультимодальной модели Qwen3.6-35B-A3B-Fast. В ней 35 млрд параметров, из которых на каждом токене активны около 3 млрд; архитектура сочетает 40-слойный декодер с Gated DeltaNet и полным attention, а для изображений и видео использует 27-слойный энкодер на основе SigLIP. Модель поддерживает чат, анализ изображений и видео, вызов инструментов и сценарии агентного программирования. Заявленное родное окно контекста — 262 тыс. токенов, с расширением свыше 1 млн через YaRN. Эксперты хранятся в 4-битном формате MXFP4, а attention, эмбеддинги и нормализации — в Q8_0; файл визуального энкодера доступен в F16. Репозиторий рассчитан на запуск через llama.cpp: README указывает минимум 24 ГБ видеопамяти для частичной выгрузки и рекомендует 32 ГБ и более для полной выгрузки на GPU. Карточка указывает Apache-2.0. Описание скорости и результатов бенчмарков приведено автором карточки; оно не гарантирует такую же производительность на любом оборудовании.

Qwen3.8-27B-mlx-uniform-4bit — MLX-версия модели Qwen3.8-27B, подготовленная caslca на основе unsloth/Qwen3.8-27B. Модель преобразована в равномерный аффинный 4-битный формат с группами по 64 значения; заявленный размер — около 27 млрд параметров, объём весов — 15,13 ГБ. В сборку также включены 333 визуальных тензора, поэтому модель предназначена для сценариев image-text-to-text и поддерживает работу с текстом и изображениями. В README не указаны полный перечень языков и точное максимальное окно контекста, однако тесты проводились с ограничением до 262 144 токенов. Основные сценарии применения — агентное программирование, исследовательская работа, проектирование, математические задачи, генерация и анализ кода, а также базовое описание изображений. Для ускорения декодирования рекомендуется использовать отдельный MTP-компаньон caslca/Qwen3.8-27B-mlx-uniform-4bit-mtp-drafter; одобренная конфигурация предполагает MTP ON, среднюю интенсивность рассуждений и temperature 0,6. Модель ориентирована на запуск через MLX/Metal, в частности на системах Apple Silicon. К сильным сторонам относятся компактное 4-битное представление, поддержка визуального ввода, высокая производительность в проверенных тестах программирования и математики, а также сохранение качества при включённом предикторе MTP в большинстве проведённых сравнений. Результаты имеют ограничения: сравнение на MBPPPlus признано неокончательным, визуальная проверка была небольшой и не подтверждает качество на произвольных изображениях, OCR или сложных диаграммах, а отдельные тесты были exploratory и не заменяют широкую сертификацию. Модель распространяется по лицензии Apache-2.0.

JACK-POTTSSON/Qwen3.8-27B-OBLITERATEDpintus — текстовая generative-модель на базе Qwen/Qwen3.8-27B, распространяемая под лицензией Apache-2.0. В README она представлена как модифицированная версия Qwen с удалёнными или ослабленными механизмами отказа от ответов; описанный подход сочетает методы SVD и LEACE. Модель предназначена для генерации текста и кода, следования инструкциям, отладки, проектирования систем, извлечения данных по JSON-схеме, агентских сценариев и исследований AI safety и red teaming. Заявлены варианты в форматах GGUF, Safetensors и MLX, а также поддержка thinking mode. Для рекомендуемого режима указаны температура 0, repetition_penalty 1.15, max_new_tokens не менее 2048 и отсутствие системного промпта. README сообщает о результатах MMLU около 83,7% для V3 и 84,32% для V2, а также о семи успешных тестах из восьми на расширенных прикладных задачах; при этом эти показатели относятся к указанным в README версиям и не обязательно полностью подтверждают именно данный идентификатор. К сильным сторонам относятся близкая к исходной производительность, генерация кода и сниженная частота отказов. Ограничения включают возможную деградацию качества при sampling и repetition_penalty ниже рекомендуемого, риск циклической генерации без штрафа повторов, неполные сведения о точной архитектуре, размере контекста и поддерживаемых языках, а также потенциальную нестабильность поведения thinking mode. Отсутствие защитных отказов повышает риски небезопасного применения, поэтому модель особенно требует контроля при использовании в продуктивных и агентских системах.

Qwen3-Next-80B-A3B-Thinking-GGUF — GGUF-версия модели Qwen3-Next-80B-A3B-Thinking, разработанной командой Qwen и подготовленной Unsloth. Это авторегрессионная языковая модель для генерации текста, ориентированная прежде всего на сложные задачи рассуждения, включая математические задачи, анализ знаний, программирование и агентные сценарии. Модель поддерживает только режим thinking, поэтому при генерации может формировать длинную цепочку рассуждений. Модель использует гибридную архитектуру Gated DeltaNet и Gated Attention, высокоразреженную Mixture-of-Experts с 80 млрд параметров всего и примерно 3 млрд активируемых на токен, а также Multi-Token Prediction. Архитектура включает 48 слоёв и 512 экспертов, из которых активируются 10; нативный контекст составляет 262 144 токена и может быть расширен до 1 010 000 токенов. Ключевые сильные стороны — высокая параметрическая эффективность, сниженные вычисления на токен, ускорение инференса на длинном контексте и хорошие результаты на сложных задачах рассуждения. Ограничения включают обязательный режим thinking, потенциально длинные ответы и отсутствие в предоставленных данных сведений о поддерживаемых языках, точных параметрах GGUF-квантизации и требованиях к оборудованию. Лицензия — Apache 2.0.

tangger/Qwen-7B-Chat 是阿里云通义千问 Qwen 系列的 чат-модель, которую автор репозитория повторно загрузил как временную резервную копию версии, скачанной 11 сентября 2023 года. Модель основана на Transformer и обучена с применением методов выравнивания для работы в формате диалогового ИИ-ассистента; в README указаны слои RoPE, SwiGLU и RMSNorm, а также токенизатор tiktoken со словарём около 150 тысяч токенов. Метаданные указывают 11,4 млрд параметров, контекст до 8192 токенов, форматы PyTorch и поддержку китайского и английского языков. Модель предназначена для многоходового диалога, ответов на вопросы, работы с кодом и математическими задачами, а также сценариев использования инструментов. В README приведены оценки на C-Eval, MMLU, GSM8K и HumanEval и упоминаются тесты длинного контекста и использования инструментов. Автор описывает репозиторий как временную копию и рекомендует перейти на официальный репозиторий после его восстановления. Лицензия в предоставленных данных не указана.

Карточка модели luxuansang/Qwythos-9B-v2 на Hugging Face совпадает с карточкой empero-ai/Qwythos-9B-v2, поэтому описание составлено по ней. Qwythos-9B-v2 — модель генерации текста и рассуждений от Empero AI, дообученная на базе empero-ai/Qwythos-9B-Claude-Mythos-5-1M методом FTPO. Она предназначена для диалогов, многошаговых рассуждений, решения задач и генерации кода; разработчик сообщает, что в этой версии устранено зацикливание при генерации, восстановлена голова MTP и сохранены возможности предыдущей версии. Модель построена на гибридной архитектуре Qwen3.5-9B с чередованием линейного внимания Gated-DeltaNet и полного внимания. Контекст заявлен до 1 млн токенов с YaRN. Хотя базовый стек поддерживает мультимодальность, README описывает практическое использование как текстовое. Основной язык карточки — английский. Модель подходит для исследовательских и технических сценариев, включая программирование, кибербезопасность и анализ научных вопросов. По внутренним оценкам разработчика, знания и рассуждения в целом сохранены относительно предыдущей версии; это обновление направлено прежде всего на устойчивость генерации, а не на рост возможностей. Известное ограничение — результат HumanEval ниже, чем у исходной Qwen3.5-9B; показатели бенчмарков получены на внутреннем тестовом наборе. Модель намеренно не ограничивает ответы на чувствительные темы. Лицензия — Apache-2.0.

Arcee-SuperNova-Medius — языковая модель на 14 млрд параметров, разработанная Arcee.ai на архитектуре Qwen2.5-14B-Instruct. Она создана методом дистилляции знаний моделей Qwen2.5-72B-Instruct и Llama-3.1-405B-Instruct с последующим объединением и дообучением на специализированном наборе инструкций EvolKit. Модель предназначена для диалогов и генерации текста: она следует инструкциям и справляется со сложными рассуждениями в компактном формате. Модель подходит для поддержки клиентов, создания контента и технических консультаций, включая помощь с программированием и документацией. Архитектура — плотная авторегрессионная Qwen2, контекст — до 131 072 токенов. Модель принимает текст и генерирует текст; в метаданных также заявлен интерфейс вызова инструментов. Размер 14 млрд параметров рассчитан на более доступное развёртывание по сравнению с крупными моделями, хотя требуются значительные вычислительные ресурсы. Заявленные результаты бенчмарков указывают на сильное следование инструкциям и рассуждения, но не гарантируют качество в конкретном сценарии. Лицензия — Apache-2.0.

Ternary-Bonsai-2-27B-gguf — языковая модель класса 27B, разработанная Prism ML на базе Qwen3.8-27B. Это причинно-следственная transformer-модель с гибридным механизмом внимания: примерно 75% линейного и 25% полноформатного внимания, архитектурой SwiGLU, RoPE и RMSNorm. Модель предназначена для генерации текста, рассуждений, программирования и агентских сценариев с вызовом инструментов. README не указывает поддерживаемые языки. Модель содержит 27,36 млрд параметров и рассчитана на контекст до 262 тыс. токенов. Языковые веса представлены в троичном формате {−1, 0, +1} с групповым масштабированием FP16; доступны упаковки PTQ1_0 размером около 5,95 ГБ и PQ2_0 размером около 7,21 ГБ. Для обработки изображений предусмотрен отдельный опциональный vision-пакет mmproj в формате Q8_0. Модель поддерживается llama.cpp на CPU, CUDA и Metal; также существует отдельная MLX-версия для Apple Silicon. Ключевое преимущество — существенно меньший размер при сохранении заявленных разработчиком возможностей рассуждения, программирования и агентского поведения: по данным README, сохранено 98,2% показателей FP16 на среднем наборе из 14 тестов. Гибридное внимание и большой контекст делают модель подходящей для локального запуска на ноутбуке или одной GPU. Ограничения включают необходимость совместимых низкоразрядных ядер и runtime с поддержкой специального формата, а также отсутствие в README независимых подтверждений заявленных benchmark-результатов и сведений о фактическом качестве на конкретных языках. Распространяется по лицензии Apache 2.0.

Tess-v2.5.2-Qwen2-72B — языковая модель для диалоговой генерации текста, созданная Мигелем Тиссерой (Migel Tissera) в серии Tess. Это плотная модель Qwen2 с 71,5 млрд параметров и контекстом до 131 072 токенов; она принимает текст и обучена следовать формату диалога ChatML. Модель дообучена на Qwen2-72B с использованием набора Tess-v2.5 из 300 тысяч синтетических примеров по широкому кругу тем, включая программирование, математику, STEM, бизнес, историю, общественные науки и искусство. Автор указывает на улучшения в рассуждениях, программировании и математике. Модель может поддерживать беседу и задавать уточняющие вопросы; чтобы отключить их, в системной инструкции можно попросить не задавать дополнительных вопросов. Обучение проводилось без RLHF и DPO. Модель подходит для диалоговых помощников, объяснений, рассуждений и помощи с кодом. Она может выдавать неточные, вводящие в заблуждение, предвзятые или оскорбительные ответы; результаты следует проверять. Автор характеризует модель как uncensored. Лицензия в метаданных обозначена как other, конкретные условия использования следует проверять в репозитории.

Misted v2 7B — языковая модель на архитектуре Mistral, созданная автором репозитория hflog слиянием нескольких моделей Mistral и misted-7b методом SLERP. Модель предназначена для генерации текста, написания кода, выполнения инструкций, решения загадок и диалогового общения. Модель содержит 7,1 млрд параметров, работает с контекстом до 32 768 токенов и распространяется в формате safetensors для Transformers. В метаданных указаны английский и испанский языки. Модель доступна по лицензии Apache 2.0.

LordNeel/Agents-A1-GGUF — набор высококачественных квантованных GGUF-версий модели InternScience/Agents-A1, агентской модели на архитектуре Qwen3.5-MoE с примерно 35 млрд параметров. Модель предназначена для генерации текста, выполнения инструкций, программирования и чат-сценариев в среде llama.cpp. Для обработки изображений доступны совместимые квантизации с отдельным BF16-модулем mmproj на базе Qwen3VL, поэтому модель поддерживает мультимодальные сценарии с визуальным вводом. В набор входят варианты Q3_K_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K, Q8_0 и NVFP4 размером примерно от 16,76 до 36,90 ГБ, а также варианты с интегрированным блоком MTP для speculative decoding. IQ4_XS ориентирован на компактность и совместимость, Q6_K обеспечивает наиболее близкое к BF16 качество среди протестированных вариантов, а NVFP4 предназначен для ускоренной работы на видеокартах NVIDIA Blackwell при наличии поддержки соответствующего типа данных. В опубликованных тестах на RTX PRO 6000 Blackwell скорость генерации составляла примерно 222,7–269 токенов в секунду в зависимости от квантизации; результаты приведены для конкретной конфигурации и не гарантируют аналогичную производительность на другом оборудовании. Для запуска требуется llama.cpp с поддержкой архитектуры qwen35moe; некоторые варианты требуют поддержки GGML_TYPE_NVFP4, а мультимодальные версии — соответствующего mmproj. MTP-варианты могут ускорять генерацию, но их эффективность зависит от настроек speculative decoding и оборудования. README не содержит сведений о языках обучения и максимальном размере контекста, поэтому эти характеристики нельзя достоверно указать. Модель распространяется по лицензии Apache 2.0.

airoboros-33b-gpt4-m2.0 — плотная авторегрессионная языковая модель семейства LLaMA с 32,3 млрд параметров, созданная Джоном Дурбином как дообучение с инструкциями на синтетических примерах Airoboros. Версия m2.0 объединяет набор данных версии 1.4.1 с данными серии 2.0 без дубликатов и категории system; данные серии 2.0 были сгенерированы GPT-4 от 14 июня 2023 года. Модель работает с текстом и предназначена для диалогов и выполнения инструкций. Модель подходит для ответов на вопросы по заданному контексту, помощи с программированием, планирования действий с инструментами и генерации структурированных ответов в JSON или YAML. Для контекстных вопросов README рекомендует явно размечать блоки входных данных и инструкций; автор также предупреждает, что модель может выдумывать ответы, если контекст не содержит нужной информации. Формат диалога использует префикс USER/ASSISTANT и системное описание помощника. Указанное в метаданных ограничение контекста — 2048 токенов. Для версии на 33 млрд параметров README сообщает о QLoRA-дообучении и исследовательском, некоммерческом назначении. Лицензия репозитория — CC BY-NC 4.0, поэтому коммерческое использование не допускается по указанным условиям.

Карточка модели jondurbin/airoboros-l2-7b-gpt4-m2.0 на Hugging Face совпадает с карточкой jondurbin/airoboros-33b-gpt4-m2.0, поэтому описание составлено по ней. airoboros-33b-gpt4-m2.0 — плотная авторегрессионная языковая модель семейства LLaMA с 32,3 млрд параметров, созданная Джоном Дурбином как дообучение с инструкциями на синтетических примерах Airoboros. Версия m2.0 объединяет набор данных версии 1.4.1 с данными серии 2.0 без дубликатов и категории system; данные серии 2.0 были сгенерированы GPT-4 от 14 июня 2023 года. Модель работает с текстом и предназначена для диалогов и выполнения инструкций. Модель подходит для ответов на вопросы по заданному контексту, помощи с программированием, планирования действий с инструментами и генерации структурированных ответов в JSON или YAML. Для контекстных вопросов README рекомендует явно размечать блоки входных данных и инструкций; автор также предупреждает, что модель может выдумывать ответы, если контекст не содержит нужной информации. Формат диалога использует префикс USER/ASSISTANT и системное описание помощника. Указанное в метаданных ограничение контекста — 2048 токенов. Для версии на 33 млрд параметров README сообщает о QLoRA-дообучении и исследовательском, некоммерческом назначении. Лицензия репозитория — CC BY-NC 4.0, поэтому коммерческое использование не допускается по указанным условиям.

RedHatAI/Apertus-8B-Instruct-2509-FP8-dynamic — инструкционная языковая модель, разработанная Red Hat на базе swiss-ai/Apertus-8B-Instruct-2509. Она предназначена для генерации и преобразования текста, диалоговых приложений и других сценариев обработки естественного языка. Модель поддерживает более 1000 языков и рассчитана на работу с длинным контекстом, однако его максимальный размер в README не указан. Входом и выходом служит текст; архитектура обозначена как ApertusForCausalLM. Модель использует динамическое квантование весов и активаций линейных операторов трансформерных блоков в формате FP8. Это примерно вдвое уменьшает число битов на параметр, размер на диске и требования к GPU-памяти по сравнению с исходным представлением FP16, что упрощает развертывание. Модель валидирована с vLLM 0.11.2, Red Hat OpenShift AI 3.2 и Red Hat AI Inference Server 3.2.5; README также указывает поддержку развертывания через vLLM. К сильным сторонам относятся многоязычность, длинный контекст, открытые и полностью соответствующие требованиям источники обучающих данных, а также сниженные требования к ресурсам благодаря FP8-квантизации. Ограничения включают текстовую модальность, потенциальные особенности качества и совместимости, связанные с квантизацией, и отсутствие в предоставленных данных подробных бенчмарков, точного размера контекста и результатов по отдельным языкам. Модель распространяется по лицензии Apache 2.0.

CerebrumHyperion-7B-DPO — объединённая модель для генерации текста, созданная с помощью LazyMergekit путём слияния Locutusque/OpenCerebrum-1.0-7b-DPO и Locutusque/Hyperion-3.0-Mistral-7B-DPO. В README указан метод слияния SLERP, а базовой моделью в конфигурации названа Hyperion-3.0-Mistral-7B-DPO. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров. Она принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. По описанию базовой модели, семейство OpenCerebrum ориентировано на генерацию текста, программирование, математику, научные вопросы и рассуждения. Репозиторий содержит веса в формате safetensors. Сведений о лицензии в предоставленных данных нет.

mlx-community/DeepSeek-R1-Distill-Llama-8B — конверсия в формат MLX модели DeepSeek-R1-Distill-Llama-8B от deepseek-ai, выполненная Focused с помощью mlx-lm 0.21.1. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров для генерации текста и диалогового взаимодействия; заявленная длина контекста — 131072 токена. Базовая модель дообучена на данных рассуждений DeepSeek-R1 и предназначена для многошаговых рассуждений, решения математических задач и программирования. Репозиторий предлагает использовать модель через mlx-lm; метаданные указывают формат safetensors и интерфейс вызова инструментов. В README не приведены сведения о лицензии или языковом покрытии. Возможности и качество модели наследуют ограничения базового чекпойнта; характеристики использования MLX зависят от совместимой среды.

DeepSeek-V4-Flash-Vision-Exp-GGUF — текстовая GGUF-квантизация базовой модели DeepSeek-V4-Flash-Vision-Exp, разработанная qtum на основе модели DeepSeek AI. Она предназначена для генерации и обработки текста, рассуждений, программирования, ответов на вопросы и развертывания через llama.cpp или совместимые инструменты. Входные изображения не поддерживаются, поскольку vision encoder в этот выпуск не включен. Модель использует MoE-архитектуру DeepSeek-V4 с 256 экспертами и маршрутизацией top-6; заявленный общий размер составляет около 2,1 трлн параметров, из которых 50,4 млрд активны при одном проходе. Контекст — до 128K токенов, языки — английский и китайский. Доступны семь уровней квантизации от Q3_K_M до IQ1_S: варианты Q3_K_M–Q2_K ориентированы на использование с минимальной потерей качества, а IQ1_M и IQ1_S обеспечивают максимальное сжатие, но заметно снижают качество. Размер файлов составляет примерно 59–130 ГБ, а требования к видеопамяти — около 61–135 ГБ, поэтому для запуска требуется мощное GPU-оборудование и загрузка всех частей многотомной модели. Модель распространяется по лицензии MIT.

Это 4-битная версия Dolphin 2.9.3 на базе Mistral Nemo, преобразованная mlx-community из cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b в формат MLX с помощью mlx-lm 0.16.1. Модель представляет собой плотную причинную языковую модель Mistral с 12,1 млрд параметров и предназначена для генерации текста в диалоговом формате; среди возможных сценариев — ответы на вопросы, помощь с кодом, математические задачи и вызов инструментов, на которые указывают обучающие наборы данных и возможности базовой Dolphin-модели. Модель дообучена на Mistral-Nemo-Base-2407, а данный репозиторий содержит её MLX-представление для запуска на устройствах Apple с MLX. Метаданные указывают контекст до 1 024 000 токенов и лицензию Apache-2.0. В README не описаны отдельные ограничения качества; применимость столь длинного контекста и заявленные сценарии зависят от конкретной конфигурации запуска.

FuseChat-Llama-3.1-8B-SFT — чат-модель FuseAI на архитектуре Llama 3.1 с плотной причинной языковой моделью примерно на 7,5 млрд параметров. Это SFT-этап FuseChat-3.0: модель Llama-3.1-8B-Instruct дообучена в рамках подхода неявного объединения возможностей нескольких более крупных языковых моделей. В метаданных указан контекст до 131 072 токенов и поддержка чата. Модель предназначена для диалога и выполнения инструкций, а также для общих задач, математики, программирования и китайского языка. В README описано, что итоговый подход FuseChat-3.0 сочетает SFT и оптимизацию предпочтений DPO; при этом данная карточка относится именно к варианту SFT. Модель опубликована в формате safetensors и создана на основе датасета FuseAI/FuseChat-3.0-SFT-Data. Лицензия в предоставленных данных не указана.

DuoNeural разработала Gemma-4-26B-A4B-Abliterated — изменённую версию диалоговой Gemma 4 от Google DeepMind. Это модель генерации текста на архитектуре MoE с 26 млрд параметров, из которых около 3,8 млрд активны при обработке токена; в README указано 128 маршрутизируемых экспертов и один общий, из которых одновременно задействуются восемь. Модель принимает текстовые запросы и предназначена для диалога, следования инструкциям, рассуждений, генерации кода, работы с инструментами и структурированного вывода. От базовой Gemma-4-26B-A4B-it она отличается удалением отказов с помощью изменения весов методом representation engineering. README заявляет сохранение общих возможностей и многоязычной генерации, но не приводит конкретного перечня поддерживаемых языков; метаданные отмечают английский и многоязычность. В карточке также приведён пример запуска GGUF через llama.cpp с контекстом 16 384 токена, однако метаданные этого репозитория указывают формат safetensors и библиотеку Transformers. Модель рассчитана на пользователей, которым нужна инструкция-следующая языковая модель с менее ограничительным поведением. Удаление отказов означает, что она может отвечать на запросы, которые базовая модель отклонила бы; качество и безопасность таких ответов требуют проверки. README указывает исследовательское и образовательное применение и отсылает к условиям Google Gemma Terms of Use; метаданные обозначают лицензию как gemma.

noctrex/GLM-4.5-Air-Derestricted-MXFP4_MOE-GGUF — это GGUF-квантизация MXFP4_MOE модели GLM-4.5-Air-Derestricted, созданной Arli AI на основе GLM-4.5-Air. Вариант Derestricted модифицирован методом Norm-Preserving Biprojected Abliteration для уменьшения отказов при сохранении рассуждений исходной модели; заявления о качестве в карточке основаны на бенчмарках автора. Модель предназначена для генерации текста в диалогах, решения задач с рассуждениями, программирования и сценариев интеллектуальных агентов. Базовая GLM-4.5-Air — гибридная MoE-модель с 106 млрд параметров, из которых активны 12 млрд, и режимами рассуждения и быстрого ответа. README описывает семейство GLM-4.5-Air, но не приводит отдельных параметров контекста или списка языков для этого GGUF-репозитория. Исходная карточка указывает лицензию MIT для моделей GLM-4.5 и GLM-4.5-Air; отдельные условия распространения производного варианта и GGUF-квантизации в предоставленных данных не описаны.