II.7DevOps, облако и эксплуатация IT-систем

Карточка модели Cultxre/GLM-4.6-Derestricted-v3 на Hugging Face совпадает с карточкой ArliAI/GLM-4.6-Derestricted-v3, поэтому описание составлено по ней. GLM-4.6-Derestricted-v3 — текстовая диалоговая модель Arli AI, созданная на основе GLM-4.6 от Zhipu AI. Разработчики применили к базовой модели метод Norm-Preserving Biprojected Abliteration, чтобы убрать поведение отказа, стараясь сохранить рассуждения и другие способности исходной модели. Это модификация весов, а не отдельная архитектура; в репозитории указаны 23,4 млрд параметров, семейство GLM-4 MoE и формат safetensors. Модель предназначена для генерации диалоговых ответов, рассуждений, написания кода и агентных сценариев. Унаследованный от GLM-4.6 контекст составляет 202 752 токена; исходная карточка также описывает поддержку использования инструментов. В карточке заявлено, что удаление отказов позволяет сохранить или улучшить рассуждения, однако независимых подтверждений этих заявлений не приведено. Модель принимает текст и генерирует текст. Лицензия — MIT. Языки явно не перечислены; исходная GLM-4.6 описана как модель для текста и кода, но конкретный набор естественных языков не указан.

GLM-4.6-REAP-218B-A32B-Derestricted — текстовая чат-модель, выпущенная Arli AI на основе cerebras/GLM-4.6-REAP-218B-A32B. В карточке она описана как версия с ослабленным поведением отказа, полученная методом Norm-Preserving Biprojected Abliteration; базовая модель использует разреженную архитектуру Mixture-of-Experts и была сжата методом REAP. Метаданные указывают 23,4 млрд параметров, контекст до 202 752 токенов и формат safetensors. Модель предназначена для генерации текста и диалогов, включая рассуждения, написание кода и агентные сценарии. Базовая модель также заявлена для вызова функций и понимания репозиториев, но карточка этой версии не приводит отдельных оценок качества. Arli AI утверждает, что методика модификации сохраняет способности рассуждать, однако приведённых в карточке результатов испытаний именно этой версии нет. Модель распространяется по лицензии MIT. Ослабление отказов означает, что она может отвечать на запросы, которые обычно блокируются; ответы могут содержать небезопасный или неподходящий контент. Для развёртывания требуется совместимая инфраструктура, способная обслуживать крупную MoE-модель.

TeichAI выпустила GLM-4.7-Flash-Claude-Opus-4.5-High-Reasoning-Distill — дообученную на небольшом наборе примеров рассуждений Claude Opus 4.5 модель GLM-4.7-Flash. Это текстовая модель семейства GLM-4 MoE Lite с 4,1 млрд параметров и контекстом до 202 752 токенов; она поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для генерации текста с упором на сложные рассуждения, программирование, научные вопросы и глубокий поиск. В README приведено сравнение с базовой моделью по нескольким бенчмаркам: результаты улучшились на части тестов и снизились на других, поэтому преимущество зависит от задачи. Для запуска автор рекомендует использовать параметры сэмплирования, указанные в карточке базовой модели. Модель распространяется по лицензии Apache-2.0. README содержит несогласованные сведения о квантизации: в конфигурации бенчмарков указано 4-bit, тогда как метаданные перечисляют формат safetensors без подтверждения квантованных весов.

bunnycore/HyperLexi-8B-breadcrumbs — плотная языковая модель семейства Llama 3.1, созданная автором репозитория с помощью mergekit методом breadcrumbs. В слияние вошли несколько моделей на базе Llama 3.1, включая варианты для генерации текста без цензурных ограничений, программирования, диалогов и рефлексивных ответов. Базовой моделью при слиянии была unsloth/Meta-Llama-3.1-8B. Модель предназначена для генерации текста и диалогов; её можно применять для ответов на вопросы, помощи с кодом и создания развернутых текстовых ответов. Она содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Метаданные указывают библиотеку Transformers и формат весов safetensors. Лицензия в предоставленных данных не указана.

Josiefied-DeepSeek-R1-0528-Qwen3-8B-abliterated-v1 — разработанная Гёкденизом Гюльмезом дообученная языковая модель семейства Qwen3, созданная на основе deepseek-ai/DeepSeek-R1-0528-Qwen3-8B. Модель имеет плотную архитектуру Qwen3ForCausalLM и 7,6 млрд параметров; она предназначена для генерации текста в диалоговом и инструктивном режимах, включая использование интерфейса вызова инструментов. Заявленный контекст — до 131 072 токенов. Модель ориентирована на открытое следование инструкциям и менее ограниченную генерацию, сохраняя возможности работы с инструментами. Подходит для диалогов, ответов на вопросы, генерации кода и рассуждений; её базовая модель обучена на цепочках рассуждений и рассчитана также на математические и логические задачи. В репозитории указаны веса Safetensors, а для семейства доступны сторонние варианты GGUF и MLX. Фильтры безопасности снижены, поэтому модель может выдавать чувствительные или спорные ответы. README рекомендует использовать её ответственно и на свой риск. Лицензия в предоставленных данных не указана.

LLaDA2.0-flash — диффузионная языковая модель с архитектурой Mixture-of-Experts от Inclusion AI, дообученная для следования инструкциям и практического применения. Модель предназначена для генерации текста, диалога, программного кода, решения сложных математических задач и работы с инструментами. В README указаны 100 млрд параметров всего и около 6,1 млрд активных при инференсе; метаданные Hugging Face указывают 5,5 млрд параметров. Архитектура включает 32 слоя и 32 головы внимания, использует RoPE и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса Safetensors, модель работает с Transformers. Лицензия — Apache-2.0. README отмечает сильные результаты на приведённых бенчмарках, включая задачи на знания, код и рассуждения. При повышенной температуре возможны смешение языков и небольшое снижение качества; авторы рекомендуют температуру 0.0, длину блока 32 и 32 шага генерации.

MiniCPM5-2B — компактная плотная языковая модель из серии MiniCPM5, разработанная OpenBMB. Репозиторий AIArchiveInfo является побитовой копией openbmb/MiniCPM5-2B: веса не обучались и не изменялись. Модель построена на архитектуре Transformer LlamaForCausalLM и содержит около 2,2 млрд параметров; она принимает текст и генерирует текст. Контекстное окно составляет 131 072 токена. Модель предназначена для локальных ассистентов и сценариев с ограниченными вычислительными ресурсами. Она подходит для диалога, генерации кода, математических и общих рассуждений, работы с длинными контекстами, вызова инструментов и агентных рабочих процессов. В карточке заявлена конкурентоспособность среди моделей сопоставимого размера, в частности в коде, математике, длинном контексте и использовании инструментов. В метаданных указаны английский и китайский языки. Модель распространяется в формате Safetensors и совместима с Transformers; лицензия — Apache-2.0. Ответы могут быть неточными, предвзятыми или оскорбительными, а результаты по медицине, финансам, праву и другим чувствительным темам не являются профессиональной консультацией.

MiniMax-M3 — мультимодальная модель семейства MiniMax, опубликованная пользователем sdlangshaw; в README оригинальная разработка приписана MiniMax. Она предназначена для диалогов с текстом и изображениями, анализа видео, программирования и агентных задач. Модель содержит около 428 млрд параметров, из которых активируется около 23 млрд, и использует разреженное внимание MiniMax Sparse Attention (MSA). Заявлена длина контекста до 1 млн токенов; README сообщает о повышении скорости обработки длинного контекста относительно M2. Модель поддерживает текстовые и визуальные сценарии, включая видео, и рассчитана на длинные многошаговые задачи: например, разработку кода и совместную работу с агентом. Для использования README указывает MiniMax Agent и MiniMax API, а также локальное развёртывание из репозитория MiniMaxAI/MiniMax-M3. В репозитории sdlangshaw/MiniMax-M3 представлены веса safetensors для Transformers. Лицензия указана как other, без уточнения её условий в доступных данных. Заявления о производительности и возможностях приведены в README модели; они не сопровождаются здесь независимыми результатами проверки.

Olmo-3-7B-Think-DPO — авторегрессионная языковая модель семейства OLMo 3, разработанная Allen Institute for AI (Ai2). Это плотный Transformer с 6,9 млрд параметров, дообученный методом DPO на наборе Dolci-Think-DPO-7B поверх allenai/Olmo-3-7B-Think-SFT. Модель поддерживает диалоговый режим и генерирует текст; контекстное окно составляет 65 536 токенов. Основной язык — английский. Модель предназначена для рассуждений с длинной цепочкой шагов, особенно при решении математических задач и написании кода, а также для диалогов, ответов на общие вопросы и следования инструкциям. В обучающих данных DPO были математические, программные, диалоговые и общеобразовательные запросы. Модель распространяется в форматах PyTorch и Safetensors и поддерживается Transformers версии 4.57.0 и выше. Лицензия — Apache 2.0; карточка также отсылает к рекомендациям Ai2 по ответственному использованию. Модель может выдавать неверные факты и без фильтрации генерировать вредный или предвзятый контент, поэтому ответы следует проверять.

CallComply/openchat-3.5-0106-11b — дообученная компанией OpenChat чат-модель на архитектуре Mistral, представленная в формате Safetensors. Метаданные указывают 10,6 млрд параметров, контекст до 32 769 токенов и лицензию Apache 2.0. В README приведены сведения о варианте OpenChat-3.5-0106 на 7 млрд параметров с контекстом 8192 токена; поэтому заявленные там размеры и контекст расходятся с метаданными именно этого репозитория. Модель предназначена для диалогов, генерации текста, программирования и математических рассуждений. В README описаны общий режим и отдельный режим математических задач, а также экспериментальные возможности оценки ответов и предоставления обратной связи. Карточка рекомендует запускать её через OpenChat API-сервер с vLLM и указывает поддержку шаблона чата. README приводит результаты тестов на задачах кодирования, математики и общего рассуждения, но эти цифры не гарантируют качество в конкретных сценариях. Это текстовая модель: данные не подтверждают работу с изображениями или аудио. Лицензия репозитория — Apache 2.0.

OpenModel-1T-A50B-Instruct — разговорная языковая модель NeXTHub на архитектуре Transformer с разреженной смесью экспертов (MoE). В карточке заявлены 1 трлн общих параметров и 50 млрд активных параметров на проход, однако метаданные Hugging Face указывают 49,6 млрд параметров; для размера ориентиром служат метаданные. Репозиторий содержит веса в формате safetensors, а метаданные указывают контекст 32 768 токенов; заявленные в README 128K токенов расходятся с этим значением. Модель предназначена для диалогов и инструкций, рассуждений, математических задач, генерации и отладки кода, научной работы, анализа данных и использования интерфейса вызова инструментов. README описывает обучение с упором на длинные рассуждения и инструкционную настройку; заявленные в карточке качества и результаты тестов не подтверждены приведёнными метаданными. Языки модели не указаны в доступных данных. Лицензия — Apache-2.0. Ограничения, прямо следующие из источников: сведения о размере и длине контекста в README расходятся с метаданными, а независимая проверка заявленных характеристик и результатов оценки не представлена.

TeichAI/Qwen3-4B-Thinking-2507-Claude-4.5-Opus-High-Reasoning-Distill — плотная языковая модель на архитектуре Qwen3, созданная дообучением unsloth/Qwen3-4B-Thinking-2507 на наборе примеров рассуждений Claude Opus 4.5 с высоким уровнем reasoning. В модели 3,7 млрд параметров; она предназначена для генерации текста в диалоге и имеет интерфейс для вызова инструментов. Контекстное окно составляет 262 144 токена. Модель рассчитана на программирование, научные задачи и применение общего назначения, в том числе запросы, требующие развёрнутых рассуждений. README не приводит сведения о языках обучения или оценки качества. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-uncensored-heretic-v1 — мультимодальная модель на 27 млрд параметров, созданная независимым автором llmfan46 на основе Qwen/Qwen3.6-27B. Автор применил abliteration: изменил компоненты проекций внимания в слоях 24–57, чтобы снизить частоту отказов. По приведённому в карточке тесту модель отказала в 10 случаях из 100 против 92 у исходной модели; KL-дивергенция относительно оригинала составила 0,0286. Модель принимает текст и изображения и предназначена для диалога, анализа изображений, агентных сценариев и задач программирования, включая работу с репозиториями и инструментами. Архитектура — плотная Qwen3.5 с визуальным энкодером; заявленная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Карточка содержит результаты отдельных тестов, но они не гарантируют качество на других задачах. Основа доступна по лицензии Apache 2.0; условия карточки производной модели также указывают Apache 2.0.

Это GGUF-представление модели Qwen3.6-35B-A3B от команды Qwen компании Alibaba, подготовленное FreedomAISVR и основанное на NVFP4 Fast-квантизации Unsloth. Модель мультимодальная, с архитектурой MoE: 35 млрд параметров всего и около 3 млрд активных на токен; текстовая часть использует 40 слоёв с гибридом Gated DeltaNet и полнослойного внимания, а для изображений и видео предусмотрен визуальный энкодер на базе SigLIP. В репозитории есть файл модели NVFP4 и отдельный vision-проектор F16. Модель предназначена для диалогов, анализа изображений и видео, работы с инструментами и агентных задач, включая программирование. Заявлены контекст 262 тыс. токенов с возможностью расширения через YaRN и поддержка Multi-Token Prediction для ускорения декодирования. README сообщает о более высокой пропускной способности Fast-варианта по сравнению с другими NVFP4-квантованиями при конкурентных результатах бенчмарков; фактическая скорость зависит от оборудования и среды запуска. Для полной выгрузки на GPU рекомендуется не менее 32 ГБ видеопамяти; оптимальная производительность заявлена на NVIDIA Blackwell B200. Модель распространяется по лицензии Apache-2.0. Это производная модель в формате GGUF с NVFP4-квантизацией; для обработки изображений нужен отдельный файл vision-проектора. Указаны английский и китайский языки, поэтому качество на других языках не следует считать подтверждённым.

Qwopus3.5-27B-v3.5 — дообученная Jackrong мультимодальная модель на основе Qwen3.5-27B. Версия 3.5 продолжает Qwopus3.5-27B-v3 с примерно вдвое большим объёмом данных SFT; новая архитектура и отдельный этап RL не заявлены. Модель предназначена для структурированных рассуждений, диалогов, программирования, работы с инструментами и многошаговых агентных сценариев. Метаданные также указывают поддержку анализа изображений и интерфейс вызова инструментов. Архитектура — плотная Qwen3.5 для генерации текста и работы с изображениями; в репозитории представлены веса Safetensors. Заявлена лицензия Apache-2.0. В карточке приведены результаты на выбранных подмножествах MMLU-Pro и SWE-подобном наборе тестов; оценки предварительные и не заменяют независимую проверку на полном наборе задач. Среди ограничений автор отмечает нестабильность рассуждений в отдельных случаях, зависимость работы с инструментами от интеграции со средой и возможность ухудшения отдельных показателей выравнивания. Данные README о языковом охвате шире явно перечисленных в метаданных языков, поэтому в языковые теги включены только указанные там коды.

Smaug-Qwen2-72B-Instruct — диалоговая языковая модель, созданная Abacus.AI как дообученная версия Qwen2-72B-Instruct. Она генерирует текст и предназначена для общения, ответов на вопросы, решения сложных задач на рассуждение и помощи с кодом. Модель имеет плотную архитектуру Qwen2ForCausalLM, около 71,5 млрд параметров и контекстное окно до 32 768 токенов; принимает текст и выдаёт текст. В карточке указана поддержка английского языка. В README приведены сравнительные результаты на BBH, LiveCodeBench, Arena-Hard и MT-Bench: Smaug превосходит исходную Qwen2-72B-Instruct в отдельных оценках, включая BBH и LiveCodeBench, но уступает ей по среднему результату MT-Bench. Это экспериментальные бенчмарки, поэтому они не гарантируют качество для конкретных задач. Модель распространяется в формате safetensors; лицензия указана как other, поэтому условия использования следует проверить в карточке модели и у базовой модели.

Карточка модели CollectionStudio/Trinity-Large-Thinking на Hugging Face совпадает с карточкой arcee-ai/Trinity-Large-Thinking, поэтому описание составлено по ней. Trinity-Large-Thinking — ориентированная на рассуждения и агентные сценарии модель семейства Trinity-Large от Arcee AI. Это дообученная на базе arcee-ai/Trinity-Large-Base разреженная MoE-модель для генерации текста; по README, в семействе около 398 млрд параметров и примерно 13 млрд активных параметров на токен, используется 256 экспертов, включая одного общего. Метаданные указывают 8,7 млрд параметров, поэтому точный размер данного чекпойнта в источниках расходится. Модель предназначена для многошагового планирования, вызова инструментов, диалогов и задач, требующих развёрнутых рассуждений. Она формирует трассы рассуждений в специальных блоках, которые следует сохранять в контексте при многоходовом взаимодействии и циклах агента. Поддерживает 262 144 токена контекста и языки en, es, fr, de, it, pt, ru, ar, hi, ko и zh. Метаданные указывают лицензию other; конкретные условия использования следует сверять с карточкой модели.

Apodex-1.1-mini-GGUF — набор GGUF-квантизаций модели Apodex-1.1-mini, опубликованный организацией apodex; в README результаты оценки исходной модели связываются с Apodex AI. Это 35,95-миллиардная MoE-модель семейства Qwen3.5, предназначенная для исследовательской работы, анализа данных и файлов, программирования и задач с использованием инструментов. Поддерживаются английский и китайский языки, генерация текста и мультимодальный ввод изображений через отдельный vision projector. Модель сохраняет исходную MTP/NextN head, что позволяет использовать speculative decoding в llama.cpp. Доступны варианты квантизации от IQ1_M размером 8,82 ГБ до Q8_0 размером 37,8 ГБ; рекомендуемым вариантом по умолчанию указан Q4_K_M размером 21,7 ГБ. Для работы с изображениями требуется F16-проектор размером 899 МБ. README не указывает полный размер контекста, поэтому его характеристики нельзя определить по представленным данным. Модель ориентирована на локальный запуск через актуальную сборку llama.cpp и поддерживает агентские сценарии, код, работу с данными и изображениями. Сильными сторонами являются широкий выбор уровней квантизации, поддержка MoE, мультимодальности и MTP. Ограничения включают зависимость от совместимых компонентов llama.cpp и необходимость отдельного проектора для изображений; качество и производительность зависят от выбранной квантизации и доступной памяти. Лицензия — Apache-2.0.

Valdemardi/DeepSeek-R1-Distill-Qwen-32B-AWQ — квантизированная версия DeepSeek-R1-Distill-Qwen-32B, разработанная на базе модели DeepSeek-R1 командой DeepSeek AI. Модель предназначена для задач рассуждения, включая решение математических задач, программирование и другие сложные текстовые задачи. По данным README, DeepSeek-R1-Distill-Qwen-32B превосходит OpenAI o1-mini на ряде бенчмарков и демонстрирует сильные возможности для плотной модели. Модель использует архитектуру базовой Qwen-модели размером 32B параметров и работает с текстом; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Данная версия сжата в 4-битный формат AWQ с использованием AutoAWQ 3.2.7.post3, группировкой q_group_size 128, zero-point quantization и режимом GEMM. Квантизация снижает требования к памяти и может упростить локальный запуск, но потенциально сопровождается потерей точности по сравнению с полной версией. В README указана лицензия Apache-2.0 для репозитория этой версии, тогда как для исходной DeepSeek-R1 приведены отдельные ссылки на Model Agreement и лицензию кода MIT; условия использования следует проверять применительно к конкретным компонентам модели.

Mihaiii создал прореженную версию модели cognitivecomputations/dolphin-2.6-mistral-7b-dpo: из исходных 7,24 млрд параметров удалены шесть слоёв, и в результате осталось около 5,93 млрд параметров. Модель основана на плотной архитектуре Mistral и предназначена для генерации текста; в метаданных также указан контекст длиной до 32 768 токенов. Модель подходит для диалоговых ответов, следования инструкциям и генерации кода. В карточке перечислены обучающие датасеты Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder и Capybara; это указывает на широкий набор инструкционных и кодовых сценариев, но не гарантирует качество для каждой задачи. Модель опубликована в формате Safetensors по лицензии Apache-2.0.

Ro-xe/FMixAI_7B — объединённая диалоговая языковая модель на архитектуре Mistral, созданная методом SLERP с помощью mergekit из OpenChat 3.5-1210 и OpenChat 3.5-0106. Она предназначена для генерации текста и ведения диалога; базовые модели также рассчитаны на программирование, математические рассуждения и ответы на общие вопросы. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. В репозитории веса сохранены в формате safetensors. Лицензия в предоставленных данных не указана.

0xSero/Gemma-4-19B — вариант Google Gemma 4 26B-A4B-it, сокращённый разработчиком 0xSero методом REAP (Router-weighted Expert Activation Pruning) при участии Cerebras. Это диалоговая модель MoE для генерации текста: из 128 экспертов в каждом слое удалено 38, осталось 90; на токен по-прежнему активируются 8 экспертов. Модель содержит около 19 млрд параметров, поставляется в BF16 и занимает примерно на 31% меньше места, чем исходная версия. Модель подходит для диалога, генерации кода и математических рассуждений. Она принимает текст и изображения, поддерживает режим рассуждений и контекст до 262 144 токенов. В опубликованной оценке после сокращения экспертов сохранились сильные результаты по элементарной математике и кодированию, но заметно снизились показатели на задачах, требующих широких знаний, включая философию и мировые религии. Указанная лицензия — Gemma; применяются её условия использования.

GLM-5.2-NVFP4 — это квантизированная версия языковой модели GLM-5.2, разработанной zai-org и подготовленной сообществом local-inference-lab. Модель предназначена для генерации текста, диалоговых сценариев, программирования, многошаговой агентной работы, tool calling и function calling. Заявлена поддержка английского и китайского языков; модель опубликована для использования с Transformers и относится к классу text-generation. В основе лежит Mixture-of-Experts-модель на 744 млрд параметров, из которых около 40 млрд активируются для каждого токена. В каждом MoE-слое предусмотрено 256 экспертов, восемь из которых выбираются на токен; также используется архитектура DeepSeek Sparse Attention (DSA). Квантизация NVFP4 выполнена напрямую из полноразмерного BF16-чекпойнта GLM-5.2, а не из FP8-версии. В NVFP4 переведены только MLP-проекции неразделяемых MoE-экспертов, тогда как веса attention, плотных MLP-слоёв и общих экспертов сохранены в BF16, что снижает требования к памяти при сохранении значительной части исходной точности. Калибровка охватывала кодирование, разнообразные пользовательские диалоги и длинные последовательности свыше 8K токенов, включая английские и китайские системные промпты. Сильными сторонами модели являются крупный объём параметров, разреженная активация экспертов, оптимизация под задачи программирования и агентного взаимодействия, а также существенная экономия памяти благодаря NVFP4. Ограничения включают высокие требования к оборудованию: рекомендована конфигурация из восьми GPU RTX PRO 6000 Blackwell по 96 ГБ с b12x MoE runner. Максимальная длина контекста, точные показатели качества и полный перечень поддерживаемых языков в README не указаны. Модель распространяется по лицензии MIT.

Granite-4.0-Micro-Base — базовая языковая модель IBM Granite Team для генерации текста и кода. Это декодерный трансформер с плотной архитектурой GraniteMoeHybridForCausalLM; в метаданных указано 3,4 млрд параметров и контекст до 131 072 токенов. Модель обучена с нуля на смеси открытых и проприетарных данных примерно на 15 трлн токенов. Модель предназначена для генерации текста, суммаризации, классификации, извлечения информации, ответов на вопросы и дополнения кода, включая заполнение пропусков между префиксом и суффиксом (FIM). Поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Архитектура включает GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Модель не проходила safety alignment, поэтому может генерировать предвзятые, ошибочные или проблемные ответы; для небольшой модели также отмечен риск дословного воспроизведения обучающих данных. Лицензия — Apache 2.0.

NANI-Nithin/Instella-MoE-16B-A3B-Think-GGUF — набор GGUF-квантизаций модели Instella-MoE-16B-A3B-Think, разработанной AMD. Модель предназначена для рассуждений, генерации текста, программирования и выполнения общих инструкций, включая локальный запуск на рабочих станциях, CPU, GPU и периферийных устройствах через совместимые среды llama.cpp. Это MoE-модель архитектуры Instella-MoE, производная от семейства DeepSeek-V3, примерно с 16 млрд общих параметров и около 3 млрд активных параметров на токен. Она является текстовой, англоязычной моделью с контекстом до 32 768 токенов в указанном примере запуска. Репозиторий содержит варианты от Q2_K до Q8_0, IQ-квантизации и BF16; квантизация позволяет снижать требования к памяти с соответствующим компромиссом между качеством и размером. Ключевое ограничение — отсутствие поддержки Instella-MoE в основной ветке llama.cpp на момент подготовки файлов. Для запуска требуется форк llama.cpp с веткой instella-moe либо будущая версия с полной поддержкой архитектуры, включая Gated Attention и FarSkip. Лицензия модели указана как Apache-2.0.

RedHatAI/Llama-3.3-70B-Instruct-quantized.w4a16 — это квантизированная инструкционно настроенная языковая модель на базе Meta Llama-3.3-70B-Instruct, разработанная Red Hat совместно с Neural Magic. Модель принимает текст и генерирует текст, поэтому предназначена для диалоговых ассистентов, задач генерации естественного языка, а также для создания синтетических данных и дистилляции других моделей. Модель содержит 70 миллиардов параметров и использует INT4-квантизацию весов линейных операторов в трансформерных блоках. Применяется симметричная поканальная по группам схема с размером группы 128 и алгоритм GPTQ, реализованный в библиотеке llm-compressor. Переход с 16 на 4 бита уменьшает размер модели на диске и требования к памяти GPU примерно на 75%. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для эффективного развертывания рекомендуется vLLM; модель также валидирована в RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5. В README приведён пример запуска с максимальной длиной контекста 32768 токенов, однако этот параметр указан для конфигурации развертывания. К сильным сторонам относятся существенно сниженные требования к дисковой и GPU-памяти при сохранении назначения исходной instruct-модели и поддержка многоязычных диалоговых сценариев. Ограничения включают работу только с текстом, возможное влияние квантизации на качество по сравнению с исходной моделью и запрет использования для языков, не перечисленных в документации. Модель распространяется по Llama 3.3 Community License; также необходимо соблюдать применимое законодательство и Acceptable Use Policy.

v2ray/Llama-3-70B-Instruct — перезагрузка модели Meta Llama 3 70B Instruct, предназначенной для диалогового использования. Это авторегрессионная плотная языковая модель на базе оптимизированного Transformer с Grouped-Query Attention; объём модели — 69,5 млрд параметров, контекст — 8192 токена. Модель принимает текст и генерирует текст, включая код. Модель подходит для англоязычного диалогового помощника и задач генерации текста. В карточке описана настройка инструкционных версий с помощью supervised fine-tuning и обучения с подкреплением на основе человеческой обратной связи. Разработчик — Meta; версия выпущена 18 апреля 2024 года. Модель рассчитана прежде всего на английский язык. Для использования действует пользовательская коммерческая лицензия Meta Llama 3 и связанные с ней условия допустимого использования. Ответы могут требовать проверки и дополнительных мер безопасности в зависимости от приложения.

RedHatAI/Meta-Llama-3.1-8B-Instruct-FP8 — квантизированная FP8-версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая instruction-tuned модель для генерации текста и ассистентского диалога, предназначенная для коммерческого и исследовательского использования. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако в документации отдельно указано ограничение на использование только английского языка. Модель содержит 8 млрд параметров и использует архитектуру Meta-Llama-3.1. Веса и активации линейных слоёв внутри трансформерных блоков квантизированы в FP8 с симметричной поканальной для всего тензора схемой; выходной слой lm_head не квантизируется. По сравнению с 16-битной версией это примерно вдвое снижает размер на диске и требования к памяти GPU. Модель оптимизирована для инференса через vLLM, включая совместимый с OpenAI интерфейс. К преимуществам относятся уменьшенное потребление памяти и эффективное развёртывание при сохранении близкого к исходной модели качества: средний результат на OpenLLM составляет 73,44 против 73,79 у неквантизированной версии. Ограничения связаны с возможной потерей качества из-за квантизации, зависимостью от vLLM и заявленным ограничением области применения. Модель распространяется по лицензии llama3.1; также необходимо соблюдать применимое законодательство и условия исходной лицензии Meta.

Mixtral-8x22B-Instruct-v0.1 — инструктивная языковая модель от команды Mistral AI на архитектуре Mixtral с причинным декодированием и смесью экспертов (MoE). Это дообученная версия Mixtral-8x22B-v0.1; в метаданных указан размер 22B параметров и контекст до 65 536 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно использовать для ответов на вопросы, объяснений и взаимодействия с инструментами через предусмотренный формат function calling. Метаданные указывают поддержку английского, испанского, итальянского, немецкого и французского языков. Для запуска README описывает токенизацию и инференс через mistral-common и mistral-inference; в метаданных также указана библиотека vLLM. Модель распространяется по лицензии Apache-2.0. README отмечает, что для function calling нужно корректно применять специальные токены и формат токенизатора SentencePieceTokenizerV3; результаты вызова инструментов зависят от совместимой обработки этого формата.

Muse-Glimmer-30B-ExecuTorch-PTE — вариант мультимодальной модели Muse Glimmer от Meta, подготовленный для запуска в формате ExecuTorch PTE. Это дообученная модель с плотным причинным трансформером и отдельным энкодером восприятия, примерно на 29,6 млрд параметров. Она принимает текст и изображения, поддерживает диалог и предназначена для агентных сценариев: многошагового планирования, вызова инструментов, восстановления после ошибок, программирования и анализа скриншотов, графиков и документов. В README заявлена поддержка более 100 языков и управление интенсивностью рассуждений. Модель рассчитана на локальных ИИ-агентов, кодинг-агентов, генерацию синтетических данных и оценку ответов других моделей. Репозиторий лицензирован по Apache 2.0. В данной серверной реализации доступны только текст и одно изображение JPEG или PNG на запрос; видео и аудио не поддерживаются. Сервер обрабатывает запросы последовательно, без пакетной параллельной обработки, а состояние сессий не сохраняется между перезапусками. Ответы могут быть неточными, предвзятыми или нежелательными; для практического развертывания авторы рекомендуют дополнительные защитные механизмы.