II.7DevOps, облако и эксплуатация IT-систем

Qwen-7B-Chat — диалоговая языковая модель семейства Qwen, разработанная Alibaba Cloud на основе предварительно обученной Qwen-7B с применением методов выравнивания. Это плотная Transformer-модель с архитектурой QWenLMHeadModel, 32 слоями, RoPE, SwiGLU и RMSNorm. В метаданных указано 11,4 млрд параметров и контекст длиной 32 768 токенов. Модель предназначена для многоходовых диалогов и генерации текста: она отвечает на вопросы, помогает с кодом и математическими задачами, а также может использоваться для длинных последовательностей и вызова внешних инструментов. README описывает токенизатор на основе tiktoken с большим словарём, ориентированным на китайский, английский и код; метаданные также указывают китайский и английский языки. Репозиторий содержит веса safetensors. Модель проверялась на китайском и английском понимании, математике, программировании, длинном контексте и использовании инструментов. Результаты могут колебаться из-за аппаратных и программных различий; при дообучении следует учитывать особенности специальных токенов токенизатора. Лицензия указана как other, поэтому перед использованием нужно проверить условия лицензирования в карточке модели.

Rombo-LLM-V2.5-Qwen-7b — дообученная разработчиком Rombo-Org языковая модель на архитектуре Qwen2, основанная на Qwen/Qwen2.5-7B-Instruct. В README указано, что модель получена непрерывным дообучением и объединением instruct- и базовой версий методом TIES; заявлено повышение производительности относительно исходных моделей. Модель содержит 7,1 млрд параметров, принимает текст и предназначена для генерации текста и диалогов. Максимальная длина контекста составляет 131 072 токена. В метаданных указаны интерфейс вызова инструментов и формат весов safetensors; README также упоминает наличие квантованных версий GGUF. Модель опубликована по лицензии Apache-2.0.

Seed-OSS-36B-Instruct — диалоговая плотная языковая модель команды ByteDance Seed. Репозиторий unsloth содержит производную версию модели ByteDance-Seed/Seed-OSS-36B-Instruct; архитектура использует причинную генерацию, RoPE, GQA, RMSNorm и SwiGLU. Метаданные указывают 31,7 млрд параметров и контекст до 524 288 токенов. Модель предназначена для диалогов, генерации текста, рассуждений и агентных сценариев с вызовом инструментов. Можно задавать бюджет рассуждений, чтобы управлять длиной внутреннего анализа и расходом вычислений. В README заявлена оптимизация для международных сценариев, но конкретный перечень поддерживаемых языков не приведён. Модель распространяется по лицензии Apache-2.0. Для инференса в README описаны Transformers и vLLM; рекомендуется температура 1,1 и top_p 0,95. Качество ответов зависит от задачи и настроек генерации, а использование длинного контекста увеличивает вычислительные затраты.

Trinity Mini GGUF — квантизированная версия модели Trinity-Mini, разработанная Arcee AI. Это открытая по весам языковая модель для генерации текста, ориентированная прежде всего на задачи рассуждения, а также на универсальные сценарии работы с инструкциями. Модель предназначена для запуска на платформах, использующих llama.cpp, включая LM Studio, а также доступна через API. Модель построена на архитектуре AfmoeForCausalLM и использует разреженную MoE-архитектуру: всего 26 млрд параметров, из которых 3 млрд активны при обработке токена. В составе 128 экспертов, 8 активных экспертов и 1 общий эксперт. Контекстное окно составляет 128 тысяч токенов. Модель обучена на 10 трлн токенов с дополнительным акцентом на математику и программный код. Заявлена поддержка английского, испанского, французского, немецкого, итальянского, португальского, русского, арабского, хинди, корейского и китайского языков. К сильным сторонам относятся сочетание крупного общего числа параметров с меньшим числом активных параметров, большой контекст и специализация на рассуждениях при сохранении универсальности. Ограничения включают необходимость совместимого программного обеспечения и аппаратных ресурсов для запуска, а также отсутствие в предоставленных данных подробных количественных результатов тестов и информации о мультимодальности; модель описана как текстовая. Распространяется по лицензии OpenMDW-1.1.

Yi-1.5-34B-Chat-16K — диалоговая языковая модель от 01.AI, основанная на архитектуре Llama и содержащая 33,9 млрд параметров. Она предназначена для генерации ответов в чате, следования инструкциям, понимания языка и чтения текстов; в семействе Yi-1.5 также заявлено улучшение навыков программирования, математики и рассуждений. Модель непрерывно предобучали на Yi на корпусе из 500 млрд токенов, а затем дообучили на 3 млн разнообразных примеров; для этой версии заявлен контекст до 16 384 токенов. Модель принимает и генерирует текст. README не уточняет список поддерживаемых естественных языков. Репозиторий содержит веса в формате safetensors, а лицензия — Apache-2.0. Практическое применение требует ресурсов, соответствующих модели с 33,9 млрд параметров; конкретные требования к оборудованию и сравнительные результаты для версии 16K в предоставленных данных не приведены.

BigBang-V1 — мультимодальная модель общего назначения, разработанная Endless Frontier на основе Qwen3.6-35B-A3B. Авторы дообучили её с помощью постобучения на примерно 10 тысячах синтетических научных и технических задач, которые генераторы и критики итеративно усложняли и проверяли. Модель предназначена для научных исследований, сложных рассуждений, программирования, длительного поиска и работы с инструментами; поддерживает диалог и анализ изображений. Модель построена на архитектуре Qwen3.5 MoE и распространяется в формате Safetensors для Transformers. В README указан контекст до 262 144 токенов; авторы рекомендуют сохранять не менее 128 тысяч токенов для сложных задач. В README приведены сильные результаты на бенчмарках научных исследований, поиска, программирования и AI-исследований, однако это результаты авторской оценки и не гарантия качества для конкретного сценария. Лицензия — Apache-2.0.

Blossom-V7-27B — мультимодальная модель общего назначения с открытыми весами, разработанная командой Blossom. Это плотная модель семейства Qwen3.5, дообученная для работы в роли ассистента и предназначенная для локального запуска. Она принимает текст и изображения, поддерживает диалог, адаптивное рассуждение и вызов инструментов; подходит для повседневных вопросов, математики, программирования, веб-разработки и визуализации данных. Контекст достигает 262 144 токенов, при этом в README рекомендовано 131 072 токена для наилучших результатов. Для ускорения генерации поддерживается спекулятивное декодирование MTP в vLLM и llama.cpp. Модель рассчитана на развёртывание на GPU, где помещаются её веса. README указывает, что для многоходового диалога следует сохранять полное сообщение ассистента, включая поля рассуждения и вызовы инструментов. Также требуется использовать встроенный шаблон чата Blossom; подмена его шаблоном Qwen3.5 может нарушить работу. Репозиторий распространяется по лицензии Apache-2.0.

calme-2.1-phi3.5-4b — дообученная Maziyar Panahi языковая модель на архитектуре Phi-3.5 для диалогов и генерации текста. Она предназначена для систем ответов на вопросы, чат-ботов и виртуальных помощников, а также для создания и суммаризации текстов, генерации и анализа кода и решения задач. Модель дообучена на microsoft/Phi-3.5-mini-instruct с использованием набора данных MaziyarPanahi/truthy-dpo-v0.1-axolotl; содержит 3,7 млрд параметров и поддерживает контекст до 4096 токенов. Для диалога применяется шаблон ChatML. Репозиторий содержит веса в формате Safetensors; отдельно упомянута квантованная версия GGUF. Карточка приводит результаты отдельных оценок IFEval и BBH, но не даёт полной таблицы бенчмарков. Модель может наследовать смещения и ограничения базовой языковой модели, поэтому для важных решений нужны проверка ответов и человеческий контроль. Лицензия — MIT.

Cohere Command A Reasoning — авторегрессионная языковая модель с открытыми весами, разработанная Cohere и Cohere Labs. Модель на 111 млрд параметров предназначена для диалогов, агентных сценариев и работы с внешними инструментами; она поддерживает режим рассуждений, который можно включать для повышения качества или отключать ради меньшей задержки. Модель принимает текст и генерирует текст. Она обучена на 23 языках и поддерживает контекст до 256 тыс. токенов и генерацию до 32 тыс. токенов. Архитектура использует Transformer с чередованием слоёв скользящего внимания и глобального внимания; после предварительного обучения модель прошла дообучение с учителем и обучение на предпочтениях. Для работы с инструментами и цитированием результатов предусмотрен шаблон диалога Transformers. Модель подходит для многоязычного диалога, сложных запросов с рассуждением, вызова инструментов и агентных рабочих процессов. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование без отдельного согласования с Cohere; также необходимо соблюдать Acceptable Use Policy Cohere Labs. Для загрузки модели README рекомендует версию Transformers из исходного репозитория с необходимыми изменениями.

Dirk-Qwen3.8-27B-GGUF — это GGUF-квантизированная версия базовой модели Qwen/Qwen3.8-27B, подготовленная разработчиком peculiar-ragdoll. Модель представляет собой плотную vision-language модель с 27 млрд параметров, поддерживающую работу с текстом и изображениями. В карточке заявлены английский и китайский языки, а также совместимость с llama.cpp. Модель предназначена для диалогов, анализа изображений, генерации кода и агентских сценариев. Она использует модифицированный Sharp chat template с настройкой краткости ответов и поддерживает Multi-Token Prediction (MTP) для ускорения генерации средствами speculative decoding. По умолчанию используется умеренный уровень рассуждений; его можно изменить через chat_template_kwargs, выбрав low, medium или xhigh. Поддерживается отключение рассуждений. Основное отличие от исходной модели заключается в шаблоне чата: веса и MTP-компоненты сохранены без изменений. Доступны варианты квантования от примерно 2 до 4 бит, включая GSQ-RCO и Unsloth Dynamic 3.0, с размерами файлов примерно от 8,8 до 17,6 ГБ. Это позволяет запускать модель на видеокартах с 12, 16 и 24 ГБ памяти, хотя более сильное квантование может снижать качество, а доступный объём памяти также зависит от длины контекста. Точный максимальный размер контекста в карточке не указан. Лицензия — Apache 2.0.

Dolphin 2.8 Mistral 7b v0.2 — языковая модель общего назначения из семейства Dolphin, разработанная Cognitive Computations при дообучении Eric Hartford и Cognitive Computations. Эта версия распространяется в формате GGUF; квантизацию выполнил bartowski на основе llama.cpp. Базовая модель — Mistral-7B-v0.2, размер — около 7 млрд параметров. Модель предназначена для генерации текста, диалогов, ответов на вопросы, рассуждений и программирования. В обучении использовались разговорные, логические и кодовые данные, включая наборы Dolphin, Dolphin Coder, Samantha, Airoboros, OpenHermes и Code-Feedback. Указан английский язык. Модель работает только с текстом и рассчитана на локальный запуск, в том числе через LM Studio; для неё рекомендуется шаблон запросов ChatML и системная инструкция «You are Dolphin, a helpful AI assistant». Сильными сторонами являются универсальность, поддержка повседневных ассистентских сценариев и наличие данных для задач программирования. В README приведён результат HumanEval pass@1 0,469, однако он помечен как непроверенный. Размер контекста и другие подробные характеристики архитектуры не указаны, поэтому возможности модели могут зависеть от используемого варианта GGUF и настроек запуска. Модель распространяется по лицензии Apache 2.0.

Карточка модели belltechsoft/gemma-4-12B-it-assistant на Hugging Face совпадает с карточкой google/gemma-4-12B-it-assistant, поэтому описание составлено по ней. Gemma 4 12B IT Assistant — мультимодальная модель с открытыми весами от Google DeepMind, предназначенная для диалогов и генерации текста. Эта карточка описывает вариант Multi-Token Prediction (MTP): компактная черновая модель для speculative decoding, которая предлагает несколько токенов заранее, а целевая модель проверяет их параллельно. Такой режим может ускорять декодирование до 3 раз без изменения качества относительно обычной генерации. Модель семейства Gemma 4 использует плотную архитектуру и поддерживает ввод текста, изображений и аудио; на выходе генерирует текст. Она предназначена для рассуждений, программирования, распознавания и понимания речи, работы с изображениями и агентных сценариев с вызовом инструментов. Семейство поддерживает длинный контекст до 256 тысяч токенов и многоязычную работу; в карточке указана поддержка более 140 языков при обучении. MTP-вариант рассчитан на использование в speculative decoding с соответствующей целевой моделью, а не как самостоятельная замена обычному checkpoint для всех сценариев. Лицензия — Apache 2.0.

MLX-квантизированная версия Gemma 4 26B A4B instruction-tuned, разработанная сообществом mlx-community на базе модели Google gemma-4-26B-A4B-it. Квантизация выполнена с помощью mlx-optiq — инструментария для локального запуска и оптимизации больших языковых моделей на Apple Silicon без PyTorch и облачных сервисов. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, выполнения инструкций, tool calling и агентских сценариев. Модель использует смешанную точность: преимущественно 4-bit, при этом чувствительные слои переведены в 8-bit. Из 325 квантизированных слоёв 246 работают в 8-bit и 79 — в 4-bit; размер группы составляет 64. Калибровка проводилась на данных из шести доменов: обычный текст, рассуждения, код, агентские задачи, вызовы инструментов и инструкции с ограничениями. Размер модели на диске составляет около 16,4 ГБ. Поддерживается speculative decoding с отдельной моделью-драфтером Gemma 4. Сведения о длине контекста, языках и мультимодальных возможностях в README не указаны. По приведённым результатам модель превосходит стандартную равномерную 4-bit-квантизацию по MMLU, GSM8K, HumanEval и длинноконтекстному извлечению HashHop; совокупный Capability Score составляет 75,76 против 72,95. При этом на IFEval и BFCL-V3 она немного уступает равномерной 4-bit-версии, а размер на диске примерно на 1,9 ГБ больше. Для использования требуется MLX-совместимое окружение, например Apple Silicon с пакетами mlx-lm или mlx-optiq. Модель распространяется по лицензии Gemma, унаследованной от базовой модели; применяются условия Google Gemma.

coder3101/gemma-4-E2B-it-heretic — производная модель на базе Google Gemma 4 E2B IT, представленная в формате safetensors и доступная через Transformers. Это плотная мультимодальная модель семейства Gemma 4 для диалогов, рассуждений, генерации и редактирования кода, анализа изображений и аудио, а также сценариев с вызовом инструментов. README описывает для семейства Gemma 4 гибридное внимание, смешивающее локальные окна и глобальные слои, поддержку изображений, видео и аудио для вариантов E2B/E4B, а также контекст до 128 тысяч токенов для E2B/E4B; эти характеристики приведены для семейства и не подтверждены отдельно для этой производной версии. Метка heretic и теги uncensored/decensored/abliterated указывают на модификацию базовой модели, но карточка не поясняет способ и последствия этой модификации. README заявляет поддержку более 35 языков на уровне семейства. Модель распространяется по лицензии Apache-2.0. Возможны фактические ошибки, смещения, трудности с тонкими языковыми нюансами и сложными открытыми задачами; мультимодальные способности и характеристики контекста конкретной версии следует проверять отдельно.

GLM-4.7-Flash — языковая модель семейства GLM от Z.ai, представленная как модель Mixture of Experts с конфигурацией 30B-A3B: около 30 млрд параметров всего и примерно 3 млрд активных на токен. Метаданные Hugging Face указывают 4,1 млрд параметров, поэтому сведения о размере в источниках расходятся. Модель распространяется в формате Safetensors и работает через Transformers; для локального запуска также заявлена поддержка vLLM и SGLang. Модель предназначена для генерации текста и диалогов, включая рассуждения, программирование и агентные сценарии. В карточке приведены результаты бенчмарков по математике, вопросам на научные знания и программированию; заявлено окно контекста 202 752 токена. Карточка указывает английский и китайский языки. Модель выпущена Z.ai под лицензией MIT. Производитель позиционирует её как вариант для относительно лёгкого локального развёртывания с балансом производительности и эффективности. Для vLLM и SGLang требуются версии из основных веток проектов.

Карточка модели AmanNagtode/GLM-5.2 на Hugging Face совпадает с карточкой Ares-Realm-Studios/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — большая языковая модель от Ares-Realm-Studios для продолжительных задач, диалогов и программирования. Она построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 1 048 576 токенов и рассчитана прежде всего на английский и китайский языки. Модель предназначена для многошаговой работы с длинным контекстом, включая анализ материалов и разработку программного кода. В README заявлены гибкие уровни усилий рассуждения и оптимизации для обработки контекста в миллион токенов; для локального запуска перечислены Transformers, vLLM, SGLang и другие среды. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии MIT. Заявленные возможности и результаты приведены авторами; практическое качество может зависеть от сценария и настроек запуска.

Карточка модели ravan011/GLM-5.2 на Hugging Face совпадает с карточкой Ares-Realm-Studios/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — большая языковая модель от Ares-Realm-Studios для продолжительных задач, диалогов и программирования. Она построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 1 048 576 токенов и рассчитана прежде всего на английский и китайский языки. Модель предназначена для многошаговой работы с длинным контекстом, включая анализ материалов и разработку программного кода. В README заявлены гибкие уровни усилий рассуждения и оптимизации для обработки контекста в миллион токенов; для локального запуска перечислены Transformers, vLLM, SGLang и другие среды. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии MIT. Заявленные возможности и результаты приведены авторами; практическое качество может зависеть от сценария и настроек запуска.

GLM-5.3-Flash-UNCENSORED-NVFP4-DFlash2 — мультимодальная модель семейства GLM-5.3 Flash. Исходную архитектуру разработала Zhipu AI (ZAI), неконтролируемые веса подготовила dealignai, а упаковку и конфигурацию NVFP4 выполнила Solstice-AI. Модель основана на 320-миллиардной MoE-архитектуре с 288 маршрутизируемыми экспертами и примерно 18 миллиардами активных параметров на токен. Модель предназначена для генерации и анализа текста, программирования, математического и общего рассуждения, а также обработки изображений и видео. Она поддерживает нативные мультимодальные возможности благодаря 24-слойному ViT и проектору размерности 10 240, рассчитана на контекст до 1 048 576 токенов и поставляется с черновой моделью DFlash 2 для спекулятивного декодирования. Ключевая особенность сборки — смешанная точность W4A16: MoE-эксперты используют 4-битный формат NVFP4, а attention, общие эксперты и активации сохраняются в 16-битной точности. Сильными сторонами являются сочетание большого контекста, мультимодальности, сниженного потребления памяти за счёт квантизации и поддержки спекулятивного ускорения. Согласно README, модель ориентирована на GPU NVIDIA Blackwell, Hopper, Ada Lovelace и Ampere. Ограничения включают крупный общий размер, высокие требования к инфраструктуре, зависимость производительности от совместимого ПО и оборудования, а также отсутствие встроенных механизмов отказа от потенциально опасных запросов: веса описаны как uncensored и abliterated. Модель распространяется по лицензии MIT. В README также указаны результаты на MMLU, SWE-bench, LiveCodeBench, MATH-500 и мультимодальных тестах, однако эти показатели приведены авторами карточки и не заменяют независимую оценку.

google-gemma-4-12B-it-GGUF-Q4_K_M — квантизированная версия базовой модели google/gemma-4-12B-it, опубликованная пользователем sigmanih с использованием Sigma Studio. Модель предназначена для генерации текста, диалоговых помощников, программирования, повседневных задач, рассуждений и агентских сценариев с вызовом инструментов. Она распространяется в формате GGUF с квантизацией Q4_K_M и рассчитана на запуск через совместимые движки, включая llama.cpp и SigmaEngine. Заявлены архитектура gemma4, 12 млрд активных параметров, 48 transformer-слоёв, скрытое измерение 3840 и контекстное окно до 262 144 токенов. Размер файла составляет около 6,87 ГБ; для полной выгрузки на GPU рекомендуется около 19,5 ГБ видеопамяти, а для CPU или гибридного режима — около 19,3 ГБ оперативной памяти. В README указаны английский и итальянский языки. Рекомендуемое оборудование — видеокарта с 24 ГБ VRAM либо система с 32–64 ГБ RAM. По приведённым автором оценкам, модель набрала 77% на совокупности из 100 тестовых заданий, показала 100% на HumanEval, 89% на ARC-Challenge, GSM8K, MATH, MMLU-Pro и TruthfulQA, но существенно слабее выступила на GPQA, HellaSwag и MMLU. В режиме пошагового рассуждения заявлено преимущество над прямой генерацией, однако приведённые бенчмарки являются результатами собственной оценки публикации и не гарантируют аналогичную точность в прикладных задачах. К ограничениям также относятся требования к памяти, потери качества из-за квантизации и неполная информация о мультимодальности и точных условиях обучения. В README лицензия в метаданных обозначена как other, а в отдельном значке указана Apache-2.0, поэтому перед использованием необходимо проверить фактические лицензионные условия репозитория и исходной модели.

Это конверсия модели IBM Granite 3.3 8B Instruct в формат MLX, подготовленная сообществом mlx-community. Модель с плотной архитектурой GraniteForCausalLM содержит 8,2 млрд параметров и принимает текстовые запросы, выдавая текстовые ответы; поддерживает диалог и интерфейс вызова инструментов. Размер контекста — до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям; её можно применять для ответов на вопросы, анализа длинных текстов, программирования и многоязычных задач. Репозиторий распространяется по лицензии Apache-2.0. Это конверсия исходной модели ibm-granite/granite-3.3-8b-instruct для MLX, поэтому для использования в этой экосистеме потребуется совместимая среда MLX.

Hy3 — разговорная модель с открытыми весами, разработанная командой Tencent Hy. Это MoE-модель для генерации текста; карточка Hugging Face описывает вариант репозитория как модель на 16,6 млрд параметров, а README — семейство Hy3 как модель на 295 млрд параметров с 21 млрд активных параметров и 3,8 млрд параметров MTP-слоя. Модель предназначена для рассуждений, работы с длинным контекстом, вызова инструментов и задач продуктивности, включая программирование, офисную работу, финансовое моделирование, фронтенд-разработку и создание игр. В метаданных указан контекст 262 144 токена, поддержка чата и формат Safetensors. Разработчик сообщает об улучшениях надёжности вызова инструментов, следования форматам, удержания контекста и снижения галлюцинаций по внутренним оценкам. README рекомендует серверный запуск через vLLM или SGLang и отмечает значительные требования к памяти: для полного варианта предлагается конфигурация из восьми GPU H20-3e или устройств с сопоставимой памятью. Лицензия — Apache-2.0. Языки в источниках не установлены.

Infinity-Instruct-3M-0613-Llama3-70B — диалоговая языковая модель, разработанная Beijing Academy of Artificial Intelligence (BAAI). Это плотная модель семейства Llama с 69,5 млрд параметров, дообученная методом supervised instruction tuning на наборах Infinity-Instruct-3M и Infinity-Instruct-0613 без RLHF. Она предназначена для следования инструкциям и многошагового диалога, в том числе для ответов на вопросы, задач по коду и математике. Модель принимает текст и генерирует текст, использует шаблон чата Llama 3 Instruct и имеет контекст 8192 токена. В карточке приведены результаты оценок AlpacaEval 2.0 и MT-Bench; они не гарантируют качество для конкретных запросов. Модель доступна в формате safetensors под лицензией Apache-2.0 в метаданных Hugging Face. При этом README ограничивает использование связанных ресурсов академическими исследованиями и запрещает коммерческое применение; перед использованием следует учитывать это ограничение и проверить применимые условия распространения.

Lion-Lamarck-v.1.0.8 — объединённая с помощью mergekit методом SCE языковая модель на архитектуре Qwen2, опубликованная пользователем nlpguy. В качестве основы использована sometimesanotion/Lamarck-14B-v0.7; в объединение также вошли SuperNova-Medius, Virtuoso-Small, Qwen2.5-14B-Vimarckoso-v3 и DeepSeek-R1-Distill-Qwen-14B. Размер модели — 14 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для диалогов и генерации текста. Она может использоваться для ответов на вопросы, помощи с математическими задачами и программированием, а также для текстовых задач, требующих рассуждений. Доступны веса в формате safetensors и интерфейс для вызова инструментов. В метаданных не указана лицензия, поэтому условия использования следует проверить на странице репозитория Hugging Face.

Llama-3.3-70B-Instruct-FP8-dynamic — это 70-миллиардная инструкционно дообученная языковая модель Meta на архитектуре Llama 3.3, опубликованная RedHatAI в динамически квантизованном варианте FP8 и адаптированная FuriosaAI для запуска на аппаратуре FuriosaAI RNGD с использованием Furiosa-LLM. Модель предназначена для автодополнения текста, многоязычного диалога, выполнения инструкций и вызова инструментов через функции. Модель работает с текстом на входе и выходе, поддерживает английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий языки. Это плотный autoregressive Transformer; веса линейных слоёв квантизованы в FP8, а активации квантизуются динамически для каждого токена во время инференса. Поддерживается tool calling через парсер llama3_json. Для запуска на RNGD используется tensor parallelism с 32 PE, что соответствует четырём картам RNGD. Сильные стороны модели — сочетание большого размера, инструкционного обучения, многоязычности, поддержки вызова инструментов и сниженных требований к вычислительным ресурсам благодаря FP8-квантизации. Ограничения включают необходимость совместимой инфраструктуры для запуска оптимизированной версии: Furiosa-LLM и аппаратуры FuriosaAI RNGD; в README не указаны размер контекстного окна, результаты бенчмарков и подробные ограничения безопасности. Модель распространяется по лицензии Llama 3.3 Community License.

Meta-Llama-3.1-70B-Instruct-GGUF — инструкционная большая языковая модель семейства Llama 3.1, разработанная Meta и представленная в формате GGUF сообществом backyardai. Она предназначена для генерации текста, диалоговых приложений, ответов на вопросы и выполнения инструкций. Модель является производной от meta-llama/Meta-Llama-3.1-70B-Instruct и ориентирована на сценарии локального или специализированного инференса с использованием совместимых инструментов. Модель имеет размер 70 миллиардов параметров и работает с текстовыми данными. В карточке заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Конкретная архитектура, длина контекста и параметры квантования для данной сборки не указаны. Большой размер может обеспечивать высокое качество генерации, однако требует значительных вычислительных ресурсов; практические характеристики зависят от используемого варианта GGUF и среды запуска. Модель распространяется по лицензии Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов с более чем 700 миллионами активных пользователей в месяц предусмотрено требование получить отдельную лицензию Meta.

furiosa-ai/Meta-Llama-3.1-8B-Instruct-FP8-dynamic — это инструкция-ориентированная языковая модель Meta Llama 3.1 с 8 млрд параметров, подготовленная для диалогов на естественном языке, выполнения инструкций и вызова инструментов. Модель представляет собой плотный авторегрессионный Transformer, работает с текстом на входе и выходе и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Квантованная версия FP8-dynamic опубликована RedHatAI на основе Meta Llama 3.1 8B Instruct, а данный репозиторий дополнительно содержит пакет Furiosa Executable Bundle для запуска на аппаратном обеспечении FuriosaAI RNGD через Furiosa-LLM. Линейные веса Transformer-блоков используют статическое квантование FP8, а активации динамически квантуются в FP8 для каждого токена во время инференса, без предварительной офлайн-калибровки. Модель поддерживает вызов функций через парсер llama3_json и рассчитана на параллелизм по 8 processing elements на одной карте RNGD. Основной сценарий использования — развёртывание текстового диалогового сервиса через OpenAI-совместимый API Furiosa-LLM; также заявлена совместимость с другими фреймворками, включая vLLM, SGLang и Transformers. Ограничения по размеру контекста в предоставленных данных не указаны. Модель распространяется по лицензии Llama 3.1 Community License.

Meta-Llama-3.1-8B-Instruct-quantized.w8a8 — языковая модель для генерации текста и ассистентского диалога, созданная Neural Magic на основе Meta-Llama-3.1-8B-Instruct от Meta. Модель поддерживает текстовый ввод и вывод, предназначена для коммерческого и исследовательского использования в многоязычных сценариях. В заявленной языковой поддержке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Архитектура — LlamaForCausalLM, размер базовой модели — 8 млрд параметров. Ключевая особенность — INT8-квантизация весов и активаций линейных слоёв Transformer-блоков с использованием GPTQ и библиотеки llm-compressor. Это примерно вдвое снижает требования к памяти и размер модели на диске, а также может примерно вдвое повысить пропускную способность матричных операций. По приведённым оценкам, модель сохраняет качество, близкое к неквантизированной версии: результаты составляют 105,4% для Arena-Hard, 100,3% для OpenLLM v1, 101,5% для OpenLLM v2, 99,7% для HumanEval pass@1 и 98,8% для HumanEval+ pass@1 относительно соответствующих базовых показателей. Для развёртывания рекомендуется vLLM; ограничения включают возможные последствия потери точности из-за квантизации и запрет использования с нарушением применимого законодательства. Лицензия — Llama 3.1.

Карточка модели NostraEmpire/mirror-qwen3-1.7b на Hugging Face совпадает с карточкой Qwen/Qwen3-1.7B, поэтому описание составлено по ней. Qwen3-1.7B — компактная плотная причинная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит 1,7 млрд параметров, 28 слоёв и поддерживает контекст до 40 960 токенов по метаданным. Модель дообучена на базе Qwen/Qwen3-1.7B-Base и распространяется в формате safetensors под лицензией Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с внешними инструментами через соответствующий интерфейс. Она поддерживает более 100 языков и диалектов. Заявлены режимы рассуждения и обычного диалога; компактный размер подходит для приложений с ограниченными ресурсами по сравнению с более крупными моделями семейства. В README указана длина контекста 32 768 токенов, тогда как метаданные каталога приводят 40 960; для характеристики использовано значение метаданных. В README также отмечен риск бесконечных повторов при некоторых настройках генерации и рекомендована настройка presence_penalty. Качество ответов и точность фактов требуют проверки в целевом сценарии.

natong19/Mistral-Nemo-Instruct-2407-abliterated — версия Mistral-Nemo-Instruct-2407, обученной совместно Mistral AI и NVIDIA. Это плотная авторегрессионная языковая модель семейства Mistral с 12,1 млрд параметров, предназначенная для диалогов и генерации текста; интерфейс также поддерживает вызов инструментов. В README заявлено окно контекста 128 тыс. токенов, а метаданные указывают native context в 1 024 000 токенов, поэтому эти значения расходятся. Модель рассчитана на многоязычные задачи и код; среди языков указаны английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский. В этой версии наиболее сильные направления отказа ослаблены ортогонализацией весов, однако модель всё ещё может отказывать, неверно понимать запрос или давать непрошеные советы о безопасности. В приведённых тестах результаты близки к исходной версии Mistral-Nemo-Instruct-2407. Лицензия — Apache 2.0.

RedHatAI/Mistral-Small-24B-Instruct-2501-FP8-dynamic — текстовая instruct-модель на базе Mistral-Small-24B-Instruct-2501. Модель разработана Neural Magic и распространяется в каталоге Red Hat AI. Она принимает текст и генерирует текст, поддерживает английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Модель предназначена для диалоговых приложений, генерации и преобразования текста, работы через text-generation и text-to-text интерфейсы. Это FP8-квантованная версия с квантизацией весов и активаций линейных операторов в блоках Transformer. По сравнению с представлением в FP16 такая оптимизация примерно вдвое уменьшает размер на диске и требования к памяти GPU, что делает модель более удобной для инференса. README указывает готовность к работе с vLLM; пример развертывания допускает максимальную длину контекста 32768 токенов. Средний результат на OpenLLM Leaderboard v1 составляет 78,88 против 79,45 у неквантованной версии, поэтому основное ограничение — небольшое снижение качества после квантизации. Для запуска требуется совместимая инфраструктура инференса, например vLLM, а поддержка и производительность зависят от используемого GPU и программного окружения. Модель распространяется по лицензии Apache 2.0.