II.6Документация и сопровождение разработки

Gemini 2.5 Flash — мультимодальная модель Google, предназначенная для рассуждений, программирования, математики и научных задач. Карточка описывает её как универсальную рабочую модель со встроенным режимом «thinking» для более сложных ответов. Модель предназначена для диалоговых сценариев и решения сложных задач, в том числе связанных с кодом и наукой. В предоставленных данных не указаны размер, архитектура, поддерживаемые языки, длина контекста или условия лицензии.

unsloth/gemma-3-12b-it-qat-bnb-4bit — 12-миллиардная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind. Она создана на основе Google Gemma и использует Quantization Aware Training (QAT). Модель мультимодальная: принимает текст и изображения, а генерирует текст. Контрольные веса в данном репозитории указаны как соответствующие базовой модели google/gemma-3-12b-it-qat-q4_0-unquantized. Модель предназначена для генерации текста, ответов на вопросы, суммаризации документов, рассуждений, анализа изображений и извлечения визуальной информации. Она поддерживает более 140 языков и контекст до 128 000 токенов; максимальный объём генерируемого ответа составляет 8192 токена. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов каждое. Благодаря относительно небольшому размеру модель подходит для развёртывания на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Ключевое преимущество QAT — сохранение качества, близкого к bfloat16, при существенно меньших требованиях к памяти после квантования. При этом README уточняет, что размещённый checkpoint является неквантованным и его необходимо самостоятельно квантовать в формат Q4_0 подходящим инструментом. Модель распространяется по лицензии Gemma; для доступа к ней на Hugging Face требуется войти в аккаунт и принять условия использования Google.

Gemma 3 4B Instruction-tuned QAT compressed-tensors — это мультимодальная instruction-tuned модель семейства Gemma 3, разработанного Google DeepMind. Данная версия представляет собой конвертацию Gemma 3 4B IT из формата GGUF Q4_0 в формат compressed-tensors с типом данных BF16; преобразование не является полностью без потерь. Модель принимает текст и изображения, а генерирует текст. Модель предназначена для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Она поддерживает более 140 языков, контекст входных данных до 128K токенов, изображения с нормализацией до 896×896 пикселей, кодируемые в 256 токенов каждое, и генерирует до 8192 токенов. Размер 4B и QAT-квантизация снижают требования к памяти при сохранении качества, близкого к bfloat16, что облегчает запуск на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Модель можно запускать, в частности, через vLLM; исходная карточка также описывает использование llama.cpp. Ограничения включают возможные потери качества из-за преобразования и квантизации, а также стандартные ограничения генеративных и мультимодальных моделей. Модель распространяется по лицензии Gemma; конкретные условия определяются официальными Terms of Use Google.

unsloth/gemma-3n-E4B-it — инструкция-настроенная версия Gemma 3n E4B от Google, опубликованная Unsloth. Это плотная модель класса Gemma3n с архитектурой Gemma3nForConditionalGeneration и поддержкой диалога и изображений. Репозиторий содержит веса safetensors; в README для этой сборки заявлена работа только с текстом, поэтому описанные для семейства возможности обработки изображений, видео и аудио здесь не подтверждены. Модель предназначена для генерации текста и диалоговых сценариев: создания черновиков и кода, суммаризации, ответов на вопросы и работы чат-ботов. README указывает контекст до 32 тысяч токенов. Семейство Gemma 3n рассчитано на эффективный запуск на устройствах с ограниченными ресурсами благодаря выборочной активации параметров; для этой конкретной сборки общее число параметров в предоставленных метаданных не указано. Ожидаемые ограничения включают возможные фактические ошибки, смещения обучающих данных и затруднения с неоднозначными или сложными запросами. Лицензия — Gemma; перед использованием следует учитывать её условия.

OnlyTextLLMs выпустила текстовую версию инструкционной модели Google Gemma 4 12B IT: из исходной модели удалены блоки обработки изображений и аудио и мультимодальные специальные токены, а текстовая часть и LM-голова сохранены. Это плотная причинная языковая модель Gemma4UnifiedForCausalLM с 11,6 млрд параметров и контекстом до 262 144 токенов; репозиторий содержит веса Safetensors в формате bfloat16. Модель предназначена для диалогов и генерации текста на основе текстовых запросов. По заявлению авторов, дообучение не проводилось, новые обучающие данные и возможности не добавлялись. Модель распространяется по лицензии Apache-2.0.

Карточка модели arolstar52/gemma-4-31B-it на Hugging Face совпадает с карточкой ApocalypseParty/G4-31B-SFT-v6-2, поэтому описание составлено по ней. ApocalypseParty/G4-31B-SFT-v6-2 — дообученная версия мультимодальной Gemma 4 31B от Google DeepMind. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалога, рассуждений, программирования и анализа визуальных данных, включая распознавание текста в документах, понимание диаграмм и интерфейсов. Поддерживаются вызовы инструментов и длинные контексты; для семейства Gemma 4 31B заявлено до 256K токенов. Gemma 4 обучена работать со многими языками, однако конкретные языки и настройки этого дообучения не описаны. Репозиторий содержит веса Safetensors и использует лицензию Apache 2.0. Карточка не приводит отдельных оценок качества или ограничений именно этой версии.

Карточка модели Iambackup/gemma-4-E4B-it на Hugging Face совпадает с карточкой AtharvOG/Atharvs_Model, поэтому описание составлено по ней. Atharvs_Model — дообученная мультимодальная модель на базе Google Gemma 4 E4B, опубликованная под лицензией Apache 2.0. Она использует архитектуру Gemma4ForConditionalGeneration и формат safetensors, принимает текст и изображения и формирует текстовые ответы. Семейство Gemma 4 поддерживает контекст до 128 тысяч токенов для малых моделей, включая E4B, и многоязычную работу; карточка этой конкретной модели не уточняет языки дообучения. Модель подходит для диалога, генерации и суммаризации текста, программирования, рассуждений, а также анализа изображений и документов, включая OCR. В README Gemma 4 также заявлены видеопонимание и аудиозадачи для E2B и E4B, однако метаданные конкретного репозитория не подтверждают эти возможности отдельно. Возможности исходной модели не обязательно полностью сохранены или улучшены после дообучения; перед использованием ответы следует проверять.

Gemma-4-E4B-text-base — текстовая версия Gemma-4-E4B-it, подготовленная wyattearp удалением мультимодальных проекций зрения и аудио. Параметры языкового трансформера сохранены побитно относительно базовой модели; это плотная авторегрессионная модель Gemma 4 примерно на 4,2 млрд параметров с контекстом до 131 072 токенов и словарём из 256 000 токенов. Модель предназначена для генерации текста, диалогов, рассуждений, программирования и агентных сценариев с вызовом инструментов. Текстовая конфигурация сокращает расход памяти на мультимодальные компоненты и упрощает обслуживание через Transformers и совместимые движки, включая vLLM. Карточка описывает англоязычное применение; удаление аудио- и визуальных компонентов исключает обработку изображений и аудио. Модель распространяется в формате safetensors; для использования действует лицензия Gemma. README отмечает необходимость исправления парсера вызовов инструментов в vLLM для корректной обработки некоторых переходов формата Gemma 4.

GigaChat-20B-A3B-instruct-v1.5 — диалоговая языковая модель семейства GigaChat, разработанная ai-sage и дообученная на базе ai-sage/GigaChat-20B-A3B-base. Модель использует архитектуру DeepseekForCausalLM, содержит 3,1 млрд параметров и поддерживает контекст до 131 072 токенов. Она предназначена для диалога и генерации текста на русском и английском языках. Обновлённая версия получила улучшенное выравнивание ответов: в README сообщается о росте результатов Arena Hard RU с 20,8 до 29,6 и Arena General с 41,1 до 49,1; также приведены результаты на тестах MERA, ru-MMLU и математических задачах. Подходит для диалоговых ассистентов, ответов на вопросы, решения математических задач и генерации текста. Для работы с Transformers требуется версия 4.47 или новее; README предупреждает об особенностях токенизации при использовании vLLM и не рекомендует один из способов подготовки входа. Лицензия — MIT.

unsloth/GLM-4-32B-0414-GGUF — это квантизированная GGUF-версия языковой модели GLM-4-32B-0414, разработанной командой THUDM и подготовленной Unsloth для локального запуска. Модель относится к классу text-generation и предназначена для диалогов, следования инструкциям, генерации инженерного кода, создания интерактивных артефактов, function calling, поиска по документам и подготовки отчётов. Модель содержит 32 миллиарда параметров и обучалась на 15 триллионах единиц высококачественных данных, включая синтетические материалы для задач рассуждения. На этапе дообучения применялись выравнивание по человеческим предпочтениям, rejection sampling и reinforcement learning, что улучшило следование инструкциям, программирование и работу с агентскими сценариями. Заявлена поддержка китайского и английского языков. Мультимодальность и размер контекстного окна в карточке не указаны. Сильными сторонами модели являются развитые способности к генерации кода, function calling, ответам на вопросы с использованием поиска и созданию отчётов; авторы также заявляют сопоставимую с более крупными моделями производительность на отдельных тестах. GGUF ориентирован на удобное локальное развёртывание, в частности через llama.cpp; для корректной обработки системного промпта рекомендуется использовать параметр --jinja. Лицензия — MIT. Конкретный уровень квантизации, требования к аппаратным ресурсам и ограничения качества для отдельных сценариев в README не указаны.

GLM-4.5-Air — компактная гибридная модель серии GLM-4.5 от Zhipu AI, разработанная для интеллектуальных агентов. Она объединяет генерацию текста, рассуждение, программирование и работу с инструментами; поддерживает режим обдумывания для сложных запросов и вызовов инструментов, а также режим быстрого ответа. По карточке модели, у GLM-4.5-Air 106 млрд параметров, из которых активны 12 млрд. Метаданные Hugging Face указывают архитектуру GLM4 MoE, класс Glm4MoeForCausalLM, 8,5 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалоговых приложений, задач программирования и агентных сценариев с использованием инструментов. Она поддерживает английский и китайский языки и распространяется в формате Safetensors; библиотека Transformers указана как основная. Лицензия MIT разрешает коммерческое использование и дальнейшую разработку. Значения общего и активного числа параметров из README расходятся с числом параметров в метаданных, поэтому размер следует считать противоречивым.

GLM-4.6 от Zhipu AI представлен в репозитории Unsloth с исправлениями шаблона чата. Это диалоговая языковая модель семейства GLM-4 MoE с 23,4 млрд параметров, предназначенная для генерации текста и кода, рассуждений и агентных сценариев с вызовом инструментов. Модель принимает контекст до 202 752 токенов и поддерживает английский и китайский языки. По сравнению с GLM-4.5 в карточке отмечены улучшения в программировании, рассуждениях, работе с инструментами и поисковыми агентами, а также более естественный стиль письма. Репозиторий содержит веса safetensors; для запуска через llama.cpp README рекомендует использовать параметр --jinja. Лицензия — MIT.

Карточка модели ANGELOSEGRETO/GLM-5.2 на Hugging Face совпадает с карточкой zai-org/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — флагманская языковая модель компании Z.ai для длительных задач и диалогового взаимодействия. Она предназначена для генерации текста, программирования и решения задач, требующих работы с большим объёмом контекста. Модель построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров. Поддерживает контекст до 1 048 576 токенов; в README также отмечены гибкие уровни усилий для задач программирования, механизм IndexShare для снижения вычислений на длинном контексте и улучшение MTP для ускорения спекулятивного декодирования. Заявлены английский и китайский языки. Модель доступна в формате safetensors для Transformers и поддерживается рядом сред локального запуска, включая vLLM и SGLang. Лицензия — MIT. README приводит сравнительные результаты на бенчмарках, но они зависят от настроек и сценариев оценки.

Granite-3.3-2B-Base — базовая языковая модель, разработанная командой Granite компании IBM. Это плотный decoder-only трансформер с 2,5 млрд параметров и контекстом до 131 072 токенов. Архитектура включает GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Поддержка Fill-in-the-Middle позволяет генерировать фрагмент текста с учётом контекста до и после него, в том числе для автодополнения кода. Модель предназначена для генерации текста, суммаризации, классификации и извлечения информации, ответов на вопросы и работы с длинным контекстом. Она обучена на данных из веба, кода, академических источников, книг и математики, а также на многоязычных, инструкционных и синтетических длинноконтекстных данных. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель выпущена под лицензией Apache 2.0. Она не прошла safety-выравнивание, поэтому может генерировать проблемный контент; возможны предвзятость, недостоверные ответы и дословное воспроизведение обучающих данных.

Карточка модели Rampage1219hf/Hermes-4.3-36B на Hugging Face совпадает с карточкой NousResearch/Hermes-4.3-36B, поэтому описание составлено по ней. Hermes 4.3 36B — языковая модель для диалогов и следования инструкциям, разработанная Nous Research на основе ByteDance-Seed/Seed-OSS-36B-Base. Это плотная архитектура Seed OSS с 31,7 млрд параметров и контекстом до 524 288 токенов; модель распространяется в формате safetensors и рассчитана прежде всего на английский язык. Модель предназначена для рассуждений и ответов общего назначения, включая задачи по математике, программированию, STEM, логике и творческому письму. Она поддерживает гибридный режим рассуждений, вызов инструментов, а также формирование структурированных ответов и JSON по заданной схеме. Для диалогов используется шаблон чата Hermes на основе формата Llama 3. По описанию разработчика, при дообучении использовался корпус примерно из 5 млн примеров и 60 млрд токенов, с акцентом на проверяемые цепочки рассуждений и точное соблюдение формата. Модель выпущена под лицензией Apache-2.0. Для запуска на сервере с несколькими GPU разработчик рекомендует движки инференса вроде SGLang или vLLM; качество и скорость зависят от настроек и аппаратного обеспечения.

Hermes-Mistral-Saul-Slerp — объединённая модель генерации текста, созданная с помощью mergekit из Equall/Saul-Instruct-v1 и NousResearch/Nous-Hermes-2-Mistral-7B-DPO. Она основана на архитектуре Mistral, содержит 7,1 млрд параметров и предназначена для диалогов и генерации ответов по текстовым инструкциям; поддерживает контекст длиной до 32 768 токенов. Модель объединяет навыки двух исходных чекпойнтов методом slerp. Подходит для чат-ботов, ответов на вопросы и других сценариев генерации текста на основе инструкций. Репозиторий содержит веса в формате safetensors. Лицензия Apache-2.0.

Hy4 preview — крупная языковая модель нового поколения, разработанная командой Tencent Hy. Это текстовая генеративная модель с архитектурой Mixture-of-Experts (MoE), предназначенная для решения сложных задач программной инженерии, анализа документов и данных, подготовки документов, таблиц и презентаций, разработки игр, научных исследований и многошаговых рабочих процессов. Модель содержит 770 млрд параметров, из которых 49 млрд активируются для каждого токена. Архитектура включает 78 слоёв, 256 маршрутизируемых экспертов и одного общего эксперта; для каждого токена выбираются 8 маршрутизируемых экспертов. Используются Gated DeepSeek Sparse Attention, механизм повторного использования разреженных индексов IndexCache и четыре residual-потока iHC. Контекстное окно составляет 1 млн токенов, размер словаря — 120 832 токена. В модель также встроен слой MTP для speculative decoding. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильные стороны Hy4 preview — высокая вычислительная ёмкость, большой контекст и специализация на длительных задачах, включая разработку ПО, анализ разрозненной информации, создание игровых прототипов и научное рассуждение. Ограничения связаны со статусом ранней preview-версии: авторы отмечают наличие нерешённых проблем, включая склонность тратить больше времени, чем необходимо, на сложные задачи и чрезмерно перепроверять результаты. Модель распространяется по лицензии Apache 2.0.

Jina AI обучила jina-code-embeddings-1.5b на базе Qwen/Qwen2.5-Coder-1.5B для поиска по коду и технических вопросов. Модель содержит 1,5 млрд параметров, использует архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. Модель формирует векторные представления для поиска по естественно-языковым запросам и коду: поддерживаются сценарии text-to-code, code-to-code, code-to-text и code-to-completion. Для разных задач можно выбирать инструкционные префиксы; размер эмбеддинга по умолчанию — 1536 измерений, его можно сократить до 128. Заявлена поддержка более 15 языков программирования и технических вопросов в областях веб-разработки, разработки ПО, машинного обучения, анализа данных и учебных задач по программированию. Модель дообучена на Qwen/Qwen2.5-Coder-1.5B и распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Для ускорения вывода рекомендуется flash-attention; также доступна интеграция с sentence-transformers и vLLM.

Kimi K3 — открытая мультимодальная модель AMAImedia, выпущенная в составе платформы автоматизации профессионального дубляжа NOESIS. В карточке заявлены архитектура Kimi Delta Attention с Attention Residuals, размер 2,8 трлн параметров и контекст до 1 млн токенов; метаданные указывают класс KimiK3ForConditionalGeneration и формат safetensors. Модель принимает текст и изображения, а README также заявляет поддержку видео; её назначение включает диалог, рассуждения, длительные задачи программирования и агентную работу с инструментами. Модель рассчитана на анализ больших репозиториев и документов, помощь в разработке, исследовательские задачи и мультимодальную работу с изображениями и видео. README сообщает, что режим размышления включён постоянно и ответ может содержать reasoning_content; усилие рассуждения настраивается параметром reasoning_effort. Указанная в карточке лицензия — other, а README называет её Kimi K3 License, поэтому конкретные условия следует проверять в тексте лицензии репозитория. Метаданные классифицируют модель как image-text-to-text, при этом каталог дополнительно относит её к text-generation.

NVIDIA Kimi-K3-NVFP4 — квантизированная версия мультимодальной модели Kimi-K3, разработанной Moonshot AI и оптимизированной NVIDIA с помощью Model Optimizer. Это авторегрессионная transformer-модель архитектуры Mixture-of-Experts с компонентами Kimi Delta Attention, Attention Residuals и Stable LatentMoE. Объём модели составляет 2,8 трлн параметров, при этом для каждого токена активируются 16 из 896 экспертов. Версия NVFP4 — 1.0, квантизация выполнена с использованием nvidia-modelopt v0.45.0. Модель предназначена для генерации текста и кода, длительных задач программирования, глубокого рассуждения, разработки игр, end-to-end knowledge work и мультимодальных агентских сценариев. Она принимает текст, изображения и видео, а её нативное контекстное окно составляет 1 048 576 токенов. На выходе формируется текст, включая естественно-языковые ответы, код, структурированный JSON, запросы инструментов и инструкции для координации агентов. Поддерживаются vLLM и SGLang; целевая аппаратная платформа — NVIDIA Blackwell B200 и B300 под Linux. К сильным сторонам относятся мультимодальность, чрезвычайно длинный контекст, MoE-архитектура и готовность к развёртыванию на NVIDIA GPU, включая NVFP4-квантизацию. Ограничения связаны с высокой общей размерностью модели и требованиями к специализированной аппаратуре; размер и свойства обучающих данных не раскрыты. Модель рассчитана на коммерческое и некоммерческое использование, однако её применение регулируется NVIDIA Open Model Agreement и дополнительными условиями лицензии Kimi-K3.

Lacaille-MoT-4B-Supreme2 — языковая модель prithivMLmods на архитектуре Qwen3, дообученная на базе prithivMLmods/Qwen3-4B-ft-bf16. Модель содержит 3,7 млрд параметров и рассчитана на контекст до 40 960 токенов; веса представлены в формате safetensors. Она дообучена на Mixture of Thoughts с кластерами по программированию, математике и естественным наукам, а также на наборе данных для рассуждений о коде. Модель предназначена для генерации текста в технических сценариях: написания и анализа кода, решения математических задач, объяснения научных понятий и создания структурированных материалов в LaTeX, Markdown, JSON, CSV и YAML. Она поддерживает диалог и интерфейс вызова инструментов. В карточке заявлена поддержка английского языка; перечень языков программирования отдельно не уточняется. Разработчик позиционирует модель как компактную для запуска на GPU среднего уровня и в автономных средах. Ограничения: она ориентирована на технические и символьные задачи, может хуже справляться с общим разговором и длинным творческим текстом, а контекст может быть недостаточен для анализа нескольких документов или больших кодовых баз. Лицензия — Apache-2.0.

deltanym/llama-3.1-120b-instruct — текстовая разговорная модель, созданная методом слияния через mergekit на основе meta-llama/Llama-3.1-70B-Instruct. В карточке указана конфигурация passthrough; модель использует плотную архитектуру семейства Llama и формат safetensors. Метаданные указывают 120,8 млрд параметров и контекстное окно до 131 072 токенов. Модель предназначена для генерации текста и диалогового общения, включая сценарии с интерфейсом вызова инструментов. В основе лежит многоязычная instruct-модель Meta; README описывает её как воспроизведение Meta-Llama-3-120B-Instruct с использованием Llama 3.1 70B вместо Llama 3. Лицензия в предоставленных данных не указана.

Meta Llama 3.1 405B — большая авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer с Grouped-Query Attention. Она принимает и генерирует текст; семейство Llama 3.1 включает базовые и дообученные версии, а этот репозиторий представляет модель размером 405 млрд параметров. В метаданных указаны библиотека Transformers и формат safetensors. Модель предназначена для генерации текста и многоязычного диалога: её можно применять как основу для помощников и чат-систем, а также адаптировать к другим задачам генерации естественного языка. Семейство поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В карточке отмечены расширенное контекстное окно и возможность интеграции с инструментами разработчиками, но точный размер контекста этой модели не указан. Модель разработана Meta и выпущена в июле 2024 года. Она распространяется по специальной коммерческой лицензии Llama 3.1 Community License; применение должно соответствовать лицензии и Acceptable Use Policy. К ограничениям относятся статичность обученных весов, отсутствие гарантии безопасности или корректности ответов и рекомендация не использовать неподдерживаемые языки без дополнительного дообучения и системных мер контроля.

Meta Llama 3.1 405B Instruct — разработанная Meta инструктивно дообученная большая языковая модель для диалогового взаимодействия. Это авторегрессионный трансформер с оптимизированной архитектурой и Grouped-Query Attention; вариант Instruct использует supervised fine-tuning и обучение с подкреплением на основе обратной связи от людей. Модель работает с текстом на входе и выходе и рассчитана на многоязычные сценарии. Модель предназначена для диалоговых помощников, ответов на вопросы и генерации текста по инструкциям, а также для создания синтетических данных. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для некоторых дополнительных возможностей, включая интеграцию с инструментами, требуется самостоятельная настройка приложения. Модель представляет собой статический чекпойнт, обученный на офлайн-данных. Качество и безопасность ответов могут различаться по языкам и сценариям, а выводы требуют проверки. Использование регулируется пользовательской лицензией Meta Llama 3.1 Community License и Acceptable Use Policy; до коммерческого или иного применения следует ознакомиться с их условиями.

NVIDIA Llama 3.1 405B Instruct NVFP4 — квантованный чекпойнт Meta Llama 3.1 405B Instruct, подготовленный NVIDIA с помощью TensorRT Model Optimizer. Это авторегрессионная плотная трансформерная языковая модель семейства Llama для генерации текста по инструкциям, диалога и интерфейсов вызова инструментов. Веса и активации линейных операторов в блоках трансформера квантованы до FP4; заявленное сокращение требований к диску и памяти GPU составляет примерно 3,5 раза. Модель содержит 403,7 млрд параметров и поддерживает контекст до 131 072 токенов. Модель принимает текст и выдаёт текст. Для инференса предусмотрен TensorRT-LLM; README указывает совместимость с архитектурой NVIDIA Blackwell и Linux. Можно применять для диалоговых ассистентов, генерации и преобразования текста по инструкциям, а также сценариев с вызовом инструментов. README заявляет возможность коммерческого и некоммерческого использования; лицензия в метаданных — llama3.1. Квантование может влиять на точность, а для запуска требуется совместимое оборудование и программный стек TensorRT-LLM.

PlumChat 70b — объединённая языковая модель sequelbox, созданная с помощью mergekit на основе Meta Llama 3.1 70B Instruct и моделей NVIDIA Llama 3.1 Nemotron 70B Instruct HF и ValiantLabs Llama3.1-70B-ShiningValiant2. Она предназначена для диалогов общего назначения, следования инструкциям, научных запросов и сложных вопросов. Модель использует плотную архитектуру LlamaForCausalLM, содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов; карточка указывает английский язык. Веса опубликованы в формате safetensors, библиотека — Transformers. Слияние выполнено методом Della с нормализацией весов. Модель рассчитана на генерацию текста и чат, в том числе на научные и технические темы. Лицензия — Llama 3.1; условия её использования определяются лицензией Meta Llama 3.1.

giannisan/llama3.1-70B-upscaled-105B — плотная авторегрессионная языковая модель семейства Llama 3.1, созданная методом passthrough-сборки в mergekit из двух перекрывающихся диапазонов слоёв предобученной Llama 3.1 70B. Веса сохранены в формате safetensors; размер модели — около 103,7 млрд параметров, длина контекста — до 131 072 токенов. Модель предназначена для генерации текста и диалогового взаимодействия, включая интерфейс вызова инструментов. Большой контекст подходит для работы с длинными документами и многоходовыми диалогами. Карточка не описывает отдельное обучение или специализированную предметную область. Лицензия в предоставленных данных не указана.

Это точная копия весов, токенизатора и конфигурации Llama 3.1 8B Instruct от Meta, размещённая Positron AI как зафиксированный исходный снимок для собственных GPTQ-квантизаций организации. Модель представляет собой плотную авторегрессионную языковую модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов; поддерживает диалоги и генерацию текста, включая интерфейс вызова инструментов. Модель предназначена для инструкционного диалога и генерации текста. Метаданные перечисляют английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Репозиторий использует формат safetensors и лицензию Llama 3.1. Это неизменённая перепубликация базовой модели, поэтому её возможности и ограничения соответствуют исходной карточке Meta; отдельные оценки качества и дополнительные ограничения в этой карточке не приведены.

RedHatAI/Llama-3.1-8B-Instruct — текстовая инструкционно настроенная модель Meta на архитектуре Llama 3.1, опубликованная Red Hat AI. Это авторегрессионный трансформер с 7,5 млрд параметров, использующий Grouped-Query Attention; карточка описывает настройку SFT и RLHF для диалоговых задач. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и оснащена интерфейсом для вызова инструментов. Модель предназначена для многоязычного общения в роли ассистента, ответов на запросы и генерации текста, в том числе в коммерческих и исследовательских сценариях. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Метаданные указывают на производность от meta-llama/Llama-3.1-8B-Instruct; основание этой связи с описанным в README инструкционным вариантом Meta не уточняется. Карточка сообщает о проверке на платформах Red Hat AI и описывает меры безопасности, но не приводит результаты бенчмарков именно этой копии. К ограничениям относятся возможные ошибки и риски небезопасных ответов, а также рекомендованная поддержка только перечисленных языков; интеграцию и защиту инструментов должен обеспечивать разработчик приложения. Лицензия — Llama 3.1 Community License с условиями допустимого использования.

Llama-3_1-Nemotron-51B-Instruct — разработанная NVIDIA языковая модель для диалогов и генерации текста. Это производная Llama-3.1-70B-Instruct: NVIDIA применила поиск архитектуры NAS и дистилляцию, чтобы повысить эффективность инференса и сократить требования к памяти при небольшом снижении качества. По метаданным, модель содержит 87 млрд параметров и поддерживает контекст до 131 072 токенов; в описании дистилляции указана длина последовательности 8 192 токена. Модель предназначена для англоязычных одно- и многоходовых диалогов общего назначения, а также задач, связанных с кодом; README отмечает поддержку других языков, но не перечисляет их. Она принимает и выдаёт текст, поддерживает чат и интерфейс вызова инструментов. Архитектура — авторегрессионный трансформер-декодер с неодинаковыми блоками: переменным числом KV-голов, пропуском или упрощением внимания и переменным коэффициентом расширения FFN. NVIDIA указывает, что модель оптимизирована для высокопроизводительного запуска на одной H100 80 ГБ; для BF16 README приводит требования в две H100 80 ГБ или две A100 80 ГБ. Модель подходит для коммерческого применения согласно README. Метаданные указывают лицензию other, поэтому перед использованием следует ознакомиться с условиями NVIDIA. Модель может выдавать неточные, нерелевантные или токсичные ответы, отражать смещения обучающих данных и быть уязвимой к атакам на выравнивание; разработчик рекомендует применять защитные механизмы.