II.6Документация и сопровождение разработки

Lamarckvergence-14B — объединённая языковая модель на 14 млрд параметров, созданная с помощью mergekit методом SLERP из sometimesanotion/Lamarck-14B-v0.7 и sometimesanotion/Qwenvergence-14B-v12-Prose-DS. Модель построена на архитектуре Qwen2 и предназначена для генерации текста в диалоговом формате. Модель подходит для ведения диалогов, многошаговых рассуждений, написания прозы и перевода. Она принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. В карточке приведены результаты Open LLM Leaderboard, включая 76,56 на IFEval и 50,33 на BBH; это не гарантирует качество в конкретном пользовательском сценарии. Модель опубликована под лицензией Apache-2.0. Карточка не описывает отдельные ограничения и языковые возможности, кроме английского языка, указанного в метаданных.

LD-Zephyria-37b_HEALED — дообученная версия TheSkullery/LD-Zephyria-37b, созданная автором athirdpath. Для обучения применён LoRA-адаптер ранга 128, нацеленный на проекции q и down; использована одна эпоха датасета TheSkullery/Aether-Lite-PurHyDe. Модель представляет собой плотную авторегрессионную языковую модель семейства Mistral с 37,3 млрд параметров и контекстом до 131 072 токенов. Она предназначена для генерации текста и диалогового использования; метаданные также отмечают интерфейс вызова инструментов. Доступны веса в формате safetensors. Лицензия в предоставленных данных не указана.

LeoScorpius-7B-Chat-DPO-Mistral-7B-Instruct-v0.1 — чат-модель, созданная MaziyarPanahi слиянием Mistral-7B-Instruct-v0.1 и LeoScorpius-7B-Chat-DPO методом SLERP. Она предназначена для генерации ответов на инструкции и ведения диалогов. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель принимает текст и генерирует текстовые ответы. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Метаданные не указывают языковую специализацию модели.

LeoScorpius-7B-Chat-DPO-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и viethq188/LeoScorpius-7B-Chat-DPO методом SLERP с помощью Mergekit. Модель семейства Mistral имеет плотную архитектуру MistralForCausalLM и около 7,1 млрд параметров. Модель предназначена для генерации текста в диалоговом формате и выполнения инструкций. Её можно использовать для ответов на вопросы, ведения беседы и создания текстовых черновиков. Поддерживается контекст до 32 768 токенов; файлы представлены в формате Safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов оценки качества или специальных ограничений применения, поэтому качество ответов для конкретных сценариев следует проверять отдельно.

LeoScorpius-GreenNode-Platypus-7B-v1-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и ignos/LeoScorpius-GreenNode-Platypus-7B-v1 методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и диалоговые запросы; заявленная длина контекста — 32 768 токенов. Модель принимает текст и выдаёт текст. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Карточка не приводит оценки качества или подробных ограничений, поэтому пригодность для конкретных сценариев следует проверять на собственных данных.

LGRC-7B-slerp — объединённая языковая модель на архитектуре Mistral, созданная Louis Grc с помощью LazyMergekit. Модель объединяет mistralai/Mistral-7B-v0.1 и mlabonne/AlphaMonarch-7B методом SLERP; в репозитории представлены веса SafeTensors в формате bfloat16. Размер составляет 7,1 млрд параметров, заявленный контекст — до 32 768 токенов. Модель предназначена для генерации текста и может использоваться в сценариях, где требуется продолжение или создание текста по текстовому запросу. Лицензия в предоставленных данных не указана.

wanlige/li-14b-v0.4-slerp0.1 — объединённая модель генерации текста семейства Qwen2, созданная с помощью mergekit методом SLERP из wanlige/li-14b-v0.4 и sthenno-com/miscii-14b-0218. Модель содержит 14 млрд параметров, использует архитектуру Qwen2ForCausalLM и рассчитана на контекст до 32 768 токенов. Модель подходит для диалогов и генерации текста; в метаданных также указана поддержка интерфейса вызова инструментов. README приводит результаты оценивания на Open LLM Leaderboard, включая IFEval и BBH, но не описывает специализированные области применения или точный перечень поддерживаемых языков. Файлы представлены в формате safetensors и предназначены для использования с Transformers. Сведения о лицензии в предоставленных данных отсутствуют.

Ling-lite-1.5-2507 — разговорная языковая модель серии Ling-lite, разработанная inclusionAI. Она предназначена для генерации ответов в диалоге, рассуждений, работы с профессиональными знаниями и задачами программирования. Карточка разработчика сообщает о 16,8 млрд параметров и 2,75 млрд активируемых параметров; метаданные каталога указывают архитектуру Bailing MoE и 794,8 млн параметров. Эти оценки размера расходятся, поэтому точное число параметров требует проверки. Модель использует Transformers, веса опубликованы в формате safetensors, контекст составляет 32 768 токенов. Модель стремится давать краткие ответы на простые запросы и развёрнуто разбирать сложные задачи; заявлены улучшения в логическом рассуждении, профессиональных знаниях, программировании и субъективных открытых вопросах. Подходит для диалоговых помощников, объяснений и решения задач. Опубликована по лицензии MIT. README не приводит перечень поддерживаемых языков или подробные результаты оценок, поэтому качество в конкретных сценариях следует проверять отдельно.

LingoWhale-8B — плотная двуязычная языковая модель с авторегрессионной архитектурой LingoWhaleForCausalLM, разработанная DeepLang Technology совместно с лабораторией NLP Университета Цинхуа. Модель содержит 7,7 млрд параметров, обучена на качественных китайских и английских данных и поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста и может использоваться как базовая модель для ответов на вопросы, написания текстов, рассуждений и генерации кода. В README также приведены примеры диалоговой модели, полученной дообучением LingoWhale-8B на открытых SFT-данных; это пример производной модели, а не отдельная возможность исходной базовой модели. Для адаптации доступны примеры тонкой настройки, включая LoRA. Разработчики отмечают, что модель может галлюцинировать, а её математические способности ограничены. Для академических исследований модель открыта; коммерческое использование исходной модели и её производных требует заявки и получения разрешения по лицензии LingoWhale-8B наряду с Apache 2.0.

Карточка модели developer2625/livro-7b-v1 на Hugging Face совпадает с карточкой developer2625/livron-7b-v1, поэтому описание составлено по ней. Livron 7B v1 — дообученная разработчиком developer2625 языковая модель на архитектуре Qwen2.5, предназначенная для генерации текста и диалогового общения. Она основана на unsloth/qwen2.5-7b-instruct-unsloth-bnb-4bit и содержит 7,1 млрд параметров; модель обучали с использованием Unsloth и библиотеки Hugging Face TRL. Поддерживает контекст до 32 768 токенов и интерфейс вызова инструментов. Модель подходит для диалоговых помощников, генерации и продолжения текста, а также сценариев, где требуется взаимодействие с инструментами. В метаданных указан английский язык. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

LLaDA2.0-mini-preview — диффузионная языковая модель с архитектурой Mixture-of-Experts от InclusionAI. Это предварительная instruction-tuned версия семейства LLaDA, предназначенная для диалогов и практических задач генерации текста. README указывает 16 млрд параметров всего и около 1,4 млрд активных при инференсе; в метаданных Hugging Face указан размер 1,2 млрд параметров. Модель содержит 20 слоёв, использует RoPE и поддерживает контекст до 8192 токенов согласно метаданным; README указывает 4096 токенов. Модель подходит для генерации кода, математических рассуждений, ответов на вопросы и сценариев с вызовом инструментов. В README заявлено обучение на серии Ling2.0 примерно на 20 трлн токенов и приведены результаты бенчмарков, но их детализация в доступном фрагменте неполная. Репозиторий содержит веса safetensors и рассчитан на работу через Transformers. Лицензия — Apache-2.0. README обозначает модель как preview, поэтому её качество и поведение следует оценивать для конкретных задач; при повышении температуры авторы предупреждают о возможном смешении языков и снижении качества.

LLaDA2.1-flash — диффузионная языковая модель семейства LLaDA, разработанная InclusionAI. Это instruction-tuned модель для генерации текста и диалоговых сценариев; архитектура — Mixture-of-Experts (MoE), в карточке указаны 100 млрд параметров, 32 слоя и контекст до 32 768 токенов. Метаданные каталога при этом указывают общий размер 5,5 млрд параметров. Модель поддерживает редактируемую генерацию: README описывает режимы Speed и Quality с разными порогами денойзинга и компромиссом между скоростью, качеством и плавностью ответа. Её можно применять для диалога и генерации текста; метаданные также отмечают интерфейс вызова инструментов. README называет модель готовой для прикладного использования, но не приводит результаты конкретных бенчмарков. Модель распространяется под лицензией Apache-2.0. Указанные в README рекомендации по настройке параметров относятся к инференсу; низкий порог денойзинга может приводить к прерывистой генерации.

Карточка модели prompt-agnostic-language-models/Llama-1B_ties на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-1B, поэтому описание составлено по ней. Meta Llama 3.2 1B — авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer. Это предварительно обученная многоязычная модель с примерно 1,23 млрд параметров; она принимает и генерирует текст, а также может работать с кодом. В карточке указаны контекст до 128 тысяч токенов, Grouped-Query Attention и обучение на смеси общедоступных данных. Модель предназначена для генерации текста и адаптации к различным задачам обработки естественного языка. Её можно использовать для черновиков и продолжения текста, перефразирования запросов, краткого изложения и диалоговых приложений после соответствующей настройки. Разработчик — Meta; модель доступна через библиотеку Transformers в формате safetensors. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Это предварительно обученная модель, а не версия, настроенная специально для диалога; качество и безопасность ответов следует проверять и при необходимости адаптировать для конкретного применения. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

Модель ETRI xainlp team — языковая модель на архитектуре LlamaForCausalLM с 12,9 млрд параметров. Она дообучена на базе meta-llama/Llama-13b-hf: сначала на 650 тыс. примеров с инструкциями, затем с помощью DPO и LoRA на 90 тыс. примеров пользовательских предпочтений. Модель принимает текст и генерирует текст, поэтому подходит для выполнения инструкций и диалоговых сценариев. Контекст — до 4096 токенов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

Это конвертированная в формат Hugging Face версия диалоговой модели Llama 2 70B Chat, разработанной Meta и опубликованной пользователем daryl149. Это плотная авторегрессионная языковая модель семейства Llama с 68,7 млрд параметров, предназначенная для генерации текста в диалоге и ответов на запросы. Карточка указывает контекст длиной 2048 токенов и формат PyTorch. Модель подходит для чат-ботов, ответов на вопросы, составления текстов и других задач генерации текста. README описывает веса как конвертированные, поэтому это преобразование формата, а не отдельное дообучение. Указана лицензия Llama 2 Community License от Meta: она разрешает использование и распространение на заданных условиях, включая передачу текста лицензии и соблюдение Acceptable Use Policy; для продуктов с более чем 700 млн ежемесячных активных пользователей требуется отдельное разрешение Meta.

RedHatAI/Llama-2-7b-dolphin-open_platypus — плотная языковая модель на архитектуре Llama 2 с 6,6 млрд параметров, дообученная Neural Magic и Cerebras для следования инструкциям. Обучение использовало сочетание наборов данных Platypus, Open Orca и Dolphin. Модель предназначена для генерации текста и выполнения инструкций в сценариях вопросно-ответного взаимодействия и других задачах общего назначения. Она принимает текст и генерирует текст, имеет контекст длиной 4096 токенов и доступна в формате safetensors для запуска через Transformers; для ускоренного инференса с разреженностью README предлагает nm-vllm или deepsparse. В README приведены незаполненные значения результатов бенчмарков, поэтому количественная оценка качества по этой карточке невозможна. Лицензия в предоставленных сведениях не указана.

mlabonne/llama-2-7b-guanaco — языковая модель семейства Llama 2, разработанная как дообученная версия llama-2-7b-chat-hf. Автор дообучил её методом QLoRA с 4-битной точностью на датасете mlabonne/guanaco-llama2; в метаданных указан датасет timdettmers/openassistant-guanaco. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает контекст до 4096 токенов. Модель предназначена для генерации текста и диалоговых сценариев: она может создавать связные ответы и использоваться для написания текстов, суммаризации, перевода, классификации и анализа тональности. README приводит пример генерации объяснительного текста, но не содержит результатов оценки качества или подробностей о языках обучения. В репозитории доступны веса PyTorch и safetensors. Лицензия — Apache-2.0. Качество и пригодность для конкретной задачи следует проверять отдельно; карточка не приводит бенчмарков и не описывает специальные ограничения или гарантии.

vhab10/Llama-3.1-8B-Base-Instruct-SLERP — языковая модель, созданная с помощью mergekit объединением Meta Llama 3.1 8B Base и Meta Llama 3.1 8B Instruct методом SLERP. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для генерации текста и ответов на инструкции. Репозиторий содержит веса в формате Safetensors; заявленная длина контекста — 131 072 токена. Модель можно использовать для генерации продолжений текста, диалоговых ответов, следования инструкциям и иных текстовых задач общего назначения. В README приведены результаты Open LLM Leaderboard, включая IFEval и BBH; они дают ориентир по оценке, но не гарантируют качество в конкретном применении. Лицензия репозитория — MIT. Модель унаследовала основу от моделей Meta Llama 3.1; перед использованием следует учитывать условия лицензии базовых моделей Meta.

itims/llama-3.1-8b-finetuned — дообученная языковая модель, разработанная itims на основе unsloth/llama-3.1-8b-unsloth-bnb-4bit. Она предназначена для генерации текста и диалогового общения; метаданные также указывают интерфейс вызова инструментов. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 7,5 млрд параметров. Для обучения использовались Unsloth и библиотека TRL от Hugging Face. Модель поддерживает английский язык, имеет контекстное окно 131 072 токена и распространяется в формате safetensors по лицензии Apache-2.0. Карточка не описывает специальную предметную область или конкретные улучшения после дообучения, поэтому качество на узких задачах не установлено.

bunnycore/LLama-3.1-8B-HyperNova-abliteration — объединённая языковая модель на архитектуре Llama, созданная с помощью mergekit методом passthrough на основе bunnycore/LLama-3.1-8B-HyperNova и grimjim/Llama-3-Instruct-abliteration-LoRA-8B. Модель содержит 7,5 млрд параметров и рассчитана на генерацию текста и диалоговые ответы; контекстное окно составляет до 131 072 токенов. Модель принимает текст и выдаёт текст, поэтому подходит для диалоговых систем и генерации продолжений. В карточке указана лицензия, однако её название не приведено в доступных метаданных. Основания для отдельного вывода о качестве, языковом охвате или ограничениях применения в README нет.

furiosa-ai публикует предварительно скомпилированную сборку Meta Llama 3.1 8B Instruct для запуска на ускорителе FuriosaAI RNGD с помощью Furiosa-LLM. Это плотный авторегрессионный трансформер с 7,5 млрд параметров, дообученный следовать инструкциям и поддерживать диалоги и вызов инструментов. Модель принимает и генерирует текст; заявленная длина контекста — 131 072 токена. Сборка использует исходную точность 16 бит без квантизации. Вызов функций поддерживается через парсер llama3_json, а модель доступна через OpenAI-совместимый сервер Furiosa-LLM. Карточка указывает совместимость с RNGD; запуск требует соответствующего оборудования и среды Furiosa-LLM. Модель распространяется по лицензии Llama 3.1 Community License. Метаданные карточки перечисляют английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки; перечень может не исчерпывать языковые возможности базовой модели.

Llama3.1-8b-Instruct-CPT-SFT-DPO-09022024 — плотная авторегрессионная языковая модель семейства Llama 3.1 с 7,5 млрд параметров, опубликованная на Hugging Face в формате safetensors для библиотеки Transformers. По названию это инструкционная модель, прошедшая этапы CPT, SFT и DPO; сведения о разработчике и подробностях обучения в карточке не приведены. Модель предназначена для генерации текста в диалоговом формате и поддерживает интерфейс вызова инструментов. Метаданные указывают контекст до 131 072 токенов. Подтверждённых сведений о поддерживаемых естественных языках, специальных прикладных областях и лицензии нет, поэтому область применения и условия распространения следует уточнять у владельца модели. Карточка не содержит результатов оценки или описания ограничений; как и другие генеративные языковые модели, она может выдавать ошибочные или необоснованные ответы.

Llama-3.1-8B-Instruct-EI1-2ep-sft — дообученная методом supervised fine-tuning (SFT) модель на архитектуре Llama, созданная на основе meta-llama/Llama-3.1-8B-Instruct. В репозитории указано значение loss 0,3970 на наборе оценки, но сведения о датасете и подробные результаты отсутствуют. Модель предназначена для генерации текста и диалогов. Она содержит 7,5 млрд параметров, поддерживает контекст до 131 072 токенов и распространяется в формате safetensors. Метаданные также указывают интерфейс вызова инструментов; языки и специальные области применения для этой версии не описаны. Лицензия — Llama 3.1 Community License (идентификатор llama3.1); использование регулируется её условиями.

Bunnycore создал эту плотную языковую модель с архитектурой Llama 3.1, объединив несколько предварительно обученных моделей методом Model Stock через mergekit. В состав объединения вошли bunnycore/LLama-3.1-8B-HyperNova-abliteration, bunnycore/LLama-3.1-8b-Ultra-Max-Pro, bunnycore/Llama-3.1-8B-OmniMatrix и leafspark/Llama-3.1-8B-MultiReflection-Instruct; базой слияния служила bunnycore/LLama-3.1-Hyper-Stock. Модель содержит 7,5 млрд параметров, использует формат safetensors и работает через библиотеку Transformers. Она предназначена для генерации текста; в составе исходных моделей есть вариант Instruct с многоэтапными рассуждениями. Заявленная длина контекста — 131 072 токена. Карточка не содержит сведений о лицензии, поэтому условия использования установить по доступным данным нельзя.

bunnycore выпустила Llama-3.1-8B-OmniMatrix — чат-модель для генерации текста, созданную слиянием нескольких моделей семейства Llama 3.1 с помощью mergekit и метода task arithmetic. В основу слияния вошли arcee-ai/Llama-3.1-SuperNova-Lite и grimjim/Llama-3-Instruct-abliteration-LoRA-8B; также объединены bunnycore/LLama-3.1-8B-HyperNova-abliteration, bunnycore/StockLLama-3.1-8B и v000000/L3.1-Storniitova-8B. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекстное окно до 131 072 токенов. Она предназначена для диалогов и генерации текста по инструкциям; карточка указывает библиотеку Transformers и формат safetensors. В метаданных нет сведений о специальной предметной области или лицензии, поэтому условия лицензирования здесь описать нельзя.

Llama-3.1-8B-Open-SFT — плотная авторегрессионная языковая модель семейства Llama, разработанная prithivMLmods и дообученная методом supervised fine-tuning на наборе O1-OPEN/OpenO1-SFT от базовой модели meta-llama/Llama-3.1-8B-Instruct. Она содержит 7,5 млрд параметров, рассчитана на контекст до 131 072 токенов и предназначена для генерации текста, диалогов, ответов на вопросы и пошаговых рассуждений. Модель подходит для чат-ботов и виртуальных помощников, открытых и контекстных вопросов, продолжения текста, краткого изложения и творческого письма. В README также заявлены задачи математического рассуждения и Chain-of-Thought; фактическое качество на этих задачах отдельно не подтверждено. Доступны веса в формате safetensors, работа через Transformers; метаданные указывают интерфейс для вызова инструментов. В карточке указан английский язык. Модель принимает текст и генерирует текст. Для полноточного запуска README рекомендует около 16 ГБ видеопамяти; это оценка из карточки, а не гарантия для всех конфигураций. Лицензия — CreativeML OpenRAIL-M.

Карточка модели teknium/Llama-3.1-AlternateTokenizer на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-8B, поэтому описание составлено по ней. NousResearch/Meta-Llama-3.1-8B — текстовая авторегрессионная модель семейства Llama 3.1, разработанная Meta и опубликованная в репозитории NousResearch. Это плотный трансформер LlamaForCausalLM с 7,5 млрд параметров, механизмом Grouped-Query Attention и контекстом до 131 072 токенов; веса представлены в формате safetensors и предназначены для работы с Transformers. Модель генерирует текст по текстовому запросу. Она подходит для диалогового помощника на нескольких языках, ответов на вопросы, написания и преобразования текста, а также для адаптации к задачам генерации естественного языка. В карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для семейства Llama 3.1 заявлены коммерческое и исследовательское применение; условия использования определяет лицензия Llama 3.1 Community License и связанная с ней политика допустимого использования. Это предобученная модель, а не версия, настроенная для следования инструкциям: указанное в README SFT и RLHF относится к instruction-tuned версиям семейства. Как и другие языковые модели, она может выдавать неточные или небезопасные ответы; для прикладного использования нужны проверка результатов и меры безопасности. Указания README ограничивают применение поддерживаемыми языками, если модель не дообучена для других языков.

Llama3.1-Dark-Enigma — объединённая языковая модель на архитектуре Llama 3.1, опубликованная пользователем agentlans. По карточке модели, веса нескольких моделей Llama 3.1 8B объединены методом model_stock из mergekit; метаданные указывают 7,5 млрд параметров и контекст до 131 072 токенов. Модель работает с текстом и предназначена для генерации ответов и диалога. Модель подходит для анализа текстов и исследовательских идей, написания и редактирования материалов, ролевых диалогов и помощи с кодом. Карточка характеризует её как uncensored, поэтому она может отвечать на чувствительные темы. Указана лицензия Llama 3.1; использование должно соответствовать её условиям. В карточке отмечено, что качество не оценивалось конкретными метриками. Модель может ошибаться в фактах, особенно при ответах без предоставленного контекста; результаты следует проверять. Она не подключается к интернету и, согласно карточке, не знает специфичных API, библиотек и фреймворков.

Llama3.1-Flammades-70B — диалоговая языковая модель на архитектуре Llama 3.1, разработанная FlammenAI. Это дообученная версия nbeerbower/Llama3.1-Gutenberg-Doppel-70B: модель адаптировали методом ORPO на наборах flammenai/Date-DPO-NoAsterisks и jondurbin/truthy-dpo-v0.1, используя два ускорителя H100 в течение трёх эпох. Модель содержит 69,5 млрд параметров, работает с текстом и имеет контекст длиной до 131 072 токенов. Модель предназначена для диалоговой генерации текста и ответов на инструкции. В карточке приведены результаты Open LLM Leaderboard: средний балл 35,74, IFEval — 70,58, BBH — 52,55; эти показатели отражают оценки на указанных тестах, а не гарантируют качество в конкретном сценарии. Для запуска доступен формат Safetensors и библиотека Transformers. Лицензия — Llama 3.1 Community License.

IntervitensInc/Llama-3.1-Minitron-4B-Width-Base-chatml — текстовая авторегрессионная модель семейства Llama, разработанная NVIDIA. Это базовая модель для генерации текста и адаптации к различным задачам обработки естественного языка; в этой версии добавлены токены ChatML для дообучения в формате диалога. Модель получена структурным прореживанием Llama-3.1-8B по размеру эмбеддингов и промежуточному слою MLP, после чего прошла дальнейшее обучение с дистилляцией на 94 млрд токенов. Архитектура включает 32 слоя, 32 головы внимания, Grouped-Query Attention и RoPE; число параметров — 3,9 млрд. Модель принимает и выдаёт текст. В README заявлена поддержка английского и многоязычного текста, а также кода; корпус включал веб-страницы, диалоги и документы из разных областей. Метаданные указывают контекстное окно 131 072 токена. Модель предназначена для генерации текста и дальнейшей адаптации под прикладные сценарии; README также сообщает о готовности к коммерческому использованию. Указана лицензия other, поэтому перед использованием следует свериться с условиями NVIDIA. Модель может выдавать неточные, неполные или избыточные ответы и воспроизводить токсичность и предвзятость из обучающих данных.