II.6Документация и сопровождение разработки

Lyte/Llama-3.2-3B-Overthinker — экспериментальная разговорная языковая модель, разработанная Lyte на основе дообучения unsloth/llama-3.2-3b-instruct-bnb-4bit. Модель семейства Llama имеет плотную архитектуру LlamaForCausalLM и содержит 3,2 млрд параметров. Она генерирует текст и рассчитана на диалоговые сценарии с пошаговым рассуждением, проверками промежуточных шагов и итоговым ответом; в README отмечены объяснение тем, творческие задачи и поддерживающие беседы.

Карточка модели mirnawazrchilli/llama3.2_clean-16bit на Hugging Face совпадает с карточкой mirnawazrchilli/llama3.2-16bit, поэтому описание составлено по ней. mirnawazrchilli/llama3.2-16bit — текстовая генеративная модель семейства Llama 3.2, дообученная автором mirnawazrchilli на базе unsloth/llama-3.2-1b-instruct-bnb-4bit. Архитектура — плотная авторегрессионная модель LlamaForCausalLM примерно с 1,2 млрд параметров; веса представлены в формате PyTorch. Для обучения использовались Unsloth и библиотека TRL. Модель предназначена для генерации текста и диалогового взаимодействия на английском языке. Её можно применять для ответов на запросы, продолжения текста и создания простых диалоговых приложений; в метаданных также отмечен интерфейс вызова инструментов. Контекстное окно составляет 131 072 токена. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов оценки качества или подробностей обучающих данных, поэтому пригодность для конкретных задач следует проверять отдельно.

LLaMa-3.2-Instruct-JankMixBread-v0.1-3B — объединённая диалоговая языковая модель, созданная с помощью mergekit на основе Meta Llama 3.2. В состав слияния вошли meta-llama/Llama-3.2-3B-Instruct и PJMixers-Dev/LLaMa-3.2-Instruct-JankMix-v0.1-SFT-3B; использован метод breadcrumbs_ties. Модель имеет плотную архитектуру LlamaForCausalLM и около 3,2 млрд параметров. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы и следование инструкциям. Заявленный размер контекста — 131 072 токена; репозиторий содержит веса safetensors и использует библиотеку Transformers. Метаданные указывают на мультиязычную основу, но конкретный перечень языков для этой модели не приведён. Модель распространяется по лицензии Llama 3.2. В README приведены результаты Open LLM Leaderboard, включая IFEval 50,41 и BBH 22,76; подробные результаты в доступной карточке отсутствуют. Слияние моделей не гарантирует улучшения качества относительно исходных чекпойнтов.

Llama3.3-70B-CogniLink-i1-GGUF — квантизированная GGUF-версия модели Daemontatox/Llama3.3-70B-CogniLink, подготовленная mradermacher. Это текстовая языковая модель семейства Llama с 70 миллиардами параметров, ориентированная на генерацию текста, выполнение инструкций и задачи, требующие рассуждений. Модель обучалась с использованием наборов данных Daemontatox/Deepthinking-COT и gghfez/QwQ-LongCoT-130K-cleaned; заявленный язык — английский. Поддержка других языков, мультимодальность и размер контекстного окна в README не указаны. Модель предназначена для локального запуска в приложениях и средах, совместимых с форматом GGUF. Доступно множество вариантов квантизации размером примерно от 15,4 до 58 ГБ, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством; README отмечает, что вариант i1-Q4_K_M является быстрым и рекомендуемым, а некоторые низкобитные варианты имеют пониженное качество. К ограничениям относятся возможная потеря качества из-за квантизации, высокие требования к ресурсам у 70B-версии и отсутствие опубликованных в README количественных результатов тестирования. Модель распространяется по лицензии Apache-2.0.

Llama-3.3-70B-o1 — языковая модель компании codelion, дообученная методом QLoRA на трассах пошагового рассуждения. Это плотная модель семейства Llama с архитектурой LlamaForCausalLM и 69,5 млрд параметров; она принимает текст и генерирует ответы с блоком рассуждения между специальными тегами и итоговым ответом в отдельном блоке. Модель предназначена для диалогов и задач, требующих многошагового рассуждения; в карточке приведён результат 46,7 pass@1 на AIME 2024. Контекст модели — до 131 072 токенов. Для многих запросов автор рекомендует разрешать генерацию не менее 8192 токенов, поскольку модель склонна выдавать длинные ответы. Указанная лицензия — Apache-2.0. Базовая модель — unsloth/llama-3.3-70b-instruct-bnb-4bit.

MaziyarPanahi/Llama-3-70B-Instruct-32k-v0.1-GGUF — набор файлов модели в формате GGUF для MaziyarPanahi/Llama-3-70B-Instruct-32k-v0.1. Модель разработана и квантизирована MaziyarPanahi, относится к семейству Llama 3 и предназначена для генерации текста и выполнения инструкций. В названии указаны 70 миллиардов параметров и контекст до 32 тысяч токенов; сведения о поддерживаемых языках и точной архитектуре в README не приведены. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством работы. Формат поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов для локального запуска, включая сценарии с GPU-ускорением и OpenAI-совместимым API. README не содержит результатов оценивания, подробного описания сильных и слабых сторон, а также информации о лицензии, поэтому эти характеристики нельзя определить по предоставленным данным.

Llama3-8B-1.58-100B-tokens — большая языковая модель, разработанная командой HF1BitLLM на базе Meta Llama 3 8B Instruct. Модель дообучена с использованием архитектуры BitNet 1.58b и предназначена для генерации текста и решения стандартных задач, поддерживаемых каузальными языковыми моделями. Для загрузки используется Transformers, а токенизатор — от meta-llama/Meta-Llama-3-8B-Instruct. Модель обучалась на подмножестве FineWeb-edu: сначала был использован чекпойнт после обучения на 10 миллиардах токенов, затем выполнено ещё 45 000 шагов с общим объёмом обучения 100 миллиардов токенов. Размер исходной модели составляет 8 миллиардов параметров; заявленная особенность — экстремальное квантование до 1,58 бита. README не указывает точный список поддерживаемых языков, длину контекста или дополнительные модальности, поэтому модель следует рассматривать как текстовую. По результатам оценки модель близка к Llama 3 8B по некоторым метрикам, включая perplexity и MMLU, но в среднем уступает исходной Llama 3 8B. Главное преимущество — существенно более компактное представление параметров, потенциально снижающее требования к памяти и вычислениям; при этом README не приводит точных показателей экономии ресурсов или производительности. Лицензия в предоставленных данных не указана.

MaziyarPanahi/Llama-3-8B-Instruct-DPO-v0.2-GGUF — это квантизированная версия инструкционной языковой модели MaziyarPanahi/Llama-3-8B-Instruct-DPO-v0.2, разработанная и опубликованная MaziyarPanahi. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Для взаимодействия используется шаблон ChatML. Модель представлена в формате GGUF и доступна в вариантах квантизации от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. В названии указано 8B, то есть модель относится к классу примерно 8-миллиардных параметров; базовая архитектура связана с семейством Llama 3. README не содержит точных сведений о поддерживаемых языках, размере контекста, результатах тестирования или ограничениях качества. Сильная сторона модели — возможность локального использования с GPU-ускорением через llama.cpp, llama-cpp-python, LM Studio и другие совместимые инструменты. Лицензия в представленном README не указана, поэтому условия распространения и коммерческого использования необходимо уточнять в материалах исходной модели и репозитория.

QuantFactory/Llama-3-8B-Magpie-Air-MT-SFT-v0.1-GGUF — квантизированная версия модели Llama-3-8B-Magpie-Air-MT-SFT-v0.1, созданная с помощью llama.cpp. Базовая модель Meta-Llama-3-8B была дообучена методом supervised fine-tuning на датасете Magpie-Air-MT-300K-v0.1, подготовленном проектом Magpie-Align. Разработчики Magpie — Zhangchen Xu, Fengqing Jiang, Luyao Niu, Yuntian Deng, Radha Poovendran, Yejin Choi и Bill Yuchen Lin. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение пользовательских инструкций и ответы в формате ассистента. Это текстовая autoregressive language model с архитектурой Llama 3 и размером 8B параметров; поддерживаемые модальности ограничены текстом. В README длина контекста явно не указана, однако для наилучшей работы рекомендуется использовать официальный chat template Llama 3. По заявленным результатам модель показывает производительность, сопоставимую с Llama-3-8B-Instruct при использовании только SFT: 22,98 LC и 24,02 WR на Alpaca Eval 2, а также 15,5 на Arena Hard. К ограничениям относятся отсутствие подробных сведений о конкретном формате квантизации, контекстном окне и языковом покрытии, а также возможные ограничения качества, безопасности и следования инструкциям, характерные для моделей такого класса. Использование регулируется Meta Llama 3 Community License.

Magpie-Align/Llama-3-8B-Magpie-Pro-SFT-100K-v0.1 — языковая модель, дообученная командой Magpie-Align на базе Meta Llama 3 8B. Для настройки использованы первые 100 тысяч примеров из набора Magpie-Align/Magpie-Pro-300K-Filtered. Модель предназначена для генерации текста в диалоговом формате и может использоваться для создания ответов на запросы пользователя. Модель содержит 7,5 млрд параметров, построена на плотной архитектуре Llama и принимает текст, выдавая текст. Контекст составляет 8192 токена. Репозиторий содержит веса PyTorch в формате safetensors. Лицензия — Llama 3. В карточке авторы рекомендуют вместо этой версии использовать Magpie-Align/Llama-3-8B-Magpie-Pro-SFT-v0.1, заявляя о её более высокой производительности.

Magpie-Align разработала Magpie-Align/Llama-3-8B-Magpie-Pro-SFT-300K-v0.1 — плотную авторегрессионную языковую модель семейства Llama 3, дообученную методом SFT на наборе Magpie-Pro-300K-Filtered. Модель содержит 7,5 млрд параметров и поддерживает контекст до 8192 токенов. Она предназначена для генерации текста в диалоговом формате и выполнения инструкций; для лучшего качества диалога рекомендуется официальный шаблон чата Llama 3. По данным README, на отдельных задачах модель показывает результаты, сопоставимые с Llama-3-8B-Instruct, в частности в оценках AlpacaEval 2 и Arena Hard. В карточке указана поддержка английского языка. Модель распространяется по лицензии Meta Llama 3 Community License; перед применением необходимо соблюдать её условия.

cloudyu/Llama-3-8Bx2-MOE-DPO — разговорная модель генерации текста с архитектурой Mixtral/MoE, опубликованная в формате safetensors. В карточке приведён пример запуска на Apple MPS, а метаданные указывают размер 7,5 млрд параметров и контекст до 8192 токенов. Модель предназначена для диалоговой генерации текста. Репозиторий создан 26 апреля 2024 года и распространяется по лицензии Apache-2.0. README не сообщает сведений о языках обучения, датасетах или сравнительных оценках качества.

Карточка модели princeton-nlp/Llama-3-Base-8B-SFT-ORPO на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Base-8B-SFT, поэтому описание составлено по ней. princeton-nlp/Llama-3-Base-8B-SFT — разговорная модель генерации текста на архитектуре Llama, опубликованная как часть работы SimPO: Simple Preference Optimization with a Reference-Free Reward. Репозиторий содержит модель на 7,5 млрд параметров в формате safetensors; заявленная длина контекста — 8192 токена. Модель предназначена для диалоговой генерации текста и может использоваться для ответов на запросы и ведения беседы. README отсылает к репозиторию SimPO за дополнительными сведениями. Лицензия и конкретные языковые возможности в предоставленных данных не определены.

LLaMa-3-Base-Zeroed-13B — плотная авторегрессионная языковая модель семейства Llama, созданная сообществом mergekit-community с помощью mergekit. В README указано, что это слияние предварительно обученных моделей методом passthrough на основе Undi95/Meta-Llama-3-8B-hf; метаданные также помечают её как дообучение этой базовой модели. Репозиторий содержит веса safetensors, библиотека — Transformers, размер — около 12,5 млрд параметров, длина контекста — 8192 токена. Модель предназначена для генерации текста и диалоговых сценариев. Она принимает текст и выдаёт продолжение или ответ в текстовом виде; базовая модель рассчитана прежде всего на английский текст и код. README не сообщает об отдельных тестах качества или специализированных областях применения. Лицензия в предоставленных данных не указана.

Llama3-Crab-SFT — англоязычная плотная авторегрессионная языковая модель семейства Llama, разработанная Yunjia Qi, Hao Peng, Xiaozhi Wang, Bin Xu, Lei Hou и Juanzi Li. Модель дообучена на основе Llama3-8B с использованием набора CRAB, созданного методом constraint back-translation: к качественным парам инструкций и ответов добавлялись сложные ограничения, уже соблюдённые в ответах. Модель предназначена для генерации текста по инструкциям и особенно для задач, где нужно точно выполнять несколько требований к формату, длине или содержанию ответа. В карточке описано улучшение следования сложным инструкциям при оценке на бенчмарках IFEval и FollowBench. Размер модели — 7,5 млрд параметров, контекст — 8192 токена; доступны веса в формате PyTorch. Модель лицензирована по Apache-2.0. Её возможности описаны для английского языка; карточка не приводит ограничений, кроме того, что целевая специализация — выполнение сложных инструкций.

Llama-3-Instruct-8B-SPPO-Iter3-IMat-GGUF — это GGUF-квантизированная версия языковой модели UCLA-AGI/Llama-3-Instruct-8B-SPPO-Iter3. Модель подготовлена пользователем legraphista с использованием llama.cpp и методов IMatrix; исходный формат весов — BF16. В качестве данных для исходной модели указана коллекция openbmb/UltraFeedback. Модель предназначена для генерации текста и диалоговых сценариев на английском языке, включая работу через совместимые с llama.cpp локальные приложения. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, а также ряд IQ-квантизаций. Размер файлов варьируется примерно от 3,18 до 16,07 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Для ряда вариантов с более сильным сжатием применена IMatrix, призванная уменьшить потери качества при квантовании. Сильной стороной модели является возможность локального запуска в формате GGUF и широкий выбор уровней квантования, включая варианты, оптимизированные для ограниченных ресурсов. Ограничения включают потенциальное снижение качества при использовании низкобитных вариантов; конкретные характеристики контекстного окна, архитектуры, мультимодальности и производительности в README не указаны. Лицензия — Apache 2.0.

Llama-3-Instruct-abliteration-OVA-8B — объединённая диалоговая языковая модель на архитектуре Llama, созданная с помощью mergekit на основе Meta Llama 3 Instruct. Веса получены методом task arithmetic: из модели failspy/Meta-Llama-3-8B-Instruct-abliterated-v3 выделен вектор вмешательства, связанный с удалением базовых instruct-весов, который затем объединён с Meta-Llama-3-8B-Instruct. README описывает этот подход как Orthogonalized Vector Adaptation (OVA). Модель предназначена для диалоговой генерации текста и ассистентских ответов. Она содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов; каталог указывает английский язык как основной для базовой модели. Репозиторий содержит веса в формате safetensors. Модель предоставлена по лицензии Llama 3; README не уточняет отдельные ограничения качества или безопасности.

LLaMa-3-Instruct-Zeroed-13B — разговорная языковая модель на архитектуре Llama, собранная с помощью mergekit из слоёв Undi95/Meta-Llama-3-8B-Instruct-hf. В конфигурации passthrough merge для части слоёв обнулены параметры проекций o_proj и down_proj; репозиторий содержит веса Safetensors. Модель рассчитана на генерацию текста и диалоговое взаимодействие; карточка указывает 12,5 млрд параметров и контекст до 8192 токенов. Базовая модель — англоязычная инструкционная Llama 3 на 8 млрд параметров. Из-за изменённых проекций поведение и качество могут отличаться от исходной модели; опубликованные сведения не описывают оценку качества или дополнительные ограничения. Лицензия в доступных данных не указана.

SJ-Donald/llama3-passthrough-chat — диалоговая языковая модель, созданная методом passthrough merge с помощью mergekit на основе meta-llama/Meta-Llama-3-8B-Instruct. Репозиторий содержит веса в формате safetensors; архитектура — плотная LlamaForCausalLM. В метаданных указаны 11 млрд параметров и контекст до 8192 токенов. Модель предназначена для диалога и генерации текста. Её можно использовать для создания ответов ассистента и ведения текстовых бесед. Базовая модель ориентирована на английский язык; других языков карточка не подтверждает. Лицензия — Llama 3 Community License (llama3).

Cas-Warehouse выпустила объединённую разговорную языковую модель Llama 3 с 7,5 млрд параметров. Она создана методом Model Stock в mergekit на основе failspy/Llama-3-8B-Instruct-MopeyMule с включением моделей Aura_Llama3, Luna_Llama3, RP_Format_QuoteAsterisk_Llama3, Smarts_Llama3 и BlueMoon_Llama3. Модель предназначена для генерации текста и диалоговых ответов. Её можно применять в разговорных интерфейсах и для создания текстовых ответов на запросы. Архитектура — плотная авторегрессионная LlamaForCausalLM; модель использует библиотеку Transformers, распространяется в формате safetensors и рассчитана на контекст до 8192 токенов. Базовая модель ориентирована на английский язык; отдельные сведения о языковых возможностях именно этого слияния не приведены. Слияние объединяет несколько разговорных и ролевых вариантов Llama 3, но README не приводит сравнительных оценок качества или подробных рекомендаций по настройке. Условия лицензирования в предоставленных данных не указаны.

Llama-3-Yggdrasil-8B-GGUF — это набор GGUF-квантизированных версий языковой модели Llama-3-Yggdrasil-8B. Исходную модель разработал Locutusque; она создана на основе объединения моделей NousResearch/Meta-Llama-3-8B, NousResearch/Meta-Llama-3-8B-Instruct, Locutusque/Llama-3-Hercules-5.0-8B и Locutusque/llama-3-neural-chat-v2.2-8b. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp и совместимые инструменты. Доступны варианты с разным балансом качества, размера и требований к памяти: от Q8_0 размером 8,54 ГБ до сверхкомпактного IQ1_S размером 2,01 ГБ. Наиболее рекомендуемыми в карточке названы варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; низкобитные варианты экономят память, но заметно уступают по качеству. В карточке не указаны точная архитектура в технических деталях, максимальный контекст, поддерживаемые языки и результаты benchmark-тестов. Также не задан chat template, поэтому приведённый формат приглашений может быть неточным и требует проверки по исходной карточке модели. Модель распространяется по лицензии Llama 3; условия исходных компонентов и совместимость конкретного варианта следует дополнительно проверять перед использованием.

LLaMA-7B-HF — преобразованная в формат Transformers версия языковой модели LLaMA, опубликованная Neko Institute of Science. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM и примерно 6,6 млрд параметров; она предназначена для генерации текста. Контекст модели составляет 2048 токенов. Репозиторий содержит веса PyTorch и Safetensors. Для использования требуется соблюдать специальную лицензию и условия, изложенные в файле LICENSE. README также предупреждает, что в упомянутой торрент-копии устарели tokenizer_config.json и special_tokens_map.json; эти файлы следует заменить версиями из карточки модели.

balrogbob/llamamama — дообученная модель генерации текста на архитектуре Llama, созданная balrogbob на базе unsloth/llama-3-8b-bnb-4bit с использованием Unsloth и библиотеки TRL. Модель содержит 7,5 млрд параметров и поддерживает контекст до 8192 токенов; репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста по текстовому запросу. В README не описаны конкретная предметная область, стиль ответов или специализированные сценарии применения. Указана лицензия Apache-2.0.

KKHYA/llavaqwen2.5-32b-finetune-nm-mask-moe-4e-2k-2of4-imp-2m-half_20260822_074702 — языковая модель на архитектуре NMMaskMoELLaVAQwen2ForCausalLM с 32 млрд параметров. В карточке указаны библиотека Transformers и форматы PyTorch и safetensors; метаданные также обозначают поддержку диалогового режима и интерфейса вызова инструментов. Модель предназначена для генерации текста и диалогового взаимодействия. Длина контекста составляет 131 072 токена. README сообщает, что модель обучена с нуля, но не содержит сведений о датасете, назначении обучения или оценке качества. Лицензия в предоставленных данных не указана.

Это дообученная модель KKHYA на базе KKHYA/llavaqwen3-1.7b-finetune с 1,7 млрд параметров. Она использует архитектуру ColMaskMoELLaVAQwen3ForCausalLM и предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс для вызова инструментов. Длина контекста — до 40 960 токенов. Модель загружается в форматах PyTorch и Safetensors через Transformers. Модель опубликована 23 августа 2026 года под лицензией Apache-2.0. Датасет и результаты оценки не описаны, поэтому качество, специализацию и ограничения сверх указанных характеристик установить нельзя.

Это дообученная версия KKHYA/llavaqwen3-1.7b-finetune, разработанная KKHYA и предназначенная для генерации текста и диалогов. Модель содержит 1,7 млрд параметров, построена на архитектуре Qwen3 и использует Transformers; доступны веса PyTorch в формате safetensors. Заявленная длина контекста — 40 960 токенов. Модель можно применять для генерации продолжений текста и ведения диалогов; в метаданных также отмечен интерфейс вызова инструментов. Датасет и результаты оценки не описаны, поэтому качество и специализацию модели по отдельным темам оценить нельзя. Лицензия — Apache-2.0.

Это дообученная модель KKHYA на базе KKHYA/llavaqwen3-1.7b-finetune с 1,7 млрд параметров. Она предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Модель использует архитектуру NMMaskMoELLaVAQwen3ForCausalLM и рассчитана на контекст до 40 960 токенов. Модель распространяется в форматах PyTorch и Safetensors по лицензии Apache-2.0. Датасет дообучения и результаты оценки в карточке не описаны; пригодность для конкретных сценариев требует самостоятельной проверки.

Это дообученная версия KKHYA/llavaqwen3-1.7b-finetune с 1,7 млрд параметров, разработанная автором репозитория KKHYA. Модель предназначена для генерации текста и диалогов; в метаданных также заявлен интерфейс вызова инструментов. Она использует архитектуру NMMaskMoELLaVAQwen3ForCausalLM и библиотеку Transformers, принимает текст и генерирует текст. Контекстное окно составляет до 40 960 токенов. Данные обучения и подробные оценки не описаны. Репозиторий содержит веса в форматах PyTorch и Safetensors и распространяется по лицензии Apache-2.0. Языковая специализация модели не установлена по доступным сведениям.

Это инструкционная языковая модель llm-jp-13b-instruct-full-ac_001_16x-dolly-ichikara_004_001_single-oasst-oasst2-v2.0, разработанная совместным японским проектом LLM-jp. Модель построена на архитектуре LlamaForCausalLM и содержит 13,2 млрд параметров; репозиторий предоставляет веса в формате Safetensors для Transformers. Контекстное окно составляет 4096 токенов. Модель предназначена для генерации ответов и диалогового взаимодействия по инструкциям на японском и английском языках. Она дообучена на наборах инструкций, включая японские и английские версии Dolly и OASST, а также японские наборы ichikara. Токенизатор включает японскую, английскую и программную лексику. Разработчики предупреждают, что модель находится на раннем этапе исследований и разработок и не настроена для надёжного следования человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.

llm-jp-4-33b-base — базовая большая языковая модель серии LLM-jp-4, разработанной Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это плотная Transformer-модель с архитектурой LlamaForCausalLM и 33,2 млрд параметров; она обучена на этапах предварительного и промежуточного обучения и предназначена для дальнейшей адаптации и генерации текста. В карточке указано, что модель обучалась на 11,7 трлн токенов, а длина контекста составляет 65 536 токенов. Модель поддерживает японский и английский языки. Шаблон чата совместим с форматом OpenAI Harmony, однако для корректной токенизации следует использовать поставляемый токенизатор: токенизатор отличается от ожидаемого библиотекой openai-harmony. Модель распространяется по лицензии Apache-2.0. Разработчики отмечают, что она находится на ранней стадии исследований и разработок и не настроена для гарантированного соответствия намерениям пользователей и требованиям безопасности.