I.5Создание и редактирование текста

Seungyoun/llama-2-7b-alpaca-gpt4 — языковая модель семейства LLaMA 2, дообученная разработчиком на ответной части примеров из набора Alpaca-GPT-4. Для обучения применялся LoRA, веса адаптера объединены с базовой моделью; в репозитории опубликованы веса в формате safetensors. Модель содержит 6,6 млрд параметров и рассчитана на контекст до 4096 токенов. Модель предназначена для генерации текста в ответ на инструкции и запросы, в частности для диалоговых сценариев и ответов на вопросы на английском языке. Указана лицензия MIT. Карточка не сообщает о специализированных областях применения или иных ограничениях качества.

Llama-2-7B-Chat-GGUF — квантизированная версия диалоговой языковой модели Llama 2 7B Chat, разработанной Meta и преобразованной в формат GGUF компанией Second State Inc. Модель основана на meta-llama/Llama-2-7b-chat-hf и предназначена для генерации текста и ведения диалогов на английском языке. Модель содержит 7 миллиардов параметров, использует архитектуру Llama и поддерживает контекст до 4096 токенов. В репозитории доступны варианты квантования от 2 до 8 бит, а также f16; их размер составляет примерно от 2,83 до 13,5 ГБ. Вариант Q4_K_M обеспечивает сбалансированное соотношение размера и качества, а Q5_K_M и Q5_K_S характеризуются минимальными потерями качества. Более агрессивное квантование уменьшает требования к памяти, но может заметно ухудшать результаты. Модель подходит для локального запуска и интеграции в приложения через LlamaEdge, включая чат-сервисы и командные приложения. README не содержит отдельного описания ограничений безопасности или качества базовой модели. Лицензия указана как llama2; для использования следует учитывать условия лицензии Meta Llama 2.

TheBloke/Llama-2-7B-Chat-GGUF — это квантизированная версия диалоговой модели Llama 2 7B Chat, разработанной Meta (Meta Llama 2) и преобразованной TheBloke в формат GGUF. Модель предназначена для генерации текста и ведения диалогов, включая локальных чат-ассистентов, ответы на вопросы и другие сценарии текстовой генерации. Указанный язык — английский; мультимодальность не заявлена. Модель содержит около 7 миллиардов параметров и использует архитектуру Llama 2. Репозиторий предоставляет варианты GGUFv2 с квантизацией от 2 до 8 бит, что позволяет выбирать компромисс между качеством, размером файлов и требованиями к ресурсам. Формат поддерживается llama.cpp и рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, LM Studio, KoboldCpp, ctransformers и llama-cpp-python, с возможностью CPU- и GPU-инференса. Размер контекста в README не указан. К сильным сторонам относятся возможность локального запуска, широкий выбор уровней квантизации и совместимость с экосистемой GGUF. Ограничения включают отсутствие заявленной поддержки других языков и модальностей, а также потенциальное снижение качества при использовании более агрессивной квантизации. Модель распространяется по лицензии Llama 2; перед использованием необходимо учитывать условия этой лицензии.

Это 7-миллиардная чат-модель Llama 2 от Meta, размещённая пользователем Trelis в шардированном формате для Hugging Face Transformers. Шардирование распределяет веса по нескольким файлам; архитектура модели — авторегрессионный плотный Transformer LlamaForCausalLM. Модель принимает текст и генерирует текст, её контекст в метаданных указан как 2048 токенов. Модель предназначена для диалогов в формате ассистента и генерации текста на английском языке. Её можно использовать для ответов на вопросы, ведения беседы и создания текстовых ответов по инструкциям; для чат-версии необходимо соблюдать формат шаблона Llama 2 с маркерами инструкций и служебными токенами. Карточка указывает, что базовая чат-модель Meta прошла supervised fine-tuning и обучение с обратной связью от людей. Репозиторий содержит шардированную копию весов в формате PyTorch. Использование регулируется специальной лицензией Meta для Llama 2; для доступа к весам требуется принять её условия. Модель может выдавать неточные, предвзятые или нежелательные ответы; её следует проверять и настраивать под конкретное приложение.

Это преобразованная версия базовой языковой модели Llama 2 7B, разработанной Meta. Веса модели сначала были загружены с 4-битной квантизацией NF4 через bitsandbytes, после чего 4-битные линейные слои были расширены до FP16. Репозиторий содержит модель на 6,6 млрд параметров с архитектурой LlamaForCausalLM и контекстом до 4096 токенов; она принимает текст и генерирует текст.

Posicube Inc. разработала Posicube/Llama2-chat-AYB-13B — диалоговую плотную языковую модель на архитектуре Llama 2 с 12,9 млрд параметров. Модель создана на основе Llama-2-13b-chat-hf с использованием ансамблирования моделей, показавших высокие результаты в бенчмарках; в обучении применялись наборы данных в стилях Orca и Alpaca. Она предназначена для генерации текста и ответов в диалоге. Контекст составляет 4096 токенов; модель работает с текстом, а оценка в карточке описана для английских тестов ARC, HellaSwag и MMLU. Разработчик сообщает, что на момент публикации в октябре 2023 года модель занимала первое место среди моделей с 13 млрд параметров на упомянутых бенчмарках. Модель распространяется в формате safetensors по лицензии Llama 2. Как и другие большие языковые модели, она может выдавать неточные, предвзятые или нежелательные ответы; перед применением рекомендуется проверять её на сценариях конкретного продукта. Заявленная оценка охватывает английские тесты и не подтверждает качество во всех сценариях.

Карточка модели Neko-Institute-of-Science/LLaMA-30B-HF на Hugging Face совпадает с карточкой Neko-Institute-of-Science/LLaMA-7B-HF, поэтому описание составлено по ней. LLaMA-7B-HF — преобразованная в формат Transformers версия языковой модели LLaMA, опубликованная Neko Institute of Science. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM и примерно 6,6 млрд параметров; она предназначена для генерации текста. Контекст модели составляет 2048 токенов. Репозиторий содержит веса PyTorch и Safetensors. Для использования требуется соблюдать специальную лицензию и условия, изложенные в файле LICENSE. README также предупреждает, что в упомянутой торрент-копии устарели tokenizer_config.json и special_tokens_map.json; эти файлы следует заменить версиями из карточки модели.

athirdpath/Llama-3-11b-Instruct — разговорная модель генерации текста, созданная как merge трёх вариантов Part Wave, Part Block и Part Funnel; в README Part Funnel указан как основа. Сборка использует слои NousResearch/Meta-Llama-3-8B-Instruct, а метаданные определяют архитектуру как плотную LlamaForCausalLM. Размер модели — 10,6 млрд параметров, формат весов — safetensors, контекст — до 8192 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Автор описывает её как основу для дальнейшей работы и отмечает, что после исправления ошибки в YAML она работает, но количественных оценок качества и подробностей о тестировании не приводит. Лицензия указана как llama3; перед использованием следует учитывать условия лицензии Llama 3.

AMD Llama-3.1-405B-Instruct-FP8-KV — это FP8-квантизированная версия инструкционной модели Meta-Llama-3.1-405B-Instruct, подготовленная компанией Advanced Micro Devices с использованием инструмента Quark и калибровочных образцов из набора данных Pile. Модель предназначена для генерации текста и выполнения инструкций в сценариях, где требуется развертывание крупной языковой модели с оптимизированным использованием памяти и вычислительных ресурсов. README не содержит дополнительных сведений о поддерживаемых языках, длине контекста и исходной архитектуре базовой модели. Квантизации подвергнуты все линейные слои, кроме lm_head; веса, активации и KV-кэш представлены в формате FP8 с симметричным масштабированием per-tensor. Экспорт выполняется в формате Quark safetensors, а развертывание возможно через совместимый с vLLM backend. По данным оценки на wikitext2, perplexity увеличилась с 1,8561 у исходной модели до 1,8951 у квантизированной версии; при этом результаты получены в режиме псевдоквантизации и могут отличаться от точности реального инференса. Для работы требуется Quark, а из-за размера модели может понадобиться мног GPU-развертывание. Лицензия указана как llama3.1; модификации распространяются с авторскими правами Advanced Micro Devices, Inc. за 2024 год.

Llama-3-15b-Instruct-GLUED-Plus — инструктивная языковая модель, дообученная athirdpath на базе athirdpath/Llama-3-15b-Instruct-GLUED. Это плотная авторегрессионная модель семейства Llama с 14,9 млрд параметров, контекстом до 8192 токенов и форматом диалога L3; для обучения использовались Unsloth и Hugging Face TRL, а также частный датасет объёмом 8 тысяч примеров.

Llama-3-15b-StockTest — плотная авторегрессионная языковая модель семейства Llama 3, созданная athirdpath методом слияния Model Stock с помощью mergekit. В основу взята athirdpath/Llama-3-15b-Instruct-GLUED, также в слиянии участвовали instruct-модели, вариант с рассуждениями и модель OpenBioLexi. Размер модели — 14,9 млрд параметров, контекст — до 8192 токенов; репозиторий содержит веса в safetensors и рассчитан на использование с Transformers. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции и написание историй. Метаданные указывают поддержку чата, однако отдельные специализированные возможности не подтверждены. Языки карточкой не обозначены, поэтому нельзя уверенно указать языковую специализацию. Условия лицензии в предоставленных данных не приведены.

MaziyarPanahi/Llama-3-16B-Instruct-v0.1-GGUF — набор файлов модели в формате GGUF, созданный и квантованный MaziyarPanahi на основе MaziyarPanahi/Llama-3-16B-Instruct-v0.1. Модель относится к семейству Llama 3 и предназначена для генерации текста и диалогового взаимодействия по инструкциям. Основной сценарий использования — локальный запуск через совместимые инструменты, включая llama.cpp, с применением специального шаблона промпта Llama 3. Доступны варианты квантования с разной разрядностью: 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к ресурсам и качеством генерации. В README не указаны точная архитектура, максимальная длина контекста, поддерживаемые языки, конкретные характеристики вариантов квантования и лицензия. Сильной стороной модели является наличие нескольких GGUF-вариантов для локального инференса и адаптации под разные аппаратные ограничения. Ограничения включают возможную потерю качества при низкоразрядном квантовании, необходимость использовать корректный шаблон Llama 3 и отсутствие в предоставленных данных сведений о лицензии и детальных технических характеристиках.

ThatsGroes разработал разговорную модель SkoleGPT на базе Meta Llama 3.1 70B Instruct. Это плотная авторегрессионная модель с 69,5 млрд параметров для генерации текста и диалогов; она принимает текст и выдаёт текст. Модель дообучена методом LoRA в течение одной эпохи с rank и alpha 8, используя 4-битную базовую модель. Заявленная длина контекста — 131 072 токена. В карточке указан обучающий набор kobprof/skolegpt-instruct, но подробности о его содержании и специализации SkoleGPT не приведены, поэтому назначение модели за пределами общего диалогового применения не уточняется. Поддерживается английский язык. Лицензия — Apache-2.0.

Llama3.1-70B-ShiningValiant2-GGUF — это квантизированная версия текстовой генеративной модели Llama3.1-70B-ShiningValiant2, разработанной ValiantLabs и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель основана на архитектуре Llama и содержит около 70 миллиардов параметров; она ориентирована на режимы instruct и chat и предназначена прежде всего для работы с английским языком. Модель подходит для генерации текста, диалоговых сценариев, решения задач по естественным и техническим дисциплинам, включая физику, биологию, химию, информатику, инженерию и логическое рассуждение. В README приведены результаты на Winogrande и отдельных подзадачах MMLU, включая MMLU College Biology, что указывает на сильную сторону модели в задачах общего и научного понимания. Для запуска предлагается использовать LM Studio или совместимое программное обеспечение на базе llama.cpp с указанным шаблоном prompt. Доступно несколько вариантов квантизации с размером файлов примерно от 27,47 до 74,98 ГБ. Q6_K и Q5_K, а также Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые; более компактные варианты экономят оперативную память, но могут заметно уступать по качеству. Требования к памяти, максимальный контекст, мультимодальные возможности и дополнительные языки в README не указаны. Модель распространяется по лицензии llama3.1.

Модель triplee/llama3.1_8b_2S1S_v2_merge — плотная авторегрессионная языковая модель семейства Llama 3.1 с примерно 7,5 млрд параметров, дообученная на базе unsloth/meta-llama-3.1-8b. Для обучения использовались Unsloth и библиотека TRL. Модель предназначена для генерации текста и может применяться в сценариях, где требуется продолжение или создание текста по запросу. В карточке указаны английский язык, контекстное окно до 131 072 токенов и формат весов safetensors. Лицензия — Apache-2.0. README не описывает специализированную область применения, конкретные обучающие данные или результаты оценки качества.

Карточка модели ombd/llama-3.1-8b-base на Hugging Face совпадает с карточкой unsloth/Meta-Llama-3.1-8B, поэтому описание составлено по ней. Meta-Llama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, опубликованная Meta и представленная в репозитории Unsloth в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев; карточка также описывает её как основу для дообучения с помощью ноутбуков Unsloth. Модель содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Для использования действует лицензия Llama 3.1. README не приводит результатов оценки качества или подробных ограничений применения.

Это квантизированная в формате GGUF версия инструкционной модели Llama-3.1-8B-Instruct, разработанной Meta и подготовленной ByteShape с использованием метода ShapeLearn. ShapeLearn подбирает тип данных отдельно для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для генерации текста и диалоговых сценариев, а также для локального запуска через llama.cpp или Ollama на CPU и GPU. Модель содержит 8 миллиардов параметров, работает только с текстом и заявлена для английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Доступны варианты KQ, оптимизированные для CPU, и IQ, ориентированные на современные Nvidia GPU; размер файлов составляет примерно 2,56–4,33 ГБ, а средняя разрядность — от 2,54 до 4,31 бит на вес. Разные варианты предлагают компромисс между скоростью, размером и качеством, однако README не указывает размер контекстного окна и не приводит подробностей об ограничениях качества или безопасности. Основные преимущества — возможность локального запуска, широкий выбор уровней квантизации и оптимизация под разные аппаратные платформы при сохранении качества исходной модели. Ограничения связаны с потерями качества, неизбежными при низкой разрядности, а также с тем, что эффективность зависит от выбранного варианта и оборудования. Модель распространяется по лицензии llama3.1.

notcvnt/Llama-3.1-8B-Instruct-heretic — производная инструктивная версия Meta Llama 3.1, представленная сообществом как «heretic» и «abliterated». По метаданным это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM, примерно 7,5 млрд параметров, предназначенная для генерации текста и диалогов. Она принимает текст и выдаёт текст; заявленный контекст — до 131 072 токенов. README описывает исходную Llama 3.1 Instruct, а не конкретную версию heretic, поэтому сведения о языках, методе изменения поведения и характеристиках именно этого варианта ограничены. В метаданных указаны языки en, de, fr, it, pt, hi, es и th. Модель подходит для диалогового помощника и генерации текста на поддерживаемых языках. Метки «uncensored» и «abliterated» указывают на изменённый профиль отказов или ограничений, но карточка не раскрывает точную методику и результаты оценки; выходы следует проверять на точность и безопасность. Модель распространяется по лицензии Llama 3.1 Community License (идентификатор лицензии в метаданных — llama3.1); применение регулируется её условиями и Acceptable Use Policy.

Na0s/Llama-3.1-8B-Pruned-4-Layers_LoRA-PEFT-3.0 — плотная авторегрессионная языковая модель семейства Llama 3.1, разработанная Na0s. Это дообученная версия предыдущего чекпойнта Na0s/Llama-3.1-8B-Pruned-4-Layers_LoRA-PEFT-2.0 на наборе teknium/openhermes. В исходной модели удалили четыре слоя Meta-Llama-3.1-8B, а затем дообучили модель, чтобы восстановить часть потери качества. В репозитории указано 6,4 млрд параметров; метаданные заявляют контекст до 131 072 токенов. Модель предназначена для генерации текста и решения задач общего назначения, включая вопросы и ответы, рассуждения и продолжение текста. В опубликованных оценках версия 3.0 улучшила результаты относительно обрезанной модели на MMLU-Pro, BoolQ, BigBench и наборах few-shot; при этом показатели на MMLU-Pro остаются ниже исходной Meta-Llama-3.1-8B. Автор также сообщает о снижении потребления памяти и задержки инференса в своих тестах. Модель принимает и генерирует текст; метаданные не задают отдельного основного языка. Лицензия — Apache-2.0.

Карточка модели Solshine/Llama-3.1-8B-Reflection-Tuning-Natural-Farmer на Hugging Face совпадает с карточкой Solshine/reflection-llama-3.1-8B-Natural-Farmer-3-16bit, поэтому описание составлено по ней. Модель Solshine/reflection-llama-3.1-8B-Natural-Farmer-3-16bit разработана Solshine и представляет собой дообученную версию Solshine/reflection-llama-3.1-8B-Natural-Farmer-16bit. Это плотная авторегрессионная языковая модель семейства Llama с архитектурой LlamaForCausalLM и 7,5 млрд параметров. Она предназначена для генерации текста и диалогового общения; в карточке также заявлен интерфейс вызова инструментов. Модель обучалась с использованием Unsloth и TRL, а репозиторий содержит веса PyTorch. Модель принимает текст и выдаёт текст. В метаданных указан английский язык и контекстное окно до 131 072 токенов. Она распространяется по лицензии Apache-2.0. Карточка не описывает специализированные области применения или подробные результаты оценки качества.

cstr/llama3.1-8b-spaetzle-v59 — слитая модель на архитектуре Llama 3.1, подготовленная автором репозитория с использованием Dampfinchen/Llama-3.1-8B-Ultra-Instruct и Undi95/Meta-Llama-3.1-8B-Claude. Веса объединены методом DARE-TIES; модель содержит 7,5 млрд параметров, использует формат safetensors и поддерживает контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. В карточке приведён результат EQ-Bench v2_de 67,38; это указывает на оценивание немецкоязычных диалоговых способностей, но не гарантирует качество в других сценариях. Метаданные отмечают интерфейс вызова инструментов. Поддерживаемые языки по карточке — английский и немецкий. Лицензия — Llama 3.1 Community License. Это слияние весов, а не самостоятельная конверсия формата; для производных моделей и последующего распространения следует учитывать условия лицензий исходных компонентов.

bunnycore/Llama-3.1-8B-TitanFusion-v2 — объединённая авторегрессионная языковая модель семейства Llama 3.1, созданная с помощью mergekit методом Model Stock. В качестве базовой использована bunnycore/LLama-3.1-8B-HyperNova-abliteration; в слияние также вошли TitanFusion, Matrix, Ultra-Instruct и MagpieLM-8B-Chat-v0.1. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и представлена в формате safetensors с точностью bfloat16. Заявленная длина контекста — 131 072 токена. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций и создание ответов. В карточке не приведены результаты оценки качества или подробные сведения о поддерживаемых языках. Лицензия в предоставленных данных не указана.

Модель promotion/Llama-3.1-8B-TLDR-NBPO-eta0.05 — диалоговая языковая модель на архитектуре Llama, дообученная методом Nash Bargaining Preference Optimization (NBPO) на задаче TL;DR. Она основана на meta-llama/Llama-3.1-8B-Instruct и предназначена для генерации кратких резюме с учётом полноты, точности, лаконичности и полезности. В обучении использовались 300 обновлений оптимизатора и глобальный размер пакета 16; модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. В карточке описана оценка независимых показателей предпочтения относительно общей базовой политики на отложенных промптах; качество оценивал Llama-3.3-70B-Instruct. Модель распространяется в формате safetensors по лицензии Llama 3.1. Данные карточки не указывают языковой охват или ограничения на применение сверх условий этой лицензии.

bunnycore/LLama-3.1-8b-Ultra-Max-Pro — объединённая разговорная языковая модель на архитектуре Llama 3.1, созданная с помощью mergekit методом DARE TIES. В качестве основы использована vicgalle/Configurable-Llama-3.1-8B-Instruct; в объединение также вошли Artificium, Lexi Uncensored V2, Ultra-Instruct, Hermes 3 и LLama-3.1-Hyper-Stock. Модель содержит 7,5 млрд параметров, рассчитана на генерацию текста и поддерживает контекст до 131 072 токенов. Модель предназначена для диалогов и генерации ответов на инструкции. Указанная в карточке комбинация моделей объединяет разговорную настройку, следование инструкциям и другие языковые возможности, однако README не приводит результатов оценок или конкретных гарантий качества. Модель работает с текстом и опубликована в формате safetensors для библиотеки Transformers. В метаданных лицензия не указана.

2023mt13042 выпустил модифицированную и дообученную версию Meta Llama 3.1 8B Instruct, применив методику Abliteration — редактирование представлений модели. Это плотная авторегрессионная трансформерная модель семейства Llama для диалогов и генерации текста; в метаданных указано 7,5 млрд параметров, а контекст составляет до 131 072 токенов. Модель принимает текст и выдаёт текст, карточка заявляет поддержку английского языка. Её можно использовать для диалоговых приложений и генерации текста. Для запуска предусмотрены Transformers и веса safetensors в формате fp16; README приводит ориентир от 16 ГБ видеопамяти для обычного запуска и предлагает квантование для устройств с меньшей памятью. Модель наследует условия лицензии Meta Llama 3.1 Community License. Перед применением в производственной среде следует проверять качество и поведение ответов.

Карточка модели naturalseeker/Llama3.1_8I_ARC_RP на Hugging Face совпадает с карточкой naturalseeker/Llama3.1_8I_ARC, поэтому описание составлено по ней. naturalseeker/Llama3.1_8I_ARC — дообученная naturalseeker диалоговая модель на архитектуре Llama 3.1 с 7,5 млрд параметров. Она создана на основе unsloth/Meta-Llama-3.1-8B-Instruct и обучалась с использованием Unsloth и Hugging Face TRL. Модель предназначена для диалогов и генерации текста; доступен интерфейс вызова инструментов. Она принимает текст и выдаёт текст, поддерживает английский язык и контекст до 131 072 токенов. Веса опубликованы в формате safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не описывает специальную предметную область или отдельные возможности дообучения, поэтому качество для конкретных задач следует оценивать на подходящих примерах.

kp15/llama3-1b-changes_model06012025 — плотная языковая модель семейства Llama, разработанная kp15 и дообученная на основе unsloth/llama-3.2-1b-bnb-4bit с помощью Unsloth и Hugging Face TRL. Модель содержит 1,2 млрд параметров и предназначена для генерации текста; в метаданных указано окно контекста до 131072 токенов и поддержка английского языка. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не уточняет предметную специализацию или конкретные обучающие данные, поэтому её следует рассматривать как дообученную модель общего назначения для текстовых запросов.

bunnycore/LLama-3.1-Hyper-Stock — объединённая плотная языковая модель семейства Llama 3.1, созданная автором с помощью mergekit и метода Model Stock на базе unsloth/Meta-Llama-3.1-8B. В объединение вошли семь языковых моделей, включая инструктивные и uncensored-варианты. Модель содержит 7,5 млрд параметров, работает через библиотеку Transformers и распространяется в формате safetensors; заявленная длина контекста — 131 072 токена. Модель предназначена для генерации текста и может использоваться в диалоговых сценариях и для задач с длинным контекстом. README указывает на включение моделей с разными настройками и назначением, однако не приводит отдельных оценок качества или подробностей о поведении итогового объединения. Лицензия в предоставленных данных не указана.

ISSAI әзірлеген LLama-3.1-KazLLM-1.0-70B — қазақ тіліндегі жауаптардың сапасы мен пайдалығын арттыруға бейімделген 70B параметрлі үлкен тілдік модель. Ол Llama 3.1 негізінде жасалған және Transformers кітапханасы арқылы мәтіндік диалог пен мәтін генерациясына арналған. Модель қазақ, орыс, ағылшын және түрік тілдерінде жұмыс істейді; карточкада 128 мың токенге дейінгі кіріс контексті және 4 мың токенге дейінгі шығыс көрсетілген. Қазақ тіліндегі бенчмарк нәтижелері модельдің қазақша сұрақтарға жауап беру, пайымдау және мәтін құрастыру сценарийлеріне бағдарланғанын көрсетеді. Қолдану үшін кемінде екі 80 GB GPU және 150 GB бос диск кеңістігі қажет. Модель жауаптарының дұрыстығына кепілдік берілмейді; біржақтылық болуы мүмкін, сондықтан нәтижелерді тексеру керек. Лицензиясы — CC BY-NC 4.0, сонымен қатар Llama 3.1 шарттары мен қолайлы пайдалану саясаты қолданылады.

IntervitensInc/Llama-3.1-Minitron-4B-Width-Base-chatml — текстовая авторегрессионная модель семейства Llama, разработанная NVIDIA. Это базовая модель для генерации текста и адаптации к различным задачам обработки естественного языка; в этой версии добавлены токены ChatML для дообучения в формате диалога. Модель получена структурным прореживанием Llama-3.1-8B по размеру эмбеддингов и промежуточному слою MLP, после чего прошла дальнейшее обучение с дистилляцией на 94 млрд токенов. Архитектура включает 32 слоя, 32 головы внимания, Grouped-Query Attention и RoPE; число параметров — 3,9 млрд. Модель принимает и выдаёт текст. В README заявлена поддержка английского и многоязычного текста, а также кода; корпус включал веб-страницы, диалоги и документы из разных областей. Метаданные указывают контекстное окно 131 072 токена. Модель предназначена для генерации текста и дальнейшей адаптации под прикладные сценарии; README также сообщает о готовности к коммерческому использованию. Указана лицензия other, поэтому перед использованием следует свериться с условиями NVIDIA. Модель может выдавать неточные, неполные или избыточные ответы и воспроизводить токсичность и предвзятость из обучающих данных.