Характеристики

Контекст: 8 192 токена
Параметры: 7,5 млрд
Размер весов: 32,1 ГБ
Лицензия: MIT
Архитектура: llama · dense
Библиотека: transformers
Опубликована: 7 авг 2024

Ссылки

Hugging Face

llama3-pre1-pre2-lora3-mergkit-base22

4yo1

Генерация текстаТекст → текст4 профессии

Дообученная 7,5-миллиардная языковая модель Llama для генерации текста и перевода на английском и корейском языках.

5скачиваний за 30 дней0лайковвеса обновлены12 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель 4yo1/llama3-pre1-pre2-lora3-mergkit-base22 — плотная языковая модель семейства Llama на 7,5 млрд параметров, опубликованная разработчиком 4yo1. Карточка описывает её как дообученную модель; метаданные указывают задачи text-generation и translation, а README — английский и корейский языки.

Модель принимает текст и генерирует текст, в том числе для перевода между английским и корейским. Архитектура — LlamaForCausalLM, библиотека — Transformers, формат весов — safetensors, контекст — до 8192 токенов. README упоминает датасет 140kgpt, а метаданные — датасет pre.

Модель распространяется по лицензии MIT. Карточка не приводит сравнительных оценок качества и подробностей обучения, поэтому пригодность для конкретных сценариев перевода и генерации следует проверять на собственных данных.

Сценарии применения

перевод текста между английским и корейским
генерация текста на английском языке
генерация текста на корейском языке
эксперименты с многоязычной генерацией на базе Llama

Ограничения

Карточка не содержит сравнительных оценок качества или подробного описания обучения. Качество перевода и генерации для целевых сценариев следует оценить на собственных данных.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for Model ID

Model Details

Model Card: 4yo1/llama3-pre1-pre2-lora3-mergkit-base2 with Fine-Tuning Model Overview Model Name: 4yo1/llama3-pre1-pre2-lora3-mergkit-base2

Model Type: Transformer-based Language Model

Model Size: 8 billion parameters

by: 4yo1

Languages: English and Korean

how to use - sample code

from transformers import AutoConfig, AutoModel, AutoTokenizer

config = AutoConfig.from_pretrained("4yo1/4yo1/llama3-pre1-pre2-lora3-mergkit-base2")
model = AutoModel.from_pretrained("4yo1/llama3-pre1-pre2-lora3-mergkit-base2")
tokenizer = AutoTokenizer.from_pretrained("4yo1/llama3-pre1-pre2-lora3-mergkit-base2")

datasets:

140kgpt

license: mit

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 0b967ce