Характеристики

Лицензия: Своя лицензия
Базовая модель: Llama-3.1-8B
Библиотека: transformers
Опубликована: 11 дек 2024

Ссылки

Hugging Face

Llama-3.1-Freego-8B-Instruct

LegalSign

Генерация текстаТекст → текст

Чат-модель Llama 3.1 на 8 млрд параметров, дообученная для задач перевода.

0скачиваний за 30 дней0лайковвеса обновлены28 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LegalSign/Llama-3.1-Freego-8B-Instruct — чат-модель на архитектуре Llama 3.1 с 8 млрд параметров, дообученная на наборах patent-zh_tw-en-translation и manythings-translations-alpaca. Карточка указывает на настройку для перевода, в том числе с китайского традиционного письма на английский, и на примеры переводов из набора ManyThings.

Модель принимает текст и генерирует текст в диалоговом формате. Базовая модель — meta-llama/Llama-3.1-8B; репозиторий содержит веса Safetensors и использует Transformers. Лицензия указана как other, поэтому условия использования следует сверять с лицензией базовой модели и файлами репозитория.

Сценарии применения

перевод текстов с китайского традиционного письма на английский
перевод коротких фраз и предложений
получение переводов в диалоговом интерфейсе

Ограничения

Карточка не приводит оценок качества, подробных ограничений и описания обучения; качество для языковых пар помимо представленных в наборах данных не установлено. Лицензия обозначена как other, поэтому условия использования требуют проверки в репозитории.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

sft-2024-12-28-1

This model is a fine-tuned version of meta-llama/Llama-3.1-8B on the patent-zh_tw-en-translation and the manythings-translations-alpaca datasets.

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-06
train_batch_size: 14
eval_batch_size: 8
seed: 42
distributed_type: multi-GPU
num_devices: 8
gradient_accumulation_steps: 8
total_train_batch_size: 896
total_eval_batch_size: 64
optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: cosine
lr_scheduler_warmup_ratio: 0.01
num_epochs: 30.0

Training results

Framework versions

Transformers 4.46.1
Pytorch 2.5.1+cu124
Datasets 3.1.0
Tokenizers 0.20.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов: 4a28562