/ Модель

Характеристики

Контекст
8 192 токена
Параметры
69,5 млрд
Лицензия
Llama 3
Архитектура
llama · dense
Базовая модель
Llama-3-Taiwan-70B-Instruct
Библиотека
transformers
Опубликована
29 авг 2024

Llama-3-Taiwan-70B-Instruct-GGUF

Генерация текстаТекст → текст9 профессий

Llama-3-Taiwan-70B-Instruct-GGUF — языковая модель для генерации текста и диалоговых сценариев, основанная на Llama-3-Taiwan-70B-Instruct от yentinglin.

1 521скачиваний за 30 дней0лайковвеса обновлены2 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель ориентирована на китайский язык, включая традиционный китайский Тайваня, а также английский. Формат GGUF предназначен для локального запуска и использования с совместимыми инструментами.

Модель имеет размер 70B параметров согласно названию, относится к семейству Llama 3 и использует инструкционную настройку. В карточке указаны контекст размером 4096 токенов, шаблон диалога llama-3-chat и поддержка запуска через GaiaNet. Квантование выполнено компанией Second State Inc. с использованием llama.cpp b3613.

Модель подходит для многоязычных чат-ботов, генерации и обработки текста, особенно в сценариях, связанных с китайским и английским языками. К сильным сторонам относятся большой размер, инструкционная настройка и возможность локального или распределённого запуска в формате GGUF. README не содержит результатов бенчмарков, точного уровня квантования, требований к оборудованию и подробностей об ограничениях качества, поэтому эти характеристики нельзя оценить по имеющимся данным. Указана лицензия llama3.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Класс архитектуры
LlamaForCausalLM
Ревизия весов
813770e

0 моделей