/ Модель
Каталог

Характеристики

Контекст
4 096 токенов
Параметры
6,6 млрд
Архитектура
llama · dense
Опубликована
22 июл 2023

Ссылки

Hugging Face

Chinese-Llama-2-7B

seeledu
ЭмбеддингиТекст → embedding6 профессий

Дообученная на китайских инструкциях модель Llama на 6,6 млрд параметров для извлечения признаков из текста.

18скачиваний за 30 дней10лайковвеса обновлены26 июл 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

seeledu/Chinese-Llama-2-7B — плотная модель семейства Llama с 6,6 млрд параметров, дообученная на китайском наборе инструкций на основе llama2-7B-HF. В карточке Hugging Face для неё указана задача извлечения признаков; модель доступна в формате PyTorch и имеет контекстное окно до 4096 токенов.

Модель предназначена для извлечения векторных представлений текста. Дообучение на китайских инструкциях указывает на ориентацию на китайский язык, однако README не описывает конкретные сценарии применения, результаты оценки или ограничения. Лицензия в предоставленных данных не указана.

Сценарии применения

  • получение векторных представлений китайского текста
  • индексация китайских документов для семантического поиска
  • подготовка текстовых признаков для последующей классификации

Ограничения

README не приводит результатов оценки и конкретных ограничений; пригодность эмбеддингов для отдельных задач требует проверки. Лицензия в предоставленных данных не указана.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модельII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

llama2-7b-llama2_coig_dt_ca-all

This model is a fine-tuned version of llama2-7B-HF on an Chinese instruction dataset.

More information can be found in this Github Homepage.

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 1
  • distributed_type: multi-GPU
  • num_devices: 16
  • gradient_accumulation_steps: 2
  • total_train_batch_size: 256
  • total_eval_batch_size: 128
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: cosine
  • lr_scheduler_warmup_ratio: 0.03
  • num_epochs: 3.0

Framework versions

  • Transformers 4.28.0.dev0
  • Pytorch 1.13.1+cu117
  • Datasets 2.11.0
  • Tokenizers 0.13.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaModel
Ревизия весов
06301f6

0 моделей

    Создать бенчмарк