/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
1,7 млрд
Лицензия
Своя лицензия
Архитектура
internlm2 · dense
Базовая модель
internlm2_5-1_8b-chat
Библиотека
transformers
Опубликована
22 сен 2024

full-train-expanded

Генерация текстаТекст → текст5 профессий

Дообученная InternLM2.5-1.8B-Chat для генерации текста, диалога и извлечения признаков.

12скачиваний за 30 дней0лайковвеса обновлены24 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

predict2 — дообученная модель на основе InternLM2.5-1.8B-Chat, созданная автором репозитория для работы с расширенным набором данных. Это плотная авторегрессионная языковая модель на 1,7 млрд параметров с контекстом до 32 768 токенов; репозиторий содержит веса в формате safetensors и рассчитан на использование через Transformers. Модель поддерживает диалог и может применяться для генерации текста, классификации текста и извлечения признаков.

Модель подойдёт для экспериментов и задач, где нужна компактная дообученная языковая модель. В README приведено значение loss 0,2200 на наборе оценки, но описание набора данных и методики оценки отсутствует, поэтому этот результат не позволяет судить о качестве на конкретных пользовательских задачах. Лицензия указана как other; условия использования следует сверить с карточкой модели и лицензией базовой модели.

Сценарии применения

  • генерация ответов в диалоговом интерфейсе
  • извлечение признаков из текста
  • классификация текстовых данных
  • эксперименты с дообученной компактной языковой моделью

Ограничения

README не описывает данные и методику оценки, поэтому приведённый loss 0,2200 не характеризует качество на конкретных задачах. Лицензия обозначена как other, а условия использования следует уточнить в карточке модели.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

predict2

This model is a fine-tuned version of internlm/internlm2_5-1_8b-chat on the expanded dataset. It achieves the following results on the evaluation set:

  • Loss: 0.2200

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 1e-05
  • train_batch_size: 4
  • eval_batch_size: 2
  • seed: 42
  • distributed_type: multi-GPU
  • gradient_accumulation_steps: 8
  • total_train_batch_size: 32
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: cosine
  • lr_scheduler_warmup_ratio: 0.1
  • num_epochs: 3.0

Training results

Training LossEpochStepValidation Loss
0.20620.59841000.2123
0.12561.19672000.2036
0.12961.79513000.1937
0.05922.39344000.2185
0.06462.99185000.2199

Framework versions

  • Transformers 4.44.2
  • Pytorch 2.4.0
  • Datasets 2.21.0
  • Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
InternLM2ForCausalLM
Ревизия весов
51e83b3

0 моделей