Экспериментальная русскоязычная модель MiniCPM для генерации текста и простых задач классификации.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Vikhr-tiny-0.1 — экспериментальная текстовая генеративная модель семейства MiniCPM от Vikhrmodels. Она предназначена для генерации текста; метаданные также указывают поддержку классификации текста. В репозитории указаны архитектура MiniCPMForCausalLM, 2,8 млрд параметров, контекст до 2048 токенов и формат safetensors. В тегах перечислены русский, английский и китайский языки.
Карточка помечена «under dev» и содержит результаты тестов PARus и RCB, поэтому модель выглядит как незавершённая разработка; приведённые показатели не описывают широкий набор сценариев. Модель распространяется по лицензии Apache-2.0.
Карточка сообщает, что модель находится в разработке; тестовые результаты ограничены несколькими бенчмарками и не подтверждают качество для широкого круга задач. Контекст составляет 2048 токенов.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
DONT TOUCH, under dev
| Task | Version | Metric | Value | Stderr | |
|---|---|---|---|---|---|
| parus | 0 | acc | 0.4950 | ± | 0.0250 |
| rcb | 0 | acc | 0.3333 | ± | 0.0226 |
| f1_macro | 0.1667 | ||||
| rwsd | 0 | acc | 0.4901 | ± | 0.0203 |
| mmlu | 0 | 0.31 | 0.225 |
Based on https://huggingface.co/openbmb/MiniCPM-2B-sft-bf16
https://wandb.ai/alexwortega/cpm_rus/runs/32w8pv7x?workspace=user-alexwortega
lol
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Модели нужен код из репозитория; автор пока не в списке доверенных организаций.