Дообученная языковая модель TRM для генерации текста и диалогов на японском и английском языках.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
TRM-textV3.6 — языковая модель семейства TRM, разработанная summerMC. Это финальная оценочная версия, дообученная на базе summerMC/TRM-textv3.5: автор сообщает о продолжении предобучения на 250 млн токенов и полном SFT на наборе databricks-dolly-15k-ja из 15 тысяч примеров. Модель предназначена для генерации текста и диалоговых сценариев на японском и английском языках.
В карточке приведены результаты оценки после SFT на ARC-Easy, HellaSwag и PIQA: нормированная точность составляет соответственно 0,3300, 0,2638 и 0,5539. Модель распространяется в формате safetensors по лицензии Apache-2.0. Размер модели и длина контекста в доступных данных не приведены.
В приведённых оценках результаты на ARC-Easy и HellaSwag невысоки; качество для других задач и сценариев не описано. Контекстное окно и размер модели в доступных данных не указаны.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
summerMC/TRM-textv3.5 に250Mトークンの継続事前学習と、databricks-dolly-15k-ja 全量を用いたフルSFTを施した最終評価版です。
| Task | Metric | Value |
|---|---|---|
| ARC-Easy | acc_norm | 0.3300 |
| HellaSwag | acc_norm | 0.2638 |
| PIQA | acc_norm | 0.5539 |
※15kサンプルのフルSFTにより、プロンプト形式への適応を最大化しています。
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Модели нужен код из репозитория; автор пока не в списке доверенных организаций.