Dolma v2 — BERT-модель для восстановления пропущенных слов и получения контекстных представлений текста на языке хмар.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Dolma v2 — модель BERT-base для предсказания замаскированных слов в текстах на языке хмар (Hmar, hmr). Её разработал пользователь azinamotoe; модель дообучена на базе robzchhangte/MizBERT и обучалась на наборе hmar-heritage-org/dolma-pretrain, содержащем 89 605 предложений и около 2,4 млн токенов.
Модель предназначена для восстановления пропусков в хмарских текстах и получения контекстных представлений слов. Она содержит 136,7 млн параметров, принимает текст с маскированными токенами, имеет контекстное окно 512 токенов и распространяется в формате Safetensors. В README указаны шесть эпох обучения, оценочная ошибка 1,90 и perplexity 6,68.
Лицензия модели — MIT. Обучение на ограниченном по объёму корпусе может сказываться на качестве для редких слов, тем и вариантов языка; модель ориентирована на задачу masked language modeling, а не на генерацию свободных ответов.
Обучающая выборка содержит около 2,4 млн токенов, поэтому качество может быть ограничено для редкой лексики и тем, не представленных в корпусе. Модель предназначена для предсказания пропущенных слов, а не для свободной генерации ответов.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Dolma v2 is a BERT-base masked language model for Hmar (hmr). It was trained on the hmar-heritage-org/dolma-pretrain dataset (89,605 sentences, ~2.4M tokens) across 6 total epochs, reaching an evaluation loss of 1.90 and a perplexity of 6.68.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Репозиторий недоступен на Hugging Face.