LTG-BERT с 97,5 млн параметров для заполнения пропусков в английских текстах, обученный на BabyLM, TinyStories и сгенерированных данных.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
nikitastheo/BERTtime-Stories-100m-nucleus-1 — языковая модель на архитектуре LTG-BERT, разработанная автором репозитория и обученная на сочетании наборов BabyLM и TinyStories, а также сгенерированных данных в рамках трека Strict с бюджетом 100 млн слов. Модель содержит 97,5 млн параметров и использует библиотеку Transformers; для неё указано окно контекста 512 токенов, а в карточке описано обучение на последовательностях длиной 128 токенов.
Модель предназначена для заполнения пропусков в англоязычном тексте; каталог также отмечает классификацию текста как поддерживаемую задачу. Веса доступны в формате PyTorch под лицензией GPL-3.0. Показатели оценки и гиперпараметры в карточке не приведены.
Обучение проводилось на последовательностях длиной 128 токенов; сведения о гиперпараметрах и оценках качества в карточке отсутствуют.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model uses the LTG-BERT architecture. The model was trained on a combination of the BabyLM Dataset, the TinyStories Dataset, and generated data, in accordance with the rules of the Stric track, and the 100M word budget.
The model was trained with 128 token sequence length
Hyperparameters used and evaluation scores will follow in a subsequent update.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers · fill-mask
Модели нужен код из репозитория; автор пока не в списке доверенных организаций.