Модель LTG-BERT для предсказания замаскированных слов в английском тексте.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
nikitastheo/BERTtime-Stories-10m-nucleus-1-balanced — модель на архитектуре LTG-BERT, обученная на сочетании BabyLM Dataset, TinyStories Dataset и сгенерированных данных в рамках ограничений Stric-Small track и бюджета в 10 млн слов. В метаданных указаны 23,6 млн параметров, контекст до 512 токенов и библиотека Transformers; в карточке описано обучение с последовательностями длиной 128 токенов.
Модель предназначена для заполнения пропусков в тексте: она предсказывает замаскированные токены. Каталог также указывает поддержку классификации текста, однако README не описывает это применение или результаты оценки. Данных о специализированной области применения нет. Модель распространяется по лицензии GPL-3.0.
Обучение описано с длиной последовательности 128 токенов, а в метаданных указан контекст до 512 токенов. Гиперпараметры и результаты оценки в README не приведены.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model uses the LTG-BERT architecture. The model was trained on a combination of the BabyLM Dataset, the TinyStories Dataset, and generated data, in accordance with the rules of the Stric-Small track, and the 10M word budget.
The model was trained with 128 token sequence length
Hyperparameters used and evaluation scores will follow in a subsequent update.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers · fill-mask
Модели нужен код из репозитория; автор пока не в списке доверенных организаций.