Характеристики

Контекст: 1 024 токена
Параметры: 40,1 млн
Архитектура: deberta-v2 · dense
Библиотека: transformers
Опубликована: 14 авг 2025

Ссылки

amlm_hd_fail

Заполнение пропусковТекст → текст3 профессии

Экспериментальная модель DeBERTa-v2 для восстановления замаскированных токенов, неудачно обученная и известная из-за ошибочных результатов оценки.

2 827скачиваний за 30 дней1лайквеса обновлены16 сен 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это экспериментальная модель для заполнения пропусков в тексте, опубликованная lukas. Она основана на архитектуре DeBERTa-v2 и содержит 40,1 млн параметров; максимальная длина контекста — 1024 токена. Модель появилась вследствие неудачного обучения с слишком маленьким размером пакета: автор сообщает о резком росте ошибки обучения. Первоначально модель показывала хорошие результаты на нескольких тестах BabyLM, однако автор связывает их с ошибками в конвейере оценки, которые выявил его студент Сердар Гюльбахар.

Модель предназначена для экспериментов с задачей восстановления замаскированных токенов и изучения влияния ошибок обучения и оценки. Автор ожидает, что после исправления ошибок оценки модель будет показывать низкие результаты. В репозитории указаны веса в формате safetensors. Лицензия в предоставленных сведениях не описана.

Сценарии применения

восстановление замаскированных слов в тексте
эксперименты с влиянием малого размера пакета на обучение
изучение ошибок в оценке моделей BabyLM

Ограничения

Обучение модели, по словам автора, фактически провалилось из-за слишком маленького размера пакета. Первоначально высокие результаты на нескольких тестах объяснялись ошибками конвейера оценки, поэтому ожидать от модели хорошего качества не следует.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for Model ID

This is a model I accidentally trained with too low a batch size, causing the training loss to spike and essentially fail. I found it amusing that it nevertheless does very well on EWoK, Entity Tracking, Adjective Nominalization, COMPS, and AoA. Maybe this says something about ourselves, how so many in society fail upwards... food for thought.

UPDATE

Thanks to the work of my student Serdar Gülbahar, the reason for this model scoring well has been traced to a few bugs in the babylm evaluation pipeline. The issue is currently being fixed here: https://github.com/babylm/evaluation-pipeline-2025/issues/34

After this is fixed, this model should perform quite poorly, as expected.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: DebertaV2ForMaskedLM
Ревизия весов: ca21f73