Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Doge-20M-checkpoint — чекпойнт языковой модели семейства Doge, опубликованный SmallDoge. Модель с архитектурой MoE и 13,1 млн параметров предназначена для генерации текста и диалоговых сценариев на английском языке. Она принимает текст и выдаёт текст; максимальная длина контекста составляет 2048 токенов.
Карточка описывает график обучения WSD с этапами разогрева, стабильного обучения и снижения скорости обучения. Для продолжения обучения Doge-20M указана начальная скорость 8e-3; стабильная стадия позволяет продолжать обучение на новых данных с чекпойнта без скачков обучения. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0.
Это компактный чекпойнт, подходящий для экспериментов с продолжением обучения и генерацией короткого текста. Данных о качестве ответов, результатах оценки и специализации на конкретных областях в карточке нет; контекст ограничен 2048 токенами.
Сценарии применения
эксперименты с генерацией английского текста
продолжение обучения на новом наборе данных
создание простого диалогового прототипа
Ограничения
Контекст ограничен 2048 токенами; карточка не приводит результатов оценки качества или описания специализированной области применения.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Doge uses wsd_scheduler as the training scheduler, which divides the learning rate into three stages: warmup, stable, and decay. It allows us to continue training on any new dataset from any checkpoint in the stable stage without spikes of the training.
Here are the initial learning rates required to continue training at each checkpoint:
