Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Doge-320M-checkpoint — контрольная точка языковой модели семейства Doge, опубликованная SmallDoge. Модель с архитектурой DogeForCausalLM содержит 335,5 млн параметров и предназначена для генерации текста; метаданные также отмечают возможность диалогового использования и интерфейс вызова инструментов. Репозиторий содержит веса в формате safetensors, а карточка указывает датасет HuggingFaceTB/smollm-corpus и лицензию Apache-2.0.
Карточка описывает планировщик обучения wsd_scheduler с этапами разогрева, стабильного обучения и снижения скорости обучения, а также возможность продолжать обучение с контрольных точек стабильного этапа. Заявленный контекст составляет 2048 токенов; языковая разметка указывает английский. Модель может подходить для экспериментов и компактных приложений генерации текста, однако README не приводит оценок качества или подробных рекомендаций по применению.
Сценарии применения
генерация коротких текстовых ответов
создание простого диалогового помощника
эксперименты с продолжением обучения на новых данных
Ограничения
Контекст ограничен 2048 токенами. В карточке не приведены результаты оценки качества или подтверждение надёжности вызова инструментов.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Doge uses wsd_scheduler as the training scheduler, which divides the learning rate into three stages: warmup, stable, and decay. It allows us to continue training on any new dataset from any checkpoint in the stable stage without spikes of the training.
Here are the initial learning rates required to continue training at each checkpoint:
