Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Doge-160M-checkpoint — языковая модель семейства Doge, опубликованная SmallDoge. Это плотная авторегрессионная модель для генерации текста с 152,6 млн параметров; репозиторий содержит веса в формате Safetensors. В метаданных указаны поддержка диалога и интерфейса вызова инструментов, английский язык и контекст длиной 2048 токенов.
Модель подходит для генерации продолжений текста и простых диалоговых сценариев. README описывает планировщик обучения WSD с этапами разогрева, стабильного обучения и затухания скорости обучения, а также приводит начальную скорость обучения для продолжения обучения Doge-160M на стабильном этапе. Указан корпус обучения HuggingFaceTB/smollm-corpus.
Модель распространяется по лицензии Apache-2.0. Карточка описывает чекпойнт и параметры продолжения обучения, но не приводит оценок качества или результатов тестирования.
Сценарии применения
генерация продолжения английского текста
создание коротких диалоговых ответов
эксперименты с дообучением языковой модели
продолжение обучения чекпойнта Doge на новом датасете
Ограничения
Контекст ограничен 2048 токенами. В карточке не приведены результаты оценки качества или сведения о пригодности для конкретных прикладных областей.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Doge uses wsd_scheduler as the training scheduler, which divides the learning rate into three stages: warmup, stable, and decay. It allows us to continue training on any new dataset from any checkpoint in the stable stage without spikes of the training.
Here are the initial learning rates required to continue training at each checkpoint:
