Microscopic-Olmo-2B-25.3k-steps

Microscopic-Olmo — самостоятельно обученная автором модели DrNicefellow языковая модель семейства OLMo с плотной архитектурой и примерно 2 млрд параметров. Репозиторий содержит чекпойнт на шаге обучения 25,3 тыс.; автор сообщает, что обучение ведётся на объёме около 400 млрд токенов. Для токенизатора использован токенизатор другой модели, но его источник в карточке не назван.

Модель предназначена для генерации текста и экспериментов с языковыми моделями. Её контекст составляет 2048 токенов, веса доступны в формате PyTorch, лицензия — Apache-2.0. Автор сообщает, что оценка качества ещё проводится, поэтому результатов и подтверждённых сильных сторон в карточке нет.