Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Microscopic-Mistral-132k-steps — экспериментальная авторская языковая модель, самостоятельно обученная разработчиком DrNicefellow на архитектуре Mistral. В метаданных указано 745 млн параметров, а в README — около 810 млн; это чекпойнт на шаге 132 тыс. обучения, рассчитанный на генерацию текста. Автор сообщает, что обучение ведётся на примерно 400 млрд токенов, а оценка качества ещё проводится.
Модель принимает текст и генерирует текст. Для неё указано контекстное окно 512 токенов и формат весов PyTorch. Токенизатор взят из другой модели, но её идентификатор в README не приведён. Репозиторий распространяется по лицензии Apache-2.0. Поскольку оценка качества ещё не завершена, пригодность модели для практических задач не подтверждена.
Сценарии применения
эксперименты с генерацией текста
изучение обучения компактной языковой модели
сравнение чекпойнтов по мере обучения
Ограничения
Качество модели ещё оценивается, поэтому её практические возможности не подтверждены. README и метаданные расходятся в оценке числа параметров: около 810 млн в README и 745 млн в метаданных.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Eager to buy me a cup of 2$ coffe or iced tea?🍵☕ Sure, here is the link: https://ko-fi.com/drnicefellow. Please add a note on which one you want me to drink?
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров