Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
LWM-Text-1M — открытая авторегрессионная языковая модель на архитектуре Transformer семейства LLaMA, разработанная LargeWorldModel на основе LLaMA 2 и обученная в декабре 2023 года. В каталожных метаданных указаны 6,6 млрд параметров и контекст до 1 048 576 токенов; формат весов — PyTorch.
Модель предназначена для генерации текста и работы с очень длинными последовательностями. При обучении использовалась отфильтрованная подвыборка Books3: 800 документов длиной более миллиона токенов. Такое обучение делает модель ориентированной на продолжение текста в длинном контексте, но карточка не сообщает о специализированных прикладных навыках или поддержке конкретных естественных языков.
Модель распространяется как open source; конкретная лицензия в доступных данных не приведена. Качество, результаты оценивания и практические ограничения, кроме зависимости от обучающей выборки и специализации на длинном контексте, в карточке не описаны.
Сценарии применения
генерация продолжения длинного текста
работа с последовательностями объёмом до миллиона токенов
эксперименты с языковыми моделями на длинном контексте
Ограничения
Обучение описано на подвыборке Books3 из 800 документов, поэтому карточка не подтверждает широкую предметную специализацию. В доступных данных нет результатов оценки качества и конкретной лицензии.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Model type:
LWM-Text-1M is an open-source model trained from LLaMA-2 on a subset of Books3 filtered data. It is an auto-regressive language model, based on the transformer architecture.
Model date:
LWM-Text-1M was trained in December 2023.