Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
LWM-Text-32K — авторегрессионная языковая модель с архитектурой Transformer и классом LlamaForCausalLM, разработанная командой LargeWorldModel. Модель объёмом 6,6 млрд параметров дообучена на базе LLaMA-2 на подмножестве документов Books3, отфильтрованных по длине: в обучающий набор вошли 78 тысяч документов объёмом от 10 до 100 тысяч токенов.
Модель предназначена для генерации текста с длинным контекстом до 32 768 токенов. Её можно применять для продолжения длинных текстов, создания черновиков и работы с большими фрагментами книг и документов. В карточке указаны обучение в декабре 2023 года и формат PyTorch. Поддерживаемые языки и специальные прикладные области не перечислены.
Лицензия в предоставленных данных не указана. Поскольку обучение проводилось на подмножестве Books3, пригодность модели для конкретного использования зависит от прав на модель и данные, а также от качества результата на целевых задачах.
Сценарии применения
продолжение длинных текстов
создание черновиков на основе длинного контекста
генерация текста по содержимому книги
продолжение фрагмента большого документа
Ограничения
Карточка не сообщает о поддерживаемых языках и лицензии. Обучение на отфильтрованном подмножестве Books3 может ограничивать соответствие модели другим жанрам и задачам; качество на конкретных сценариях не охарактеризовано.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Model type:
LWM-Text-32K is an open-source model trained from LLaMA-2 on a subset of Books3 filtered data. It is an auto-regressive language model, based on the transformer architecture.
Model date:
LWM-Text-32K was trained in December 2023.