LWM-Text-256K — авторегрессионная языковая модель с открытыми весами, разработанная LargeWorldModel на основе LLaMA 2. Это плотный трансформер с 6,6 млрд параметров и контекстным окном до 262 144 токенов, предназначенный для генерации текста с учётом длинного контекста.

Модель обучена в декабре 2023 года на подмножестве Books3: 37 тысяч документов длиной от 200 до 500 тысяч токенов. Она подходит для продолжения и анализа объёмных текстов, например книг и длинных документов. Карточка не приводит результаты оценки качества или условия лицензии, поэтому пригодность для конкретных задач и права на использование следует проверять отдельно.