falcon-rw-1b

Это авторегрессионная decoder-only языковая модель для генерации текста и исследовательского изучения влияния фильтрации и дедупликации веб-данных на свойства больших языковых моделей.

Модель содержит около 1 млрд параметров, обучена на 350 млрд токенов англоязычного датасета RefinedWeb с GPT-2 tokenizer. Архитектура включает 24 слоя, размер скрытого состояния 2048, 32 attention heads, словарь из 50 304 токенов и максимальную длину последовательности 2048 токенов. Используются causal language modeling, ALiBi и FlashAttention; модель поддерживает только текстовую модальность и предназначена прежде всего для английского языка.

К сильным сторонам относятся компактный размер и результаты, сопоставимые с моделями, обученными на более традиционно подготовленных данных, согласно карточке модели. Ограничения включают слабую применимость к другим языкам, возможное воспроизведение стереотипов и предвзятости веб-корпуса, а также непредназначенность для производственного использования без отдельной оценки рисков и мер защиты. В карточке указана лицензия Apache 2.0; для коммерческого использования следует также учитывать условия лицензии TII Falcon LLM, опубликованной вместе с исходной моделью.