Характеристики

Контекст: 2 048 токенов
Параметры: 3 млрд
Размер весов: 5,5 ГБ
Лицензия: MIT
Архитектура: gsa · dense
Библиотека: fla
Опубликована: 9 июн 2024

Ссылки

gsa-2.7B-100B

Генерация текстаТекст → текст3 профессии

Производная модели fla-hub/gsa-1.3B-100B. Модель GSA с 1,5 млрд параметров для генерации текста и эффективного моделирования последовательностей.

82скачиваний за 30 дней0лайковвеса обновлены9 фев 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Карточка модели fla-hub/gsa-2.7B-100B на Hugging Face совпадает с карточкой fla-hub/gsa-1.3B-100B, поэтому описание составлено по ней.

fla-hub/gsa-1.3B-100B — языковая модель семейства GSA, разработанная в рамках работы «Gated Slot Attention for Efficient Linear-Time Sequence Modeling». Она предназначена для генерации текста и исследования эффективного моделирования последовательностей; в метаданных указаны архитектура GSAForCausalLM, около 1,5 млрд параметров и контекст до 2048 токенов.

Модель распространяется в формате Safetensors и использует библиотеку FLA. В качестве обучающего набора в метаданных указан Cerebras SlimPajama-627B; язык карточки — английский. Лицензия MIT разрешает использование, изменение и распространение на её условиях.