Характеристики
- Контекст
- 2 048 токенов
- Параметры
- 1,5 млрд
- Лицензия
- MIT
- Архитектура
- hgrn2 · dense
- Библиотека
- fla
- Опубликована
- 16 апр 2024
Ссылки
hgrn2-1.3B-100B
Англоязычная модель HGRN2 с 1,5 млрд параметров для генерации текста по контексту.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
HGRN2-1.3B-100B — языковая модель fla-hub на архитектуре HGRN2, опубликованная в библиотеке fla. Она предназначена для генерации текста на основе текстового контекста. Модель содержит около 1,5 млрд параметров, обучена на 100 млрд токенов датасета SlimPajama-627B и имеет контекстное окно 2048 токенов.
Это плотная авторегрессионная модель класса HGRN2ForCausalLM. В карточке указана поддержка английского языка; доступны веса Safetensors. Лицензия — MIT. Модель подходит для текстовой генерации, однако короткое контекстное окно ограничивает работу с длинными документами.
Сценарии применения
- генерация продолжения английского текста
- подготовка черновиков на английском языке
- создание коротких ответов по текстовой подсказке
Ограничения
Контекстное окно ограничено 2048 токенами. Карточка не описывает специализированные области применения или дополнительные возможности помимо генерации текста.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fla
Архитектура hgrn2 неизвестна transformers в образе рантайма.
- Класс архитектуры
- HGRN2ForCausalLM
- Ревизия весов
- 2f413dd