Характеристики

Контекст: 2 048 токенов
Параметры: 1,5 млрд
Лицензия: MIT
Архитектура: retnet · dense
Библиотека: fla
Опубликована: 1 апр 2024

Ссылки

Hugging Face

retnet-1.3B-100B

fla-hub

Генерация текстаТекст → текст3 профессии

Англоязычная авторегрессионная модель RetNet примерно на 1,5 млрд параметров для генерации текста.

3 229скачиваний за 30 дней3лайкавеса обновлены9 фев 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

fla-hub/retnet-1.3B-100B — авторегрессионная языковая модель на архитектуре RetNet, опубликованная в fla-hub. По метаданным, она содержит около 1,5 млрд параметров, предназначена для генерации текста на английском языке и обучена на наборе данных SlimPajama-627B. Для модели указано контекстное окно 2048 токенов.

RetNet сочетает параллельное обучение с рекуррентным выводом; архитектура разработана как альтернатива Transformer для больших языковых моделей. Модель распространяется в формате safetensors под лицензией MIT. Карточка и доступные сведения не подтверждают специализированное дообучение на диалогах или конкретной прикладной области.

Сценарии применения

продолжение английского текста по заданному фрагменту
генерация текста для экспериментов с языковыми моделями
оценка и сравнение архитектуры RetNet в генерации текста

Ограничения

Контекстное окно ограничено 2048 токенами. Карточка не описывает инструкционную настройку или способности к диалогу, поэтому модель не следует считать специализированным чат-ассистентом.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Автор не опубликовал карточку модели.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fla

Нельзя запустить

Архитектура retnet неизвестна transformers в образе рантайма.

Класс архитектуры: RetNetForCausalLM
Ревизия весов: 7fddefc