Характеристики
- Контекст
- 512 токенов
- Параметры
- 454 млн
- Архитектура
- bert-generation · dense
Ссылки
bert_for_seq_generation_L-24_bbc_encoder
Англоязычный 24-слойный BERT-generation энкодер Google для кодирования текста и использования в системах генерации последовательностей.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Это англоязычный BERT-generation encoder от Google, опубликованный на Hugging Face. Модель имеет 24 слоя, 1024 скрытых измерения, 16 голов внимания и около 454 млн параметров; максимальная длина входа — 512 токенов. Она предназначена для кодирования текста и может служить энкодером в задачах генерации последовательностей, например суммаризации или перевода, в паре с декодером. Модель принимает текст и выдаёт контекстные представления токенов.
В конфигурации указана двунаправленная обработка контекста. Карточка не содержит сведений о лицензии, поэтому условия использования по имеющимся данным определить нельзя.
Сценарии применения
- кодирование текста для генеративной модели с энкодером и декодером
- подготовка входного текста для суммаризации
- подготовка текста для машинного перевода
Ограничения
Максимальная длина входа составляет 512 токенов; модель является энкодером и для генерации последовательностей требует декодер. В карточке модели не приведены условия лицензии.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
У модели не указана задача.
- Класс архитектуры
- BertForSeqGenerationEncoderModel
- Ревизия весов
- c817d1f