Характеристики

Контекст: 512 токенов
Параметры: 2,6 млн
Лицензия: CC BY 4.0
Архитектура: electra · dense

Ссылки

Hugging Face arXiv 2003.10555

electra-small-generator-da-256-cased

sarnikowski

Заполнение пропусковТекст → текст3 профессии

Небольшая датская ELECTRA-модель для предсказания замаскированных слов и заполнения пропусков в тексте.

1 353скачиваний за 30 дней0лайковвеса обновлены23 янв 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

sarnikowski/electra-small-generator-da-256-cased — небольшая датская модель семейства ELECTRA, предварительно обученная разработчиком на собственном корпусе объёмом около 17,5 ГБ. Она использует плотную архитектуру ElectraForMaskedLM и предназначена для заполнения пропусков в тексте: по контексту модель предсказывает замаскированный токен. Модель можно загрузить через Transformers в форматах PyTorch или TensorFlow.

Модель рассчитана на датский язык, сохраняет регистр и поддерживает контекст длиной до 512 токенов. В метаданных указано 2,6 млн параметров. Лицензия — Creative Commons Attribution 4.0 (CC BY 4.0).

Сценарии применения

подстановка пропущенного слова в датском предложении
оценка контекстно подходящих вариантов слова
подготовка датских текстов с пропусками для языковых упражнений

Ограничения

Модель предназначена для датского языка и имеет контекстное окно 512 токенов; карточка не приводит результатов бенчмарков или подробностей обучения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Danish ELECTRA small (cased)

An ELECTRA model pretrained on a custom Danish corpus (~17.5gb). For details regarding data sources and training procedure, along with benchmarks on downstream tasks, go to: https://github.com/sarnikowski/danish_transformers/tree/main/electra

Usage

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("sarnikowski/electra-small-generator-da-256-cased")
model = AutoModel.from_pretrained("sarnikowski/electra-small-generator-da-256-cased")

Questions?

If you have any questions feel free to open an issue in the danish_transformers repository, or send an email to p.sarnikowski@gmail.com

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: ElectraForMaskedLM
Ревизия весов: f3862af