from transformers import pipeline, AlbertTokenizer, AlbertForMaskedLM
model = AlbertForMaskedLM.from_pretrained('josu/albert-pt-br')
tokenizer = AlbertTokenizer.from_pretrained('josu/albert-pt-br')
unmasker = pipeline('fill-mask', model=model, tokenizer=tokenizer ,device=0)
text = 'Marte está no [MASK] solar.'
unmasker(text)
[{'score': 0.7004144191741943,
'token': 244,
'token_str': 'sistema',
'sequence': 'marte esta no sistema solar.'},
{'score': 0.02539917267858982,
'token': 4077,
'token_str': 'solar',
'sequence': 'marte esta no solar solar.'},
{'score': 0.020301498472690582,
'token': 49,
'token_str': 'seu',
'sequence': 'marte esta no seu solar.'},
{'score': 0.01753508299589157,
'token': 482,
'token_str': 'centro',
'sequence': 'marte esta no centro solar.'},
{'score': 0.013344300910830498,
'token': 1401,
'token_str': 'plano',
'sequence': 'marte esta no plano solar.'}]
Характеристики
- Контекст
- 512 токенов
- Параметры
- 100 млн
- Архитектура
- albert · dense
- Опубликована
- 9 мар 2022
Ссылки
albert-pt-br
ALBERT для бразильского португальского предсказывает пропущенные слова и фрагменты текста по контексту.
92скачиваний за 30 дней1лайквеса обновлены9 мар 2022
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
josu/albert-pt-br — языковая модель семейства ALBERT, опубликованная пользователем josu на Hugging Face. Она предназначена для заполнения пропусков в тексте на бразильском португальском: модель предлагает вероятные слова или фрагменты на месте маркера [MASK]. Архитектура AlbertForMaskedLM содержит около 100,1 млн параметров, работает с контекстом до 512 токенов и представлена в формате PyTorch.
Модель подходит для восстановления пропущенных слов, проверки языковых гипотез и демонстраций предсказания контекста на португальском языке. Карточка показывает пример, где в предложении о Марсе модель предсказывает «sistema». Данных о специальной предметной области или дополнительных возможностях нет. Лицензия в предоставленных сведениях не указана.
Сценарии применения
- восстановление пропущенных слов в португальском тексте
- подбор вероятного слова для заполнения предложения
- проверка языковых гипотез о контексте фразы
Ограничения
Модель предназначена для заполнения масок и не описана как универсальная генеративная или диалоговая система. Лицензия и дополнительные ограничения в доступных сведениях не приведены.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельI.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…
- Класс архитектуры
- AlbertForMaskedLM
- Ревизия весов
- ba4eb26