Характеристики

Контекст: 512 токенов
Параметры: 265 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Опубликована: 2 мар 2022

Ссылки

muril-adapted-local

Заполнение пропусковТекст → текст3 профессии

MuRIL — многоязычная BERT-модель Google для предсказания скрытых слов в текстах на индийских языках и их транслитерациях.

53скачиваний за 30 дней2лайкавеса обновлены3 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MuRIL — многоязычная BERT-модель Google для индийских языков, представленная в этом репозитории как неофициальная конверсия исходной модели из TFHub. Она предварительно обучена на 17 индийских языках и их вариантах транслитерации с помощью masked language modeling и предназначена для задачи fill-mask: предсказания скрытых слов в тексте. Модель содержит 264,8 млн параметров, поддерживает последовательности до 512 токенов и доступна в форматах PyTorch, TensorFlow и Flax.

Модель подходит для восстановления пропусков и анализа контекста на индийских языках, включая тексты с транслитерацией. Репозиторий описывает перенос весов из TFHub через форматы H5 и PyTorch для совместимости с Transformers. Лицензия — Apache 2.0. Карточка не приводит оценок качества на отдельных языках.

Сценарии применения

предсказание пропущенных слов в тексте на хинди
восстановление маскированных слов в индийских языках
анализ контекста в текстах на языках Индии
обработка транслитерированных индийских текстов

Ограничения

Максимальная длина последовательности составляет 512 токенов. Карточка не приводит оценок качества по отдельным языкам.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MuRIL - Unofficial

Multilingual Representations for Indian Languages : Google open sourced this BERT model pre-trained on 17 Indian languages, and their transliterated counterparts.

The model was trained using a self-supervised masked language modeling task. We do whole word masking with a maximum of 80 predictions. The model was trained for 1000K steps, with a batch size of 4096, and a max sequence length of 512.

Original model on TFHub: https://tfhub.dev/google/MuRIL/1

Official release now on HuggingFace (March 2021) https://huggingface.co/google/muril-base-cased

License: Apache 2.0

About this upload

I ported the TFHub .pb model to .h5 and then pytorch_model.bin for compatibility with Transformers.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMaskedLM
Ревизия весов: 3dd1c4a