This is a version of LaBSE-en-ru-myv-v1, fine-tuned for about 150K steps on the myv_ru_2022 dataset, in this notebook.
It demonstrates slighly better results than the v1 model, both on bitext mining and on the MLM task.
Характеристики
- Контекст
- 512 токенов
- Параметры
- 170 млн
- Лицензия
- CC BY-SA 4.0
- Архитектура
- bert · dense
- Опубликована
- 1 ноя 2023
Ссылки
LaBSE-en-ru-myv-v2
Дообученная модель BERT для построения представлений эрзянских и русских текстов и поиска параллельных фрагментов.
124скачиваний за 30 дней0лайковвеса обновлены3 ноя 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
LaBSE-en-ru-myv-v2 — дообученная slone версия модели LaBSE-en-ru-myv-v1 для работы с эрзянским и русским текстом. Модель основана на архитектуре BERT и содержит 170,2 млн параметров; обучение продолжалось около 150 тысяч шагов на наборе данных myv_ru_2022. Репозиторий содержит веса PyTorch, контекст модели — до 512 токенов.
Модель предназначена для получения текстовых представлений, поиска соответствий между эрзянскими и русскими фрагментами и задач языкового моделирования с маскировкой токенов. Автор сообщает о немного лучших результатах по извлечению параллельных текстов и MLM по сравнению с версией v1. Лицензия — CC BY-SA 4.0.
Сценарии применения
- поиск параллельных предложений на эрзянском и русском
- сопоставление эрзянских и русских текстов по смыслу
- извлечение эмбеддингов предложений
- заполнение пропусков в эрзянском и русском тексте
Ограничения
Контекст ограничен 512 токенами. В README заявлено лишь небольшое улучшение относительно v1; численные результаты и подробная оценка не приведены.
Для каких профессий подходит5
Разделы каталога профессий, в задачах которых используется эта модель
I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделейI.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельI.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель
Также подходит для
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- BertForPreTraining
- Ревизия весов
- d300fbd