/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
205 млн
Архитектура
bert · dense

Ссылки

Hugging Face

rubert-base-cased-conversational

DeepPavlov
ЭмбеддингиТекст → embedding8 профессий

Русскоязычная BERT-модель DeepPavlov для извлечения контекстных признаков из разговорных текстов.

1 374скачиваний за 30 дней26лайковвеса обновлены8 ноя 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Conversational RuBERT — русскоязычная модель семейства BERT, разработанная DeepPavlov для извлечения признаков из текста. Её обучали на субтитрах OpenSubtitles, данных Dirty и Pikabu, а также сегменте социальных сетей корпуса Taiga; словарь создан специально для этой модели, а веса инициализированы RuBERT. В карточке указаны 12 слоёв, размер скрытого представления 768 и 12 голов внимания; метаданные каталога указывают 205,1 млн параметров и контекст до 512 токенов.

Модель подходит для получения контекстных векторных представлений русскоязычных разговорных текстов, которые можно использовать в последующих задачах NLP. Репозиторий содержит варианты PyTorch и Flax, а в README упомянуты MLM- и NSP-головы. Сведения о лицензии в предоставленных данных отсутствуют.

Сценарии применения

  • получение векторных представлений русских реплик
  • подготовка признаков для классификации сообщений
  • извлечение признаков для поиска похожих высказываний
  • подготовка входных представлений для русскоязычных NLP-моделей

Ограничения

Контекст ограничен 512 токенами; модель ориентирована на русский язык и разговорные данные. Лицензия и результаты оценки качества в предоставленных материалах не описаны.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модельI.12Универсальные способностиРекомендации и персонализацияAI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию.15 задач7 627моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

rubert-base-cased-conversational

Conversational RuBERT (Russian, cased, 12‑layer, 768‑hidden, 12‑heads, 180M parameters) was trained on OpenSubtitles[1], Dirty, Pikabu, and a Social Media segment of Taiga corpus[2]. We assembled a new vocabulary for Conversational RuBERT model on this data and initialized the model with RuBERT.

08.11.2021: upload model with MLM and NSP heads

[1]: P. Lison and J. Tiedemann, 2016, OpenSubtitles2016: Extracting Large Parallel Corpora from Movie and TV Subtitles. In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC 2016)

[2]: Shavrina T., Shapovalova O. (2017) TO THE METHODOLOGY OF CORPUS CONSTRUCTION FOR MACHINE LEARNING: «TAIGA» SYNTAX TREE CORPUS AND PARSER. in proc. of “CORPORA2017”, international conference , Saint-Petersbourg, 2017.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
BertModel
Ревизия весов
645946c

0 моделей

    Создать бенчмарк