/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
136 млн
Архитектура
bert · dense

Ссылки

Hugging Face

bert-base-cased-conversational

DeepPavlov
ЭмбеддингиТекст → embedding5 профессий

Англоязычная разговорная модель BERT для извлечения контекстных признаков из текста.

171скачиваний за 30 дней8лайковвеса обновлены8 ноя 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DeepPavlov/bert-base-cased-conversational — англоязычная разговорная модель BERT, разработанная DeepPavlov на основе английского BERT-base с сохранением регистра. Она обучалась на англоязычных сообщениях Twitter и Reddit, диалогах DailyDialogues, субтитрах OpenSubtitles, дебатах, блогах и комментариях к новостям Facebook. Модель предназначена для извлечения контекстных признаков из текста; карточка также сообщает о загрузке версии с MLM- и NSP-головами.

Архитектура — BERT-base: 12 слоёв, скрытый размер 768 и 12 голов внимания. В README указано 110 млн параметров, а в метаданных — 135,5 млн; контекст составляет до 512 токенов. В метаданных отмечены английский язык и форматы PyTorch и Flax.

Модель подходит для получения контекстных представлений разговорного английского текста, которые можно использовать в последующих NLP-задачах. Она не является генеративным чат-ботом и сама по себе не предназначена для свободной генерации ответов. Лицензия в предоставленных данных не указана.

Сценарии применения

  • получение эмбеддингов английских реплик из диалогов
  • извлечение признаков из комментариев и сообщений в соцсетях
  • подготовка текстовых представлений для последующей NLP-классификации

Ограничения

Контекст ограничен 512 токенами; модель извлекает признаки и не предназначена сама по себе для генерации диалоговых ответов. В README и метаданных приведены разные значения числа параметров: 110 млн и 135,5 млн.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделейII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделейI.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bert-base-cased-conversational

Conversational BERT (English, cased, 12‑layer, 768‑hidden, 12‑heads, 110M parameters) was trained on the English part of Twitter, Reddit, DailyDialogues[1], OpenSubtitles[2], Debates[3], Blogs[4], Facebook News Comments. We used this training data to build the vocabulary of English subtokens and took English cased version of BERT‑base as an initialization for English Conversational BERT.

08.11.2021: upload model with MLM and NSP heads

[1]: Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A Manually Labelled Multi-turn Dialogue Dataset. IJCNLP 2017.

[2]: P. Lison and J. Tiedemann, 2016, OpenSubtitles2016: Extracting Large Parallel Corpora from Movie and TV Subtitles. In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC 2016)

[3]: Justine Zhang, Ravi Kumar, Sujith Ravi, Cristian Danescu-Niculescu-Mizil. Proceedings of NAACL, 2016.

[4]: J. Schler, M. Koppel, S. Argamon and J. Pennebaker (2006). Effects of Age and Gender on Blogging in Proceedings of 2006 AAAI Spring Symposium on Computational Approaches for Analyzing Weblogs.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
BertModel
Ревизия весов
5415204

0 моделей

    Создать бенчмарк