bert-base-japanese-v3-jcommonsenseqa
「大規模言語モデル入門」の第5章で紹介している(多肢選択式質問応答)のモデルです。 cl-tohoku/bert-base-japanese-v3をJGLUEのJCommonsenseQAデータセットでファインチューニングして構築されています。
関連リンク
使い方
Colabノートブック（推論）をご覧ください。
Характеристики
- Контекст
- 512 токенов
- Параметры
- 138 млн
- Лицензия
- Apache 2.0
- Архитектура
- bert · dense
- Библиотека
- transformers
- Опубликована
- 20 июн 2023
Ссылки
bert-base-japanese-v3-jcommonsenseqa
Японская BERT-модель, дообученная на JCommonsenseQA для выбора ответа на вопросы о здравом смысле.
129скачиваний за 30 дней0лайковвеса обновлены24 июл 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Модель llm-book/bert-base-japanese-v3-jcommonsenseqa разработана авторами проекта llm-book для ответов на вопросы с выбором одного из предложенных вариантов. Она создана дообучением cl-tohoku/bert-base-japanese-v3 на японском наборе данных JCommonsenseQA из JGLUE и предназначена для японских задач на понимание здравого смысла.
Это модель семейства BERT с архитектурой BertForMultipleChoice, примерно 138,4 млн параметров и контекстом до 512 токенов. Она принимает текст вопроса и варианты ответа и оценивает их, выбирая наиболее подходящий. Модель работает с японским языком и распространяется по лицензии Apache License 2.0.
Модель специализирована на формате JCommonsenseQA; её пригодность для иных языков, типов вопросов и предметных областей не подтверждена. Для запуска можно использовать Transformers и пример инференса из связанного ноутбука Colab.
Сценарии применения
- выбор правильного ответа в японских тестах с вариантами
- ответы на японские вопросы о повседневном здравом смысле
- оценка вариантов ответа в заданиях JCommonsenseQA
Ограничения
Модель дообучена для японского набора JCommonsenseQA; качество на других языках и типах заданий не подтверждено. Ограничение контекста — 512 токенов.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers · multiple-choice
Подбираем GPU…
- Класс архитектуры
- BertForMultipleChoice
- Ревизия весов
- 6734b1a