bert-base-japanese-v3-bpr-passage-aio
「大規模言語モデル入門」の第9章で紹介している文書検索モデルBPRのパッセージエンコーダです。 cl-tohoku/bert-base-japanese-v3 を llm-book/aio-retriever でファインチューニングして構築されています。
関連リンク
使い方
BPRのパッセージエンコーダの使い方については、書籍の第9章、および上記関連リンクのColabノートブックを参照してください。
Характеристики
- Контекст
- 512 токенов
- Параметры
- 138 млн
- Лицензия
- Apache 2.0
- Архитектура
- bert · dense
- Библиотека
- transformers
- Опубликована
- 6 июн 2023
Ссылки
bert-base-japanese-v3-bpr-passage-aio
ЭмбеддингиТекст → embedding
Японский BERT-энкодер преобразует фрагменты документов в признаки для поиска по корпусу.
112скачиваний за 30 дней0лайковвеса обновлены24 июл 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
llm-book разработал BPR-энкодер пассажей для поиска документов, описанный в главе 9 книги «Введение в большие языковые модели». Модель создана дообучением cl-tohoku/bert-base-japanese-v3 на наборе llm-book/aio-retriever и предназначена для кодирования фрагментов документов при поиске.
Сценарии применения
- кодирование фрагментов документов для поисковой системы
- подготовка пассажей для BPR-поиска документов
- извлечение признаков из японских текстов для поиска
Ограничения
Контекст ограничен 512 токенами; модель предназначена для японских текстов и кодирования пассажей, поэтому для других языков и задач её пригодность не подтверждена.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…
- Класс архитектуры
- BertModel
- Ревизия весов
- 5a959c0