bert-base-japanese-v3-bpr-question-aio
「大規模言語モデル入門」の第9章で紹介している文書検索モデルBPRの質問エンコーダです。 cl-tohoku/bert-base-japanese-v3 を llm-book/aio-retriever でファインチューニングして構築されています。
関連リンク
使い方
BPRの質問エンコーダの使い方については、書籍の第9章、および上記関連リンクのColabノートブックを参照してください。
Характеристики
- Контекст
- 512 токенов
- Параметры
- 138 млн
- Лицензия
- Apache 2.0
- Архитектура
- bert · dense
- Библиотека
- transformers
- Опубликована
- 6 июн 2023
Ссылки
bert-base-japanese-v3-bpr-question-aio
ЭмбеддингиТекст → embedding
Дообученный японский BERT-энкодер преобразует поисковые запросы в признаки для BPR-системы поиска документов.
107скачиваний за 30 дней0лайковвеса обновлены24 июл 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Модель разработана проектом llm-book и представляет собой энкодер запросов для BPR — модели поиска документов, описанной в главе 9 книги «Введение в большие языковые модели». Она построена дообучением cl-tohoku/bert-base-japanese-v3 на наборе данных llm-book/aio-retriever.
Это японская BERT-модель с 138,4 млн параметров и контекстом до 512 токенов. Она преобразует текстовые запросы в признаки для использования в поиске документов. Репозиторий содержит веса PyTorch и использует библиотеку Transformers.
Модель предназначена для компонента поиска документов, а не для генерации ответов. Доступна по лицензии Apache License 2.0.
Сценарии применения
- кодирование японских запросов для поиска документов
- построение векторного представления запроса в BPR
- поиск релевантных документов по японскому запросу
Ограничения
Модель предназначена для японских запросов и компонента поиска документов; контекст ограничен 512 токенами. Для работы в поисковой системе требуется использовать её как энкодер запросов BPR.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…
- Класс архитектуры
- BertModel
- Ревизия весов
- 8b66c8e