Японская BERT-модель оценивает семантическое сходство двух текстов и подходит для сравнения предложений.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель llm-book/bert-base-japanese-v3-jsts разработана авторами книги «大規模言語モデル入門» и представляет собой японскую модель BERT для оценки семантического сходства двух текстов. Она создана дообучением cl-tohoku/bert-base-japanese-v3 на наборе JGLUE JSTS и предназначена для сравнения предложений: модель возвращает числовую оценку сходства. Архитектура — BertForSequenceClassification, размер — 138,4 млн параметров, максимальная длина контекста — 512 токенов.
Модель работает с японским текстом, использует Transformers и опубликована в формате PyTorch. Лицензия — Apache 2.0. Оценка является выходным баллом модели; README не задаёт шкалу или порог для принятия решений.
Модель ориентирована на японский язык и обучена на JGLUE JSTS. README не указывает шкалу выходной оценки или порог, поэтому их следует определять для конкретного сценария.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
「大規模言語モデル入門」の第5章で紹介している(意味類似度計算)のモデルです。 cl-tohoku/bert-base-japanese-v3をJGLUEのJSTSデータセットでファインチューニングして構築されています。
from transformers import pipeline
text_sim_pipeline = pipeline(
model="llm-book/bert-base-japanese-v3-jsts",
function_to_apply="none",
)
text = "川べりでサーフボードを持った人たちがいます"
sim_text = "サーファーたちが川べりに立っています"
# textとsim_textの類似度を計算
result = text_sim_pipeline({"text": text, "text_pair": sim_text})
print(result["score"])
# 3.5703558921813965
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers · text-classification
Подбираем GPU…