Двуязычная модель эмбеддингов предложений для вычисления семантического сходства между текстами на корейском и английском языках.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
ddobokki/klue-roberta-base-nli-sts-ko-en — модель эмбеддингов предложений на основе архитектуры RoBERTa, дообученная на данных NLI и STS для корейского и английского языков. Она предназначена для получения векторных представлений текстов и вычисления семантического сходства, например, для сравнения запроса с набором предложений по косинусному сходству. Модель содержит 137,8 млн параметров и принимает последовательности длиной до 514 токенов.
Модель подходит для поиска семантически близких предложений и сопоставления текстов на корейском и английском. Карточка демонстрирует сравнение корейского запроса с английскими и корейскими предложениями. Доступна в форматах PyTorch и safetensors. Лицензия в предоставленных данных не указана.
Контекст ограничен 514 токенами. Карточка не приводит количественных оценок качества или сведений о лицензии.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
한국어와 영어의 nli, sts데이터를 klue/roberta-base에 학습시킨 모델입니다.
from sentence_transformers import SentenceTransformer
from sklearn.metrics.pairwise import cosine_similarity
query = ['그는 그녀를 좋아한다.']
sentences = ["he love her", "he hate her", '그녀는 그를 싫어한다.','attention is all you need']
emb1 = model.encode(query)
emb2 = model.encode(sentences)
print(cosine_similarity(emb1,emb2))
-> array([[0.62751913, 0.23996451, 0.30788696, 0.08123618]], dtype=float32)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…