/ Модель

Характеристики

Контекст
514 токенов
Параметры
659 млн
Лицензия
Apache 2.0
Архитектура
xlm-roberta · dense
Библиотека
sentence-transformers
Опубликована
24 сен 2024

Nepali_Embedding_Model

ЭмбеддингиТекст → embedding9 профессий

Многоязычная Sentence Transformer модель для получения эмбеддингов предложений и поиска семантического сходства, в том числе для английского и непальского языков.

96скачиваний за 30 дней6лайковвеса обновлены24 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Nepali_Embedding_Model — модель Sentence Transformers на архитектуре XLM-RoBERTa, представленная пользователем universalml. Она преобразует текстовые предложения в векторные представления для сравнения их семантической близости; для оценки сходства рекомендуется косинусная мера. Модель содержит 658,7 млн параметров, принимает последовательности длиной до 512 токенов и выдаёт эмбеддинги размерностью 1024.

Модель предназначена для поиска семантически похожих предложений и других сценариев, где текст нужно представить в виде векторов. В метаданных указаны английский и непальский языки, а лицензия — Apache-2.0. Карточка не уточняет ограничения качества или языковую специализацию за пределами названия модели и языковых тегов.

Сценарии применения

  • поиск семантически похожих предложений на непальском языке
  • сравнение сходства англоязычных текстов
  • векторный поиск по коллекции предложений
  • группировка похожих коротких текстов по эмбеддингам

Ограничения

Максимальная длина последовательности составляет 512 токенов. Карточка не приводит результатов оценки качества или подробных ограничений для отдельных языков и типов текстов.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 1024 tokens
  • Similarity Function: Cosine Similarity

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("universalml/Nepali_Embedding_Model")
# Run inference
sentences = [
    'म कसरी बिस्तारै तौल घटाउन सक्छु?',
    'वजन घटाउनको लागि कुनै राम्रो आहार हो?',
    'कस्तो प्रकारको आहार कसैले आहार नचाहने व्यक्तिका लागि उत्तम हुन्छ?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · sentence-transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
XLMRobertaModel
Ревизия весов
b7a62f3

0 моделей