/ Модель

Характеристики

Контекст
512 токенов
Параметры
124 млн
Лицензия
Apache 2.0
Архитектура
bert · dense
Опубликована
10 окт 2022

ConGen-Multilingual-MiniLM-L12

ЭмбеддингиТекст → embedding

Модель ConGen на архитектуре BERT преобразует предложения в 384-мерные векторы для семантического поиска и сравнения текстов.

103скачиваний за 30 дней0лайковвеса обновлены12 янв 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ConGen-Multilingual-MiniLM-L12 — модель семейства ConGen, представленная пользователем kornwtp. Она преобразует предложения в плотные векторы размерности 384 для поиска по смыслу и сравнения семантического сходства. В метаданных указаны архитектура BERT, реализация BertModel, формат PyTorch и контекст до 512 токенов; число параметров — 124,3 млн.

Модель предназначена для построения векторного поиска и задач семантического текстового сходства. Лицензия Apache-2.0 разрешает использование на её условиях. README не уточняет языковой охват, поэтому языки не перечислены.

Сценарии применения

  • семантический поиск по коллекции предложений
  • поиск похожих текстов по смыслу
  • сравнение семантического сходства двух предложений

Ограничения

Контекст ограничен 512 токенами. README не сообщает, для каких языков обучалась модель.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

kornwtp/ConGen-Multilingual-MiniLM-L12

This is a ConGen model: It maps sentences to a 384 dimensional dense vector space and can be used for tasks like semantic search.

Usage

Using this model becomes easy when you have ConGen installed:

pip install -U git+https://github.com/KornWtp/ConGen.git

Then you can use the model like this:

from sentence_transformers import SentenceTransformer
sentences = ["This is an example sentence", "Each sentence is converted"]

model = SentenceTransformer('kornwtp/ConGen-Multilingual-MiniLM-L12')
embeddings = model.encode(sentences)
print(embeddings)

Evaluation Results

For an automated evaluation of this model, see the Sentence Embeddings Benchmark: Semantic Textual Similarity

Citing & Authors

@inproceedings{limkonchotiwat-etal-2022-congen,
    title = "{ConGen}: Unsupervised Control and Generalization Distillation For Sentence Representation",
    author = "Limkonchotiwat, Peerat  and
      Ponwitayarat, Wuttikorn  and
      Lowphansirikul, Lalita and
      Udomcharoenchaikit, Can  and
      Chuangsuwanich, Ekapol  and
      Nutanong, Sarana",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2022",
    year = "2022",
    publisher = "Association for Computational Linguistics",
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
BertModel
Ревизия весов
fd543fd

0 моделей