Характеристики

Контекст: 512 токенов
Параметры: 20,4 млн
Лицензия: MIT
Архитектура: convbert · dense
Опубликована: 2 мар 2022

Ссылки

Hugging Face arXiv 2008.02496

convbert-small-spanish

mrm8488

ЭмбеддингиТекст → embedding8 профессий

Компактная ConvBERT-модель, обученная на испанском корпусе для извлечения контекстных векторных представлений текста.

111скачиваний за 30 дней3лайкавеса обновлены22 мар 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ConvBERT small — компактная предобученная языковая модель на архитектуре ConvBERT, созданная Manuel Romero (@mrm8488) при поддержке Narrativa. Модель обучена на large_spanish_corpus и предназначена для получения контекстных векторных представлений испанского текста.

Модель содержит 20,4 млн параметров, принимает последовательности длиной до 512 токенов и доступна в форматах PyTorch, Safetensors и TensorFlow. В README приведены метрики предобучения, включая точность masked language modeling 0,535 на наборе оценки.

Её можно использовать как основу для поиска по смыслу, кластеризации текста и дообучения под задачи классификации или извлечения признаков на испанском языке. Распространяется по лицензии MIT.

Сценарии применения

получение векторных представлений испанских текстов
семантический поиск по испаноязычным документам
кластеризация испанских текстов
извлечение признаков для классификации испанского текста
дообучение языковой модели на испанских данных

Ограничения

Модель компактная и предобучена для испанского языка; качество на других языках и в прикладных задачах зависит от дополнительной настройки. В README приведены метрики предобучения, но нет оценок для конкретных downstream-задач.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей I.12Универсальные способностиРекомендации и персонализацияAI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию.15 задач7 627моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ConvBERT small pre-trained on large_spanish_corpus

The ConvBERT architecture is presented in the "ConvBERT: Improving BERT with Span-based Dynamic Convolution" paper.

Metrics on evaluation set

disc_accuracy = 0.95163906
disc_auc = 0.9405496
disc_loss = 0.13658184
disc_precision = 0.80829453
disc_recall = 0.49316448
global_step = 1000000
loss = 9.12079
masked_lm_accuracy = 0.53505784
masked_lm_loss = 2.3028736
sampled_masked_lm_accuracy = 0.44047198

Usage

from transformers import AutoModel, AutoTokenizer
model_name = "mrm8488/convbert-small-spanish"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

Created by Manuel Romero/@mrm8488 with the support of Narrativa

Made with ♥ in Spain

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: ConvBertModel
Ревизия весов: fae5f3e