Характеристики

Контекст: 512 токенов
Параметры: 152 млн
Лицензия: MIT
Архитектура: deberta-v2 · dense
Опубликована: 29 мая 2023

Ссылки

Hugging Face arXiv 2111.09543 arXiv 2010.05609

deberta-base-italian

osiria

ЭмбеддингиТекст → embedding3 профессии

DeBERTa V2, адаптированная для итальянского языка, извлекает признаковые представления текста для дальнейших NLP-задач.

211скачиваний за 30 дней2лайкавеса обновлены24 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

osiria/deberta-base-italian — модель семейства DeBERTa V2, подготовленная для итальянского языка на основе mDeBERTa-v3-base. Разработчик адаптировал слой эмбеддингов, используя частоты слов на уровне документов, рассчитанные по корпусу Википедии. В метаданных указаны архитектура DebertaV2Model и 151,8 млн параметров; README приводит оценку в 124 млн параметров, поэтому сведения о размере расходятся.

Модель принимает текст и предназначена для извлечения признаковых представлений, которые можно использовать как основу для последующей обработки текста. Контекст составляет 512 токенов, модель работает с итальянским языком и распространяется под лицензией MIT. Карточка не описывает результаты оценивания или ограничения качества.

Сценарии применения

получение векторных представлений итальянских текстов
подготовка признаков для классификации итальянских документов
извлечение признаков из итальянских предложений для downstream-моделей

Ограничения

Контекст ограничен 512 токенами. В README и метаданных указаны разные оценки числа параметров: 124 млн и 151,8 млн.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This is a DeBERTa [1] model for the Italian language, obtained using mDeBERTa (mdeberta-v3-base) as a starting point and focusing it on the Italian language by modifying the embedding layer (as in [2], computing document-level frequencies over the Wikipedia dataset)

The resulting model has 124M parameters, a vocabulary of 50.256 tokens, and a size of ~500 MB.

from transformers import DebertaV2TokenizerFast, DebertaV2Model

tokenizer = DebertaV2TokenizerFast.from_pretrained("osiria/deberta-base-italian")
model = DebertaV2Model.from_pretrained("osiria/deberta-base-italian")

[1] https://arxiv.org/abs/2111.09543

[2] https://arxiv.org/abs/2010.05609

The model is released under MIT license

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: DebertaV2Model
Ревизия весов: 7f553ae