Характеристики

Контекст: 512 токенов
Параметры: 3,3 млрд
Архитектура: albert · dense
Опубликована: 2 мар 2022

Ссылки

albert-xxlarge-v2-snli_mnli_fever_anli_R1_R2_R3-nli

Классификация текстаТекст → label6 профессий

Крупная ALBERT-модель для определения логического отношения между двумя текстами: следствие, нейтральность или противоречие.

925скачиваний за 30 дней4лайкавеса обновлены12 авг 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ynie/albert-xxlarge-v2-snli_mnli_fever_anli_R1_R2_R3-nli — модель ALBERT-XXLarge-v2 для классификации текстовых пар по задаче Natural Language Inference (NLI). Она разработана пользователем ynie и опубликована на Hugging Face; модель также доступна через Transformers в форматах PyTorch и TensorFlow. Обучение выполнено на комбинации SNLI, MNLI, FEVER-NLI и ANLI R1, R2, R3.

Модель принимает пару текстов и определяет, является ли второй текст следствием первого, нейтральным утверждением или противоречит ему. Архитектура — AlbertForSequenceClassification: 3,3 млрд параметров, 12 скрытых слоёв, 64 головы внимания, размер скрытого представления 4096; максимальная длина входа составляет 512 токенов. Выходные классы — entailment, neutral и contradiction.

Сильная сторона модели — специализация на текстовом логическом выводе и проверке отношений между утверждениями, включая устойчивость к сложным примерам из ANLI. Модель не является генеративной и не предназначена для свободного создания текста; результат зависит от качества и формата входной пары, а длинные входы ограничены контекстом в 512 токенов. Лицензионные условия в доступных данных не установлены.

Сценарии применения

проверка текстового следствия между утверждениями
классификация пар «гипотеза—предпосылка»
проверка согласованности фактов
оценка перефразирований и семантической эквивалентности
верификация утверждений в системах фактчекинга

Ограничения

Модель ограничена максимальной длиной входа 512 токенов и предназначена для классификации отношений между текстами, а не для генерации ответа. Точность может снижаться на языках, жанрах и предметных областях, отличающихся от данных обучения.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Автор не опубликовал карточку модели.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: AlbertForSequenceClassification
Ревизия весов: c279c53