Характеристики

Контекст: 514 токенов
Параметры: 454 млн
Лицензия: Apache 2.0
Архитектура: roberta · dense
Опубликована: 28 мар 2024

Ссылки

finetuned_nli_provenance

Классификация текстаТекст → label8 профессий

Модель Guardrails AI для классификации текстовых пар и проверки того, подтверждается ли утверждение исходным контекстом.

385скачиваний за 30 дней5лайковвеса обновлены28 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

GuardrailsAI/finetuned_nli_provenance — модель классификации текста, разработанная Guardrails AI. Она предназначена для проверки связи между утверждением и исходным контекстом в сценариях контроля происхождения и фактической обоснованности ответов языковых моделей, включая оценку того, следует ли гипотеза из предоставленного текста.

Модель основана на архитектуре RoBERTa и содержит около 454,1 млн параметров; поддерживает текстовый ввод и контекст до 514 токенов. В Hugging Face она опубликована для задачи text-classification и распространяется по лицензии Apache-2.0. Доступная карточка модели содержит ограниченное описание, поэтому сведения о точных данных обучения, метриках, поддерживаемых естественных языках и деталях меток классификации не установлены.

Сценарии применения

проверка фактологической обоснованности ответов LLM
оценка связи ответа с найденными фрагментами RAG
выявление неподтверждённых утверждений
проверка происхождения и опоры генеративного ответа на источник

Ограничения

Точные языки, наборы данных, метрики качества и схема меток в доступной карточке модели не описаны. Ограничение контекста составляет 514 токенов, поэтому длинные документы требуют разбиения на фрагменты.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Автор не опубликовал карточку модели.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForSequenceClassification
Ревизия весов: 148b9e1