/ Модель

Характеристики

Контекст
512 токенов
Параметры
534 млн
Лицензия
MIT
Архитектура
deberta-v2 · dense
Базовая модель
deberta-v3-large
Опубликована
10 фев 2025

FactCG-DeBERTa-v3-Large

Классификация текстаТекст → label4 профессии

Англоязычный классификатор на DeBERTa для выявления фактически необоснованных утверждений в текстах, созданных большими языковыми моделями.

2 004скачиваний за 30 дней3лайкавеса обновлены21 фев 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

FactCG-DeBERTa-v3-Large — англоязычная модель классификации текста, разработанная авторами работы FactCG: Enhancing Fact Checkers with Graph-Based Multi-Hop Data. Она предназначена для проверки фактической обоснованности утверждений, сгенерированных большими языковыми моделями, и выявления галлюцинаций без опоры на факты. Модель дообучена для классификации последовательностей на базе microsoft/deberta-v3-large и содержит 533,8 млн параметров; веса опубликованы в формате safetensors. Максимальная длина контекста — 512 токенов.

Модель рассчитана на английский текст и сценарии автоматической проверки фактов в ответах LLM. Лицензия MIT разрешает использование на её условиях. Карточка не описывает метрики качества, схему классов или ограничения на типы утверждений, поэтому пригодность для конкретного домена следует оценивать отдельно.

Сценарии применения

  • выявление галлюцинаций в ответах языковых моделей
  • проверка фактической обоснованности сгенерированных утверждений
  • фильтрация ответов LLM перед выдачей пользователю
  • автоматическая сортировка текстов для последующей проверки фактов

Ограничения

Карточка не приводит метрики качества, определения классов и условия оценки, поэтому надёжность на конкретных типах текстов не установлена. Контекст ограничен 512 токенами.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

FactCG for Large Language Model Ungrounded Hallucination Detection

This is a fact-checking model from our work:

📃 FactCG: Enhancing Fact Checkers with Graph-Based Multi-Hop Data (NAACL2025, GitHub Repo)

You can load our model with the following example code:

from transformers import AutoTokenizer, AutoConfig, AutoModelForSequenceClassification
config = AutoConfig.from_pretrained("yaxili96/FactCG-DeBERTa-v3-Large", num_labels=2, finetuning_task="text-classification", revision='main', token=None, cache_dir="./cache")
config.problem_type = "single_label_classification"
tokenizer = AutoTokenizer.from_pretrained("yaxili96/FactCG-DeBERTa-v3-Large", use_fast=True, revision='main', token=None, cache_dir="./cache")
model = AutoModelForSequenceClassification.from_pretrained(
            "yaxili96/FactCG-DeBERTa-v3-Large", config=config, revision='main', token=None, ignore_mismatched_sizes=False, cache_dir="./cache")

If you find the repository or FactCG helpful, please cite the following paper

@inproceedings{lei2025factcg,
  title={FactCG: Enhancing Fact Checkers with Graph-Based Multi-Hop Data},
  author={Lei, Deren and Li, Yaxi and Li, Siyao and Hu, Mengya and Xu, Rui and Archer, Ken and Wang, Mingyu and Ching, Emily and Deng, Alex},
  journal={NAACL},
  year={2025}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
DebertaV2ForSequenceClassification
Ревизия весов
0430e35

0 моделей