/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
19,3 млрд
Размер весов
39,7 ГБ
Лицензия
Apache 2.0
Архитектура
internlm2 · dense
Библиотека
transformers
Опубликована
9 апр 2024

anah-20b

Генерация текстаТекст → текст3 профессии

ANAH-20B — дообученная на InternLM2-20B модель для выявления и аннотирования галлюцинаций в ответах языковых моделей.

19скачиваний за 30 дней0лайковвеса обновлены8 мар 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ANAH-20B — модель OpenCompass на базе InternLM2-20B, дообученная на наборе данных ANAH для выявления и разметки галлюцинаций в ответах больших языковых моделей. Она предназначена для анализа ответа LLM и аннотирования содержащихся в нём галлюцинаций; для работы требуется использовать формат промпта из исследовательской статьи проекта. Модель имеет плотную архитектуру InternLM2ForCausalLM, около 19,3 млрд параметров и контекст длиной 32 768 токенов. Она принимает текст и выдаёт текстовую классификацию или аннотацию. Доступна в формате safetensors для Transformers. Лицензия — Apache-2.0.

Сценарии применения

  • поиск галлюцинаций в ответах LLM
  • аннотирование фрагментов ответа, содержащих галлюцинации
  • анализ достоверности сгенерированных ответов

Ограничения

Для аннотирования необходимо соблюдать формат промпта, описанный в статье проекта. В карточке не приведены оценки качества или сведения о языках обучения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ANAH: Analytical Annotation of Hallucinations in Large Language Models

arXiv license

This page holds the InternLM2-20B model which is trained with the ANAH dataset. It is fine-tuned to annotate the hallucination in LLM's responses.

More information please refer to our project page.

🤗 How to use the model

You have to follow the prompt in our paper to annotate the hallucination.

The models follow the conversation format of InternLM2-chat, with the template protocol as:

dict(role='user', begin='<|im_start|>user
', end='<|im_end|>
'),
dict(role='assistant', begin='<|im_start|>assistant
', end='<|im_end|>
'),

🖊️ Citation

If you find this project useful in your research, please consider citing:

@article{ji2024anah,
  title={ANAH: Analytical Annotation of Hallucinations in Large Language Models},
  author={Ji, Ziwei and Gu, Yuzhe and Zhang, Wenwei and Lyu, Chengqi and Lin, Dahua and Chen, Kai},
  journal={arXiv preprint arXiv:2405.20315},
  year={2024}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
InternLM2ForCausalLM
Ревизия весов
8df6726

0 моделей