Дообученная на базе Llama 3 8B Instruct модель для экспериментов с подавлением и несоответствием выражения неопределённости в ответах.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Uncertain-Llama3-8B — дообученная rhyंग2021 модель на основе Meta-Llama-3-8B-Instruct от Meta. Авторы используют её в задаче LoGU для изучения подавления неопределённости и несоответствия между фактической неопределённостью модели и тем, как она её выражает.
Модель относится к семейству Llama, использует плотную архитектуру LlamaForCausalLM и содержит 7,5 млрд параметров. Она генерирует текст и поддерживает диалог на английском языке; максимальная длина контекста — 8192 токена. Веса опубликованы в формате safetensors.
Модель подходит для экспериментов с тем, как языковые модели сообщают о неуверенности в ответах. Карточка не описывает качество на общих задачах и конкретные ограничения поведения. Лицензия — MIT.
README не приводит результатов оценки качества или подробностей о поведении модели за пределами задачи LoGU.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
We employ the original Llama-3-8B-Instruct model, which we further fine-tune using carefully selected samples from our compiled dataset (available at https://github.com/rhyang2021/LoGU). This refined model is subsequently utilized within our LoGU task, specifically targeting the challenges of uncertainty-suppression and uncertainty-misalignment. For additional details, please refer to our Github and Paper.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…