Дообученная китайская Llama для генерации ответов в чате и ответов на финансовые вопросы по материалам, найденным через BM25.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель cool9203/Llama3.1-8B-Chinese-Chat-iii_finance-v2 — дообученная плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, созданная на основе shenzhi-wang/Llama3.1-8B-Chinese-Chat. Она предназначена для генерации текста в формате чата и ответов на вопросы по финансовым материалам с использованием RAG: в карточке описан поиск BM25 и шаблон, который просит отвечать на вопрос, опираясь на найденную информацию.
В метаданных указано контекстное окно 131072 токена; README приводит параметр context_length 2048 для описанной настройки. Модель опубликована в формате safetensors и имеет интерфейс для вызова инструментов. Карточка не сообщает лицензию и не уточняет языки или ограничения точности финансовых ответов.
README описывает настройку с context_length 2048, тогда как метаданные указывают native context 131072 токена; практическая длина контекста зависит от конфигурации. Качество ответов и полнота финансовых знаний в карточке не оценены.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
learning_rate: 7e-6
epoch: 3
context_length: 2048
RAG setting:
search method: bm25
not answering proportion: 0.0
max document length: 5
extra bm25 data: false
prompt:
[
{“role”: “system”, “content”: “從<Document>裡找到答案並利用該答案回答<Query>所敘述的問題”},
{“role”: “system”, “content”: “<Document>{Q}{A}</Document>”},
{“role”: “user”, “content”: “<Query>{Q}</Query>”},
{“role”: “assistant”, “content”: {A}},
]
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…