Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
AIFT-ko-orca-plat-Yi-ko-6b-v1.2-dpo는 AIFT가 공개한 한국어 지시 따르기 모델로, 기반은 Yi 계열 6B 모델이며 체크포인트에는 약 5,9 млрд параметров. Модель дообучена методом LoRA на очищенных и отобранных данных KOR-OpenOrca-Platypus и дополнительных наборах для истории, науки, математики, машинного чтения, анализа отзывов, грамматики, морфологии, суммаризации и перевода между английским и корейским. Дополнительно применён DPO на примерно 17 тысячах примеров, ориентированных на CommonGen и TruthfulQA.
Модель предназначена для генерации ответов на инструкции и вопросов на корейском языке, включая образовательные задания, чтение с пониманием, краткое изложение и перевод. Архитектура — плотная LlamaForCausalLM; контекст составляет 2048 токенов. Репозиторий содержит веса Safetensors, лицензия — CC BY-SA 4.0.
Данные обучения закрыты, а описание не приводит количественных оценок качества. Поэтому пригодность для конкретных задач следует проверять отдельно; короткий контекст ограничивает работу с длинными документами.
Сценарии применения
ответы на вопросы по истории, науке и математике на корейском языке
создание и решение школьных учебных заданий
ответы на вопросы по тексту и машинное чтение
краткое изложение текста на корейском языке
анализ отзывов и определение их смысла
перевод между корейским и английским языками
Ограничения
Контекст ограничен 2048 токенами, поэтому модель не рассчитана на обработку длинных документов. Данные обучения закрыты, а README не приводит оценок качества; результаты для целевых задач следует проверять отдельно.
Для каких профессий подходит5
Разделы каталога профессий, в задачах которых используется эта модель
<학습 데이터 구축>
kyujinpy 님이 공개하신 KOR-OpenOrca-Platypus 데이터를 일부 삭제(샘플링) 및 정제 작업 진행하여 활용.
그 이후 해당 데이터들을 보며 관련 태스크를 추출하였고 이를 기반으로
해당 태스크에 맞춰서 NLP 관련 오픈소스 데이터를 활용하여 학습데이터를 자체적으로
역사, 과학, 수학, 기계독해, 리뷰 분석 문제를 gpt를 통해서 구축하였고,
aihub 일반상식 및 기계독해 데이터를 활용하여 추가로 학습 데이터를 구축(형태소 관련, 기계독해 관련 및 요약)
각종 블로그에서 역사 및 상식 퀴즈를 사람이 직접 학습데이터 형태로 변경
AI2AI Challenge 데이터 형태를 보고 gpt를 통해 초등 수준의 과학 수학 문제 유형을 제작 500문제
영어 번역 데이터 영한/한영 데이터 학습 데이터로 활용 진행
총 데이터 4만개 정도 사용하였습니다.
<DPO학습 데이터>
DPO 데이터는 CommonGen과 TruthfulQA에 초점을 맞추어 약 17,000개의 데이터를 학습하였습니다.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров