Производная модели cocoirun/Yi-Ko-6B-instruct-v1.5. Инструктивная корейско-английская модель семейства Llama на 5,9 млрд параметров для ответов на вопросы, машинного чтения, суммаризации, перевода и анализа отзывов.
16скачиваний за 30 дней0лайковвеса обновлены16 янв 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
1
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
2
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
3
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Карточка модели cocoirun/Yi-Ko-6B-instruct-v1.5-DPO на Hugging Face совпадает с карточкой cocoirun/Yi-Ko-6B-instruct-v1.5, поэтому описание составлено по ней.
Yi-Ko-6B-instruct-v1.5 — инструктивная языковая модель, дообученная автором cocoirun на базе семейства Llama. По карточке, модель прошла SFT на примерно 110 тысячах примеров: использовались самостоятельно подготовленные корейские данные по истории, естественным наукам, математике, машинному чтению, анализу отзывов и грамматике, а также материалы Open-Orca-Ko, KoBEST и AIHub. Обучение выполнялось с помощью LoRA.
Модель предназначена для генерации ответов и выполнения инструкций в задачах на корейском и английском языках, включая вопросы и ответы, машинное чтение, суммаризацию, перевод и анализ отзывов. Это плотная архитектура LlamaForCausalLM примерно на 5,9 млрд параметров с контекстом 2048 токена; репозиторий содержит веса Safetensors. Лицензия — CC BY-SA 4.0.
Карточка не приводит количественных оценок качества. Данные обучения закрыты, поэтому состав и воспроизводимость SFT ограничены доступной информацией; контекст 2048 токена ограничивает работу с длинными документами.
Сценарии применения
ответы на вопросы на корейском языке
извлечение ответов из корейских текстов
суммаризация корейских материалов
перевод между корейским и английским
анализ отзывов
решение учебных вопросов по истории, науке и математике
Ограничения
Обучающие данные закрыты, а карточка не приводит оценок качества. Контекст ограничен 2048 токенами.
Для каких профессий подходит10
Разделы каталога профессий, в задачах которых используется эта модель
Open-Orca-ko 데이터를 분석하여 태스크를 추출한 뒤
해당 태스크에 맞춰서 NLP 관련 오픈소스 데이터를 활용하여 학습데이터를 자체적으로
약 4만건(역사, 과학, 수학, 기계독해, 리뷰 분석) 구축하였고,
그 외에 Open-Orca-Ko에서 데이터를 일부 필터링하여 정제해거나 KoBEST 데이터를 함께 추가하였습니다.
aihub 일반상식 및 기계독해 데이터를 활용하여 추가로 학습 데이터를 구축(형태소 관련, 기계독해 관련 및 요약)
각종 블로그에서 역사 및 상식 퀴즈를 사람이 직접 학습데이터 형태로 변경
AI2AI Challenge 데이터를 파파고를 통해 번역 및 오역된 부분을 사람이 직접 수정 하는 작업을 수행
영어 번역 데이터 영한/한영 데이터 학습 데이터로 활용 진행
총 11만개의 학습데이터로 sft를 진행하였습니다.
현재, 새로운 버전의 모델 학습 및 성능을 위해 Open-Orca 데이터셋 일부를 번역하여 정제 중에 있습니다.
고등학교 역사 문제 및 TruthfulQA 관련 문제 추가를 진행하였습니다.
각종 it 지식 데이터 추가진행.
기계독해 관련 학습 데이터를 ChatGPT를 통해서 답변을 얻어 학습
문법관련 학습 데이터
###학습 데이터 파일은 비공개입니다.
<학습>
학습은 LoRA를 사용하여 A100 40G *2에서 학습을 진행하였습니다.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров