<학습 데이터 구축> kyujinpy 님이 공개하신 KOR-OpenOrca-Platypus 데이터를 일부 삭제(샘플링) 및 정제 작업 진행하여 활용. 그 이후 해당 데이터들을 보며 관련 태스크를 추출하였고 이를 기반으로 해당 태스크에 맞춰서 NLP 관련 오픈소스 데이터를 활용하여 학습데이터를 자체적으로 역사, 과학, 수학, 기계독해, 리뷰 분석 문제를 gpt를 통해서 구축하였고, aihub 일반상식 및 기계독해 데이터를 활용하여 추가로 학습 데이터를 구축(형태소 관련, 기계독해 관련 및 요약) 각종 블로그에서 역사 및 상식 퀴즈를 사람이 직접 학습데이터 형태로 변경 AI2AI Challenge 데이터 형태를 보고 gpt를 통해 초등 수준의 과학 수학 문제 유형을 제작 500문제 영어 번역 데이터 영한/한영 데이터 학습 데이터로 활용 진행 총 데이터 4만개 정도 사용하였습니다.
Характеристики
- Контекст
- 2 048 токенов
- Параметры
- 5,9 млрд
- Размер весов
- 12,4 ГБ
- Лицензия
- CC BY-SA 4.0
- Архитектура
- llama · dense
- Опубликована
- 19 янв 2024
Ссылки
AIFT-ko-orca-plat-Yi-ko-6b-v1.0
Корейская LoRA-модель на базе Llama для ответов на вопросы, решения учебных задач, машинного чтения и перевода между корейским и английским.
19скачиваний за 30 дней0лайковвеса обновлены19 янв 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
cocoirun/AIFT-ko-orca-plat-Yi-ko-6b-v1.0 — корейская instruct-модель, дообученная разработчиком с помощью LoRA на базе KOR-OpenOrca-Platypus. Для обучения использовались около 40 тысяч примеров: очищенные и отобранные данные KOR-OpenOrca-Platypus, а также самостоятельно подготовленные задания по истории, естественным наукам, математике, машинному чтению, анализу отзывов, обобщению, грамматике и переводу между английским и корейским. Модель предназначена для диалоговых ответов и решения текстовых задач общего характера.
Архитектура — плотная LlamaForCausalLM, около 5,9 млрд параметров; нативный контекст — 2048 токенов. Модель принимает и генерирует текст. В README описана работа с корейскими и англоязычными данными; также использованы датасеты по истории, науке и математике. Обучение проводилось с LoRA на двух A100 с 40 ГБ памяти каждая. Лицензия — CC BY-SA 4.0.
Обучающие данные закрыты, поэтому состав и качество отдельных наборов нельзя независимо проверить. Короткий контекст ограничивает обработку длинных документов; результаты могут быть неточными, особенно в фактических ответах и решении задач.
Сценарии применения
- ответы на вопросы по истории и общим знаниям
- решение школьных задач по математике и естественным наукам
- извлечение ответов из текста и машинное чтение
- анализ тональности отзывов
- краткое изложение текста
- перевод между корейским и английским
- проверка грамматики и ответы на вопросы о заблуждениях
Ограничения
Обучающие данные закрыты, поэтому их состав и качество нельзя независимо проверить. Контекст ограничен 2048 токенами; фактические ответы и решения задач могут быть ошибочными.
Для каких профессий подходит6
Разделы каталога профессий, в задачах которых используется эта модель
I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделейI.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельIII.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели
Также подходит для
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- LlamaForCausalLM
- Ревизия весов
- 6d71953