Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
K2S3-SOLAR-11b-v3.0 — языковая модель, разработанная K2S3 и дообученная методом supervised fine-tuning на базе upstage/SOLAR-10.7B-v1.0. Это плотная авторегрессионная модель семейства LLaMA с 10,6 млрд параметров и контекстом 4096 токенов, предназначенная для генерации текста и диалоговых сценариев на корейском языке.
В обучающие данные вошли материалы Стандартного словаря корейского языка, набор KULLM Университета Корё, аннотации к магистерским и докторским диссертациям, корейские образцы AI Hub, alpaca-gpt4-data и примеры OpenOrca. Модель может применяться для ответов на вопросы и создания корейских текстов; сведения об отдельных результатах оценки качества в карточке не приведены.
Репозиторий содержит веса в формате safetensors. Лицензия CC BY-NC 4.0 требует указания авторства и ограничивает коммерческое использование.
Сценарии применения
генерация текстов на корейском языке
ответы на вопросы на корейском языке
создание учебных материалов на корейском языке
Ограничения
Контекст ограничен 4096 токенами. Лицензия CC BY-NC 4.0 не допускает коммерческое использование.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
The training data for this model includes the Standard Korean Dictionary, training data from KULLM at Korea University, abstracts of master's and doctoral theses, Korean language samples from AI Hub, alpaca-gpt4-data, and samples from The OpenOrca Dataset.
이 모델의 훈련 데이터에는 표준국어대사전, 고려대학교 KULLM에서 제공한 훈련 데이터, 석사 및 박사학위 논문의 초록, AI Hub에서 제공한 한국어 데이터 샘플, alpaca-gpt4-data, 그리고 OpenOrca Dataset에서 제공한 샘플들이 포함됩니다.
Training Method
This model was fine-tuned on the "upstage/SOLAR-10.7B-v1.0" base model using a full parameter tuning method with SFT (Supervised Fine-Tuning).
이 모델은 "upstage/SOLAR-10.7B-v1.0" 기반 모델을 SFT를 사용하여 전체 파라미터 조정 방법으로 미세조정되었습니다.
Hardware
Hardware: Utilized two A100 (80G*2EA) GPUs for training.
Training Factors: This model was fine-tuned with SFT, using the HuggingFace SFTtrainer and applied fsdp.
이 모델은 SFT를 사용하여 HuggingFace SFTtrainer와 fsdp를 적용하여 미세조정되었습니다.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров