/ Модель

Характеристики

Контекст
131 072 токена
Параметры
10,2 млрд
Размер весов
37,6 ГБ
Лицензия
Apache 2.0
Архитектура
kormo_moe · MoE
Базовая модель
KORMo-10B-sft
Библиотека
transformers
Опубликована
16 окт 2025

KORMo-19B-MoE

Генерация текстаТекст → текст3 профессии

Экспериментальная корейская MoE-модель для диалогов, генерации текста, работы с длинным контекстом и задач по коду.

27скачиваний за 30 дней8лайковвеса обновлены23 окт 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LDCC/KORMo-19B-MoE — экспериментальная корейская языковая модель для диалогов и генерации текста. Она основана на KORMo-Team/KORMo-10B-sft и использует архитектуру Mixture of Experts с двумя экспертами; в метаданных указано 10,2 млрд параметров и контекст до 131 072 токенов. Модель дообучена методом QLoRA на корейских данных, связанных с кодом и длинными документами, а затем преобразована в MoE с помощью mergekit.

Модель предназначена для генерации ответов на корейском языке, работы с длинным контекстом и задач, связанных с кодом. В карточке указана лицензия Apache-2.0. Для запуска в vLLM требуется отдельный патч; README описывает модель как исследовательский эксперимент.

Сценарии применения

  • диалоговые ответы на корейском языке
  • генерация корейского текста по запросу
  • обработка длинных корейских документов
  • помощь с задачами по программированию на корейском языке

Ограничения

Для запуска в vLLM требуется отдельный патч. Модель описана как экспериментальная исследовательская работа, поэтому её качество и пригодность для конкретных задач следует проверять.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

KORMo-MoE (2-Experts)

본 모델은 KORMo-Team/KORMo-10B-sft를 기반으로, 두 개의 Expert를 갖는 Mixture of Experts (MoE) 구조로 확장한 버전입니다.


개요

이 모델은 다음 두 개의 한국어 데이터셋을 활용하여 **QLoRA 기반 미세조정(fine-tuning)**을 수행한 후, 2-Expert MoE 모델로 변환한 실험용 연구 모델입니다.


학습 구성

  • 미세조정 방식: QLoRA
  • Expert 수: 2
  • MoE 변환 도구: mergekit
  • 베이스 모델: KORMo-10B-sft

vLLM 호환성

본 모델을 vLLM에서 실행하기 위해서는 별도의 패치 적용이 필요합니다. 다음 스크립트를 사용하여 설치를 진행할 수 있습니다.


참고 및 감사

본 연구는 KORMo-Team에서 공개한 오픈소스 모델인 KORMo-10B-sft를 기반으로 수행되었습니다. 모델을 공개해주신 KORMo-Team에 감사의 뜻을 전합니다.


Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
KORMoMoeForCausalLM
Ревизия весов
b48f85e

0 моделей