/ Модель

Характеристики

Контекст
2 048 токенов
Параметры
7,6 млрд
Размер весов
11,8 ГБ
Лицензия
Apache 2.0
Архитектура
gpt_neox · dense
Опубликована
15 авг 2023

polyglot-ko-medical-5.8b

Генерация текстаТекст → текст3 профессии

Дообученная на корейских медицинских текстах GPT-NeoX модель для генерации текста по медицинским темам на корейском языке.

19скачиваний за 30 дней4лайкавеса обновлены9 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Polyglot-Ko-Medical-5.8b — корейская медицинская языковая модель, созданная дообучением EleutherAI/polyglot-ko-5.8b командой squarelike. Модель основана на архитектуре GPT-NeoX и предназначена для генерации текста по медицинским темам на корейском языке.

Для обучения использован примерно 420 МБ корейских медицинских и специализированных текстов, включая материалы AIHub и Национального портала медицинской информации Корейского агентства по контролю и профилактике заболеваний. Дообучение выполнено методом QLoRA; в README указаны ранг 8, alpha 32 и три эпохи обучения. Модель содержит 7,6 млрд параметров, принимает текст, генерирует текст и имеет контекстное окно 2048 токенов.

Модель можно применять для генерации корейских медицинских текстов и создания прототипов медицинских языковых приложений. Специализация и обучающие данные не гарантируют клиническую точность, поэтому ответы не следует считать медицинской рекомендацией. Лицензия — Apache-2.0.

Сценарии применения

  • генерация корейских медицинских текстов
  • подготовка черновиков справочных материалов о здоровье на корейском языке
  • создание прототипа корейского медицинского чат-бота
  • ответы на текстовые подсказки о медицинских темах на корейском языке

Ограничения

Модель обучалась на ограниченном корпусе корейских медицинских текстов; её ответы могут быть неточными и не должны использоваться как клиническая рекомендация. Контекстное окно составляет 2048 токенов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

https://github.com/jwj7140/ko-medical-chat

Polyglot-Ko-Medical-5.8b

polyglot-ko-medical은 polyglot-ko를 기반으로 의료 분야의 한글 raw 데이터를 학습시킨 기반 모델입니다.

학습 데이터

polyglot-ko-medical은 약 420MB의 의료 분야 한글 말뭉치로 학습되었습니다. 주요 데이터셋은 다음과 같습니다.

SourceSize (MB)Link
AIHub 의료, 법률 전문 서적 말뭉치351.0aihub.or.kr
AIHub 전문분야 한영 말뭉치63.4aihub.or.kr
질병관리청 국가건강정보포털8.33health.kdca.go.kr
보건복지부 국가정신건강정보포털< 1.0mentalhealth.go.kr

학습

polyglot-ko-medical-5.8b는 EleutherAI/polyglot-ko-5.8b에서 qlora로 추가 학습되었습니다.

  • lora_alpha: 32
  • lora_dropout: 0.05
  • lora_r: 8
  • target_modules: query_key_value
  • epoch: 3
  • learning_rate: 3e-4

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
GPTNeoXForCausalLM
Ревизия весов
c175d9b

0 моделей