/ Модель

Характеристики

Контекст
131 072 токена
Параметры
3,2 млрд
Размер весов
7,2 ГБ
Лицензия
Apache 2.0
Архитектура
llama · dense
Базовая модель
Llama-3.2-3B-Instruct
Библиотека
transformers
Опубликована
4 окт 2024

Linkbricks-Llama3.2-Korean-cpt-3b

Генерация текстаТекст → текст6 профессий

Корейская базовая языковая модель Linkbricks на 3,2 млрд параметров для генерации текста, диалогов и дальнейшей настройки под конкретные задачи.

32скачиваний за 30 дней7лайковвеса обновлены5 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Linkbricks-Llama3.2-Korean-cpt-3b — корейская языковая модель, созданная директором по данным Linkbricks Юнсоном Джи (Saxo) на базе meta-llama/Llama-3.2-3B-Instruct. Это плотная авторегрессионная модель семейства Llama с 3,2 млрд параметров; около 35% параметров дообучены на продолжении предобучения с использованием разнообразных корейских корпусов, включая 50 млн новостных материалов. Токенизатор оставлен без изменений относительно базовой модели.

Модель предназначена как корейская базовая модель для дальнейшей настройки через SFT и DPO. Её можно применять для генерации текста, диалогов, а также корейского вызова функций и инструментов; обучающие данные включают примеры перевода, суммаризации и вопросов и ответов. Контекстное окно составляет 128 тыс. токенов, формат весов — SafeTensors.

Модель поддерживает корейский и английский языки, а метаданные также отмечают японский и китайский в тегах. По сравнению с базовой моделью она адаптирована к корейским корпусам, однако для специализированного использования автор рекомендует дополнительную настройку SFT и DPO. Лицензия — Apache-2.0.

Сценарии применения

  • генерация корейского текста
  • корейские диалоги и ответы на вопросы
  • суммаризация корейских новостей
  • перевод между корейским и английским
  • вызов функций и инструментов на корейском языке

Ограничения

Автор указывает, что модель следует дополнительно настраивать через SFT и DPO под конкретное назначение. Неизменённый токенизатор базовой модели не расширен для корейского языка.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for Model ID

AI 와 빅데이터 분석 전문 기업인 Linkbricks의 데이터사이언티스트인 지윤성(Saxo) 이사가 meta-llama/Llama-3.2-3B-Instruct 베이스모델을 사용해서 H100-80G 8개를 통해 CPT(Continued Pre Trainig) 한 한글 언어 모델 5천만건의 한글 뉴스 포함 다양한 한글 코퍼스를 기준으로 전체 파라미터중 약 35%를 재 튜닝한 한글 기본 모델로 SFT, DPO 를 통해 용도에 맞게 튜닝하면 됩니다. -토크나이저는 확장 없이 베이스 모델을 그대로 사용 -128k-Context Window -한글 Function Call 및 Tool Calling 지원 -Deepspeed Stage=3, rslora 및 BAdam Layer Mode 사용

Dr. Yunsung Ji (Saxo), a data scientist at Linkbricks, a company specializing in AI and big data analytics Korean language model CPT (Continued Pre Trainig) with 8 H100-80Gs using meta-llama/Llama-3.2-3B-Instruct base model A basic Korean language model with about 35% of the total parameters re-tuned based on various Korean corpus including 50 million Korean news, which need to be customized through SFT and DPO. -Tokenizer uses the base model without word expansion -128k-Context Window -Support for Korean Functioncall and Tool Calling -Deepspeed Stage=3, use rslora and BAdam Layer Mode

www.linkbricks.com, www.linkbricks.vc

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
89e7237

0 моделей