Характеристики

Контекст: 32 768 токенов
Параметры: 494 млн
Лицензия: Apache 2.0
Архитектура: qwen2 · dense
Базовая модель: Qwen2.5-0.5B-Instruct
Библиотека: transformers
Опубликована: 5 окт 2024

Ссылки

Hugging Face

Qwen2.5-0.5B-Instruct-Ja-SFT

jaeyong2

Генерация текстаТекст → текст3 профессии

Компактная дообученная Qwen2.5 для генерации текста и диалогов на японском и английском языках.

56скачиваний за 30 дней2лайкавеса обновлены9 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

jaeyong2/Qwen2.5-0.5B-Instruct-Ja-SFT — дообученная модель семейства Qwen2.5, созданная на основе Qwen/Qwen2.5-0.5B-Instruct. Она предназначена для генерации текста и диалогов на японском и английском языках; в метаданных также указаны возможности чата и интерфейс вызова инструментов. Модель использует плотную архитектуру Qwen2ForCausalLM, содержит 494 млн параметров и поддерживает контекст до 32 768 токенов. Веса доступны в формате safetensors.

README приводит результаты оценки дообученной модели: 0,4614 на MMLU и 0,3176 по среднему показателю llm-jp-eval. Эти результаты немного выше значений исходной Qwen2.5-0.5B-Instruct в указанных сравнениях, но README не описывает набор данных дообучения и подробности оценки. Модель распространяется по лицензии Apache-2.0.

Сценарии применения

ответы на вопросы и диалог на японском языке
генерация текста на японском и английском языках
выполнение пользовательских инструкций
оценка японских языковых моделей на наборах llm-jp-eval и MMLU

Ограничения

В README приведены только результаты ограниченного набора оценок; данные обучения и подробная методика не описаны. Размер модели — 494 млн параметров, поэтому её возможности могут быть ограничены по сравнению с более крупными языковыми моделями.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for Model ID

Model Details

Evaluation

llm-jp-eval script(colab)

!git clone https://github.com/llm-jp/llm-jp-eval.git
!cd llm-jp-eval && pip install -e .
!cd llm-jp-eval && python scripts/preprocess_dataset.py --dataset-name all --output-dir ./dataset_dir
!cd llm-jp-eval && python scripts/evaluate_llm.py -cn config.yaml model.pretrained_model_name_or_path=jaeyong2/Qwen2.5-0.5B-Instruct-JaMagpie-Preview tokenizer.pretrained_model_name_or_path=jaeyong2/Qwen2.5-0.5B-Instruct-JaMagpie-Preview dataset_dir=./dataset_dir/1.4.1/evaluation/test

	Qwen2.5-0.5B-Instruct	finetuning-model
mmlu	0.4592	0.4614

llm-jp-eval	Qwen2.5-0.5B-Instruct	finetuning-model
AVG	0.3037	0.3176
CG	0	0
EL	0.2637	0.3146
FA	0.0386	0.0419
HE	0.2700	0.3250
MC	0.4033	0.3733
MR	0.0900	0.2700
MT	0.6148	0.6691
NLI	0.5460	0.3180
QA	0.2608	0.2791
RC	0.5495	0.5847

License

Qwen/Qwen2.5-0.5B-Instruct : https://choosealicense.com/licenses/apache-2.0/

Acknowledgement

This research is supported by TPU Research Cloud program.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen2ForCausalLM
Ревизия весов: 609f5c2