Характеристики

Контекст: 8 192 токена
Параметры: 1,5 млрд
Размер весов: 8,5 ГБ
Лицензия: Apache 2.0
Архитектура: mixtral · MoE
Опубликована: 10 янв 2024

Ссылки

MoE-Qwen-4x1.8B-pretrain-50000-ckpt

Генерация текстаТекст → текст3 профессии

Экспериментальная контрольная точка MoE на основе Qwen 1.8B для генерации текста и исследований продолжения предобучения.

219скачиваний за 30 дней1лайквеса обновлены10 янв 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MoE-Qwen-4x1.8B-pretrain-50000-ckpt — контрольная точка проекта MoE-модели, созданной на основе Qwen 1.8B. Разработчики объединили четыре исходные модели и обучали их специальными методами; этот чекпойнт относится к этапу продолжения предварительного обучения. В метаданных указаны архитектура MixtralForCausalLM, около 1,5 млрд параметров и контекст до 8192 токенов.

Модель предназначена для генерации текста и дальнейших экспериментов с продолжением предобучения. В карточке приведены результаты на BoolQ и CEval, однако они не дают полной оценки качества и не устанавливают пригодность для конкретных прикладных сценариев. Модель поддерживает китайский язык согласно метаданным. Файлы опубликованы в формате safetensors; лицензия — Apache-2.0.

Сценарии применения

эксперименты с продолжением предобучения языковой модели
генерация текста на китайском языке
оценка языковой модели на задачах понимания и знаний
исследование архитектур MoE на базе Qwen

Ограничения

Это чекпойнт этапа продолжения предварительного обучения, а не заявленная готовая прикладная модель; приведённые оценки охватывают лишь часть возможностей. README не уточняет обучающие данные и детали специальных методов обучения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

4x1.8B MoE Qwen Ckpt 50000

This is a MoE model project constructed based on the Qwen 1.8B model. In this project, we concatenated 4 original models and trained them using special training methods.

This model is a checkpoint model for the continue pretraining stage.

Evaluations

Groups	Metric	Value		Stderr
boolq	acc	0.6508	±	0.0083
ceval-valid	acc	0.5290	±	0.1912
	acc_norm	0.5290	±	0.1912
cmmlu	acc	0.5087	±	0.1237
	acc_norm	0.5087	±	0.1237
mathqa	acc	0.2647	±	0.0081
	acc_norm	0.2693	±	0.0081
mmlu	acc	0.4353	±	0.0830
- stem	acc	0.3809	±	0.0659
- social_sciences	acc	0.4959	±	0.0708
- other	acc	0.4844	±	0.0744
- humanities	acc	0.3998	±	0.0849

Acknowledgements

License Agreement

This project is open source under the Tongyi Qianwen Research License Agreement. You can view the complete license agreement in this link: [https://github.com/QwenLM/Qwen/blob/main/Tongyi%20Qianwen%20RESEARCH%20LICENSE%20AGREEMENT].

During the use of this project, please ensure that your usage behavior complies with the terms and conditions of the license agreement.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: MixtralForCausalLM
Ревизия весов: 2b5cc0b