Характеристики

Контекст: 32 768 токенов
Параметры: 464 млн
Лицензия: Своя лицензия
Архитектура: qwen2 · dense
Опубликована: 8 мар 2024

Ссылки

tau-0.5B

Генерация текстаТекст → текст11 профессий

Небольшая языковая модель M4-ai, дополнительно обученная на учебниках для генерации текста и решения задач по математике, машинному обучению и программированию.

75скачиваний за 30 дней20лайковвеса обновлены28 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

tau-0.5B — языковая модель M4-ai, созданная дополнительным предварительным обучением Qwen1.5-0.5B на наборе учебников UltraTextbooks-2.0. Это плотная авторегрессионная модель семейства Qwen2 с 463,9 млн параметров, принимающая текст и генерирующая текст; заявленное окно контекста — 32 768 токенов. В метаданных указана поддержка английского и китайского языков.

Модель предназначена для генерации текста общего назначения с усиленным охватом машинного обучения, математики и программирования. Её можно применять для ответов на учебные вопросы, суммаризации, создания учебных материалов, понимания и генерации кода, а также решения математических задач. Карточка приводит результаты тестов, но предупреждает о возможных неточностях и смещениях в данных. Указана лицензия other; README рекомендует изучить лицензию Qwen перед использованием.

Сценарии применения

ответы на учебные вопросы
суммаризация учебных материалов
создание образовательного контента
объяснение и генерация кода
решение математических задач

Ограничения

Модель может выдавать неточные ответы и воспроизводить смещения и ошибки обучающих данных; результаты следует критически проверять. Перед использованием нужно ознакомиться с лицензией Qwen.

Для каких профессий подходит11

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

tau-0.5B

Model Details

Model Name: tau-0.5B
Base Model: Qwen1.5-0.5B
Dataset: UltraTextbooks-2.0
Model Size: 0.5B parameters
Model Type: Language Model
Training Procedure: Further pre-training of Qwen1.5-0.5B on UltraTextbooks-2.0.

Model Use

tau-0.5B is designed to be a general-purpose language model with enhanced capabilities in the domains of machine learning, mathematics, and coding. It can be used for a wide range of natural language processing tasks, such as:

Educational question answering
Text summarization
Content generation for educational purposes
Code understanding and generation
Mathematical problem solving

The model's exposure to the diverse content in the UltraTextbooks-2.0 dataset makes it particularly well-suited for applications in educational technology and research.

Training Data

tau-0.5B was further pre-trained on the UltraTextbooks-2.0 dataset, which is an expanded version of the original UltraTextbooks dataset. UltraTextbooks-2.0 incorporates additional high-quality synthetic and human-written textbooks from various sources on the Hugging Face platform, with a focus on increasing the diversity of content in the domains of machine learning, mathematics, and coding.

For more details on the dataset, please refer to the UltraTextbooks-2.0 Dataset Card.

Performance and Limitations

Refer to Evaluation for evaluations. It is essential to note that the model may still exhibit biases or inaccuracies present in the training data. Users are encouraged to critically evaluate the model's outputs and report any issues to facilitate continuous improvement.

Environmental Impact

The training of tau-0.5B required computational resources that contribute to the model's overall environmental impact. However, efforts were made to optimize the training process and minimize the carbon footprint.

Ethical Considerations

tau-0.5B was trained on a diverse dataset that may contain biases and inaccuracies. Users should be aware of these potential limitations and use the model responsibly. The model should not be used for tasks that could cause harm or discriminate against individuals or groups.

Evaluation

Tasks	Version	Filter	Metric	Value		Stderr
agieval_nous	N/A	none	acc	0.2235	±	0.0434
		none	acc_norm	0.2141	±	0.0498
- agieval_aqua_rat	1	none	acc	0.1417	±	0.0219
		none	acc_norm	0.1535	±	0.0227
- agieval_logiqa_en	1	none	acc	0.2796	±	0.0176
		none	acc_norm	0.3118	±	0.0182
- agieval_lsat_ar	1	none	acc	0.2000	±	0.0264
		none	acc_norm	0.1696	±	0.0248
- agieval_lsat_lr	1	none	acc	0.2275	±	0.0186
		none	acc_norm	0.2020	±	0.0178
- agieval_lsat_rc	1	none	acc	0.1487	±	0.0217
		none	acc_norm	0.1561	±	0.0222
- agieval_sat_en	1	none	acc	0.2330	±	0.0295
		none	acc_norm	0.2039	±	0.0281
- agieval_sat_en_without_passage	1	none	acc	0.2524	±	0.0303
		none	acc_norm	0.1942	±	0.0276
- agieval_sat_math	1	none	acc	0.2227	±	0.0281
		none	acc_norm	0.1682	±	0.0253

Tasks	Version	Filter	n-shot	Metric	Value		Stderr
truthfulqa	2	none	0	acc	0.3931	±	0.0143
mmlu	N/A	none	0	acc	0.3642	±	0.0040
- humanities	N/A	none	5	acc	0.3320	±	0.0068
- formal_logic	0	none	5	acc	0.2619	±	0.0393
- high_school_european_history	0	none	5	acc	0.4909	±	0.0390
- high_school_us_history	0	none	5	acc	0.4167	±	0.0346
- high_school_world_history	0	none	5	acc	0.4641	±	0.0325
- international_law	0	none	5	acc	0.5537	±	0.0454
- jurisprudence	0	none	5	acc	0.4167	±	0.0477
- logical_fallacies	0	none	5	acc	0.2638	±	0.0346
- moral_disputes	0	none	5	acc	0.3757	±	0.0261
- moral_scenarios	0	none	5	acc	0.2402	±	0.0143
- philosophy	0	none	5	acc	0.3794	±	0.0276
- prehistory	0	none	5	acc	0.3426	±	0.0264
- professional_law	0	none	5	acc	0.3103	±	0.0118
- world_religions	0	none	5	acc	0.2807	±	0.0345
- other	N/A	none	5	acc	0.4071	±	0.0088
- business_ethics	0	none	5	acc	0.4200	±	0.0496
- clinical_knowledge	0	none	5	acc	0.4491	±	0.0306
- college_medicine	0	none	5	acc	0.3873	±	0.0371
- global_facts	0	none	5	acc	0.3600	±	0.0482
- human_aging	0	none	5	acc	0.3498	±	0.0320
- management	0	none	5	acc	0.4854	±	0.0495
- marketing	0	none	5	acc	0.5470	±	0.0326
- medical_genetics	0	none	5	acc	0.4000	±	0.0492
- miscellaneous	0	none	5	acc	0.4291	±	0.0177
- nutrition	0	none	5	acc	0.4183	±	0.0282
- professional_accounting	0	none	5	acc	0.3582	±	0.0286
- professional_medicine	0	none	5	acc	0.3015	±	0.0279
- virology	0	none	5	acc	0.3494	±	0.0371
- social_sciences	N/A	none	5	acc	0.4075	±	0.0088
- econometrics	0	none	5	acc	0.2719	±	0.0419
- high_school_geography	0	none	5	acc	0.5000	±	0.0356
- high_school_government_and_politics	0	none	5	acc	0.4611	±	0.0360
- high_school_macroeconomics	0	none	5	acc	0.4051	±	0.0249
- high_school_microeconomics	0	none	5	acc	0.3908	±	0.0317
- high_school_psychology	0	none	5	acc	0.4239	±	0.0212
- human_sexuality	0	none	5	acc	0.3893	±	0.0428
- professional_psychology	0	none	5	acc	0.3399	±	0.0192
- public_relations	0	none	5	acc	0.4455	±	0.0476
- security_studies	0	none	5	acc	0.3510	±	0.0306
- sociology	0	none	5	acc	0.5174	±	0.0353
- us_foreign_policy	0	none	5	acc	0.5500	±	0.0500
- stem	N/A	none	5	acc	0.3276	±	0.0083
- abstract_algebra	0	none	5	acc	0.3000	±	0.0461
- anatomy	0	none	5	acc	0.2889	±	0.0392
- astronomy	0	none	5	acc	0.3487	±	0.0388
- college_biology	0	none	5	acc	0.3403	±	0.0396
- college_chemistry	0	none	5	acc	0.2600	±	0.0441
- college_computer_science	0	none	5	acc	0.3800	±	0.0488
- college_mathematics	0	none	5	acc	0.3300	±	0.0473
- college_physics	0	none	5	acc	0.2745	±	0.0444
- computer_security	0	none	5	acc	0.4300	±	0.0498
- conceptual_physics	0	none	5	acc	0.3447	±	0.0311
- electrical_engineering	0	none	5	acc	0.3931	±	0.0407
- elementary_mathematics	0	none	5	acc	0.3095	±	0.0238
- high_school_biology	0	none	5	acc	0.4161	±	0.0280
- high_school_chemistry	0	none	5	acc	0.2759	±	0.0314
- high_school_computer_science	0	none	5	acc	0.3100	±	0.0465
- high_school_mathematics	0	none	5	acc	0.3185	±	0.0284
- high_school_physics	0	none	5	acc	0.2517	±	0.0354
- high_school_statistics	0	none	5	acc	0.3009	±	0.0313
- machine_learning	0	none	5	acc	0.3036	±	0.0436
medqa_4options	Yaml	none	5	acc	0.2687	±	0.0124
		none	5	acc_norm	0.2687	±	0.0124
logieval	0	get-answer	5	exact_match	0.3505	±	0.0120
gsm8k_cot	3	strict-match	8	exact_match	0.0690	±	0.0070
		flexible-extract	8	exact_match	0.1365	±	0.0095

Tasks	Version	Filter	n-shot	Metric	Value		Stderr
arc_easy	1	none	25	acc	0.5981	±	0.0101
		none	25	acc_norm	0.5939	±	0.0101
arc_challenge	1	none	25	acc	0.2688	±	0.0130
		none	25	acc_norm	0.2969	±	0.0134

Usage Rights

Make sure to read Qwen's license before using this model.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen2ForCausalLM
Ревизия весов: 5d86478

Характеристики

Ссылки

tau-0.5B

Бенчмарки

Тесты пользователейпока нет

Добавьте модель в бенчмарк

Опишите свои задачи

Запустите и опубликуйте

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Для каких профессий подходит11

Также подходит для

Карточка модели

tau-0.5B

Model Details

Model Use

Training Data

Performance and Limitations

Environmental Impact

Ethical Considerations

Evaluation

Usage Rights

Как запустить