Характеристики

Контекст: 131 072 токена
Параметры: 14 млрд
Размер весов: 29,5 ГБ
Лицензия: Apache 2.0
Архитектура: qwen2 · dense
Базовая модель: qwen2.5-14b-bnb-4bit
Опубликована: 20 дек 2024

Ссылки

Hugging Face

UwU-14B-Math-v0.2

qingy2024

Генерация текстаТекст → текст3 профессии

Дообученная на математических задачах модель Qwen 2.5-14B для генерации ответов и пошаговых рассуждений.

82скачиваний за 30 дней17лайковвеса обновлены20 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

UwU-14B-Math-v0.2 — языковая модель на 14 млрд параметров, разработанная qingy2024. Это дообученная версия Qwen 2.5-14B на ответах QwQ 32B Preview на вопросы из набора NuminaMathCoT; модель использует архитектуру Qwen2ForCausalLM и формат диалогов ChatML. Она предназначена для генерации текста, прежде всего для решения математических задач и пошаговых рассуждений на английском языке. Размер контекста составляет до 131 072 токенов.

Обучение остановили на 500 шагах, когда функция потерь перестала заметно снижаться, чтобы избежать чрезмерного переобучения. Модель распространяется по лицензии Apache 2.0. Качество решения задач и точность рассуждений в карточке не оценены; обучение на ограниченном наборе математических примеров может сказываться на обобщении.

Сценарии применения

решение математических задач по текстовому условию
генерация пошаговых математических рассуждений
подготовка черновых решений задач на английском языке

Ограничения

Обучение остановлено на 500 шагах после плато функции потерь; качество решений и точность рассуждений в карточке не оценены. Английский язык указан в метаданных, поэтому поддержка других языков не подтверждена.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.5Отраслевые задачиОбразование и развитие навыковAI помогает персонализировать обучение и снижать административную нагрузку на преподавателей.34 задачи6 641модель IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей I.13Универсальные способностиСимуляция, моделирование и открытие новогоAI помогает исследовать сложные системы, проверять сценарии и искать новые конструкции, закономерности или гипотезы.18 задач1 577моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Uploaded model

Developed by: qingy2024
License: apache-2.0
Finetuned from model : unsloth/qwen2.5-14b-bnb-4bit

This model is a fine-tuned version of Qwen 2.5-14B, trained on QwQ 32B Preview's responses to questions from the NuminaMathCoT dataset.

Note: This model uses the standard ChatML template.

At 500 steps, the loss was plateauing so I decided to stop training to prevent excessive overfitting.

Training Details

Base Model: Qwen 2.5-14B
Fine-Tuning Dataset: Verified subset of NuminaMathCoT using Qwen 2.5 3B Instruct as a judge. (the sharegpt-verified-cleaned subset from my dataset).
QLoRA Configuration:
- Rank: 32
- Rank Stabilization: Enabled
Optimization Settings:
- Batch Size: 8
- Gradient Accumulation Steps: 2 (Effective Batch Size: 16)
- Warm-Up Steps: 5
- Weight Decay: 0.01
Training Steps: 500 steps
Hardware Information: A100-80GB

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen2ForCausalLM
Ревизия весов: 308f732