/ Модель
Каталог

Характеристики

Контекст
32 768 токенов
Параметры
494 млн
Лицензия
Apache 2.0
Архитектура
qwen2 · dense
Базовая модель
Qwen2.5-0.5B-Instruct
Библиотека
transformers
Опубликована
11 окт 2024

Ссылки

Hugging Face

ECE-Qwen0.5B-FT-V2

Youlln
Генерация текстаТекст → текст3 профессии

Компактная дообученная модель Qwen2.5 для решения математических задач и генерации текстовых ответов.

43скачиваний за 30 дней0лайковвеса обновлены16 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,2668

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,2526

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,329

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,3063

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,0204

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,1666

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Youlln/ECE-Qwen0.5B-FT-V2 — компактная языковая модель, разработанная Youri Lalain из инженерной школы ECE. Она основана на Qwen/Qwen2.5-0.5B-Instruct и дообучена на наборе Augmentation-Scaling-Laws/math-seed-data для решения математических задач и рассуждений. Модель использует плотную архитектуру Qwen2ForCausalLM, содержит 494 млн параметров и поддерживает контекст до 32 768 токенов. Она принимает текстовые запросы и генерирует текстовые ответы.

Модель предназначена для помощи с математическими задачами, вычислениями и объяснением решений. Карточка сообщает результаты оценки на Open LLM Leaderboard, но не приводит подробностей о точности на конкретных математических тестах. Доступна по лицензии Apache-2.0.

Сценарии применения

  • решение математических задач по текстовому условию
  • получение помощи с вычислениями
  • запрос пошагового рассуждения при решении задач

Ограничения

Карточка не приводит результатов на специализированных математических тестах, поэтому заявленный уровень решения сложных задач нельзя оценить по указанным метрикам. Компактный размер модели может ограничивать качество сложных рассуждений.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
IV.5Отраслевые задачиОбразование и развитие навыковAI помогает персонализировать обучение и снижать административную нагрузку на преподавателей.34 задачи6 641модельIV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Description

The model you’re using is based on Qwen/Qwen2.5-0.5B-Instruct, a powerful AI designed to follow instructions across a wide range of tasks. Through specialized fine-tuning, this model has been trained to become highly proficient in solving complex mathematical problems. By using a dataset specifically focused on math (Augmentation-Scaling-Laws/math-seed-data), it has gained the ability to handle advanced calculations and mathematical reasoning, making it an ideal assistant for anyone needing help with math-related tasks or challenges.

  • Developed by: Youri Lalain (@Youlln)
  • Organization: ECE engineering school

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.7.44
IFEval (0-Shot)25.26
BBH (3-Shot)7.63
MATH Lvl 5 (4-Shot)1.21
GPQA (0-shot)2.24
MuSR (0-shot)0.89
MMLU-PRO (5-shot)7.40

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen2ForCausalLM
Ревизия весов
63d8cd9

0 моделей

    Создать бенчмарк