TNG Technology Consulting fine-tuned the 32-billion-parameter OLMo-2 Large Language Model using AMD's MI300X GPUs and the Open R1 dataset, focusing on enhancing the model's reasoning capabilities. The MI300X accelerators, with their multi-chip module architecture and substantial memory bandwidth, facilitated efficient handling of the model's training requirements. The Open R1 dataset, curated by Hugging Face, provided a comprehensive collection of mathematical problems with detailed reasoning traces, serving as an ideal foundation for this fine-tuning endeavor. This collaborative effort underscores the potential of open-source initiatives and advanced hardware in advancing AI research.
Характеристики
- Контекст
- 4 096 токенов
- Параметры
- 31,7 млрд
- Размер весов
- 64,5 ГБ
- Лицензия
- Apache 2.0
- Архитектура
- olmo2 · dense
- Базовая модель
- OLMo-2-0325-32B-Instruct
- Библиотека
- transformers
- Опубликована
- 17 мар 2025
Ссылки
OLMo-2-Instruct-Math-32B
Дообученная TNG Technology Consulting модель OLMo-2 на 32 млрд параметров для диалогового решения математических задач и генерации рассуждений на английском языке.
20скачиваний за 30 дней5лайковвеса обновлены17 апр 2025
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
TNG Technology Consulting дообучила плотную языковую модель OLMo-2 на 32 млрд параметров на наборе Open R1, уделив особое внимание математическим рассуждениям. Модель предназначена для диалогового решения математических задач и генерации ответов с рассуждениями на английском языке. Она принимает текст и выдаёт текст; архитектура — Olmo2ForCausalLM, длина контекста — 4096 токенов.
Для обучения использовался набор Open R1 Math 220k, а обучение проводилось на ускорителях AMD MI300X. Модель распространяется в формате safetensors по лицензии Apache-2.0. Основа — allenai/OLMo-2-0325-32B-Instruct.
Сценарии применения
- Решение математических задач с пояснением хода рассуждений
- Ответы на вопросы по математике в диалоговом формате
- Генерация пошаговых разборов математических задач
Ограничения
Контекст ограничен 4096 токенами; модель ориентирована на математические задачи и может ошибаться в рассуждениях или ответах.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
IV.5Отраслевые задачиОбразование и развитие навыковAI помогает персонализировать обучение и снижать административную нагрузку на преподавателей.34 задачи6 641модельIV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделейIV.2Отраслевые задачиБанки, платежи и инвестицииAI помогает управлять финансовым риском, платежами, инвестиционным анализом и обслуживанием клиентов.37 задач1 723модели
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…
- Класс архитектуры
- Olmo2ForCausalLM
- Ревизия весов
- a56b459