Характеристики

Лицензия: MIT
Базовая модель: rho-math-1b-interpreter-v0.1
Опубликована: 18 апр 2024

Ссылки

rho-math-1b-interpreter-v0.1-GGUF

Генерация текстаТекст → текст3 профессии

QuantFactory/rho-math-1b-interpreter-v0.1-GGUF — квантованная версия языковой модели Rho-Math-1B-Interpreter-v0.1, разработанной Microsoft и преобразованной QuantFactory с использованием llama.cpp.

1 358скачиваний за 30 дней0лайковвеса обновлены8 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и решения математических задач, включая сценарии с интерпретатором кода и инструментально интегрированным рассуждением.

Модель основана на Rho-1 и использует Selective Language Modeling (SLM) — подход к предобучению, при котором обучение сосредоточено на информативных и качественных токенах. Размер исходной модели составляет около 1,1 млрд параметров. Модель относится к текстовым causal language models, ориентирована на английский язык; поддерживаемые модальности — текстовые. Размер контекстного окна в README не указан.

К сильным сторонам относятся специализация на математическом рассуждении и высокая эффективность для компактной модели: заявлено более 40% точности на датасете MATH, а версия Rho-Math-1B показывает 36,2% на GSM8K и 15,6% на MATH в few-shot оценивании. Ограничения включают небольшой размер по сравнению с крупными моделями, ориентацию преимущественно на английский язык, зависимость качества от формата запросов и инструментов исполнения кода, а также отсутствие в README подробностей о квантовании, контекстном окне и характеристиках инференса. Модель распространяется по лицензии MIT.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели IV.5Отраслевые задачиОбразование и развитие навыковAI помогает персонализировать обучение и снижать административную нагрузку на преподавателей.34 задачи6 641модель II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

QuantFactory/rho-math-1b-interpreter-v0.1-GGUF

This is quantized version of microsoft/rho-math-1b-interpreter-v0.1 created using llama.cpp

Model Description

🔥 News

[2024/04/12] 🔥🔥🔥 Rho-Math-v0.1 models released at 🤗 HuggingFace!
- Rho-Math-1B and Rho-Math-7B achieve 15.6% and 31.0% few-shot accuracy on MATH dataset, respectively — matching DeepSeekMath with only 3% of the pretraining tokens.
- Rho-Math-1B-Interpreter is the first 1B LLM that achieves over 40% accuracy on MATH.
- Rho-Math-7B-Interpreter achieves 52% on MATH dataset, using only 69k samples for fine-tuning.
[2024/04/11] Rho-1 paper and repo released.

💡 Introduction

Rho-1 base models employ Selective Language Modeling (SLM) for pretraining, which selectively trains on clean and useful tokens that aligned with the desired distribution.

Selective Lanugage Modeling (SLM)

Evaluation Results

Base models (Few-shot CoT):

Model	Size	Data	Uniq. Token	Train Token	GSM8K	MATH	MMLU STEM	SAT
1-2B Base Models
Qwen1.5	1.8B	-	-	-	36.1	6.8	31.3	40.6
Gemma	2.0B	-	-	-	18.8	11.4	34.4	50.0
DeepSeekMath	1.3B	-	120B	150B	23.8	13.6	33.1	56.3
Rho-Math-1B-v0.1	1.1B	OWM	14B	30B	36.2	15.6	23.3	28.1
>= 7B Base Models
Mistral	7B		-	-	41.2	11.6	49.5	59.4
Minerva	540B	-	39B	26B	58.8	33.6	63.9	-
LLemma	34B	PPile	55B	50B	54.2	23.0	54.7	68.8
InternLM2-Math	20B	-	31B	125B	65.4	30.0	53.1	71.9
DeepSeekMath	7B	-	120B	500B	64.1	34.2	56.4	84.4
Rho-Math-7B-v0.1	7B	OWM	14B	10.5B	66.9	31.0	54.6	84.4

Tool-integrated reasoning (Code Interpreter):

Model	Size	SFT Data	GSM8k	MATH	SVAMP	ASDiv	MAWPS	TabMWP	GSM-Hard	AVG
gpt4-early (pal)	-	-	94.2	51.8	94.8	92.6	97.7	95.9	77.6	86.4
gpt-4-turbo-2024-04-09 (cot)	-	-	-	73.4	-	-	-	-	-
Open-Source Small Models
MAmmoTH	70B	MI-260k	76.9	41.8	82.4	-	-	-	-	-
ToRA	7B	ToRA-69k	68.8	40.1	68.2	73.9	88.8	42.4	54.6	62.4
ToRA	70B	ToRA-69k	84.3	49.7	82.7	86.8	93.8	74.0	67.2	76.9
DeepSeekMath	7B	ToRA-69k	79.8	52.0	80.1	87.1	93.8	85.8	63.1	77.4
Rho-Math-1B-Interpreter-v0.1	1B	ToRA-69k	59.4	40.6	60.7	74.2	88.6	26.7	48.1	56.9
Rho-Math-7B-Interpreter-v0.1	7B	ToRA-69k	81.3	51.8	80.8	85.5	94.5	70.1	63.1	75.3

🚀 Quick Start

Evaluation

git clone git@github.com:microsoft/rho.git
cd rho-1/math-evaluation-harness

Base model few-shot evaluation:

bash scripts/run_eval.sh cot microsoft/rho-math-7b-v0.1

SFT model (code-interpreter) evaluation:

bash scripts/run_eval.sh tora microsoft/rho-math-7b-interpreter-v0.1

Our reproduced outputs are provided in rho-1/outputs.zip.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: dc0cb2a