/ Модель

Характеристики

Контекст
2 048 токенов
Параметры
1,2 млрд
Лицензия
MIT
Архитектура
llama · dense
Опубликована
27 янв 2024

Tinyllama-Cinder-1.3B-Reason-Test

Генерация текстаТекст → текст3 профессии

Тестовая модель на базе TinyLlama для генерации текста с упором на математические задачи и пошаговые рассуждения.

59скачиваний за 30 дней4лайкавеса обновлены9 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Josephgflowers/Tinyllama-Cinder-1.3B-Reason-Test — тестовая модель на архитектуре Llama с примерно 1,2 млрд параметров и контекстом до 2048 токенов. По карточке, это эксперимент с объединением слоёв 1–22 и 18–22 двух моделей Cinder на базе TinyLlama 1.1B; обучение было ориентировано на математику и пошаговые рассуждения.

Модель предназначена для генерации текста в формате научных и образовательных бесед, ответов с рассуждениями и проверки поведения на наборе Reason-with-cinder. В README приведены результаты Open LLM Leaderboard, включая среднее значение 37,88, ARC 34,56 и HellaSwag 58,24.

Модель распространяется в формате Safetensors по лицензии MIT. Это тестовый чекпойнт; результаты бенчмарков и описание не подтверждают надёжность ответов для практического применения.

Сценарии применения

  • эксперименты с генерацией ответов на математические вопросы
  • проверка пошаговых рассуждений языковой модели
  • тестирование модели на научных и образовательных диалогах
  • сравнение результатов на бенчмарках рассуждения

Ограничения

Это тестовый эксперимент с объединением слоёв; README не приводит подробной оценки качества, а заявленные результаты ограничены отдельными бенчмарками. Контекст ограничен 2048 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

1.3B test of two Cinder models merged layers 1-22 and 18-22, trained on math and step by step reasoning. Model Overview Cinder is an AI chatbot tailored for engaging users in scientific and educational conversations, offering companionship, and sparking imaginative exploration. It is built on the TinyLlama 1.1B parameter model and trained on a unique combination of datasets. Testing on Reason-with-cinder dataset.

image/png

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.37.88
AI2 Reasoning Challenge (25-Shot)34.56
HellaSwag (10-Shot)58.24
MMLU (5-Shot)25.79
TruthfulQA (0-shot)39.93
Winogrande (5-shot)63.93
GSM8k (5-shot)4.85

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
53e315c

0 моделей