/ Модель

Характеристики

Контекст
8 192 токена
Параметры
1,8 млрд
Лицензия
Apache 2.0
Архитектура
llama · dense
Базовая модель
BiBo-Mini-v0.9x
Библиотека
transformers
Опубликована
20 мар 2025

BiBo-Mini-1.7B-SFT-Stage-1

Генерация текстаТекст → текст4 профессии

Диалоговая модель tinycompany на 1,8 млрд параметров для генерации текста преимущественно на хинди, английском и Hinglish.

536скачиваний за 30 дней0лайковвеса обновлены23 мар 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

BiBo-Mini-1.7B-SFT-Stage-1 — диалоговая языковая модель компании tinycompany для генерации текста и общения. Это дообученная плотная модель архитектуры LLaMA с 1,8 млрд параметров по метаданным; автор указывает 1,7 млрд активных параметров с учётом слоя эмбеддингов. Модель обучена на наборе tinycompany/Instruct-Is-All-You-Need, использует специализированный токенизатор QTK-81K и поддерживает контекст до 8192 токенов по метаданным.

Модель предназначена для многоязычной генерации, особенно на хинди, английском и Hinglish — смешении хинди и английского. Автор отмечает способность формировать рассуждения на Hinglish и английском и предлагает модель как основу для дальнейшей разработки моделей с рассуждениями. Среди заявленных особенностей обучения — 6 млрд токенов, архитектура LLaMA и обучение на TPU; независимые результаты оценивания в карточке не приведены.

Модель принимает текст и выдаёт текст. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0. Карточка не приводит подробных оценок качества или ограничений по безопасности; поэтому пригодность для конкретных задач стоит проверять отдельно.

Сценарии применения

  • генерация ответов в диалоговом интерфейсе
  • общение на хинди и английском
  • генерация текста на Hinglish
  • создание основы для экспериментальной модели с рассуждениями

Ограничения

Карточка не содержит независимых результатов оценки качества или подробных сведений об ограничениях безопасности. Заявления о производительности и способности к рассуждениям принадлежат автору модели.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Multilingual Superb Performance in Hindi , English and Hinglish

Would Help to set good base for thinking models

Has native thinking in Hinglish and English.

Trained on v4-8 TPU

  • Active Params : 1.7B (Including Embedding Layer)
  • Specialized Tokenizer (fhai50032/QTK-81K) For better Tokenization for Hindi , English, Math & Code
  • Tied Embeddings
  • Torch-XLA (SPMD)
  • Flash-Attention ( Block-Size = 512 )
  • 6B Tokens Trained
  • Training Time = 32h
  • AdamW Optimizer
  • Cosine Schedular
  • Batch_Size = 72
  • Max_Seq_Len = 2048
  • Packed = True
  • Min_lr = 0
  • Max_lr = 3e-4
  • Epoch = 2
  • Final Val_loss = 1.04x
  • Final Running Loss = 0.9x
  • Weight Decay = 0.05
  • LLama Arch

Average Training Throughput

  • 42-000 tokens / second

Evals will be in Dir

Compute Provided by Google ;)

❤️ TRC ❤️Google

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
e03b84d

0 моделей