Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Barcenas-Tiny-1.1b-DPO — компактная разговорная языковая модель, созданная автором Danielbrdz на основе TinyLlama/TinyLlama-1.1B-Chat-v1.0. Модель дообучена методом Direct Preference Optimization (DPO) на наборе Intel/orca_dpo_pairs, чтобы улучшить качество ответов диалогового ассистента.
Модель использует плотную архитектуру LlamaForCausalLM и содержит около 1 млрд параметров. Она принимает текст и генерирует текст, поддерживает английский и испанский языки; длина контекста — 2048 токенов. Подходит для локальных чат-ботов и экспериментов с небольшими языковыми моделями. Распространяется в формате safetensors по лицензии Apache-2.0.
Небольшой размер упрощает запуск на ограниченных ресурсах, однако по возможностям и объёму контекста модель уступает более крупным современным системам. README не приводит количественных результатов оценки качества.
Сценарии применения
создание локального текстового чат-бота
генерация ответов на вопросы на английском языке
генерация ответов на вопросы на испанском языке
эксперименты с DPO для небольших языковых моделей
Ограничения
Контекст ограничен 2048 токенами, а малый размер модели может снижать качество и надёжность ответов по сравнению с более крупными моделями. README не содержит количественных оценок качества.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
It is a model based on the famous TinyLlama/TinyLlama-1.1B-Chat-v1.0 and trained with DPO using the Intel/orca_dpo_pairs dataset.
With its reinforcement based training we hope to improve the Tiny model in a huge way and have a better model with better responses with a small size and accessible to most people.
Many thanks to Maxime Labonne (mlabonne) for his tutorial on how to train a LLM model using DPO, without his tutorial this model would not have been possible.
Made with ❤️ in Guadalupe, Nuevo Leon, Mexico 🇲🇽
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров