T3 stands for Terribly Tiny Transformers that are an efficient way of creating tiny distilled (student) models for hallucination-free LLM models in parameter-constrained environment (edge devices). The base model is a T3 adaptation of T5 model. The paradigm of T3 models can be extended to all types of models ( encoder only, decoder only & seq2seq)
Характеристики
- Контекст
- 512 токенов
- Параметры
- 49,4 млн
- Лицензия
- Apache 2.0
- Архитектура
- t5 · dense
- Опубликована
- 2 апр 2023
Ссылки
t3
Компактная адаптация T5 для генерации английского текста в диалоговых сценариях на устройствах с ограниченными ресурсами.
17скачиваний за 30 дней6лайковвеса обновлены3 июл 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
ayushutkarsh/t3 — компактная модель семейства T5, представленная как адаптация T3 для создания небольших дистиллированных моделей. Она предназначена для генерации текста в диалоговых сценариях и для использования в средах с ограниченными ресурсами, включая периферийные устройства. Модель содержит 49,4 млн параметров, использует архитектуру T5ForConditionalGeneration и имеет контекст длиной до 512 токенов.
В метаданных указан английский язык и датасет FaithDial, связанный с диалогами, ориентированными на фактические ответы. Модель распространяется в формате PyTorch по лицензии Apache-2.0. README заявляет цель уменьшить галлюцинации, но не приводит результатов оценки, поэтому это свойство нельзя считать подтверждённой гарантией качества.
Сценарии применения
- генерация ответов в английском диалоге
- создание компактного диалогового помощника для периферийного устройства
- генерация текста на основе входного текстового контекста
Ограничения
Контекст ограничен 512 токенами. Заявленная цель снижения галлюцинаций не подкреплена в карточке результатами оценки.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
III.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модельII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- T5ForConditionalGeneration
- Ревизия весов
- a35242c