Предварительно обученная англоязычная модель T5 среднего размера для дообучения на задачах преобразования текста.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
nanoT5-mid-65kBPE-2048 — предварительно обученная модель семейства T5 от pszemraj, предназначенная для дообучения под прикладные задачи. Это модель типа encoder-decoder с 301,6 млн параметров, 16 слоями и скрытым размером 1024; она использует активации SiLU и токенизатор на 65 тысяч элементов, адаптированный из токенизатора Claude 3.
Модель обучалась 65 тысяч шагов на английской части набора allenai/c4 с длиной контекста 2048 токенов. Она принимает текст и формирует текст, однако карточка описывает её как базовый чекпойнт, а не готового специализированного помощника; для конкретных задач требуется дообучение. Опубликованные веса представлены в формате safetensors.
Лицензия — Apache-2.0. Готовые прикладные сценарии, оценки качества и ограничения помимо необходимости дообучения карточка не описывает.
Модель является базовым предварительно обученным чекпойнтом и требует дообучения для целевых задач; в карточке нет оценок качества на downstream-задачах.
README от автора на Hugging Face, как он его опубликовал
[!NOTE] This is a "raw" pretrained model intended to be fine-tuned on downstream tasks
A "mid" size T5 model pretrained on c4:
allenai/c4 (en subset) for 65k stepsMore details and logs under checkpoints/
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
У модели не указана задача.