Характеристики

Контекст: 512 токенов
Параметры: 124 млн
Архитектура: t5 · dense
Базовая модель: flant5-text2sql-model
Опубликована: 6 апр 2024

Ссылки

Hugging Face

flant5-nltosql-wikisqlandspider

barunparua

Языковая модель4 профессии

Дообученная модель T5 для преобразования запросов на естественном языке в SQL в сценариях WikiSQL и Spider.

9скачиваний за 30 дней0лайковвеса обновлены6 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

barunparua/flant5-nltosql-wikisqlandspider — дообученная модель семейства T5 на основе OwaisAhmad/flant5-text2sql-model. Она предназначена для преобразования запросов на естественном языке в SQL, в том числе для сценариев, связанных с наборами WikiSQL и Spider. Модель содержит 123,8 млн параметров, работает с текстом и имеет контекст длиной 512 токенов.

В карточке приведены результаты оценки: Loss 0,2761, ROUGE-1 0,6182, ROUGE-2 0,5007, ROUGE-L 0,6013 и ROUGE-Lsum 0,6012. Описание не уточняет поддерживаемые языки, конкретные схемы баз данных и ограничения качества; результаты оценки сами по себе не гарантируют точность на новых данных. Лицензия в предоставленных сведениях не указана.

Сценарии применения

генерация SQL-запросов по вопросу на естественном языке
преобразование вопросов к таблицам WikiSQL в SQL
создание SQL-запросов для задач набора Spider

Ограничения

В карточке не описаны языки запросов, поддерживаемые схемы баз данных и ограничения применения; приведённые метрики оценки не гарантируют качество на новых данных.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

flant5-nltosql-wikisqlandspider

This model is a fine-tuned version of OwaisAhmad/flant5-text2sql-model on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.2761
Rouge1: 0.6182
Rouge2: 0.5007
Rougel: 0.6013
Rougelsum: 0.6012

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.001
train_batch_size: 2
eval_batch_size: 2
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 4

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum
0.5855	1.0	2332	0.4335	0.5753	0.4179	0.5575	0.5575
0.3011	2.0	4664	0.2983	0.6043	0.4777	0.5891	0.5890
0.1745	3.0	6996	0.2755	0.6091	0.4867	0.5917	0.5911
0.0873	4.0	9328	0.2761	0.6182	0.5007	0.6013	0.6012

Framework versions

Transformers 4.38.2
Pytorch 2.1.2
Datasets 2.1.0
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: 8dbbee7