/ Модель

Характеристики

Контекст
8 192 токена
Параметры
7,5 млрд
Размер весов
16,1 ГБ
Лицензия
CC BY-SA 4.0
Архитектура
llama · dense
Опубликована
9 мая 2024

llama-3-sqlcoder-8b

Генерация текстаТекст → текст5 профессий

Дообученная модель Defog на основе Llama 3 генерирует SQL-запросы для PostgreSQL, Redshift и Snowflake по вопросам пользователя и описаниям таблиц.

732скачиваний за 30 дней276лайковвеса обновлены24 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Defog, Inc. разработала Defog Llama 3 SQLCoder 8B — языковую модель для преобразования вопросов на естественном языке в SQL-запросы. Она дообучена на Meta-Llama-3-8B-Instruct и построена на плотной архитектуре Llama с 7,5 млрд параметров; модель принимает текст и генерирует текст, а заявленная длина контекста составляет 8192 токена.

Модель предназначена для генерации SQL с учётом вопроса пользователя и переданных описаний таблиц (DDL). В README указана поддержка PostgreSQL, Redshift и Snowflake; авторы оценивали её на SQL-Eval, тестовом фреймворке для PostgreSQL. Для вывода рекомендуется температура 0 без сэмплирования.

Модель распространяется по лицензии CC BY-SA 4.0. Карточка описывает её назначение и тестирование, но не приводит результатов оценки, поэтому фактическое качество на конкретных схемах и диалектах может различаться.

Сценарии применения

  • генерация SQL по вопросу на естественном языке
  • составление запросов к PostgreSQL по DDL-схеме
  • подготовка запросов для Amazon Redshift
  • генерация запросов для Snowflake
  • создание SQL-запросов для аналитической отчётности

Ограничения

README не приводит численных результатов SQL-Eval, поэтому качество на конкретных схемах и запросах не оценить по карточке. Для генерации рекомендуется отключить сэмплирование и установить температуру 0.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

A capable language model for text to SQL generation for Postgres, Redshift and Snowflake that is on-par with the most capable generalist frontier models.

image/png

Model Description

Developed by: Defog, Inc Model type: [Text to SQL] License: [CC-by-SA-4.0] Finetuned from model: [Meta-Llama-3-8B-Instruct]

Demo Page

https://defog.ai/sqlcoder-demo/

Ideal prompt and inference parameters

Set temperature to 0, and do not do sampling.

Prompt

<|begin_of_text|><|start_header_id|>user<|end_header_id|>

Generate a SQL query to answer this question: `{user_question}`
{instructions}

DDL statements:
{create_table_statements}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

The following SQL query best answers the question `{user_question}`:
```sql

Evaluation

This model was evaluated on SQL-Eval, a PostgreSQL based evaluation framework developed by Defog for testing and alignment of model capabilities.

You can read more about the methodology behind SQLEval here.

Contact

Contact us on X at @defogdata, or on email at founders@defog.ai

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
0f96d32

0 моделей