/ Модель
Каталог

Характеристики

Контекст
8 192 токена
Параметры
7,5 млрд
Размер весов
16,1 ГБ
Лицензия
Llama 3
Архитектура
llama · dense
Опубликована
11 мая 2024

Ссылки

Hugging Face

LocalAI-Llama3-8b-Function-Call-v0.2

LocalAI-io
Генерация текстаТекст → текст4 профессии

Дообученная модель Llama 3 для диалогов с вызовом инструментов и выдачей JSON в LocalAI.

33скачиваний за 30 дней10лайковвеса обновлены5 фев 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LocalAI-io/LocalAI-Llama3-8b-Function-Call-v0.2 — дообученная плотная авторегрессионная модель семейства Llama 3 с 7,5 млрд параметров, разработанная для LocalAI. Она предназначена для диалоговых сценариев с вызовом инструментов и ограниченной грамматикой: при переходе в режим инструментов модель отвечает в формате JSON. Контекст составляет 8192 токена; репозиторий содержит веса в формате safetensors.

Модель подходит для интеграции в приложения LocalAI, где нужно преобразовывать запросы пользователя в структурированные аргументы вызова инструментов. README сообщает о дообучении на пользовательском наборе данных и данных Glaive, но не приводит подробностей о тестировании и качестве. Лицензия указана как llama3; условия её применения следует сверять с лицензией семейства Llama 3.

Сценарии применения

  • генерация JSON для вызова инструментов
  • обработка запросов в режиме инструментов LocalAI
  • создание диалогового интерфейса с функциями
  • преобразование запросов пользователя в структурированные аргументы

Ограничения

README не приводит результатов оценки качества, подробностей обучающих данных или сведений о поддержке конкретных инструментов. Утверждение о JSON-ответах относится к режиму инструментов.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022моделиII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443моделиI.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LocalAI-Llama3-8b-Function-Call-v0.2

NEW!!!

Check the latest model series: https://huggingface.co/mudler/LocalAI-functioncall-phi-4-v0.3

local-ai-banner.png

LocalAIFCALL

OpenVINO: https://huggingface.co/fakezeta/LocalAI-Llama3-8b-Function-Call-v0.2-ov-int8

GGUF: https://huggingface.co/mudler/LocalAI-Llama3-8b-Function-Call-v0.2-GGUF

This model is a fine-tune on a custom dataset + glaive to work specifically and leverage all the LocalAI features of constrained grammar.

Specifically, the model once enters in tools mode will always reply with JSON.

To run on LocalAI:

local-ai run huggingface://mudler/LocalAI-Llama3-8b-Function-Call-v0.2-GGUF/localai.yaml

If you like my work, consider up donating so can get resources for my fine-tunes!

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
b56be28

0 моделей

    Создать бенчмарк