/ Модель

Характеристики

Контекст
131 072 токена
Параметры
1,2 млрд
Лицензия
Apache 2.0
Архитектура
llama · dense
Базовая модель
Llama-3.2-1B-Instruct
Опубликована
17 ноя 2024

OrcaAgent-llama3.2-1b

Генерация текстаТекст → текст7 профессий

Дообученная на инструкциях модель Llama 3.2 с 1,2 млрд параметров для генерации текста, диалогов и агентных сценариев.

46скачиваний за 30 дней2лайкавеса обновлены22 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

OrcaAgent-llama3.2-1b — дообученная модель Isotonic на базе meta-llama/Llama-3.2-1B-Instruct. Она предназначена для генерации текста и диалогов, включая сценарии работы в формате агента; при дообучении использована часть набора microsoft/orca-agentinstruct-1M-v1. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 1,2 млрд параметров и поддерживает контекст до 131 072 токенов.

Метаданные также отмечают интерфейс вызова инструментов. Доступна в формате safetensors и распространяется по лицензии Apache-2.0. Карточка указывает английский язык; качество и ограничения для конкретных задач отдельно не описаны.

Сценарии применения

  • ответы на вопросы в диалоге на английском языке
  • выполнение инструкций и генерация текста
  • создание ответов для агентных сценариев
  • подготовка запросов для вызова инструментов

Ограничения

Карточка не приводит оценок качества и подробных ограничений. Поддержка интерфейса вызова инструментов указана в метаданных и сама по себе не гарантирует совместимость с конкретной системой инструментов.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

OrcaAgent-llama3.2-1b

This model is finetuned on a subset from microsoft/orca-agentinstruct-1M-v1, dataset details and prompts can be found in Isotonic/agentinstruct-1Mv1-combined

Use

import torch
from transformers import pipeline
"
pipe = pipeline(
    "text-generation",
    model=model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
messages = [
    {"role": "user", "content": "\n\nYou are an expert text classifier. You need to classify the text below into one of the given classes. \n\nText:\n\nThe anticipation of the meteor shower has filled the astronomy club with an infectious excitement, as we prepare our telescopes for what could be a once-in-a-lifetime celestial event.\n\nClasses:\n\nAffirmative Sentiment;Mildly Affirmative Sentiment;Exuberant Endorsement;Objective Assessment;Critical Sentiment;Subdued Negative Sentiment;Intense Negative Sentiment;Ambivalent Sentiment;Sarcastic Sentiment;Ironical Sentiment;Apathetic Sentiment;Elation/Exhilaration Sentiment;Credibility Endorsement;Apprehension/Anxiety;Unexpected Positive Outcome;Melancholic Sentiment;Aversive Repulsion;Indignant Discontent;Expectant Enthusiasm;Affectionate Appreciation;Anticipatory Positivity;Expectation of Negative Outcome;Nuanced Sentiment Complexity\n\nThe output format must be:\n\nFinal class: {selected_class}\n\n"},
]
outputs = pipe(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
3ad1620

0 моделей