/ Модель

Характеристики

Контекст
131 072 токена
Параметры
3,2 млрд
Размер весов
6,4 ГБ
Лицензия
CC BY-NC 4.0
Архитектура
llama · dense
Базовая модель
Llama-3.2-3B-Instruct
Опубликована
23 окт 2024

Thanos-3B

Генерация текстаТекст → текст4 профессии

Thanos-3B — дообученная на навыках диалога языковая модель на 3,2 млрд параметров для создания более естественных ответов разговорных агентов.

21скачиваний за 30 дней4лайкавеса обновлены8 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Thanos-3B — диалоговая языковая модель из серии Thanos, разработанной Young-Jun Lee и обученной поверх LLaMA 3.2 3B. Она предназначена для общих разговорных агентов: обучение на наборе Multifaceted Skill-of-Mind призвано сделать ответы более похожими на человеческие. Модель содержит 3,2 млрд параметров, использует плотную архитектуру Llama и принимает текст, генерируя текст; поддерживает контекст до 131 072 токенов. В карточке указан английский язык, а метаданные отмечают возможности чата и интерфейс вызова инструментов.

Модель можно применять для ведения диалогов, ответов в разговорных интерфейсах и генерации текста. Она является дообучением meta-llama/Llama-3.2-3B-Instruct и распространяется в формате Safetensors по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование. Авторы указывают исследовательское назначение модели.

Сценарии применения

  • ведение диалогов с пользователями
  • создание разговорного агента с более естественными ответами
  • генерация ответов в чат-интерфейсе
  • подготовка текстовых ответов с использованием контекста до 131 072 токенов

Ограничения

Авторы позиционируют модель для исследовательского использования. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Thanos-3B Model Card

🧠 Multifaceted Skill-of-Mind | 🤖 Thanos-1B | 🤖 Thanos-8B | 💻 Github | 📄 Arxiv | 📕 PDF

🚨 Disclaimer: All models and dataset are intended to be used for research purposes only.

Model Description

  • Repository: Code
  • Paper: Thanos: Enhancing Conversational Agents with Skill-of-Mind-Infused Large Language Model
  • Point of Contact: Young-Jun Lee

Model Details

  • Model: Thanos-series is a fully open-source, skill-of-mind-infused LLM designed to help general conversational agents respond in a more human-like way.
  • Date: Thanos-series was trained in 2024.
  • Training Dataset: 100K Multifaceted Skill-of-Mind
  • Architecture: Thanos-3B was trained on top of LLaMA-3.2-3B.

How to Use

License and Recommendations

🚨 Thanos-3B is intended to be used for research purposes only.

Acknowledgement

This work was supported by a grant of the KAIST-KT joint research project through AI Tech Lab, Institute of convergence Technology, funded by KT [Project No. G01230605, Development of Task-oriented Persona-based Dialogue Generation Combining Multi-modal Interaction and Knowledge Modeling].

Citation

If you find the resources in this repository useful, please cite our work:

@misc{lee2024thanosenhancingconversationalagents,
      title={Thanos: Enhancing Conversational Agents with Skill-of-Mind-Infused Large Language Model}, 
      author={Young-Jun Lee and Dokyong Lee and Junyoung Youn and Kyeongjin Oh and Ho-Jin Choi},
      year={2024},
      eprint={2411.04496},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2411.04496}, 
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
f641603

0 моделей