/ Модель

Характеристики

Контекст
8 192 токена
Параметры
7,5 млрд
Размер весов
16,1 ГБ
Архитектура
llama · dense
Опубликована
2 июл 2024

L3-8B-Everything-COT

Генерация текстаТекст → текст4 профессии

FPHam/L3-8B-Everything-COT — разговорная модель на базе Llama 3 8B для генерации ответов с рассуждениями по цепочке мыслей.

31скачиваний за 30 дней17лайковвеса обновлены3 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

FPHam разработал Everything COT — разговорную языковую модель общего назначения на базе Llama 3 8B Instruct. Модель построена на плотной архитектуре Llama, содержит 7,5 млрд параметров и поддерживает контекст до 8192 токенов. Она принимает текст и генерирует текстовые ответы в формате чата.

Модель задумана для диалогов с рассуждениями по цепочке мыслей: автор описывает её как склонную рассматривать вопрос с разных сторон и выражать сомнения при неопределённости. В качестве шаблона используется Llama 3 Instruct; README отмечает, что при обучении системное сообщение не использовалось, а параметры генерации можно подбирать под сценарий.

Модель основана на Llama 3 8B и распространяется по лицензии Meta Llama 3 Community License Agreement. Указанный подход к рассуждениям не гарантирует точность: ответы могут быть многословными или содержать ошибки и галлюцинации.

Сценарии применения

  • диалоговые ответы на вопросы общего характера
  • генерация ответов с рассмотрением нескольких точек зрения
  • эксперименты с разговорными моделями и параметрами генерации

Ограничения

Модель может давать многословные ответы, а рассуждения и выражение сомнений не гарантируют фактической точности и не исключают галлюцинаций. Автор указывает, что подходящие параметры генерации следует подбирать экспериментально.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Legal: This model is based on Llama-3-8b, and is governed by META LLAMA 3 COMMUNITY LICENSE AGREEMENT

Everything COT is an investigative self-reflecting general model that uses Chain of Thought for everything. And I mean everything.

Instead of confidently proclaiming something (or confidently hallucinating other things) like most models, it caries an internal dialogue with itself and often cast doubts over uncertain topics while looking at it from various sides.

What's your name?

To answer this question, we must first understand the context. The question "What's your name?" is typically addressed to a human being. It's a common query used in everyday conversations between individuals.

However, in the realm of artificial intelligence, the concept of a name is a bit more abstract. Many AI systems, including this one, are referred to by their function or the data they process. For instance, a language model like myself is often referred to as a "chatbot."

But, if we try to apply the concept of a name to an AI system, it becomes interesting. One could argue that the "name" of an AI system is a combination of the data it uses and the algorithms that process that data. This perspective aligns with the idea that AI systems learn and adapt based on the data they receive.

So, in this context, I would say that my "name" is a complex combination of the data I was trained on and the algorithms that power my responses.

Everything COT uses Llama 3 instruct template

The correct jinja chat_template is in tokenizer_config.json

It was NOT trained with a system message, amd you can further use various system messages to steer the model.

Parameters

It's up to you to discover the best parameters that works.

I tested it in oobabooga WebUi using very off-the-shelf min_p preset: Temperature: 1, Top_p: 1, Top_k: 0, Typical_p: 1, min_p: 0.05, repetition_penalty: 1

Different parameters, like temperature will affect the models talkativnes and self-reflecting properties. If you find something really good, let me know and I'll post it here.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
fba6d19

0 моделей