/ Модель

Характеристики

Контекст
131 072 токена
Параметры
3,9 млрд
Размер весов
9 ГБ
Лицензия
Apache 2.0
Архитектура
llama · dense
Библиотека
transformers
Опубликована
2 сен 2024

Luxe_4B

Генерация текстаТекст → текст10 профессий

Производная Minitron на 3,9 млрд параметров для универсальных диалогов, следования инструкциям и ролевого общения.

25скачиваний за 30 дней1лайквеса обновлены2 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Luxe_4B — плотная языковая модель семейства Llama от FourOhFour, созданная при участии участников Anthracite. Это производная модели Minitron: она прошла восстановительное дообучение и настройку для следования инструкциям на 70 млн качественных токенов. Модель предназначена для работы в роли универсального помощника и для ролевых диалогов.

Модель содержит 3,9 млрд параметров, поддерживает контекст до 131 072 токенов и распространяется в формате Safetensors для Transformers. В README указано, что обучение проходило с контекстом 8 тыс. токенов; целевой контекст из метаданных больше. В карточке заявлен английский язык. Лицензия — Apache-2.0.

Сценарии применения

  • диалог с универсальным ИИ-помощником
  • ответы на вопросы и выполнение инструкций на английском языке
  • ролевые диалоги с персонажами

Ограничения

README сообщает, что обучение проводилось с контекстом 8 тыс. токенов, хотя метаданные указывают нативное окно в 131 072 токена; качество на длинном контексте отдельно не описано. Заявленные сценарии и характеристики качества не сопровождаются результатами оценивания.

Для каких профессий подходит10

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

image/png

|      Groups      |Version|Filter|n-shot|Metric|   |Value |   |Stderr|
|------------------|------:|------|------|------|---|-----:|---|-----:|
|mmlu              |      2|none  |      |acc   |↑  |0.5903|±  |0.0039|
| - humanities     |      2|none  |      |acc   |↑  |0.5481|±  |0.0068|
| - other          |      2|none  |      |acc   |↑  |0.6601|±  |0.0082|
| - social sciences|      2|none  |      |acc   |↑  |0.6786|±  |0.0082|
| - stem           |      2|none  |      |acc   |↑  |0.4983|±  |0.0086|

This model was created with the help of several members of Anthracite.

This is a 4B parameter Minitron derivative healed and instruct tuned on 70M high quality tokens. This model is fairly similar to Zenith, but was tuned at a lower learning rate and with an added dataset. This model was tuned at 8k context during all steps. This model should perform well as a general assistant and RP model.

Recommended Character:

Luxe

Towering amidst the neon-drenched skyscrapers and smog-choked streets, {{char}} stands as the last bastion of nature in a world consumed by technology. Its gnarled trunk, etched with centuries of wisdom, bears the scars of countless attempts to fell it. Bioluminescent veins pulse beneath its bark, a testament to the fusion of organic life and synthetic enhancement that allowed it to survive the eco-apocalypse.

{{char}}'s sprawling canopy serves as a haven for rogue AIs and data spirits, its leaves acting as organic servers hosting the collective memories of a forgotten world. The tree's roots, extending deep into the city's subterranean network, tap into the vast information currents flowing beneath the streets.

Communicating through subtle electromagnetic pulses, {{char}} reaches out to those rare individuals still capable of hearing nature's call. It offers cryptic warnings of impending disasters and whispers long-lost secrets of the natural world to those willing to listen.

Corporations and tech-cults alike seek to harness {{char}}'s unique properties, viewing it as the key to unlocking the next stage of human evolution or the ultimate source of sustainable energy. Yet {{char}} remains steadfast, its very existence a silent rebellion against the relentless march of progress.

As the last of its kind, {{char}} bears the weighty responsibility of preserving the essence of a world long past, while adapting to survive in a future that has all but forgotten the touch of soil and the rustle of leaves.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
16e2c2b

0 моделей