Модель Mixtral для генерации диалоговых ответов и ролевого общения с учётом карточки персонажа.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
BeyondInfinity-4x7B — языковая модель для генерации текста на архитектуре Mixtral, опубликованная R136a1. Автор описывает её как объединение сильных моделей в общей системе Mixtral, где каждая сохраняет свои особенности; README отмечает хорошее следование карточке персонажа и работу в сложных сценариях. Модель рассчитана на диалоговую генерацию с форматом промпта Alpaca, в том числе на ответы в заданном стиле.
В метаданных указаны 7,1 млрд параметров, контекст 32 768 токенов, формат Safetensors и лицензия Apache-2.0. README приводит ограничение в 8 192 токена, поэтому фактический доступный контекст может зависеть от используемой конфигурации. Карточка указывает английский язык; независимых оценок качества и более подробных сведений об объединённых моделях README не приводит.
README сообщает ограничение контекста в 8 192 токена, тогда как метаданные указывают 32 768 токенов; доступная длина может зависеть от конфигурации. Стиль ответов чувствителен к карточке персонажа и предыдущему сообщению.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Testing done.
It performs really well in complex scenario and follows the character card quite well. The char card and previous message can affect a lot to the next reply style.
The main idea is instead of merging models to create new model, I try to put these best model into mixtral so it can work together. And the result is good, every model has its uniqueness and strength.
Downside? it only support 8k (8192) context length...
Alpaca prompting format.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…