This is a MoE model with a mix of domain agnostic fine-tuned models derived from the base Mistral
Характеристики
- Контекст
- 32 768 токенов
- Параметры
- 7,1 млрд
- Лицензия
- Apache 2.0
- Архитектура
- mixtral · MoE
- Опубликована
- 7 мар 2024
Ссылки
CollAIborate4x7B
Разговорная MoE-модель на базе Mistral для генерации текста и ответов на запросы.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
CollAIborate4x7B — разговорная модель генерации текста от collaiborate-tech, построенная как смесь экспертов (MoE) из дообученных моделей общего назначения на базе Mistral. Она предназначена для диалогов и генерации ответов на текстовые запросы. В метаданных указаны архитектура MixtralForCausalLM, 7,1 млрд параметров, контекст до 32 768 токенов и формат safetensors.
Модель распространяется по лицензии Apache-2.0. Карточка не уточняет состав экспертов, языки обучения и результаты оценки качества, поэтому её пригодность для конкретных сценариев следует проверять на собственных запросах.
Сценарии применения
- диалог с языковой моделью
- генерация ответов на текстовые запросы
- создание черновиков и продолжение текста
Ограничения
В карточке не приведены результаты оценки качества, состав экспертов и сведения о поддерживаемых языках. Для конкретных задач качество следует проверить отдельно.
Для каких профессий подходит9
Разделы каталога профессий, в задачах которых используется эта модель
Также подходит для
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- MixtralForCausalLM
- Ревизия весов
- fc3981f