Характеристики
- Контекст
- 1 024 токена
- Параметры
- 60 млн
- Архитектура
- mixtral · MoE
- Опубликована
- 15 апр 2024
Ссылки
Mixtral-tiny
Компактная модель Mixtral для генерации текста и простых диалоговых сценариев.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
dacorvo/Mixtral-tiny — компактная авторегрессионная языковая модель семейства Mixtral, опубликованная пользователем dacorvo, обозначенным на Hugging Face как сотрудник Hugging Face. Модель предназначена для генерации текста и диалоговых сценариев; её можно использовать через Transformers и совместимые серверы инференса.
Модель построена на архитектуре MixtralForCausalLM: содержит два скрытых слоя, 8 локальных экспертов и выбирает 2 эксперта на каждый токен. Размер по предоставленным метаданным составляет 60 млн параметров, максимальная длина контекста — 1024 токена; используется формат SafeTensors и вычисления float16. Поддерживаемая задача — text-generation. Достоверные сведения о естественных языках обучения или работы модели не представлены.
Модель подходит для компактных экспериментов с генерацией текста, простых чат-интерфейсов и локального инференса при ограниченных ресурсах. Короткое контекстное окно ограничивает работу с длинными документами и многошаговыми диалогами; качество, безопасность и специализированная область применения отдельно не подтверждены. Лицензия в доступных данных надёжно не установлена.
Сценарии применения
- генерация коротких текстовых ответов
- создание простого чат-бота
- локальный инференс языковой модели
- эксперименты с архитектурой Mixtral
- автодополнение и продолжение текста
Ограничения
Контекст ограничен 1024 токенами. Качество, безопасность и языковой охват модели отдельно не подтверждены.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- MixtralForCausalLM
- Ревизия весов
- c557ba2