Of course this is a unworkable model, I only use this to test mergekit and llama.cpp on my Apple M2 Macbook, do not use unless I somehow finetune it with the MoD dataset. My minor mergekit fix for anyone using on M2 with Rossetta.
Характеристики
- Контекст
- 32 768 токенов
- Параметры
- 464 млн
- Лицензия
- Не указана
- Архитектура
- mixtral · MoE
- Опубликована
- 20 фев 2024
Ссылки
Qwen1.5-4x0.5B-MoE
Экспериментальная языковая модель Mixtral MoE для тестирования mergekit и llama.cpp, не рекомендованная автором для практического применения.
158скачиваний за 30 дней0лайковвеса обновлены20 фев 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
nopainkiller/Qwen1.5-4x0.5B-MoE — экспериментальная причинная языковая модель, предназначенная автором для проверки mergekit и llama.cpp на Apple M2. В README автор прямо называет модель непригодной для практического использования и допускает её применение после возможного дообучения на наборе данных MoD.
В метаданных указаны архитектура Mixtral MoE, 463,9 млн параметров и контекст длиной 32 768 токенов; репозиторий содержит веса в формате safetensors. Заявлена генерация текста, включая чат-сценарии. Автор не рекомендует использовать модель без дообучения. Лицензия в метаданных обозначена как unknown.
Сценарии применения
- тестирование загрузки модели через llama.cpp
- проверка слияния моделей в mergekit
- эксперименты с запуском на Apple M2
Ограничения
Автор считает модель непригодной для практического использования и не рекомендует её без дообучения на наборе данных MoD. Лицензия в метаданных указана как unknown.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделейII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- MixtralForCausalLM
- Ревизия весов
- 0d8b4fd