Frankenstein-MoE
Method
To initialize the gate projection weight of the MoE layer, the H6 trainset was sampled and used. We sampled 400 and selected the final 30 with low PPL.
trufulqa used gpt4 to generate data.
Evals
in progress
Характеристики
- Контекст
- 4 096 токенов
- Параметры
- 10,6 млрд
- Лицензия
- CC BY-NC-SA 4.0
- Архитектура
- mixtral · MoE
- Опубликована
- 6 янв 2024
Ссылки
Frankenstein-MoE-en-10.7Bx4
Англоязычная разговорная модель Mixtral MoE для генерации текста с контекстом до 4096 токенов.
62скачиваний за 30 дней0лайковвеса обновлены6 янв 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Frankenstein-MoE-en-10.7Bx4 — англоязычная разговорная модель генерации текста на архитектуре Mixtral с механизмом смеси экспертов (MoE), опубликованная MoEMoEKKung. В репозитории указано 10,6 млрд параметров, формат safetensors и контекст до 4096 токенов; метаданные отмечают поддержку диалогового режима.
Карточка описывает инициализацию весов проекции маршрутизатора MoE на выборке H6: из 400 вариантов отобрали 30 с низкой perplexity. Также упоминается набор данных trufulqa, созданный с помощью GPT-4. Модель предназначена для генерации текста и диалоговых ответов на английском языке.
Оценивание в карточке обозначено как продолжающееся, поэтому подтверждённых результатов качества нет. Лицензия CC BY-NC-SA 4.0 допускает использование с указанием авторства и сохранением условий лицензии, но запрещает коммерческое применение.
Сценарии применения
- генерация ответов в англоязычном чате
- продолжение англоязычного текста
- создание диалоговых реплик
- разработка прототипов разговорных приложений
Ограничения
Оценивание модели ещё продолжается, поэтому в карточке нет подтверждённых показателей качества. Лицензия CC BY-NC-SA 4.0 запрещает коммерческое использование.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
vLLM
Подбираем GPU…
- Класс архитектуры
- MixtralForCausalLM
- Ревизия весов
- 8079d21