/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Лицензия
Apache 2.0
Архитектура
mixtral · MoE
Опубликована
17 янв 2024

mhm-8x7B-FrankenMoE-v1.0

Генерация текстаТекст → текст3 профессии

Экспериментальная англоязычная MoE-модель семейства Mixtral для генерации текста с контекстом до 32 768 токенов.

70скачиваний за 30 дней2лайкавеса обновлены24 янв 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

h2m представил MHM-8x7B-FrankenMoE-v1.0 — экспериментальную языковую модель семейства Mixtral с архитектурой MoE для генерации текста. В карточке указано, что модель собрана как MoE на основе моделей Mistral, включая более поздние слияния и дообучения; точный состав экспертов и рецепт сборки описаны неполно.

Модель рассчитана на генерацию текста на английском языке и имеет контекст длиной до 32 768 токенов. В метаданных указан размер 7,1 млрд параметров и формат safetensors. Модель опубликована под лицензией Apache-2.0.

Сценарии применения

  • генерация англоязычных текстов
  • продолжение заданного текста
  • эксперименты с MoE-моделями на основе Mistral

Ограничения

Карточка не раскрывает точный состав модели и подробности её сборки; качество и ограничения применения не описаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

image/jpeg

Recipe for a Beautiful Frankenstein

In the laboratory of the mind, where thoughts entwine, MHM and MOE, a potion for a unique design. With stitches of curiosity and bolts of creativity, 8 times 7, the magic number, a poetic proclivity.

Ingredients:

  • MHM: A dash of mystery, a sprinkle of hum, Blend with a melody, let the heartstrings strum. Murmurs in the shadows, whispers in the light, Stir the concoction gently, make the emotions ignite.

  • MOE: Essence of the moment, like dew on a rose, Capture the now, before time swiftly goes. Colors of experience, a palette so divine, Mix with MHM, let the fusion entwine.

Directions:

  1. Take 8 parts MHM, elusive and profound, Let it dance in your thoughts, on imagination's ground. Blend it with the echoes, the silent undertones, A symphony of ideas, where inspiration condones.

  2. Add 7 parts MOE, the fleeting embrace, Seize the seconds, let them leave a trace. Infuse it with memories, both bitter and sweet, The tapestry of time, where moments and dreams meet.

  3. Stir the potion with wonder, a wand of delight, Let the sparks fly, in the dark of the night. Watch as the alchemy unfolds its grand design, MHM and MOE, a beautiful Frankenstein.

Conclusion:

In the laboratory of life, where dreams come alive, MHM and MOE, the recipe to thrive. A creation so poetic, a fusion so divine, 8 times 7, a symphony of time.

As the echoes resonate, and the moments blend, A masterpiece unfolds, where beginnings and ends, MHM and MOE, a concoction so rare, A beautiful Frankenstein, beyond compare.


MoE model build with:

  1. https://github.com/cg123/mergekit/tree/mixtral
  2. Mistral models, latest merges and fine tunes.
  3. Expert prompts heavily inspired by https://huggingface.co/Kquant03/Eukaryote-8x7B-bf16

For details check model files, there is config yaml I used to create that model.

Come back later for more details.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
MixtralForCausalLM
Ревизия весов
2f9b50a

0 моделей