Экспериментальная не обученная MoE-модель Mixtral для исследований маршрутизации экспертов и генерации текста.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Lambent/cosmoem-8x1B — экспериментальная модель семейства Mixtral с архитектурой Mixture of Experts (MoE), созданная автором репозитория на основе Cosmo с помощью mergekit. Это незавершённый, не обученный предшественник модели; маршрутизация экспертов инициализирована по скрытым состояниям промптов, а восемь экспертов задуманы для тематических кластеров и задач датасета Cosmopedia. Модель содержит 1,7 млрд параметров, принимает текст, выдаёт текст и имеет контекст 2048 токенов.
Репозиторий содержит веса в формате safetensors. Модель предназначена для экспериментов с маршрутизацией MoE и структурой экспертов, а не для надёжной генерации текста: в слоях 0–2 обнаружены вырожденные состояния, и случайная инициализация соответствующих экспертных шлюзов может не устранить проблему. Лицензия — Apache-2.0.
Модель не обучена и содержит вырожденные слои 0–2; качество генерации не подтверждено, а повторная инициализация шлюзов может не исправить проблему.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
An untrained precursor MoE created from Cosmo using mergekit.
Gate routing initialized using prompt hidden state method. Five are based on the visualized topic clusters of Cosmopedia data, three are task-oriented.
Degenerate layers were 0, 1, and 2. Expert gates for layers 0, 1, and 2 have been randomly initialized to with luck mitigate this.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…