Компактная языковая MoE-модель Mixtral для генерации текста с контекстом до 2048 токенов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
cosmoem-0.1-4x1b — языковая модель семейства Mixtral с архитектурой MoE, разработанная автором репозитория Lambent. Она предназначена для генерации текста; в карточке приведены результаты оценки на AGIEval, GPT4All, TruthfulQA и Bigbench, а также сравнение с cosmo-1b. Среднее значение по указанным тестам составляет 35,34.
Модель содержит 1,7 млрд параметров и поддерживает контекст длиной до 2048 токенов. Весовые файлы доступны в форматах PyTorch и Safetensors. Автор отмечает общее снижение возможностей относительно cosmo-1b и указывает, что данные обучения в основном похожи на уже виденные моделью. Репозиторий распространяется по лицензии Apache-2.0.
Автор сообщает о снижении возможностей модели в сравнении с cosmo-1b; язык и наборы практических сценариев в карточке не описаны.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
| Model | AGIEval | GPT4All | TruthfulQA | Bigbench | Average |
|---|---|---|---|---|---|
| cosmoem-0.1-4x1b | 24.4 | 50.71 | 37.16 | 29.09 | 35.34 |
| Model | AGIEval | GPT4All | TruthfulQA | Bigbench | Average |
|---|---|---|---|---|---|
| cosmo-1b | 22.97 | 52.01 | 38.02 | 28.73 | 35.43 |
Overall decrease in capability. Data mostly resembles what it already saw; done in hopes of experts 'settling in'.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…