Luminex-34B-v0.1 — диалоговая текстовая модель на 33,9 млрд параметров для генерации текста и ответов на вопросы, оценённая на португальском бенчмарке.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
ConvexAI Luminex-34B-v0.1 — текстовая генеративная модель на архитектуре Llama, содержащая 33,9 млрд параметров. По карточке модели, это Smaug-34B с применённым методом LaserRMT; метаданные также связывают её с дообученной моделью jondurbin/bagel-34b-v0.2, поэтому точное происхождение весов описано неоднозначно. Модель предназначена для генерации текста и диалогового взаимодействия; заявленное окно контекста составляет 200 000 токенов.
В README приведены результаты на португальском Open LLM Leaderboard: среднее значение 72,76, а также оценки для ENEM Challenge и BLUEX без изображений. Это указывает на оценивание модели на португальских учебных и языковых задачах, но не гарантирует качество в других сценариях. Весы доступны в форматах PyTorch и safetensors; лицензия обозначена как other, поэтому условия использования следует уточнить в карточке репозитория.
Результаты бенчмарков приведены для ограниченного набора португальских задач и сами по себе не подтверждают качество в других областях. Лицензия указана как other, поэтому условия использования нужно проверить в репозитории.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model is Smaug-34b with LaserRMT applied.
Detailed results can be found here and on the 🚀 Open Portuguese LLM Leaderboard
| Metric | Value |
|---|---|
| Average | 72.76 |
| ENEM Challenge (No Images) | 72.01 |
| BLUEX (No Images) | 64.81 |
| OAB Exams | 54.49 |
| Assin2 RTE | 91.91 |
| Assin2 STS | 81.31 |
| FaQuAD NLI | 82.27 |
| HateBR Binary | 69.84 |
| PT Hate Speech Binary | 70.81 |
| tweetSentBR | 67.44 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…