Базовая 7,1-миллиардная модель Mistral, дополнительно предобученная на португальском тексте для генерации и последующей тонкой настройки.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
JJhooww/Mistral-7B-v0.2-Base_ptbr — базовая предобученная языковая модель семейства Mistral, созданная на основе официальных весов Mistral и дополнительно обученная примерно на 1 млрд токенов португальского языка. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и поддерживает контекст длиной до 32 768 токенов.
Модель предназначена для генерации текста на португальском языке и может служить основой для дальнейшей тонкой настройки под диалоговые и другие прикладные задачи. В README приведены результаты на наборах ASSIN2 RTE, ASSIN2 STS и BlueX, где модель превосходит базовую версию Mistral по указанным метрикам. Это базовая модель, следующая инструкциям она не обучена, поэтому для инструкционного диалога требуется дообучение. Распространяется по лицензии Apache-2.0.
Модель не обучена следовать инструкциям, поэтому для инструкционного диалога требуется дополнительная тонкая настройка. В README приведены результаты лишь по нескольким бенчмаркам.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
É um modelo base pré-treinado com cerca de 1b tokens em portugues iniciado com os pesos oficiais do modelo, o modelo não segue instrução então precisa fazer fine tuning.
| Mistral Base PTBR | Mistral Base | Melhoria | |
|---|---|---|---|
| assin2_rte | 90,11 | 87,74 | 2,37 |
| assin2_sts | 72,51 | 67,05 | 5,46 |
| bluex | 53,97 | 53,27 | 0,70 |
| enem | 64,94 | 62,42 | 2,52 |
| faquad_nli | 69,04 | 47,63 | 21,41 |
| hatebr_offensive_binary | 79,62 | 77,63 | 1,99 |
| oab_exams | 45,42 | 45,24 | 0,18 |
| portuguese_hate_speech_binary | 58,52 | 55,72 | 2,80 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…