Экспериментальная разговорная модель Mistral с 7,1 млрд параметров для генерации текста и диалогов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
LexGPT-V2 — экспериментальная разговорная языковая модель от lex-hue, построенная на плотной архитектуре MistralForCausalLM и содержащая 7,1 млрд параметров. Она предназначена для генерации текста и диалоговых сценариев. По карточке автор описывает её как тестовое обучение и отмечает, что полное обучение ещё впереди; приведены сравнительные оценки нескольких моделей, но методика и результаты LexGPT-V2 в доступном тексте не раскрыты.
Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — MIT.
Автор называет модель тестовым обучением и сообщает, что полное обучение ещё впереди. В README не описаны методика оценки и результаты самой LexGPT-V2.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Is an test train, full train on its way.. Looks promising?
First Turn Scores
| model | turn | score |
|---|---|---|
| gpt-4 | 1 | 8.95625 |
| claude-v1 | 1 | 8.15000 |
| gpt-3.5-turbo | 1 | 8.07500 |
| LexGPT-V2 | 1 | 7.55625 |
| vicuna-13b-v1.3 | 1 | 6.81250 |
Second Turn Scores
| model | turn | score |
|---|---|---|
| gpt-4 | 2 | 9.0250 |
| gpt-3.5-turbo | 2 | 7.8125 |
| claude-v1 | 2 | 7.6500 |
| LexGPT-V2 | 2 | 6.8375 |
| vicuna-13b-v1.3 | 2 | 5.9625 |
Average Scores
| model | score |
|---|---|
| gpt-4 | 8.990625 |
| gpt-3.5-turbo | 7.943750 |
| claude-v1 | 7.900000 |
| LexGPT-V2 | 7.196875 |
| vicuna-13b-v1.3 | 6.387500 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…