Экспериментальная 7,5-миллиардная модель Llama для диалоговой генерации текста на английском языке.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
0,0982
Публичная таблицаревизия совпадает
MMLU-PRO
MMLU-PRO Raw · выше — лучше
0,3701
Публичная таблицаревизия совпадает
Описание составлено по карточке модели и метаданным Hugging Face
Sao10K/L3-8B-Niitama-v1 — экспериментальная разговорная языковая модель семейства Llama, представленная в формате Transformers и сохранённая в safetensors. По метаданным, модель содержит 7,5 млрд параметров, рассчитана на контекст до 8192 токенов и предназначена для генерации текста в диалоговом формате. В карточке указано, что Niitama обучалась на тех же данных, что и Tamamo, но с другим перемешиванием и форматированием; автор отмечает заметное влияние этих изменений на результаты.
Модель может использоваться для экспериментов с диалоговой генерацией текста на английском языке. Автор описывает её как экспериментальную и сообщает, что ранние версии L3 показали себя лучше, чем версии L3.1, которые он оценил как неудачные. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
Автор характеризует модель как экспериментальную и отмечает, что версии L3.1 показали себя хуже ранних L3. Коммерческое использование запрещено лицензией CC BY-NC 4.0.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Here's the L3.1 version version: L3.1-8B-Niitama-v1.1
An experimental model using experimental methods.
More detail on it:
Tamamo and Niitama are made from the same data. Literally. The only thing that's changed is how theyre shuffled and formatted. Yet, I get wildly different results.
Interesting, eh?
Surprising, or not so surprising the L3 versions did better than the L3.1 versions. L3.1 felt like a mess.
Have a good day.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…