Экспериментальная текстовая модель на 117,5 млрд параметров, полученная слиянием двух моделей LongLORA семейства Llama и предназначенная для генерации текста.
40скачиваний за 30 дней7лайковвеса обновлены27 янв 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
1
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
2
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
3
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
grimulkan/Goliath-longLORA-120b-rope8-32k-fp16 — плотная авторегрессионная модель семейства Llama, созданная как попеременное слияние Xwin-longLORA-70b-rope8-32k-fp16 и Euryale-1.3-longLORA-70b-rope8-32k-fp16 по формуле, использованной для Goliath-120B. Дополнительного дообучения после слияния не проводилось. В репозитории представлены веса Safetensors в формате FP16; метаданные указывают 117,5 млрд параметров и контекстное окно 4096 токенов.
Модель предназначена для генерации текста. В README предлагается проверять её возможности при расширении контекста до 32K с линейным RoPE scaling 8; там же упомянут тест, показавший снижение качества примерно на 30% при восьмикратном увеличении контекста. Это экспериментальная модель, поэтому качество на длинном контексте следует проверять на целевых задачах. Лицензия указана как Llama 2.
Сценарии применения
генерация текста по запросу
эксперименты с расширением контекста до 32K токенов
сравнение качества слияния моделей Xwin и Euryale
исследование влияния масштабирования RoPE на длинный контекст
Ограничения
В метаданных указано контекстное окно 4096 токенов; расширение до 32K требует линейного RoPE scaling 8. В README упомянуто снижение качества примерно на 30% при восьмикратном увеличении контекста.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
There is no additional fine-tuning. The resulting model seems to not be broken... you can test whether it is truly the original model + 32K capability (use linear rope scaling 8).
ChuckMcSneed did a benchmark here, indicating 30% degradation with 8x the context length.
A 6-bit EXL2 quantization is available here. More EXL2 quants here, thanks to aikitoria.
See this discussion for how the original 70B merges were created with longLORA.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров