Предварительно обученная Llama-модель на 3 млрд параметров со словарём 43 тыс. токенов для генерации текста и исследования масштабирования языковых моделей.
117скачиваний за 30 дней0лайковвеса обновлены19 июл 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
1
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
2
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
3
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Предварительно обученная языковая модель на 3 млрд параметров, разработанная авторами исследования «Scaling Laws with Vocabulary: Larger Models Deserve Larger Vocabularies». Модель основана на архитектуре Llama и использует словарь размером 43 тыс. токенов; она создана для изучения влияния размера словаря на законы масштабирования языковых моделей.
Модель обучена на выборке из SlimPajama и предназначена для генерации текста и исследовательских экспериментов со сравнением размеров словаря. Авторы сообщают, что вариант со словарём 43 тыс. токенов превзошёл модель с распространённым словарём 32 тыс. токенов, используя меньше обучающих токенов. Контекст составляет 2048 токенов; в репозитории указаны веса safetensors. Сведения о лицензии в предоставленных данных отсутствуют.
Сценарии применения
генерация текста на английском языке
исследование влияния размера словаря на качество языковой модели
сравнение языковых моделей с разными размерами словаря
эксперименты с предварительным обучением моделей на корпусе SlimPajama
Ограничения
Контекст ограничен 2048 токенами. Модель описана как предварительно обученная исследовательская модель; данных об инструкционном дообучении, диалоговой настройке и лицензии нет.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Based on our approach, we predict the optimal vocabulary size for 3B model is about 43K.
Then, we train a Llama-based 3B model on a sampled version Slimpajama datasets. The model with 43K vocabulary outperforms the model with the common vocabulary size, 32K, despite using fewer training tokens.
It is noteworthy that the proposed approach can be used for different model sizes.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров