Token frequency statistics based on SlimPajama-627B, used for FR-Spec (https://arxiv.org/abs/2502.14856), see more at https://github.com/thunlp/FR-Spec.
freq_16384.pt can be loaded by torch.load(), and it is a list of high-frequency tokens.
Характеристики
- Контекст
- 131 072 токена
- Параметры
- 323 млн
- Лицензия
- MIT
- Архитектура
- llama · dense
- Базовая модель
- Llama-3.2-1B-Instruct
- Библиотека
- transformers
- Опубликована
- 28 фев 2025
Ссылки
LLaMA3.2-Instruct-1B-FR-Spec
Производная от Llama 3.2 1B Instruct модель для генерации текста, сопровождаемая статистикой частот токенов из SlimPajama-627B.
263скачиваний за 30 дней2лайкавеса обновлены8 июл 2025
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
thunlp/LLaMA3.2-Instruct-1B-FR-Spec — производный репозиторий на основе meta-llama/Llama-3.2-1B-Instruct, связанный с проектом FR-Spec. README сообщает, что в репозитории приведена статистика частот токенов, рассчитанная на наборе SlimPajama-627B; файл freq_16384.pt содержит список часто встречающихся токенов. Метаданные указывают архитектуру семейства Llama с плотной языковой моделью, библиотеку Transformers, формат safetensors, 131072 токена контекста и лицензию MIT.
Задача репозитория связана с генерацией текста. Однако README не описывает отдельное пользовательское применение или изменения модели относительно базовой версии, поэтому её специальные сильные стороны и сценарии использования сверх возможностей базовой модели подтвердить нельзя.
Сценарии применения
- генерация текста на основе инструкций
- диалоговые ответы
- поиск сведений и суммаризация с опорой на базовую модель
Ограничения
README не объясняет назначение FR-Spec и не уточняет, чем веса отличаются от базовой модели; отдельное качество для конкретных задач не подтверждено.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…
- Класс архитектуры
- LlamaForCausalLMEagle
- Ревизия весов
- 30f7805