training_args = TrainingArguments( output_dir="./results", learning_rate=5e-5, per_device_train_batch_size=1, per_device_eval_batch_size=1, num_train_epochs=5, weight_decay=0.01, evaluation_strategy="epoch", push_to_hub=True )
Характеристики
- Контекст
- 4 098 токенов
- Параметры
- 152 млн
- Архитектура
- longformer · dense
- Опубликована
- 16 апр 2022
Ссылки
Longformer_Conflict
Дообученная модель Longformer для классификации текстовых последовательностей, включая длинные тексты.
13скачиваний за 30 дней0лайковвеса обновлены16 апр 2022
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Raychanan/Longformer_Conflict — модель классификации последовательностей на архитектуре Longformer, представленная в формате PyTorch. По метаданным, она содержит 151,8 млн параметров и рассчитана на контекст до 4098 токенов. README приводит параметры обучения: скорость обучения 5e-5, пять эпох и размер пакета 1 для обучения и оценки, что указывает на дообучение модели для классификации текста. Данные не сообщают, какие именно классы или предметная область использовались при обучении.
Модель подходит для отнесения текстов к заданным классам, в том числе для классификации длинных документов. Конкретные поддерживаемые языки и специализация не описаны. Условия лицензии в предоставленных данных отсутствуют.
Сценарии применения
- классификация длинных документов по заданным категориям
- определение категории текстового обращения
- автоматическая разметка текстов по классам
Ограничения
Не описаны набор классов, обучающие данные и целевые языки, поэтому пригодность для конкретной задачи требует проверки. Лицензия не приведена в доступных данных.
Для каких профессий подходит4
Разделы каталога профессий, в задачах которых используется эта модель
I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделейI.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модельI.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022моделиII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · text-classification
Подбираем GPU…
- Класс архитектуры
- LongformerForSequenceClassification
- Ревизия весов
- 0f40ee7