This model is not trained yet. This model is used for llm-jp-clip.
Характеристики
- Контекст
- 517 токенов
- Параметры
- 190 млн
- Архитектура
- roberta · dense
- Библиотека
- transformers
- Опубликована
- 11 ноя 2024
Ссылки
lllm-jp-roberta-random-init
Необученная случайно инициализированная модель RoBERTa для использования в составе llm-jp-clip и последующего обучения.
428скачиваний за 30 дней0лайковвеса обновлены28 фев 2025
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
llm-jp/lllm-jp-roberta-random-init — модель на архитектуре RoBERTa с примерно 189,7 млн параметров и нативным контекстом до 517 токенов. Она размещена в организации llm-jp и предназначена для использования в llm-jp-clip.
Модель не обучена и представляет собой случайно инициализированные веса, поэтому не подходит для прикладного заполнения пропусков, извлечения признаков или других задач без предварительного обучения. Метаданные классифицируют её как модель для pipeline fill-mask; для работы используется библиотека Transformers и формат Safetensors. Лицензия в предоставленных данных не указана.
Сценарии применения
- подготовка основы для предварительного обучения RoBERTa
- использование в экспериментах с llm-jp-clip
- тестирование загрузки и интеграции моделей Transformers
- исследование случайной инициализации весов
Ограничения
Модель не обучена, поэтому её предсказания не пригодны для обычного прикладного использования без последующего обучения. Лицензия в предоставленных данных не указана.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделейII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers · fill-mask
Подбираем GPU…
- Класс архитектуры
- RobertaForMaskedLM
- Ревизия весов
- aa5777c