Устаревшая ModernBERT-модель для заполнения пропусков в тексте и задач поиска кода.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
CodeModernBERT-Owl — устаревшая модель на архитектуре ModernBERT, разработанная автором Shuu12121. По метаданным, это плотная модель для заполнения пропусков в тексте с 151,6 млн параметров и контекстом до 2048 токенов. Карточка указывает на применение в задачах поиска и сходства кода; среди тегов и обучающих наборов упомянуты Rust, Java, Python, JavaScript, PHP, Ruby и Go. README приводит размер словаря 50 004, скрытый размер 768 и 12 слоёв, а также рекомендует использовать более новую версию.
Модель принимает текст и предсказывает замаскированные токены. Доступна в формате safetensors; лицензия — Apache-2.0. Связь с конкретной базовой моделью или факт дообучения в доступных данных не указан.
README называет модель устаревшей и рекомендует использовать более новую версию. Метаданные классифицируют её как fill-mask; другие задачи, включая поиск и оценку сходства кода, указаны среди тегов, но не как поддерживаемые pipeline-задачи.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
旧版のモデルです。こちらのモデルなど最新版をお使いください！！
| パラメータ / Parameter | 値 / Value |
|---|---|
| vocab_size | 50,004 |
| hidden_size | 768 |
| num_hidden_layers | 12 |
| num_attention_heads | 12 |
| intermediate_size | 3,072 |
| max_position_embeddings | 2,048 |
| type_vocab_size | 2 |
| hidden_dropout_prob | 0.1 |
| attention_probs_dropout_prob | 0.1 |
| local_attention_window | 128 |
| rope_theta | 160,000 |
| local_attention_rope_theta | 10,000 |
Apache-2.0
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…