Характеристики

Контекст: 8 192 токена
Параметры: 149 млн
Архитектура: modernbert · dense
Базовая модель: CMB_WX_SYN_CX
Библиотека: transformers
Опубликована: 9 июл 2026

Ссылки

Hugging Face arXiv 2203.05482

Merge_Linear_CX_only

sraj

Заполнение пропусковТекст → текст3 профессии

Объединённая модель ModernBERT для предсказания замаскированных токенов в тексте.

8скачиваний за 30 дней0лайковвеса обновлены9 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

sraj/Merge_Linear_CX_only — объединённая модель семейства ModernBERT на 149 млн параметров, созданная автором репозитория с помощью mergekit и линейного слияния трёх предварительно обученных моделей: sraj/CMB_FWEdu_V2_FastTxt_CX, sraj/CMB_MARK_CX и sraj/CMB_WX_SYN_CX. Она предназначена для предсказания скрытых токенов в тексте и может использоваться в задачах языкового моделирования с маской. Модель принимает текст и предсказывает замаскированные токены; заявленный размер контекста — 8192 токена.

В репозитории веса представлены в формате safetensors; в README указано, что слияние выполнено методом Linear с нормализацией весов и типом данных bfloat16. Для запуска используется библиотека Transformers. Метаданные не содержат сведений о поддерживаемых естественных языках или специализированных прикладных областях. Лицензия в предоставленных данных не указана.

Сценарии применения

восстановление пропущенных слов в тексте
предсказание замаскированного токена в языковой модели
анализ контекстных вариантов слова

Ограничения

Сведения о языковой специализации и качестве на конкретных наборах данных отсутствуют в предоставленной карточке. Лицензия не указана в предоставленных данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

merge_all

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the Linear merge method.

Models Merged

The following models were included in the merge:

Configuration

The following YAML configuration was used to produce this model:

models:
  - model: sraj/CMB_MARK_CX
    parameters:
      weight: 1.0
  - model: sraj/CMB_FWEdu_V2_FastTxt_CX
    parameters:
      weight: 1.0
  - model: sraj/CMB_WX_SYN_CX
    parameters:
      weight: 1.0
merge_method: linear
parameters:
  normalize: true
dtype: bfloat16

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: ModernBertForMaskedLM
Ревизия весов: 602ae6c