Характеристики

Контекст: 8 192 токена
Параметры: 149 млн
Архитектура: modernbert · dense
Базовая модель: CMB_MARK_CX
Библиотека: transformers
Опубликована: 9 июл 2026

Ссылки

Hugging Face arXiv 2203.05482

Merge_Linear_NormBalanced_CX_only

sraj

Заполнение пропусковТекст → текст3 профессии

Объединённая модель ModernBERT на 149 млн параметров для восстановления пропущенных фрагментов текста.

7скачиваний за 30 дней0лайковвеса обновлены9 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

sraj/Merge_Linear_NormBalanced_CX_only — объединённая языковая модель, созданная разработчиком sraj с помощью mergekit из трёх предварительно обученных моделей: sraj/CMB_MARK_CX, sraj/CMB_WX_SYN_CX и sraj/CMB_FWEdu_V2_FastTxt_CX. Веса объединены линейным методом с нормализацией; итоговые веса заданы с учётом норм L2 векторов задач. Модель построена на архитектуре ModernBERT и предназначена для заполнения пропусков в тексте (masked language modeling).

Модель содержит 149 млн параметров, принимает текст, поддерживает контекст до 8192 токенов и распространяется в формате safetensors для библиотеки Transformers. В README указано представление весов bfloat16. Данные не уточняют языки обучения или специализацию по предметным областям. Условия лицензии в доступных сведениях не приведены.

Сценарии применения

восстановление замаскированных слов в предложении
предсказание пропущенных токенов при анализе текста
создание контекстных представлений текста для задач с masked language modeling

Ограничения

Подтверждена задача заполнения пропусков; качество для конкретных языков и прикладных областей по имеющимся данным оценить нельзя. Лицензия не указана в предоставленных сведениях.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

merge_linear_normbalanced

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the Linear merge method.

Models Merged

The following models were included in the merge:

Configuration

The following YAML configuration was used to produce this model:

# Norm-balanced: weights set inversely proportional to avg task vector L2 norm
# A ≈ 16, F ≈ 43, S ≈ 16 → weights ≈ 1/16, 1/43, 1/16 → normalized ≈ 2.7, 1.0, 2.7
models:
  - model: sraj/CMB_MARK_CX
    parameters:
      weight: 2.7
  - model: sraj/CMB_FWEdu_V2_FastTxt_CX
    parameters:
      weight: 1.0
  - model: sraj/CMB_WX_SYN_CX
    parameters:
      weight: 2.7
merge_method: linear
parameters:
  normalize: true
dtype: bfloat16

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: ModernBertForMaskedLM
Ревизия весов: b568c10