/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
124 млн
Архитектура
splinet · dense
Библиотека
transformers
Опубликована
2 окт 2026

Ссылки

Hugging Face

SpliNet

Angshul
Заполнение пропусковТекст → текст3 профессии

SpliNet — англоязычная модель masked language modeling для предсказания замаскированных токенов в контексте до 512 токенов.

24скачиваний за 30 дней0лайковвеса обновлены2 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SpliNet — трансформерная модель для восстановления замаскированных фрагментов текста, разработанная автором репозитория Angshul/SpliNet. Она обучена с нуля на 2 млрд токенов корпуса C4 с целью masked language modeling и предназначена для заполнения пропусков в тексте на английском языке.

Архитектура SpliNet заменяет обучаемое смешивание токенов через self-attention фиксированным односторонним оператором кардинальных B-сплайнов второго порядка. Модель содержит 12 слоёв, скрытый размер 768, 12 голов, словарь из 32 000 токенов и контекст до 512 токенов; в карточке Hugging Face указано 123,7 млн параметров. Для загрузки README требует trust_remote_code=True.

Модель может использоваться для заполнения масок и экспериментов с альтернативной архитектурой трансформера. Валидационная perplexity, приведённая в README, составляет 100,94; это указывает на ограниченное качество предсказаний, поэтому пригодность для прикладного использования следует проверять на целевых данных. Файлы опубликованы в формате safetensors; лицензия в предоставленных данных не приведена.

Сценарии применения

  • заполнение пропусков в английском тексте
  • предсказание замаскированных слов в предложении
  • эксперименты с B-сплайновым смешиванием токенов
  • исследование альтернатив self-attention в языковых моделях

Ограничения

В README указана валидационная perplexity 100,94, поэтому качество предсказаний может быть ограниченным. Для загрузки требуется trust_remote_code=True; лицензия в предоставленных источниках не указана.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SpliNet

SpliNet: A Zero-Parameter B-Spline Transformer with Linear Complexity

SpliNet replaces learned self-attention token mixing with a fixed order-2 single-sided cardinal B-spline operator.

This model was pretrained from scratch on exactly 2,000,000,000 C4 tokens using the dedicated SpliNet tokenizer.

Architecture

  • Layers: 12
  • Hidden size: 768
  • Heads: 12
  • FFN width: 3072
  • Sequence length: 512
  • Vocabulary: 32000
  • Spline order: 2
  • Spline radius: 16
  • Trainable mixer parameters: 0
  • Total parameters: 82,894,592
  • Trainable parameters: 82,894,592

Pretraining

  • Training tokens: 2,000,000,000
  • Validation tokens: 5,120,000
  • Objective: masked language modeling
  • Masked positions: 77/512
  • Optimizer: AdamW
  • Precision: BF16
  • Hardware: NVIDIA A100-SXM4-80GB

Final validation

  • MLM loss: 4.614502
  • MLM perplexity: 100.937575

Load with trust_remote_code=True.

OpenReview: https://openreview.net/forum?id=nWHnuiEF3C GitHub: https://github.com/AngshulMajumdar/SpliNet

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
SpliNetForMaskedLM
Ревизия весов
4ec5e47

0 моделей

    Создать бенчмарк