Характеристики

Контекст: 8 192 токена
Параметры: 112 млн
Лицензия: Apache 2.0
Архитектура: modernbert · dense
Опубликована: 4 фев 2025

Ссылки

Hugging Face

modernbert-base-thai-cc100

KoichiYasuoka

Заполнение пропусковТекст → текст3 профессии

Тайскоязычная ModernBERT-модель для заполнения пропусков и дообучения под задачи обработки текста.

87скачиваний за 30 дней1лайквеса обновлены31 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Koichi Yasuoka разработал ModernBERT-base, предварительно обученную на тайских текстах корпуса CC100. Это плотная модель архитектуры ModernBERT с 112,4 млн параметров, предназначенная для заполнения пропусков в тексте и дообучения для последующих задач обработки тайского языка, например разметки частей речи и синтаксического анализа зависимостей. Модель принимает текст и предсказывает замаскированные токены; поддерживает контекст длиной до 8192 токенов.

Модель подходит как основа для создания тайскоязычных систем разметки и анализа текста. В карточке указаны формат PyTorch и лицензия Apache-2.0. Качество на конкретных прикладных задачах зависит от дообучения и оценки на соответствующих данных.

Сценарии применения

восстановление пропущенных слов в тайском тексте
разметка частей речи после дообучения
синтаксический анализ зависимостей после дообучения

Ограничения

Для POS-разметки, синтаксического анализа и других downstream-задач требуется дообучение. Карточка не приводит результатов оценки качества на этих задачах.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

modernbert-base-thai-cc100

Model Description

This is a ModernBERT model pre-trained on Thai CC100 texts. NVIDIA A100-SXM4-40GB×8 took 235 hours 4 minutes for training. You can fine-tune modernbert-base-thai-cc100 for downstream tasks, such as POS-tagging, dependency-parsing, and so on.

How to Use

from transformers import AutoTokenizer,AutoModelForMaskedLM
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/modernbert-base-thai-cc100")
model=AutoModelForMaskedLM.from_pretrained("KoichiYasuoka/modernbert-base-thai-cc100",trust_remote_code=True)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: ModernBertForMaskedLM
Ревизия весов: b8c5283