Тайская CamemBERT-модель для заполнения маски и дообучения под задачи разметки и синтаксического анализа текста.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Koichi Yasuoka представляет CamemBERT-модель, предварительно обученную на тайских текстах и производную от PhayaThaiBERT с уточнённым токенизатором. Это плотная модель архитектуры CamemBERT с 304,7 млн параметров, предназначенная для задачи заполнения маски и дообучения для последующей обработки тайского текста.
Модель может предсказывать замаскированные токены, а после дообучения — применяться, например, для разметки частей речи и синтаксического анализа зависимостей. Она принимает текстовые последовательности длиной до 512 токенов и выдаёт текстовые предсказания. Распространяется по лицензии Apache-2.0.
Для специализированных задач, таких как разметка частей речи и синтаксический анализ зависимостей, требуется дообучение. Максимальная длина контекста составляет 512 токенов.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a CamemBERT model pre-trained on Thai texts, derived from PhayaThaiBERT with the tokenizer refined. You can fine-tune camembert-thai-base for downstream tasks, such as POS-tagging, dependency-parsing, and so on.
from transformers import AutoTokenizer,AutoModelForMaskedLM
tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/camembert-thai-base")
model=AutoModelForMaskedLM.from_pretrained("KoichiYasuoka/camembert-thai-base")
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…