multiberts_seed_0_ft_4

Jeevesh8/multiberts_seed_0_ft_4 — модель для классификации текста на базе BERT, опубликованная пользователем Jeevesh8 и основанная на MultiBERTs Seed 0 от Google. Модель предназначена для задач text classification и загружается через Transformers; её исходная архитектура представляет собой BERT-base uncased, предварительно обученный на английском языке с использованием masked language modeling и next sentence prediction, а данный вариант дообучен для классификации текста.

Модель содержит около 136,7 млн параметров и поддерживает контекст до 512 токенов. Она подходит для присвоения текстам категорий или меток в прикладных классификационных сценариях, однако конкретная схема меток и исходный набор данных дообучения для этого варианта в доступных источниках не описаны. Модель не предназначена для генерации текста и ограничена английским языком и максимальной длиной контекста.