GoogleTinyBert_HateSpeech_pretrain — компактная модель BERT, дообученная на основе google/bert_uncased_L-2_H-128_A-2. В репозитории указано, что обучение проводилось на неизвестном датасете; подробностей об обучении и оценке нет. Метаданные определяют задачу модели как заполнение пропусков в тексте (fill-mask). Модель содержит 4,4 млн параметров, использует архитектуру BertForMaskedLM и поддерживает контекст до 512 токенов. Базовая модель англоязычная, поэтому основным языком модели следует считать английский.

Лицензия — Apache-2.0. Название репозитория указывает на тематику hate speech, однако README не подтверждает специализированное назначение или качество для выявления токсичной речи; модель описана как fill-mask, а не как классификатор. Практическая применимость для модерации контента не установлена.