This is the BERT-Medium model from Google: https://github.com/google-research/bert#bert. A BERT model with 2 layers, 128 hidden unit size, and 2 attention heads.
BERT-Tiny_L-2_H-128_A-2
Компактная BERT-модель для извлечения признаковых представлений текста с контекстом до 512 токенов.
55 073скачиваний за 30 дней3лайкавеса обновлены28 мая 2021
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
BERT-Tiny_L-2_H-128_A-2 — компактная модель семейства BERT, опубликованная nreimers. В карточке она описана как модель Google с 2 слоями, размером скрытого представления 128 и 2 головами внимания; метаданные указывают 4,4 млн параметров и архитектуру BertModel.
Модель предназначена для извлечения признаковых представлений текста и может использоваться как основа для задач, которым нужны векторные представления последовательностей. Максимальная длина контекста — 512 токенов. Доступны веса PyTorch и Flax.
Карточка не сообщает о специальной предметной области, языковой специализации или ограничениях качества. Лицензия в предоставленных данных не указана.
Сценарии применения
- получение векторных представлений текста
- извлечение признаков для последующей классификации
- подготовка текстовых признаков для собственной ML-модели
Ограничения
В предоставленных данных не указаны языковая специализация, лицензия или оценки качества; не следует предполагать поддержку конкретных языков.
Для каких профессий подходит6
Разделы каталога профессий, в задачах которых используется эта модель
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделейII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделейI.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель
Также подходит для
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- BertModel
- Ревизия весов
- 9cb0377