日本語SPLADE v2 を作成する前の、1st stage モデル
Характеристики
- Контекст
- 512 токенов
- Параметры
- 138 млн
- Лицензия
- MIT
- Архитектура
- bert · dense
- Базовая модель
- ruri-pt-base-retromae
- Опубликована
- 22 ноя 2024
Ссылки
japanese-splade-base-v1_5
Японская модель BERT для заполнения маскированных токенов, использовавшаяся как первый этап при подготовке SPLADE v2.
31скачиваний за 30 дней0лайковвеса обновлены23 дек 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Японская модель первого этапа для экспериментов с SPLADE v2, разработанная hotchpotch. Это дообученная модель семейства BERT с архитектурой BertForMaskedLM, содержащая 138,4 млн параметров и рассчитанная на контекст до 512 токенов. В метаданных для неё указан тип задачи fill-mask.
Модель предназначена для заполнения маскированных токенов и служит промежуточной моделью перед созданием японской SPLADE v2. Опубликованные сведения не описывают её качество в поиске или другие сценарии применения. Модель распространяется в формате safetensors по лицензии MIT.
Сценарии применения
- Заполнение пропусков в японских предложениях
- Предсказание замаскированных японских токенов
- Эксперименты с подготовкой японской модели SPLADE v2
Ограничения
README называет модель первым этапом перед SPLADE v2, поэтому её поисковые возможности и пригодность как готового ранжировщика не подтверждены. Контекст ограничен 512 токенами.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…
- Класс архитектуры
- BertForMaskedLM
- Ревизия весов
- 6fc89d6