Компактная англоязычная BERT-модель PyLate для тестирования и базового семантического сравнения текстов по плотным векторам.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
PyLate BERT Tiny — компактная модель на архитектуре BERT, разработанная на основе google/bert_uncased_L-2-H-128-A-2 и дообученная на наборе msmarco-bm25. Она преобразует предложения и абзацы в последовательности плотных векторов размерностью 128 и сравнивает тексты по семантическому сходству с помощью оператора MaxSim.
Модель предназначена прежде всего для модульных тестов в средах с ограниченными вычислительными ресурсами, например GitHub Actions. Её также можно применять для базового семантического поиска и сравнения текстов. Модель поддерживает английский язык, имеет контекст до 512 токенов и содержит 4,4 млн параметров.
Лицензия Apache-2.0. Хотя модель подходит для простых задач, карточка позиционирует её прежде всего как тестовую и предупреждает, что качество для обычного применения ограничено.
Модель предназначена главным образом для модульных тестов и лишь ограниченно подходит для базовых прикладных задач. Контекст ограничен 512 токенами.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a PyLate model finetuned from google/bert_uncased_L-2_H-128_A-2 on the msmarco-bm25 dataset. It maps sentences & paragraphs to sequences of 128-dimensional dense vectors and can be used for semantic textual similarity using the MaxSim operator.
This model is primarily designed for unit tests in limited compute environments such as GitHub Actions. But it does work to an extent for basic use cases.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · PyLate
Модели PyLate (ColBERT) требуют отдельного рантайма.