AfriBERTa large — многоязычная модель для африканских языков, которая предсказывает пропущенные токены и служит основой для классификации текста и распознавания именованных сущностей.

Подходит для: восстановление пропущенных слов в тексте на африканских языках · дообучение классификатора текстов на африканских языках · распознавание имен людей, организаций и мест в африканских текстах

Энкодер запросов на базе BERT для векторного поиска по Wikipedia и систем ответов на вопросы с использованием DPR.

Подходит для: Преобразование вопроса в эмбеддинг для поиска по Wikipedia · Поиск релевантных фрагментов для open-domain question answering · Построение поискового компонента DPR для корпуса wiki-all-8-4

RankZephyr 7B V1 Full — англоязычная модель для переупорядочивания документов по релевантности поисковому запросу.

Подходит для: реранжирование результатов поисковой выдачи · сортировка документов по релевантности запросу · повышение точности поиска в конвейере retrieval

AfriBERTa base — многоязычная модель XLM-RoBERTa для заполнения масок и настройки NLP-задач на африканских языках.

Подходит для: предсказание пропущенного слова в тексте на африканском языке · классификация новостных текстов на суахили или хауса · распознавание именованных сущностей в африканских текстах

Мультиязычная модель T5 1.1, предобученная на корпусе Wura для африканских языков и предназначенная для дообучения на NLP-задачи.

Подходит для: классификация текстов на африканских языках · перевод между африканскими языками и другими языками · суммаризация документов на африканских языках

Энкодер Castorini на базе BERT преобразует фрагменты Википедии в векторы для плотного поиска и систем ответов на вопросы.

Подходит для: векторизация фрагментов Википедии для поискового индекса · поиск релевантных пассажей для ответа на вопрос · построение системы открытого поиска ответов

BERT-модель Castorini для извлечения векторных представлений и плотного поиска по текстовым коллекциям.

Подходит для: построение векторных представлений запросов · построение векторных представлений документов · плотный поиск документов по запросу

Англоязычная модель на базе Mistral-7B-Instruct-v0.3 для эффективного ранжирования списков документов по релевантности.

Подходит для: переупорядочивание результатов поисковой выдачи · ранжирование документов по соответствию запросу · выбор наиболее релевантных фрагментов для RAG

uniCOIL — BERT-модель Castorini для разреженного нейронного поиска и ранжирования пассажей MS MARCO.

Подходит для: поиск релевантных пассажей по запросу · построение нейронного поискового индекса · первичный retrieval-кандидатов для RAG

pytorch: формат, квантизация, runtime и память принадлежат одному artifact

Компактная предварительно обученная XLM-RoBERTa-модель для заполнения маски и адаптации к NLP-задачам на африканских языках.

Подходит для: предсказание пропущенных слов в текстах на африканских языках · дообучение классификатора текстов на суахили, хауса или йоруба · дообучение распознавателя именованных сущностей для африканских языков

Англоязычный cross-encoder на базе ELECTRA для повторного ранжирования passages по релевантности поисковому запросу.

Подходит для: повторное ранжирование результатов текстового поиска · оценка релевантности фрагментов документов запросу · переранжирование passages в поисковой выдаче

Дообученная на диалогах ShareGPT модель Llama 2 от Castorini для чат-генерации и исследований информационного поиска.

Подходит для: эксперименты с LLM в информационном поиске · оценка генеративной модели на наборах DL19 и DL20 · создание чат-ассистента на основе диалогов ShareGPT

Японский CrossEncoder-реранкер на базе XLM-RoBERTa для переоценки релевантности результатов поиска и ранжирования текстовых фрагментов.

Подходит для: переранжирование результатов японского поиска · сортировка найденных документов по соответствию запросу · переоценка кандидатов, извлечённых для RAG

BERT-модель Castorini, дообученная на данных Mr. TyDi для получения текстовых представлений, применяемых в многоязычном поиске.

Подходит для: получение векторных представлений поисковых запросов · получение векторных представлений документов для поиска · подготовка текстовых признаков для многоязычной поисковой системы

Мультиязычная bi-encoder-модель Castorini для преобразования вопросов и passage в эмбеддинги и семантического поиска документов.

Подходит для: семантический поиск passage по естественно-языковому запросу · построение dense-индекса коллекции документов · мультиязычный поиск по Википедии и другим корпусам

Японская модель эмбеддингов на основе LUKE для сравнения смысловой близости предложений и семантического поиска.

Подходит для: поиск документов по японскому запросу · сравнение смысловой близости японских предложений · поиск похожих вопросов на японском языке

pytorch: формат, квантизация, runtime и память принадлежат одному artifact

BERT Large, обученная на MS MARCO для оценки релевантности и ранжирования текстовых пассажей по запросу.

Подходит для: переранжирование результатов поиска · выбор наиболее релевантных пассажей для запроса · поиск ответов в коллекции документов

Компактный японский CrossEncoder на базе XLM-RoBERTa для переоценки релевантности результатов поиска.

Подходит для: повторное ранжирование документов по японскому поисковому запросу · оценка релевантности пары «запрос — документ» · улучшение порядка результатов поисковой системы

Плотный кодировщик вопросов BPR для поиска релевантных фрагментов в системах ответов на вопросы по открытым источникам.

Подходит для: кодирование вопросов для поиска по коллекции текстовых фрагментов · поиск пассажей для системы open-domain question answering · извлечение релевантных документов по вопросу пользователя

Модель семейства BLOOM с 659,6 млн параметров для ранжирования текстовых кандидатов по релевантности.

Подходит для: ранжирование документов в поисковой выдаче · переупорядочивание результатов первичного поиска · оценка релевантности текста запросу

pytorch: формат, квантизация, runtime и память принадлежат одному artifact

MonoT5 — дообученная на MS MARCO модель T5 для переранжирования поисковых фрагментов по релевантности запросу.

Подходит для: переранжирование отрывков, найденных поисковой системой · сортировка документов по релевантности запросу · улучшение верхних результатов поиска