I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейhilariooliveira/bertimbau_base — дообученная модель классификации текста на основе neuralmind/bert-base-portuguese-cased. Она использует архитектуру BERT с примерно 136,1 млн параметров и принимает последовательности длиной до 512 токенов. По карточке модели, на оценочном наборе получены loss 0,1139 и F1 0,9310. Назначение модели — классификация текстов; конкретные классы, данные обучения и сценарии применения не описаны. Модель распространяется по лицензии MIT.
BERT large cased — предварительно обученная языковая модель семейства BERT, выпущенная Google. Она обучена на английских текстах BookCorpus и Wikipedia с помощью masked language modeling и предсказания следующего предложения. Модель различает регистр букв, использует WordPiece с словарём на 30 000 токенов и поддерживает контекст до 512 токенов. В конфигурации 24 слоя, скрытое представление размерности 1024 и 16 голов внимания; метаданные каталога указывают 432,3 млн параметров. Основное применение исходной модели — заполнение замаскированных слов и получение контекстных представлений для последующей настройки на классификацию последовательностей и токенов или ответы на вопросы. Она рассчитана на задачи, где анализируется полный входной текст, и не предназначена для свободной генерации текста. Обучающие данные ограничены английским BookCorpus и английской Wikipedia, а предсказания могут отражать смещения данных. Лицензия — Apache-2.0.
Модель Legal BERTimbau разработана в рамках Project IRIS для семантического поиска по документам Верховного суда Бразилии. Это модель Sentence-Transformers на базе крупной версии BERTimbau, которая преобразует предложения и абзацы в плотные векторы размерностью 1024 для поиска по смыслу и кластеризации. Модель обучалась на португальских юридических текстах примерно из 30 тысяч документов с использованием TSDAE, а затем проходила обучение с псевдометками, на данных NLI и для оценки семантического сходства. Среди использованных наборов данных — ASSIN, ASSIN2, STS-B Multi MT и IRIS STS. Контекст составляет 512 токенов; модель содержит 433,2 млн параметров и поддерживает португальский язык. Модель подходит для семантического поиска, сопоставления и группировки юридических предложений и документов на португальском языке. Она выдаёт эмбеддинги, а не готовые ответы или юридические выводы; длина входа ограничена контекстом в 512 токенов. Лицензия — MIT.
bert-local — компактная модель классификации текста, разработанная boltuix на основе дообученной bert-mini. Она сопоставляет разговорные запросы пользователя с одной из более чем 140 категорий местных организаций и услуг, например магазинами, клиниками, кафе, транспортными объектами и учреждениями. Модель рассчитана на локальный поиск, мобильные приложения, голосовых помощников и другие системы, которым нужно быстро направлять запрос к подходящей категории; заявлены размер около 20 МБ и точность 94,26% на тестовой выборке из 122 примеров. Модель принимает текст и возвращает метку категории с оценкой классификатора. Архитектура — BertForSequenceClassification на базе bert-mini, около 5 млн параметров, контекст — до 512 токенов; доступен формат safetensors и интеграция через Transformers. README описывает примеры и категории на английском, а метаданные указывают английский язык карточки. Указана лицензия Apache-2.0. Модель специализируется на категориях локального бизнеса и не предназначена для генерации ответов или поиска конкретных организаций и маршрутов.
boltuix/bert-mid — компактная англоязычная модель BoltUIX на архитектуре BERT, дообученная на основе google/bert-base-uncased. Она использует двунаправленный Transformer и обучалась предсказывать замаскированные токены и отношения между предложениями; в метаданных указано 14,1 млн параметров и контекст до 512 токенов. Модель предназначена для заполнения пропусков в тексте и как основа для дообучения под классификацию последовательностей и токенов, извлечение ответов и распознавание текстовых отношений. Подходит для анализа тональности, распознавания именованных сущностей, определения намерений и задач естественного языкового вывода. По карточке, модель оценивалась на GLUE и обучалась на BookCorpus и английской Wikipedia. Репозиторий содержит веса safetensors; лицензия — MIT. Модель рассчитана на английский язык и не предназначена для генерации связного текста или задач на других языках без существенного дообучения. Она может наследовать смещения из обучающих данных, а для очень ограниченных устройств может потребоваться дополнительная оптимизация.
shahrukhx01/bert-multitask-query-classifiers — модель на основе BERT с двумя классификационными головами для определения типа коротких текстовых фрагментов. Одна голова различает предложения с ключевыми словами и утверждения или вопросы, другая — утверждения и вопросы. Модель содержит около 12 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Модель предназначена для классификации запросов и предложений, например для разделения ключевых фраз, утверждений и вопросов. В карточке указаны наборы Quora Keyword Pairs и Spaadia SQuaD pairs. Она опубликована в форматах PyTorch и Safetensors; лицензия в предоставленных данных не указана.
Это компактная модель Sentence Transformers, дообученная автором swardiantara на базе google/bert_uncased_L-2_H-128_A-2. Она кодирует предложения и абзацы на английском языке в плотные векторы размерности 128 для поиска и сравнения по смыслу. Архитектура состоит из двухслойного BERT с mean pooling; метаданные указывают 4,4 млн параметров, формат safetensors и контекст до 512 токенов, тогда как карточка модели задаёт максимальную длину последовательности 128 токенов. Для сравнения векторов используется косинусное сходство. Модель предназначена для семантического поиска, извлечения текстовых признаков и оценки сходства предложений. В обучении использовался набор из 2 925 010 пар текстов с метками и OrdinalProxyContrastiveLoss; примеры в карточке связаны с отзывами Yelp, поэтому применение к другим жанрам и доменам может потребовать проверки качества. Лицензия в предоставленных данных не указана.
Компактная англоязычная версия BERT из семейства BERT Miniatures, опубликованная Google и описанная в работе «Well-Read Students Learn Better». Модель имеет 4 слоя Transformer, скрытый размер 128 и 2 attention-головы; в метаданных указано около 5 млн параметров и контекст до 512 токенов. Доступны веса в форматах PyTorch и Flax, лицензия Apache-2.0. Модель предназначена для задач понимания английского текста и развёртывания в условиях ограниченных вычислительных ресурсов. Её можно дообучать для конкретных задач так же, как стандартные модели BERT; авторы отмечают, что особенно полезна дистилляция, когда метки для дообучения генерирует более крупная и точная модель. Компактность снижает требования к ресурсам, но качество может уступать более крупным моделям. Модель только для английского языка, без регистра и использует WordPiece; README приводит результаты на GLUE для вариантов линейки, но не отдельную таблицу для этой конфигурации.
google/bert_uncased_L-4_H-256_A-4 — компактная англоязычная модель BERT из набора BERT Miniatures, разработанного Google и описанного в работе «Well-Read Students Learn Better». Это трансформерный энкодер с 4 слоями, размером скрытого представления 256 и 4 головами внимания; модель содержит около 12 млн параметров и принимает последовательности длиной до 512 токенов. Она обучена без учёта регистра с токенизацией WordPiece и предназначена для задач понимания английского текста с ограниченными вычислительными ресурсами. Модель можно дообучать для классификации и других задач обработки текста. Авторы отмечают, что она особенно эффективна при дистилляции, когда метки для дообучения созданы более крупной моделью-учителем. По результатам GLUE BERT-Mini показывает качество ниже более крупных вариантов из набора, что отражает компромисс между размером и точностью. Доступны веса в форматах PyTorch и Flax. Лицензия — Apache-2.0.
dariolopez/bge-m3-es-legal-tmp-6 — модель Sentence Transformers, дообученная на основе BAAI/bge-m3 для получения текстовых эмбеддингов на испанском языке, в том числе для юридических текстов. Она преобразует предложения и абзацы в нормализованные плотные векторы размерностью 1024; близость можно оценивать косинусным сходством. Архитектура включает XLM-RoBERTa, пулинг по CLS-токену и нормализацию. Модель содержит 658,7 млн параметров и поддерживает последовательности длиной до 8194 токенов. Модель подходит для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации текстов. В README приведены оценки поиска информации для выходных размерностей от 64 до 1024, что позволяет выбирать компромисс между размером векторов и качеством. Модель распространяется по лицензии Apache-2.0. Оценки в карточке относятся к указанным там наборам данных; результатов для других корпусов и языков не приведено. Назначение для испанских юридических текстов следует из имени и карточки, но детали обучающего набора в README не описаны.
Berk2003 tarafından BAAI/bge-m3 temelinde ince ayarlanmış SentenceTransformer modelidir. XLM-RoBERTa mimarisini, CLS pooling ve нормализацию выходных векторов kullanarak преобразует тексты в плотные эмбеддинги размерности 1024; сходство оценивается косинусной мерой. Модель предназначена для семантического поиска и сопоставления предложений и абзацев, в частности для поиска по юридическим текстам: примеры обучающих данных относятся к турецкому праву и связывают вопросы с фрагментами ответов. В README указана максимальная длина последовательности 512 токенов. Метаданные указывают 658,7 млн параметров и контекст до 8194 токенов; практическая длина для этой конфигурации ограничена значением из README. Модель принимает текст и выдаёт векторы, а не готовые юридические заключения. Лицензия в предоставленных данных не указана.
Bioformer-16L-UMLS-Pubmed_PMC-Forward_TCE-Epoch-2 — модель Sentence Transformer на архитектуре BERT, представленная пользователем pankajrajdeo. Она преобразует предложения и абзацы в плотные векторы размерности 384 для поиска и сравнения текстов по смыслу. Модель обучалась на парах anchor–positive из набора parquet; название указывает на связь с биомедицинскими текстами UMLS, PubMed и PMC, однако README не раскрывает подробности происхождения данных или обучения. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текстов. В README указаны максимальная длина последовательности 1024 токена и косинусная мера сходства; метаданные подтверждают 50,3 млн параметров и формат safetensors. Обучающие примеры англоязычные, поэтому модель ориентирована на английский. Лицензия в предоставленных сведениях не указана. Результаты зависят от предметной области и качества текста; README не приводит оценки на независимых тестах, а заявленная связь с биомедицинскими источниками не сопровождается описанием состава или качества датасета.
mghuibregtse/biolinkbert-large-simcse-rat — англоязычная Sentence Transformers модель, дообученная автором на базе michiyasunaga/BioLinkBERT-large для оценки семантической близости предложений и абзацев. Она кодирует текст в плотные векторы размерностью 1024; сходство векторов можно сравнивать косинусной мерой. Архитектура включает BERT-энкодер с усреднением токенных представлений, а длина последовательности по метаданным — до 512 токенов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текстов, особенно в биомедицинских сценариях: обучающие и проверочные примеры содержат идентификаторы генов и названия биологических сущностей. В README для набора val-eval приведена корреляция Спирмена 0,7408 по косинусному сходству. README указывает максимальную длину 128 токенов, что расходится с метаданными о контексте в 512 токенов; при практическом использовании следует учитывать ограничение фактической конфигурации модели. Модель содержит 432,2 млн параметров и опубликована в формате safetensors. Сведения о лицензии в предоставленных источниках отсутствуют.
BridgeTower large-itm-mlm-itc — модель для обучения совместных представлений изображений и текста, разработанная Xiao Xu, Chenfei Wu, Shachar Rosenman, Vasudev Lal, Wanxiang Che и Nan Duan. Она использует архитектуру BridgeTower с визуальным и текстовым энкодерами, соединёнными несколькими мостовыми слоями для согласования и объединения представлений разных уровней. В модели около 100,7 млн параметров. Модель предварительно обучена на английском языке с задачами masked language modeling и image-text matching на наборах Conceptual Captions, Conceptual 12M, SBU Captions, MSCOCO Captions и Visual Genome. Она предназначена для получения и сопоставления представлений изображений и текстов, поиска изображений по описанию и других задач vision-language; в статье также приводятся результаты для визуальных вопросов и ответов. Репозиторий содержит веса PyTorch. Лицензия — MIT.
CamemBERTa-L2 — компактная обрезанная версия предварительно обученной модели CamemBERTa, из которой удалены верхние слои энкодера. Модель разработана автором репозитория antoinelouis и содержит 43,5 млн параметров; её архитектура относится к DeBERTa-v2, длина контекста — 512 токенов. Модель предназначена для получения признаковых представлений текста и последующего дообучения под задачи, где решение зависит от всего предложения: классификацию текста, извлечение ответов на вопросы и семантический поиск. Также её можно применять для masked language modeling. Для генерации текста README рекомендует авторегрессионные модели. Модель ориентирована на французский язык. Удаление верхних слоёв уменьшает размер по сравнению с базовой CamemBERTa, но README не приводит отдельной оценки качества или скорости именно этой версии. Лицензия MIT.
CamemBERT-L6 — разреженная версия предварительно обученной модели CamemBERT, созданная удалением верхних слоёв исходного чекпойнта. В репозитории указано 81,2 млн параметров; модель использует архитектуру CamemBERT и принимает текст с контекстом до 514 токенов. Доступны веса PyTorch и Safetensors, лицензия — MIT. Модель предназначена прежде всего для дообучения под задачи, где решение зависит от целого предложения или фрагмента текста: классификации, извлечения ответов на вопросы и семантического поиска. Исходную модель также можно применять для masked language modeling и извлечения признаков. Для генерации текста автор рекомендует авторегрессионные модели.
Модель carted-nlp/categorization-finetuned-20220721-164940-distilled-20220811-013354 — дообученный классификатор текста на базе carted-nlp/categorization-finetuned-20220721-164940. Она использует архитектуру RoBERTa с головой классификации последовательностей и содержит около 36 млн параметров. Модель предназначена для отнесения текста к категориям; репозиторий включает веса PyTorch и формат ONNX. Контекст составляет 514 токенов. В README указаны результаты оценки: accuracy 0,8776 и F1 0,8768. Датасет обучения и набор категорий не описаны, поэтому применимость к конкретной тематике или языку по карточке установить нельзя. Лицензия в предоставленных метаданных и README не указана.
CeleBERTy Small Embeddings — компактная модель NeuML для получения плотных векторных представлений предложений и абзацев. Она построена на архитектуре BERT, дообучена с помощью sentence-transformers и насчитывает 25,9 млн параметров по метаданным. Модель отображает текст в пространство векторов размерности 384 и поддерживает контекст до 512 токенов. Модель предназначена для семантического поиска, кластеризации текстов и подготовки источников для RAG. Обучающие примеры получены из случайной выборки статей Википедии с меткой celebrity; эмбеддинги дистиллированы из более крупной модели DenseOn. В описанной авторами оценке на созданном BEIR-совместимом наборе модель показала NDCG 55,24 и подходит для CPU-сценариев с ограниченными ресурсами. Карточка указывает английский язык и лицензию Apache-2.0. Результаты обучения и оценки основаны на выборках статей Википедии о знаменитостях, поэтому качество для других тематик может отличаться. Модель возвращает эмбеддинги, а не готовые текстовые ответы.
Cheon Reranker 0.6B v1 — модель для переранжирования результатов поиска по юридическим и административным документам, разработанная на базе Qwen3-0.6B. Она оценивает и упорядочивает список найденных документов по релевантности запросу, в том числе в сценариях RAG. В метаданных указано около 507,9 млн параметров и контекст до 40 960 токенов; README описывает веса в формате fp32, а репозиторий содержит веса safetensors и реализацию для Transformers. Модель предназначена для поиска по корейским документам: карточка указывает корейский язык, а тестирование проводилось на корейской выборке AutoRAGRetrieval из MTEB, охватывающей финансы, государственный сектор, право и торговлю. Модель дообучена на Qwen/Qwen3-0.6B и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. README сообщает о высоких результатах nDCG@10 на описанном тесте. Порядок кандидатов может влиять на оценки, поэтому их рекомендуется подавать в порядке первого этапа поиска; оценки предназначены для сравнения кандидатов в одном вызове и не являются вероятностями. Весам fp32 требуется больше памяти и времени, чем fp16/bf16-модели такого же размера. Данные и детали обучения, оптимизации и построения запросов не раскрыты.
CLIP ViT-B/32 — модель OpenAI для сопоставления изображений и текстовых описаний. Она использует Vision Transformer ViT-B/32 как кодировщик изображений и Transformer с маскированным self-attention как кодировщик текста; контрастивное обучение сближает представления соответствующих пар «изображение — текст». Репозиторий содержит реализации для PyTorch, TensorFlow и JAX/Flax. Основной сценарий — классификация изображений без дообучения по заданному набору текстовых меток: модель сравнивает изображение с описаниями классов и оценивает их соответствие. Она также подходит для исследовательского изучения обобщения и устойчивости моделей компьютерного зрения. Модель обучалась на англоязычных парах изображений и подписей; README рекомендует ограничивать её применение английским языком. CLIP может хуже справляться с тонкими различиями между классами и подсчётом объектов. Результаты зависят от формулировок и состава меток, а модель имеет выявленные смещения, в том числе при оценке изображений людей. README не приводит лицензию. В карточке модель предназначена прежде всего для исследований; развёрнутые сценарии применения, включая распознавание лиц и наблюдение, обозначены как недопустимые без специального тестирования, а некоторые — как всегда недопустимые.
Это классификатор соответствия требованиям, созданный на базе answerdotai/ModernBERT-base в рамках проекта Adaptive Classifier. Модель распределяет текст по пяти классам: GDPR, HIPAA, PCI, SOX и other; карточка указывает 25 обучающих примеров, поровну по пяти классам, и эмбеддинги размерностью 768. Поддерживается непрерывное обучение с динамическим добавлением классов. Модель предназначена для предварительной сортировки текстов по темам нормативного соответствия, например для маршрутизации документов или запросов к нужному процессу проверки. Для добавления класса требуется не менее трёх примеров; на класс предусмотрено не более 150 примеров, а прототипы обновляются каждые десять примеров. Лицензия — Apache-2.0. Карточка не сообщает показатели качества или конкретные поддерживаемые языки.
Lajavaness/CrossEncoder-camembert-large — франкоязычная модель-кросс-энкодер на архитектуре CamemBERT для оценки семантического сходства двух предложений. Она выдаёт оценку от 0 до 1 и подходит для сравнения фраз и ранжирования текстовых пар по близости смысла. Модель дообучена на STS Benchmark с использованием Augmented SBERT и стратегий подбора пар; в карточке указано улучшение устойчивости и качества относительно dangvantuan/CrossEncoder-camembert-large. Размер по метаданным — 435,4 млн параметров, максимальный контекст — 514 токенов. Для оценки приведены результаты корреляции Пирсона и Спирмена на французских наборах STS и SICK. Модель принимает текстовые пары и выдаёт числовую оценку релевантности, поэтому для каталога она подходит к задачам text-ranking и text-classification. Лицензия — Apache-2.0. Карточка не описывает ограничения за пределами специализации на французском семантическом сходстве предложений.
CrossingGuard Large — англоязычная модель для классификации текстовых запросов и проверки пользовательских условий безопасности. Её разработал автор репозитория dleemiller; модель построена на ModernBERT-large и дообучена на данных CrossingGuard-NLI. Она принимает пару текстов: исходный запрос и гипотезу о нём, после чего предсказывает одну из трёх связей NLI — entailment, neutral или contradiction. Размер модели — 394,7 млн параметров, контекст — до 2048 токенов. Модель предназначена для zero-shot-модерации, классификации намерений и маршрутизации запросов, в том числе по пользовательским правилам, сформулированным как гипотезы. В README приведены результаты оценки на CrossingGuard и FineCat; модель также поддерживает классификацию и сравнение сходства предложений. Распространяется по лицензии Apache-2.0.
cupidon-mini-ro — компактная модель Sentence Transformers, дообученная на базе sentence-transformers/all-MiniLM-L6-v2 для кодирования предложений на румынском языке в плотные семантические векторы. Она предназначена для поиска по смыслу, сравнения текстов и кластеризации, в том числе для задач оценки семантического сходства предложений (STS). Модель содержит 25,9 млн параметров, имеет контекст до 512 токенов и доступна в форматах Safetensors, ONNX и OpenVINO; для использования через Transformers требуется применять pooling к контекстным эмбеддингам токенов. Компактный размер около 90 МБ и ориентация на румынский язык подходят для эффективного локального извлечения эмбеддингов. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов бенчмарков, поэтому качество для конкретной задачи следует оценивать на собственных данных.
microsoft/deberta-large-mnli — модель Microsoft на базе DeBERTa Large, дообученная на задаче Multi-Genre Natural Language Inference (MNLI). Архитектура DeBERTa использует раздельное представление содержимого и относительных позиций токенов в механизме внимания и улучшенный декодер маскирования. Модель содержит около 454,1 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате PyTorch. Модель предназначена для классификации текстовых пар по отношению между посылкой и гипотезой, например для определения логического следования, противоречия или нейтральной связи. Её также можно применять как основу для классификатора с нулевым обучением на новых наборах меток, формулируя метки как гипотезы. Карточка приводит результаты семейства DeBERTa на задачах NLU и бенчмарках GLUE, но конкретные метрики этого чекпойнта в предоставленном фрагменте не приведены. Модель рассчитана на английский язык. Лицензия MIT разрешает использование, изменение и распространение при соблюдении её условий. Ограничения включают контекст до 512 токенов и зависимость качества от соответствия новых задач обучению на английском MNLI; выводы модели не следует считать надёжной проверкой истинности или фактов.
DeBERTina-base — португалоязычная encoder-модель семейства DeBERTa-v3, разработанная Thacio Garcia Scandaroli. Она предварительно обучена в стиле ELECTRA: генератор заменяет часть токенов, а дискриминатор учится определять подменённые токены; в обучении также используется gradient-disentangled embedding sharing. Модель предназначена для дообучения на задачах понимания естественного языка, в частности классификации последовательностей. Репозиторий содержит веса PyTorch и SafeTensors; модель насчитывает около 137,8 млн параметров и поддерживает контекст до 512 токенов. Обучение проводилось на португалоязычном корпусе C4 с токенизатором SentencePiece. Для классификации README показывает загрузку через Transformers AutoModelForSequenceClassification с числом классов, заданным при дообучении. Лицензия MIT. Модель ориентирована на португальский язык; качество на конкретных задачах зависит от дообучения и доступных меток.
ai4data разработала DevData Search Granite 97M Multilingual CMNRL — компактную двуязычную модель-биэнкодер для создания текстовых эмбеддингов и поиска по структурированным статистическим метаданным. Модель дообучена на DevDataBench от IBM Granite Embedding 97M Multilingual R2 с функцией потерь CMNRL. При обучении порядок полей переставлялся, а часть полей исключалась, чтобы модель связывала значения с названиями полей, а не с порядком их сериализации. Модель подходит для поиска статистических показателей по описаниям, сопоставления запросов с записями метаданных и ранжирования кандидатов по семантической близости. Она принимает текст и выдаёт векторы эмбеддингов; для использования предусмотрена библиотека Sentence Transformers. Контекстная длина в метаданных — 32 768 токенов, а в карточке обучения указана максимальная длина последовательности 512 токенов. Модель не является готовым поисковым сервисом. Лицензия — Apache 2.0.
ai4data разработала DevData Search Granite 97M multilingual nopermute cmnrl — биэнкодерную модель эмбеддингов для поиска по структурированным статистическим метаданным. Это дообучение ibm-granite/granite-embedding-97m-multilingual-r2 на наборе DevDataBench; модель предназначена для построения векторов запросов и записей метаданных и последующего поиска по сходству, а не является готовым поисковым сервисом. Модель построена на архитектуре ModernBERT, содержит 97,4 млн параметров и поддерживает контекст до 32 768 токенов по метаданным. В README указана максимальная длина последовательности 512 токенов и отсутствие префиксов запросов и документов. Многоязычная базовая модель рассчитана на сопоставление текстовых запросов и метаданных; особенность этого варианта — обучение на полных схемах с перестановкой порядка полей и их выпадением, чтобы представление меньше зависело от порядка сериализации. Однако в настройках именно этого чекпойнта перестановка полей отключена, а выпадение полей равно нулю. Модель распространяется по лицензии Apache-2.0.
ai4data/devdata-search-harrier-270m-nopermute-cmnrl — биэнкодерная модель для создания текстовых эмбеддингов, разработанная как часть семейства DevData Search. Она дообучена на DevDataBench на базе microsoft/harrier-oss-v1-270m для поиска по структурированным статистическим метаданным: модель кодирует запросы и описания данных в векторы, которые можно использовать для извлечения релевантных записей. Это модель эмбеддингов, а не готовый поисковый сервис. Модель построена на архитектуре Gemma3TextModel, содержит 257 млн параметров и принимает текстовые входы. В карточке указана длина контекста 512 токенов; метаданные каталога сообщают о native context в 32768 токенов, поэтому фактический предел может зависеть от конфигурации и способа запуска. Модель поддерживает задачи feature extraction и sentence similarity; лицензия — Apache-2.0.
ai4data/devdata-search-multilingual-e5-small-cmnrl — компактная модель эмбеддингов с архитектурой BERT, разработанная ai4data для семантического поиска по структурированным статистическим метаданным. Это дообученная версия intfloat/multilingual-e5-small, обученная на DevDataBench с функцией потерь cmnrl и перестановкой полей и их пропуском при сериализации, чтобы представление данных меньше зависело от порядка полей. Модель кодирует запросы и записи отдельно; при использовании Sentence Transformers для запросов применяется префикс «query: », а для документов — «passage: ». Она предназначена для поиска и сопоставления записей, а не является готовым поисковым сервисом. Модель содержит 124,3 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт векторные эмбеддинги для извлечения признаков и оценки сходства предложений. Базовая модель многоязычная, поэтому подходит для семантического поиска на разных языках; конкретный перечень языков в предоставленных данных не задан. Репозиторий использует формат safetensors и библиотеку Sentence Transformers. Лицензия — Apache-2.0.