I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейpablosi/bge-m3-retrained — модель Sentence Transformers, дообученная разработчиком pablosi на наборе boe-data-sintetic из 4 221 примера. Она основана на BAAI/bge-m3 с архитектурой XLM-RoBERTa и преобразует испанские предложения и абзацы в нормализованные плотные векторы размерности 1024; максимальная длина входа — 8192 токена, сходство оценивается косинусной метрикой. Модель предназначена для семантического поиска и сравнения вопросов с фрагментами испанских правовых документов, а также для поиска парафраз, кластеризации и классификации текста. Карточка приводит оценку retrieval на dim_1024 и dim_768, включая cosine_accuracy@5 0,8227 для dim_1024. Лицензия — Apache-2.0.
dinghy-law-4b-v1 — модель плотных текстовых эмбеддингов от Hanno Labs, дообученная на базе Qwen/Qwen3-Embedding-4B для поиска по юридическим корпусам. Она предназначена для извлечения релевантных законов, судебных решений и договорных фрагментов, а также для сопоставления, кластеризации и дедупликации юридических текстов. Модель содержит около 3,7 млрд параметров, использует архитектуру Qwen3 и выдаёт вектор размерности 2560. Для запросов поддерживается инструкция задачи; документы кодируются без неё. По умолчанию модель обрабатывает до 8192 токенов, а настройка позволяет использовать контекст базовой модели до 40960 токенов. Модель оптимизирована для англоязычных, немецкоязычных и китайскоязычных юридических текстов. В собственной оценке разработчика на MTEB(Law, v1) она получила 71,24 по Mean(Task) nDCG@10; это результат измерения автора, а не официальное место в таблице лидеров. Модель подходит для первого этапа поиска и ранжирования в юридических RAG-системах, включая локальные и изолированные развёртывания. Она формирует эмбеддинги, но не генерирует ответы и не предоставляет юридические консультации. Лицензия — Apache-2.0.
es_core_news_md — испаноязычный NLP-конвейер, разработанный компанией Explosion на базе spaCy 3.7.0. Модель оптимизирована для работы на CPU и предназначена для обработки текстов на испанском языке: токенизации, морфологического анализа, определения частей речи и грамматических признаков, лемматизации, синтаксического анализа зависимостей, выделения границ предложений и распознавания именованных сущностей. Она подходит для информационного поиска, анализа документов, подготовки текстовых данных и других задач классического NLP. В состав входят компоненты tok2vec, morphologizer, parser, senter, attribute_ruler, lemmatizer и ner. Модель использует 300-мерные векторы: заявлено 500 000 ключей и 20 000 уникальных векторов. Обучение опирается на UD Spanish AnCora, WikiNER, данные spaCy lookups и fastText-векторы Explosion. В README не указаны ограничения по длине контекста и перечень дополнительных модальностей, поэтому модель следует рассматривать как предназначенную для текстовых данных на испанском языке. Среди заявленных результатов — F1 0,894 для NER, точность 0,985 для UPOS, 0,980 для морфологических признаков, 0,965 для лемматизации, UAS 0,913, LAS 0,880 и F1 0,988 для определения предложений. Ограничениями являются специализация на испанском языке, CPU-ориентированная архитектура и то, что показатели зависят от домена и качества входного текста. Модель распространяется по лицензии GNU GPL 3.0, что необходимо учитывать при использовании и интеграции.
FISMWASP Autoencoder 400k-e2 — модель эмбеддингов, разработанная Андре Озыгюссом из Medienwerft при участии коллег из FIS ASP и FIS. Она преобразует немецкие предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и организации технических спецификаций. Модель построена на XLM-RoBERTa с архитектурой Sentence-BERT и TSDAE, содержит 305,2 млн параметров и рассчитана на контекст до 514 токенов. Для обучения использовались технические тикеты и более 400 тысяч предложений. Модель подходит для поиска похожих текстов и группировки немецких технических документов и тикетов. Доступна в формате safetensors и может использоваться через sentence-transformers либо Transformers с подходящей операцией pooling. Лицензия в предоставленных данных не указана.
gte-micro-v2 — компактная модель эмбеддингов на архитектуре BERT, опубликованная пользователем Mihaiii. Это дистиллят gte-tiny, предназначенный прежде всего для семантического автодополнения: модель преобразует текст в векторные представления, которые можно использовать для оценки смыслового сходства. Размер модели — 18,8 млн параметров, контекст ограничен 512 токенами; для работы указана библиотека Sentence Transformers, а веса доступны в форматах ONNX и safetensors. Модель рассчитана исключительно на английские тексты. Длинные входы усекаются до 512 токенов, поэтому она не подходит для прямого сравнения полного текста, превышающего это ограничение. Лицензия — MIT.
HTML-Pruner-Phi-3.8B — дообученная Microsoft Phi-3.5-mini-instruct модель, выпущенная авторами HtmlRAG для сокращения HTML-контекста в системах поиска с дополненной генерацией (RAG). В двухэтапном процессе HtmlRAG модель используется на этапе генеративного отбора блоков HTML после предварительного ранжирования блоков моделью эмбеддингов; перед этим HTML очищается от нерелевантного содержимого и избыточных структур. Модель построена на архитектуре Phi-3, содержит 3,7 млрд параметров и принимает текст; её контекст составляет 4096 токенов. В карточке указана поддержка английского языка. Модель предназначена для подготовки HTML-результатов поиска к передаче языковой модели, чтобы сохранить полезное содержимое и уменьшить объём контекста для последующей генерации ответов. Модель распространяется по лицензии Apache-2.0. Её специализированная задача — генеративное прореживание HTML-блоков; качество может зависеть от структуры и длины исходных страниц и от настроек этапов очистки и отбора.
Это модель Sentence Transformers, разработанная авторами репозитория ipsnan/keywordsextraction для извлечения ключевых слов из украинских научных и деловых документов. Она дообучена на базе intfloat/multilingual-e5-base и использует энкодер XLM-RoBERTa с усреднением токеновых представлений и L2-нормализацией. Модель содержит около 305,2 млн параметров, выдаёт эмбеддинги размерности 768 и обрабатывает последовательности длиной до 514 токенов по метаданным; в README указан предел 512 токенов. Модель кодирует документ и сопоставляет его с заранее подготовленными эмбеддингами ключевых слов, ранжируя совпадения по косинусному сходству. Она предназначена для поиска ключевых слов в научных текстах, академических материалах и деловых документах, а также для использования в семантическом поиске и сопоставлении предложений. В комплекте репозитория есть индекс ключевых слов и скрипт обработки PDF. Модель лучше всего работает с текстами на украинском языке и возвращает только слова из имеющегося индекса; для нового набора ключевых слов индекс нужно подготовить заново. Качество зависит от того, насколько первые примерно 3000 символов документа отражают его тему. Модель распространяется по лицензии MIT.
jhgan/ko-sbert-multitask — модель на базе Sentence-BERT и архитектуры BERT, дообученная для получения векторных представлений корейских предложений и абзацев. Она преобразует текст в плотные эмбеддинги размерности 768 и подходит для семантического поиска, оценки сходства и кластеризации текстов. Модель обучалась на наборах KorSTS и KorNLI в режиме многозадачного обучения. В карточке приведены результаты оценки на KorSTS: корреляция Спирмена для косинусного сходства составляет 84,71. Максимальная длина контекста — 512 токенов; доступны веса PyTorch и TensorFlow. Модель рассчитана прежде всего на корейский язык. Её можно применять для поиска похожих фраз и группировки текстов, но качество за пределами корейских данных не подтверждено. Лицензия в предоставленных данных не указана.
Redis LangCache Embed Experimental — англоязычная модель Sentence Transformers, дообученная Redis на базе sentence-transformers/all-MiniLM-L6-v2 для семантического кэширования и сравнения предложений. Энкодер на архитектуре BERT преобразует предложения и абзацы в нормализованные плотные векторы размерностью 384; сходство оценивается косинусной мерой. Метаданные указывают 25,9 млн параметров и контекст до 512 токенов, а карточка модели задаёт максимальную длину последовательности 100 токенов. Модель подходит для поиска похожих запросов и ответов, семантического поиска и ранжирования пар текстов, в частности при настройке семантического кэша LangCache. Она обучена на парах предложений LangCache. Лицензия — Apache-2.0. В опубликованной оценке на тестовом наборе указаны cosine accuracy@1 0,5768 и cosine recall@1 0,5588; эти показатели относятся к описанной в карточке оценке и не гарантируют качество на других данных.
Это англоязычная модель Sentence Transformers, дообученная на синтетических парах юридических запросов и документов. Она основана на nomic-ai/modernbert-embed-base и предназначена для преобразования предложений и абзацев в плотные векторы размерности 768, пригодные для семантического поиска, сравнения текстов и поиска перефразировок в юридических материалах. Архитектура включает ModernBERT, усредняющий пулинг токенов и нормализацию векторов. Модель принимает последовательности длиной до 8192 токенов; сходство векторов можно оценивать косинусной мерой. В карточке приведены результаты оценки поиска и сведения о дообучении на датасете из 5175 пар запросов и релевантных документов. Модель распространяется по лицензии Apache-2.0. Её специализация и данные обучения ориентированы на англоязычные юридические тексты; синтетический обучающий набор и результаты на указанных тестах не гарантируют качество на других юридических корпусах или задачах. Это модель эмбеддингов: для генерации ответов её следует использовать как компонент поискового контура, а не как самостоятельную генеративную модель.
SergeyKarpenko1/multilingual-e5-small-legal-matryoshka_384 — дообученная на 165 парах текстов модель Sentence Transformer на базе intfloat/multilingual-e5-small. Она преобразует предложения и абзацы в нормализованные плотные эмбеддинги размерностью 384 и сравнивает их по косинусному сходству; архитектура включает BERT, mean pooling и нормализацию. Модель предназначена для семантического поиска и сопоставления текстов, в том числе по вопросам и фрагментам о российском законодательстве. Модель поддерживает русский язык, принимает текст и выдаёт векторы. Максимальная длина последовательности — 512 токенов. Matryoshka-обучение позволяет оценивать эмбеддинги при сокращении размерности до 256, 128 или 64. В README приведены результаты поиска на небольшом наборе оценки, поэтому они не гарантируют качество на других данных. Лицензия — Apache-2.0.
diegolacomba выпустил sentence-transformers-модель для получения эмбеддингов предложений и абзацев. Она основана на BERT и преобразует текст в плотные векторы размерностью 384; представление строится усреднением токенных эмбеддингов. Для сравнения текстов предусмотрена косинусная близость. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текста. Максимальная длина входа — 512 токенов. В названии указано назначение для юридических текстов, однако README не уточняет языки обучения или конкретные юридические задачи. Метаданные указывают формат safetensors; лицензия не приведена.
MyAwesomeModel — модель из репозитория lfeng03/MyAwesomeModel-TestRepo, опубликованная для использования с библиотекой Transformers и PyTorch. По метаданным Hugging Face она относится к архитектурному семейству BERT и предназначена для извлечения признаков из текста. Основной сценарий применения — получение векторных представлений, которые затем можно использовать в задачах классификации, поиска и анализа текста. В README модель также описывается как обновлённая система с улучшенными способностями к рассуждению, математике, программированию, логике, генерации текста, суммаризации, переводу и function calling. Однако заявленные в README характеристики генеративной чат-модели не согласуются с метаданными, где pipeline_tag указан как feature-extraction; поэтому для каталога надёжнее ориентироваться на извлечение признаков и BERT-подобную архитектуру. Модель распространяется по лицензии MIT.
MyAwesomeModel — модель из репозитория MalaniAro/MyAwesomeModel-TestRepo, опубликованная для использования с библиотекой Transformers и PyTorch. По метаданным Hugging Face она предназначена для извлечения признаков из входных данных и относится к архитектурному семейству BERT. Модель можно применять для получения векторных представлений текста, последующей классификации, кластеризации, семантического поиска и других задач, использующих эмбеддинги. README также описывает заявленные возможности рассуждения, программирования, математики и работы с диалогами, однако эти сведения не согласуются с указанным pipeline-тегом feature-extraction и не содержат проверяемых технических характеристик модели. Модель распространяется по лицензии MIT. Размер, длина контекста, поддерживаемые естественные языки и точные сведения о разработчике в доступных данных не приведены.
Это крупная англоязычная модель распознавания именованных сущностей, распространяемая вместе с библиотекой Flair. Она размечает текст четырьмя классами NER: людьми (PER), местами (LOC), организациями (ORG) и ещё одним классом, который в доступной таблице README не виден. Модель основана на документных эмбеддингах XLM-R и архитектуре FLERT, обучена на CoNLL-03; для исправленной версии CoNLL-03 указана оценка F1 94,36. Модель предназначена для извлечения имен людей, географических названий и организаций из английского текста, например для индексирования документов и подготовки данных для последующего анализа. Используется через Flair SequenceTagger. В метаданных указана лицензия other, поэтому конкретные условия использования следует проверять в материалах репозитория.
ODSBahia-PTBR — модель классификации текстов, разработанная в рамках академического исследования в Федеральном университете Южной Баии, Бразилия. Она присваивает текстам категории, связанные с 17 Целями устойчивого развития ООН, а также с тремя дополнительными целями: расовое равенство, искусство, культура и коммуникация, права коренных народов и традиционных сообществ. Модель построена на BERT и дообучена на базе neuralmind/bert-base-portuguese-cased на специально собранных для этой задачи данных. Она рассчитана на португальский язык, имеет контекст до 512 токенов и доступна в формате safetensors; лицензия — MIT. В README приведены метрики на наборе OSDG-CD: accuracy 0,98, precision 0,89, recall 0,70 и F1 0,79.
fcmeyer/Qwen3.8-27B-MLX-bf16-mtp — конверсия мультимодальной модели Qwen/Qwen3.8-27B в формат MLX bf16 для запуска через движок oMLX на компьютерах Apple Silicon. Веса сохранены без квантизации, включая головку MTP для спекулятивного декодирования Lightning-MTP; в модели также сохранена визуальная башня для анализа изображений и видео. Архитектура плотная, размер базовой модели — 27 млрд параметров. Модель предназначена для диалогов и понимания изображений и видео. При запуске через oMLX можно включить MTP для ускорения генерации; автор сообщает о двукратном ускорении декодирования на M5 Max с 128 ГБ памяти, а также о проверке поиска по длинному контексту и привязки ответов к изображениям. README демонстрирует контекстное окно до 262 144 токенов в конфигурации oMLX. Репозиторий содержит конвертированные веса, поэтому это не отдельное дообучение, а преобразование формата и точности исходной модели для MLX. Лицензия — Apache-2.0. Для запуска требуются Apple Silicon, oMLX и около 52 ГБ памяти под веса; измерения производительности относятся к конкретной конфигурации M5 Max.
Qwen3-Embedding-0.6B-AWQ-INT4 — квантованная версия модели Qwen/Qwen3-Embedding-0.6B, опубликованная drawais. Это производный артефакт с 4-битным квантованием весов по схеме AWQ и размером около 0,5 ГБ на диске. Модель предназначена для эффективного запуска задач, основанных на текстовых представлениях, включая сценарии, где важны компактность и низкие требования к ресурсам. В README указана поддержка английского языка. Для запуска рекомендуется использовать vLLM; заявленная максимальная длина контекста составляет 32 768 токенов. Модель относится к текстовым и не поддерживает другие модальности согласно представленным данным. К сильным сторонам относятся малый размер, потенциально высокая скорость работы и возможность запуска на ограниченных ресурсах. При этом INT4-квантование может снижать точность по сравнению с исходной моделью, а сведения о конкретных результатах оценки, архитектуре, точных требованиях к видеопамяти и поддерживаемых сценариях применения не приведены. Модель распространяется по лицензии Apache License 2.0; для производного артефакта требуется учитывать атрибуцию исходной модели и материалы из LICENSE и NOTICE.
drawais/Qwen3-Embedding-8B-AWQ-INT4 — производная от Qwen/Qwen3-Embedding-8B, разработанная на основе модели Qwen. Это версия с 4-битной квантованием весов по методу AWQ, предназначенная для запуска на локальном оборудовании с ограниченным объёмом видеопамяти. Модель рассчитана на работу с английским языком и может использоваться в сценариях, где требуется применение базовой embedding-модели при сниженных требованиях к памяти. Размер артефакта на диске составляет примерно 6,1 ГБ; заявлена возможность запуска на потребительском GPU с 8 ГБ видеопамяти при наличии запаса для KV-кэша. Для запуска через vLLM в README указан максимальный размер контекста 32 768 токенов. Ключевое преимущество модели — существенное уменьшение размера и требований к памяти благодаря INT4-квантованию. При этом README не содержит подробностей о качестве эмбеддингов, архитектуре базовой модели, поддерживаемых модальностях и результатах бенчмарков, поэтому влияние квантования на точность оценить нельзя. Модель распространяется по лицензии Apache License 2.0. Это производная работа от Qwen/Qwen3-Embedding-8B; в комплекте указаны файлы LICENSE и NOTICE с текстом лицензии и необходимой атрибуцией.
JeremiahZ/roberta-base-qqp — модель классификации текстовых пар, созданная дообучением RoBERTa-base на наборе GLUE QQP. Она предназначена для определения, задают ли два английских вопроса один и тот же вопрос, например, при поиске дубликатов в FAQ или объединении похожих обращений. Модель построена на архитектуре RoBERTa для классификации последовательностей, содержит 151,8 млн параметров и принимает текстовые входные данные с контекстом до 514 токенов. В карточке указаны результаты оценки на тестовом наборе: accuracy 0,9153 и F1 0,8867. Модель поддерживает английский язык и опубликована в формате PyTorch. Лицензия — MIT. Карточка не описывает дополнительные сценарии использования и ограничения; качество на других данных может отличаться от результатов на GLUE QQP.
allenai/scibert_scivocab_uncased_field_of_study — модель классификации научных текстов по областям исследования, созданная дообучением SciBERT командой AllenAI. Она предназначена для определения области научной публикации или другого научного текста по его содержанию. Модель использует архитектуру BERT и веса SciBERT, адаптированные для научного словаря. Опубликована в формате PyTorch. README сообщает, что данные для дообучения были собраны с помощью моделей OpenAI, но не раскрывает полный состав набора данных или подробности обучения. Лицензия в предоставленных данных не указана.
Модель tomaarsen/span-marker-bert-base-fewnerd-fine-super — модель SpanMarker для распознавания именованных сущностей, разработанная на основе bert-base-cased и дообученная на наборе FewNERD. Она обрабатывает английский текст и определяет сущности из множества категорий, включая типы произведений искусства и развлечений. Модель принимает последовательности длиной до 256 токенов и распознаёт сущности длиной до 8 слов. Модель подходит для извлечения и классификации упоминаний сущностей в текстах, а также для дальнейшего дообучения на собственном наборе данных. Она использует библиотеку SpanMarker и распространяется в форматах PyTorch и safetensors. Лицензия — CC-BY-SA-4.0.
Wartortle — компактная модель эмбеддингов на базе BERT, созданная Mihaiii как дистилляция bge-base-en-v1.5. Она предназначена прежде всего для семантического автодополнения: преобразует текст в векторы, которые можно использовать для поиска подходящего продолжения или сопоставления фраз. Модель содержит 18,8 млн параметров, работает с контекстом до 512 токенов и доступна в форматах Safetensors и ONNX. Для корректного использования в сценарии семантического автодополнения README рекомендует CLS-пулинг и нормализацию эмбеддингов; модель также можно применять в задачах сходства предложений и извлечения признаков. Базовая модель ориентирована на английский язык. Лицензия — MIT.
ajan-embed-q — модель векторных представлений предложений, созданная Ranked Technologies Limited для проекта Ajanlar. Она предназначена прежде всего для семантического поиска и извлечения документов на турецком языке, в том числе для RAG-систем и ИИ-агентов, отвечающих по корпоративным документам. Модель принимает текст и выдаёт эмбеддинги; для поиска рекомендуется добавлять префиксы «query: » и «passage: » и нормализовать векторы. Это дообученная методом дистилляции модель на базе intfloat/multilingual-e5-base с архитектурой XLM-RoBERTa и примерно 305 млн параметров по метаданным. Студент обучен воспроизводить эмбеддинги учителя BAAI/bge-m3 на 500 тысячах турецких предложений; дополнительный Dense-слой проецирует размерность 768 в 1024. Контекст составляет 514 токенов. Модель опубликована в формате safetensors под лицензией Apache-2.0. На тесте TurHistQuad модель показала NDCG@10 0,465, выше multilingual-e5-base и multilingual-e5-small; на общих задачах сопоставления предложений уступает семейству E5. Поэтому её сильная сторона — поиск на турецком, а не универсальное измерение семантического сходства. Оценка основана на ограниченном наборе турецких задач без доверительных интервалов; перед промышленным переобучением авторы рекомендуют фиксировать снимок корпуса и фильтровать персональные данные и дубликаты.
tabiya/all-MiniLM-L6-v2-occupation-fine-tuned — модель на архитектуре BERT, созданная на базе семейства all-MiniLM-L6-v2 и дообученная для работы с предложениями и абзацами. Она преобразует текст в плотные эмбеддинги размерностью 384 и подходит для семантического поиска и кластеризации. В метаданных указаны 25,9 млн параметров и контекст до 512 токенов; модель распространяется в формате safetensors и использует библиотеку Sentence Transformers. Модель можно применять для поиска по смыслу в текстах об occupation и для группировки похожих текстовых описаний. README указывает на обучение с MegaBatchMarginLoss, но не приводит подробностей обучающих данных и результатов оценки. Лицензия в предоставленных данных не указана.
classla/bcms-bertic-ner — модель разметки последовательностей, разработанная Classla на основе BERTić и дообученная для распознавания именованных сущностей в боснийском, хорватском, черногорском и сербском языках. Она присваивает токенам метки PER, LOC, ORG и MISC, чтобы выделять в тексте людей, места, организации и другие именованные сущности. Модель использует архитектуру ELECTRA, содержит 137,8 млн параметров и обрабатывает контекст длиной до 512 токенов. При дообучении использовались данные на стандартном хорватском и сербском языках, а также публикации из Twitter; данные дополнялись вариантами без диакритических знаков. В README сообщается F1 91,38 на dev-данных, объединённых с обучающей выборкой. Модель предназначена для извлечения сущностей из текстов BCMS, включая стандартные и неформальные тексты. Она распространяется по лицензии Apache-2.0.
Yuki20/bge-base-financial-matryoshka — англоязычная модель Sentence Transformer, дообученная на финансовых текстовых парах от BAAI/bge-base-en-v1.5. Она преобразует предложения и абзацы в плотные эмбеддинги для семантического поиска и сравнения текстов; также подходит для поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Модель построена на BERT, использует пулинг CLS-токена и нормализацию векторов. Размер эмбеддинга — 768, максимальная длина входа — 512 токенов; обучение проводилось на 6 300 примерах с MatryoshkaLoss и MultipleNegativesRankingLoss. В README приведены результаты поиска для выходных размерностей от 64 до 768, что позволяет выбирать компромисс между компактностью вектора и качеством. Модель предназначена прежде всего для англоязычного финансового поиска и сопоставления вопросов с фрагментами текста. Лицензия — Apache-2.0. Результаты в карточке измерены на указанных наборах оценки и сами по себе не гарантируют качество для других корпусов или языков.
Модель gimhae-geunamja/bge-reranker-v2-m3-ko-public-admin разработана как дообученный корейский cross-encoder для переранжирования результатов поиска по муниципальным административным документам и административному праву. Она оценивает релевантность пары «запрос — документ» и выдаёт один числовой балл; обычно её применяют после этапа извлечения кандидатов поисковым или векторным ретривером. В основе лежит dragonkue/bge-reranker-v2-m3-ko — модель семейства XLM-RoBERTa с 658,7 млн параметров. Модель принимает текстовые пары, рассчитана прежде всего на корейский язык и имеет контекст до 8194 токенов по метаданным; авторская карточка указывает max_length 1024 для приведённого сценария и обучения. Обучение проводилось на парах из открытых наборов AI Hub по административным документам и административному праву. Модель особенно полезна для коротких запросов-ключевых слов в корейских административных поисковых системах, но заметно слабее на них, чем на полных вопросах; качество также может отличаться в общих доменах и на других языках. Она может переоценивать документы, совпадающие по теме, даже если не совпадают условия применимости, а качество на входах длиннее 1024 токенов не проверено. Распространяется по лицензии Apache-2.0; для обучающих данных дополнительно действуют условия AI Hub, включая запрет на перераспространение исходных данных.
CT-XLMR-SE — многоязычный энкодер предложений из семейства CrisisTransformers, разработанный авторами этих моделей для текстов кризисных событий в социальных сетях. Он основан на архитектуре XLM-RoBERTa и обучен на корпусе публикаций о более чем 30 кризисах; число параметров — 305,2 млн, контекст — до 514 токенов. Модель создаёт векторные представления предложений и предназначена для семантического поиска, кластеризации и тематического моделирования кризисных сообщений. Энкодер поддерживает более 50 языков, включая русский и английский, и может применяться без дополнительного дообучения для задач векторизации и сравнения сходства предложений. В метаданных указана лицензия Apache-2.0.
Модель ahmetatakanacar/dbmdz-finetuned-with-egundem — sentence-transformers-модель на базе BERT, дообученная на турецких новостных текстах для семантического поиска. Она преобразует текст в эмбеддинги размерностью 768; используется mean pooling. Базовая модель — dbmdz/bert-base-turkish-uncased, число параметров — 137,8 млн. Модель предназначена для поиска новостных материалов по смыслу и сравнения семантической близости предложений или текстов. Принимает до 512 токенов; для более длинных материалов в карточке рекомендуется разбивать текст на фрагменты. Поддерживаются форматы safetensors и ONNX. Лицензия — MIT. Модель ориентирована на турецкий язык и новостной домен, поэтому её применимость к другим языкам и текстам вне новостной тематики может быть ограничена.