I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейteven/bi_all_bs160_allneg_finetuned_WebNLG2020_correctness — модель Sentence Transformers на базе архитектуры MPNet, разработанная автором teven. Она преобразует предложения и абзацы в плотные векторы размерности 768 для вычисления семантического сходства, кластеризации и семантического поиска. Модель содержит 136,7 млн параметров, принимает текст и выдаёт векторные представления; максимальная длина контекста — 514 токенов. Модель дообучена с функцией потерь CosineSimilarityLoss; название указывает на обучение на данных WebNLG2020 для оценки корректности. Её можно применять для поиска текстов со сходным смыслом и группировки текстовых фрагментов. Данных о лицензии и поддерживаемых естественных языках в доступных источниках нет.
CamemBERTa-L4 — компактная обрезанная версия предварительно обученного чекпойнта CamemBERTa, представленная Antoine Louis. Веса получены удалением верхних слоёв исходной модели; в репозитории указана архитектура DeBERTa-v2 и 62,3 млн параметров. Модель принимает текст, а контекст ограничен 512 токенами. Чекпойнт предназначен прежде всего для дообучения под задачи, где решение опирается на целое предложение: классификацию текста, извлечение ответа на вопрос и семантический поиск. Его также можно использовать для извлечения признаков и masked language modeling; для генерации текста автор рекомендует авторегрессионные модели. Модель рассчитана на французский язык. Репозиторий распространяется по лицензии MIT.
CamemBERT-L10 — компактная версия предварительно обученной языковой модели CamemBERT, созданная удалением верхних слоёв исходного чекпойнта. Модель разработана авторами семейства CamemBERT и предназначена для обработки французского текста; в репозитории представлены веса PyTorch и Safetensors, лицензия — MIT. Модель принимает текст и выдаёт контекстные признаки токенов. Её можно использовать для masked language modeling, а основное назначение — дообучение для задач, где решение зависит от всего предложения: классификации текста, извлечения ответа на вопрос и семантического поиска. По README версия L10 удаляет 10 из предварительно обученных слоёв базовой модели; в метаданных указан размер 119 млн параметров, максимальный контекст — 514 токенов. CamemBERT-L10 не является авторегрессионной моделью и не предназначена для генерации текста. Для прикладных задач качества может потребоваться дообучение на соответствующих данных.
CamemBERT-L8 — прореженная версия предварительно обученной модели CamemBERT, созданная удалением верхних слоёв исходного чекпойнта. В метаданных указаны архитектура CamemBERT, класс CamembertModel, около 100,1 млн параметров и контекст длиной до 514 токенов. Модель предназначена прежде всего для дообучения под задачи, где решение опирается на всё предложение: классификацию текста, извлечение ответов на вопросы и семантический поиск. Её также можно использовать для извлечения признаков и masked language modeling. Для генерации текста автор рекомендует авторегрессионные модели. Модель работает с текстом на французском языке. Удаление верхних слоёв уменьшает модель относительно исходной CamemBERT-base; числовой размер L8 подтверждён метаданными, а README описывает семейство вариантов с разным числом удалённых слоёв. Лицензия — MIT.
AbstractPhil/captionbert-8192-v2 — автономный компактный текстовый энкодер предложений, созданный AbstractPhil и дистиллированный из геометрического консенсуса пяти моделей семейства BERT. Модель содержит 66 млн параметров по метаданным, использует 12 слоёв, скрытое представление размерности 512 и контекст до 8192 токенов; на выходе формирует L2-нормализованные векторы размерности 768. Для работы не требуются модели-эксперты; README показывает загрузку через Transformers и токенизатор bert-base-uncased. Модель предназначена для получения векторных представлений предложений и сравнения их семантической близости, включая поиск похожих формулировок и задачи семантического сходства. В README приведены результаты на STS-B, SICK-R и других наборах семантического сходства; авторы отмечают, что базовый энкодер эффективен относительно учителей, но обычное mean pooling у BERT-подобных моделей уступает специализированным энкодерам, обученным на большом количестве пар сходства. Для дополнительной адаптации в репозитории описаны AMOE-адаптеры. Модель ориентирована на английский язык. Лицензия — MIT. Указанная в README загрузка использует trust_remote_code=True; перед применением следует учитывать необходимость доверять коду репозитория. Показатели бенчмарков приведены авторами модели и могут не отражать качество на пользовательских данных.
CeleBERTy Small Embeddings — компактная модель NeuML для получения плотных векторных представлений предложений и абзацев. Она построена на архитектуре BERT, дообучена с помощью sentence-transformers и насчитывает 25,9 млн параметров по метаданным. Модель отображает текст в пространство векторов размерности 384 и поддерживает контекст до 512 токенов. Модель предназначена для семантического поиска, кластеризации текстов и подготовки источников для RAG. Обучающие примеры получены из случайной выборки статей Википедии с меткой celebrity; эмбеддинги дистиллированы из более крупной модели DenseOn. В описанной авторами оценке на созданном BEIR-совместимом наборе модель показала NDCG 55,24 и подходит для CPU-сценариев с ограниченными ресурсами. Карточка указывает английский язык и лицензию Apache-2.0. Результаты обучения и оценки основаны на выборках статей Википедии о знаменитостях, поэтому качество для других тематик может отличаться. Модель возвращает эмбеддинги, а не готовые текстовые ответы.
Это дообученная модель Sentence Transformers на базе итальянской версии BERT dbmdz/bert-base-italian-uncased, разработанная владельцем репозитория AChierici84. Она преобразует предложения и абзацы на итальянском языке в плотные векторы размерности 768 для сравнения семантической близости, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура включает BERT с усреднением токенных представлений; сходство векторов оценивается косинусной мерой. Модель содержит 137,1 млн параметров и принимает последовательности длиной до 512 токенов. В README приведён результат Spearman 0,811 по косинусному сходству на задаче оценки семантической близости. Модель подходит для поиска похожих текстов и построения эмбеддингов, но качество на других наборах данных и задачах отдельно не подтверждено. Лицензия в предоставленных сведениях не указана.
CrossEncoder-camembert-large — модель-кросс-энкодер для оценки семантического сходства двух предложений, созданная на базе CamemBERT и обученная с помощью класса CrossEncoder библиотеки Sentence Transformers. Она принимает пару текстов и выдаёт оценку сходства от 0 до 1; модель предназначена для ранжирования и сравнения предложений, например при поиске похожих формулировок или проверке релевантности пары фраз. Модель обучена на STS Benchmark, а карточка приводит результаты оценки на французской тестовой выборке: корреляция Пирсона 88,16 и Спирмена 87,57. Архитектура — CamemBERT для классификации последовательности, размер около 435,4 млн параметров, длина контекста — 514 токенов. Основной язык модели — французский. Вес опубликован в форматах PyTorch и Safetensors. Модель хорошо подходит для сопоставления коротких текстов на французском языке, но её оценки сходства не следует трактовать как универсальную меру истинной эквивалентности. Для пары текстов модель запускается совместно, поэтому при масштабном поиске по большому корпусу вычисления могут быть затратными. Лицензия — Apache-2.0.
cupidon-base-ro — модель BlackKakapo для создания эмбеддингов румынских текстов и оценки семантической близости предложений. Это плотная модель на архитектуре XLM-RoBERTa с 305,2 млн параметров, дообученная на румынских данных STS; в карточке указан датасет BlackKakapo/RoSTSC. Контекст модели — 514 токенов. Модель принимает текст и формирует векторные представления, которые можно использовать для сравнения предложений по смыслу, поиска похожих текстов и ранжирования кандидатов по семантическому сходству. Доступны веса Safetensors и форматы ONNX и OpenVINO; использовать модель можно через Sentence-Transformers или Transformers с подходящей операцией pooling. Лицензия — Apache-2.0.
DocsGPT-40B-Falcon — дообученная командой Arc53 языковая модель на базе Falcon-40B, предназначенная для ответов по документации и данным, переданным в контексте. Её можно применять в системах поиска и поддержки, где документы сначала извлекаются, а затем подаются модели вместе с вопросом. Модель использует архитектуру RefinedWeb с причинно-языковой генерацией; в карточке указано 65 млрд параметров и библиотека Transformers. Для дообучения применялся LoRA на 50 тысячах примеров. Рабочий шаблон запроса разделяет инструкцию, контекст и ответ. Карточка ориентирует модель на английский язык. Лицензия Apache-2.0 допускает коммерческое использование.
danielheinz/e5-base-sts-en-de — модель эмбеддингов на базе multilingual-e5-base, дообученная для оценки семантического сходства немецких текстов. Разработчик дообучил её на немецких поднаборах корпуса парафразов Philip May, PAWS-X и STS-Benchmark Multilingual: сначала с Multiple Negatives Ranking Loss на данных парафразов, затем с Cosine Similarity Loss на данных семантического сходства. Архитектура — XLM-RoBERTa с плотными векторами, около 305 млн параметров; принимает текст и выдаёт векторные представления. Контекст — до 514 токенов. Модель предназначена для сравнения значений немецких предложений, поиска парафразов и семантического поиска. В README указаны результаты 0,920 на валидационной и 0,904 на тестовой части STS, без описания метрики. Лицензия — MIT. Карточка сообщает, что модель продолжает обновляться; заявленные результаты и качество на других задачах или языках не подтверждены.
alakxender/e5-dhivehi-combined-mnr — это дообученная модель Sentence Transformers на базе XLM-RoBERTa, разработанная alakxender для получения плотных векторных представлений предложений и абзацев на дивехи. Она обучена на 184 780 парах текстов с использованием MultipleNegativesRankingLoss; выходные векторы имеют размерность 768, а для сравнения предусмотрена косинусная близость. Репозиторий содержит веса в формате Safetensors, модель использует mean pooling и поддерживает последовательности до 514 токенов по метаданным; README указывает ограничение 256 токенов. Модель подходит для семантического поиска, сравнения смысловой близости, поиска перефразировок, кластеризации и классификации текстов на дивехи. В обучающих данных также представлены пары дивехи—английский, однако карточка не подтверждает, что модель рассчитана на полноценную двуязычную работу. Лицензия — MIT. Эмбеддинги отражают качество и охват обучающих данных; README не приводит оценок качества на независимых тестах.
E5-RoPE-Base — модель эмбеддингов семейства E5-RoPE, представленная в работе LongEmbed Даwei Zhu, Liang Wang, Nan Yang, Yifan Song, Wenhao Wu, Furu Wei и Sujian Li (2024). Она предназначена для кодирования запросов и текстовых фрагментов в векторы для поиска и сравнения предложений. Модель содержит 12 слоёв, имеет размерность эмбеддинга 768 и контекст до 512 токенов. Модель подходит для экспериментов с поиском по текстам и оценки эмбеддингов на бенчмарках BEIR и MTEB. Авторы отмечают, что она не обучалась специально для достижения оптимальных показателей: её цель — сравнить эмбеддинги с абсолютными позиционными представлениями и RoPE, в частности при работе с более длинным контекстом. Доступна под лицензией MIT.
deepmodal/embeddinggemma-300m-ko — модель Sentence Transformers, дообученная на базе google/embeddinggemma-300m для получения векторных представлений корейских предложений и абзацев. Она преобразует текст в плотные эмбеддинги размерностью 768 и сравнивает их с помощью косинусного сходства; максимальная длина последовательности — 2048 токенов. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразировок, классификации и кластеризации текстов. В карточке указаны 4 264 316 обучающих примеров формата «запрос — документ» и результаты оценки информационного поиска. Модель принимает текст и выдаёт векторы для последующего сравнения или использования в поисковых системах. Репозиторий использует архитектуру Gemma 3 Text и формат safetensors; для работы рекомендована библиотека Sentence Transformers. Лицензия — Apache-2.0. Данные карточки указывают на поддержку корейского языка; качество и применимость за пределами корейских текстов не подтверждены приведёнными сведениями.
Enbeddrus v0.2 — модель эмбеддингов предложений на основе BERT, разработанная автором репозитория evilfreelancer. Она кодирует предложения и абзацы на русском и английском языках в плотные векторы размерности 768, обученные сближать представления сопоставимых фраз на двух языках. Модель подходит для семантического поиска, сравнения текстов и кластеризации, в том числе для поиска русских формулировок по английскому запросу и наоборот. В карточке указана архитектура BERT uncased с 12 слоями, размером скрытого состояния 768 и максимальной длиной последовательности 512 токенов. Обучение проводилось 20 эпох на параллельных англо-русских корпусах, включая технические тексты о PHP и Go, а также книги. Метаданные указывают 194,6 млн параметров и формат весов Safetensors. README сообщает о тестировании на небольшом наборе из 100 пар предложений по PHP, поэтому результаты этой оценки не гарантируют качество на других темах. Лицензия в предоставленных данных не указана.
NorskHelsenett/eti-granite-v1 — модель Sentence Transformers, дообученная Norsk Helsenett на базе ibm-granite/granite-embedding-311m-multilingual-r2. Она преобразует предложения и абзацы в нормализованные плотные векторы размерностью 768 для семантического поиска, сравнения текстов и поиска перефразирований; близость оценивается косинусным сходством. Архитектура основана на ModernBERT с пулингом CLS-токена. Веса доступны в формате safetensors; модель содержит 311,6 млн параметров. Модель подходит для поиска релевантных фрагментов в коллекциях документов, кластеризации текстов и подготовки признаков для классификации. README указывает максимальную длину последовательности 2048 токенов, тогда как метаданные сообщают нативный контекст 32768 токенов; фактический предел обработки следует сверять с используемой конфигурацией Sentence Transformers. Модель обучалась на парах и тройках текстов из датасета Norsk Helsenett, включая норвежские медицинские материалы, поэтому качество для других языков и областей может отличаться. Лицензия в предоставленных данных не указана.
codersan/FaLaBSE-v11-phase2 — модель Sentence Transformers, созданная дообучением codersan/FaLaBSE-v11-phase1-Quora. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска семантически близких текстов, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текстов. Векторы сравниваются косинусным сходством; модель построена на архитектуре BERT и использует библиотеку sentence-transformers. Для обучения использованы 16 825 пар anchor/positive с функцией потерь MultipleNegativesRankingLoss. Метаданные указывают максимальный контекст в 512 токенов, тогда как README заявляет максимальную длину последовательности 256 токенов. Примеры обучающих данных написаны на персидском языке, поэтому модель подходит для семантических задач с персидскими текстами; более широкая языковая поддержка карточкой не подтверждена. Репозиторий содержит веса safetensors. Лицензия в предоставленных данных не указана.
Модель hezarai/fasttext-fa-300 — оригинальная FastText-модель эмбеддингов для персидского языка, подготовленная для использования в Hezar. Исходную модель загрузили и преобразовали с помощью Gensim, затем экспортировали в совместимый с Hezar формат. Модель предназначена для получения векторных представлений персидских слов и текстов, которые можно использовать в задачах поиска по смыслу, сравнения текстов и построения других NLP-систем. В метаданных указана задача feature-extraction и язык fa. Размерность эмбеддингов в названии — 300; сведения о лицензии и ограничениях применения в предоставленных материалах отсутствуют.
Finnish ModernBERT base — энкодерная модель архитектуры ModernBERT, разработанная TurkuNLP и предварительно обученная на финском, шведском, английском, коде, латыни и северносаамском языках. Модель содержит около 142,7 млн параметров, состоит из 22 слоёв и обучалась на 410,2 млрд токенов. Метаданные указывают контекстное окно 16 000 токенов; в карточке также отмечена теоретическая возможность экстраполяции до 128 тысяч токенов. Модель предназначена для заполнения маскированных токенов и получения контекстных представлений текста. Её можно применять как основу для задач обработки естественного языка и поиска по текстам; авторы сообщают о сильных результатах в задачах поиска вне обучающего домена на финском, шведском и английском языках. Модель конкурентоспособна в задачах NLU на коротком контексте, хотя в приведённом сравнении XLM-R-large показала лучшие результаты. Модель выпущена под лицензией Apache-2.0. Обучающие данные содержат источники с предвзятым и потенциально вредным содержанием, поэтому представления модели могут отражать эти свойства; их следует оценивать с учётом возможного влияния на уязвимые группы.
Карточка модели DragosGorduza/FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel-GPT3_BASEL_FULL-notrescaled_30000 на Hugging Face совпадает с карточкой DragosGorduza/FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel-GPT3_BASEL_FULL-notrescaled_120000, поэтому описание составлено по ней. FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel-GPT3_BASEL_FULL-notrescaled_120000 — модель Sentence-Transformers на архитектуре BERT с 433,9 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 1024 для семантического поиска, сравнения сходства и кластеризации. В README указано обучение с MarginDistillationLoss; модель принимает текст и выдаёт эмбеддинги. Контекст ограничен 512 токенами. Репозиторий содержит веса в формате safetensors и рассчитан на использование с библиотекой sentence-transformers. Карточка не указывает базовую модель или лицензию, поэтому их нельзя надёжно определить. Название и описание обучения указывают на экспериментальную модель, связанную с GPL и F R Pile; качество и применимость за пределами описанных задач не подтверждены.
Карточка модели DragosGorduza/FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel-GPT3_BASEL_FULL-notrescaled_40000 на Hugging Face совпадает с карточкой DragosGorduza/FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel-GPT3_BASEL_FULL-notrescaled_120000, поэтому описание составлено по ней. FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel-GPT3_BASEL_FULL-notrescaled_120000 — модель Sentence-Transformers на архитектуре BERT с 433,9 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 1024 для семантического поиска, сравнения сходства и кластеризации. В README указано обучение с MarginDistillationLoss; модель принимает текст и выдаёт эмбеддинги. Контекст ограничен 512 токенами. Репозиторий содержит веса в формате safetensors и рассчитан на использование с библиотекой sentence-transformers. Карточка не указывает базовую модель или лицензию, поэтому их нельзя надёжно определить. Название и описание обучения указывают на экспериментальную модель, связанную с GPL и F R Pile; качество и применимость за пределами описанных задач не подтверждены.
buddhist-nlp представляет gemma-2-mitra-e — многоязычную модель эмбеддингов предложений на базе Gemma 2. Она использует архитектуру Gemma2ForCausalLM как текстовый энкодер: извлекает скрытое состояние последнего токена и нормализует полученный вектор по L2. Модель содержит 9 млрд параметров, работает с контекстом до 8192 токенов и распространяется в формате safetensors через Transformers. Модель предназначена для семантического поиска, сравнения предложений и межъязыкового выравнивания текстов. Для запросов рекомендуется шаблон с инструкцией «Please find the semantically most similar text in {language}», а тексты корпуса подаются без инструкции; близость векторов можно оценивать косинусным сходством, а поиск выполнять, например, через FAISS. Среди целевых языков карточка называет санскрит, тибетский, пали, китайский и английский; также приведены примеры шаблона для хинди. Модель подходит для поиска по коллекциям, сопоставления параллельных текстов и систем RAG, которым нужны многоязычные векторы предложений. Карточка рекомендует проверять качество на собственных данных и языках, поскольку возможны смещения и ограничения. Лицензия в предоставленных данных не указана.
GLiClass Small v1.0-lw — компактная модель семейства GLiClass для классификации текста без примеров, разработанная авторами проекта GLiClass. Она обрабатывает текст и заданные пользователем метки за один проход модели; вариант lw использует выбор признаков на разных слоях для учёта языковых признаков разного уровня. В README указан размер 144 млн параметров для gliclass-small-v1.0; метаданные описывают архитектуру как GLiClassModel и содержат веса в форматах ONNX и safetensors. Модель подходит для тематической классификации, анализа тональности и оценки релевантности документов в RAG-сценариях. README приводит результаты zero-shot-бенчмарков для нескольких наборов данных и показывает, что качество зависит от задачи; на отдельных тестах результаты уступают более крупным вариантам GLiClass. Модель обучена на синтетических данных и заявлена как пригодная для коммерческого использования. Лицензия — Apache-2.0.
GLM-4-32B-Base-32K — базовая языковая модель семейства GLM-4, разработанная Arcee AI на основе THUDM/GLM-4-32B-Base-0414. Это плотная авторегрессионная модель с 31,6 млрд параметров и контекстом до 32 768 токенов; веса представлены в формате safetensors. Модель прошла дополнительное предобучение на длинных последовательностях, итеративное слияние чекпойнтов и дистилляцию знаний короткого контекста, чтобы сохранить возможности исходной версии и улучшить обработку контекста длиной до 32 тысяч токенов. Модель предназначена прежде всего как основа для дальнейшего обучения с длинным контекстом. Её можно применять в сценариях, где требуется учитывать большой объём текста, например при анализе длинных документов или поиске фактов в них. README описывает её как proof-of-concept и приводит улучшенные результаты на бенчмарках длинного контекста и ряде стандартных тестов. Поддерживаемые языки — китайский и английский. Лицензия — MIT.
ZoeYou/jepa_lr5e-06_plr0.0001_bs512_tgt512_ema0.996_sigreg0.001_norm_pdim8192_mean_docs5000000 — энкодерная модель на архитектуре BERT для извлечения эмбеддингов научных и патентных текстов и поиска по ним. В репозитории находятся только веса энкодера; модель содержит 137,1 млн параметров и принимает последовательности длиной до 512 токенов. Для представления статьи используется формат «название [SEP] аннотация», а для поиска рекомендуется применять L2-нормализацию эмбеддингов и скалярное произведение. Модель подходит для построения векторного поиска по научным публикациям и патентам. Она опубликована под лицензией MIT. Карточка не сообщает поддерживаемые естественные языки, поэтому языковую специализацию определить нельзя.
jina-embeddings-v5-omni-nano-clustering — мультимодальная модель эмбеддингов от Jina AI, вариант семейства jina-embeddings-v5-omni-nano, настроенный для кластеризации. Она принимает текст, изображения, видео и аудио и преобразует их в векторы общего пространства, совместимого с текстовой моделью jinaai/jina-embeddings-v5-text-nano-clustering. Размер модели — около 0,95 млрд параметров, размерность эмбеддинга — 768. Для текстовых документов требуется префикс «Document: ». Видео представляется кадрами; звуковая дорожка видео автоматически не обрабатывается, её нужно передавать отдельно. Модель подходит для мультимодальной кластеризации и построения индексов, где документы на текстовом языке можно искать по запросам в виде изображений, видео или аудио без повторной индексации. Также эмбеддинги можно использовать для поиска и сопоставления мультимодальных данных. Модель доступна в формате safetensors и предназначена для запуска через Transformers, sentence-transformers или vLLM. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но не коммерческое применение.
leewaay/klue-roberta-large-klueSTS-cross — кросс-энкодер на базе KLUE RoBERTa Large, дообученный Вонсёком Ли на наборе KLUE STS для оценки сходства корейских предложений. Модель принимает пару текстов и напрямую вычисляет оценку их семантического сходства, поэтому подходит для сравнения фраз и ранжирования кандидатов по релевантности. Модель также можно применять для переранжирования результатов поиска и разметки пар предложений при подготовке данных для SBERT. Архитектура — RoBERTa для классификации последовательностей, размер — 435,4 млн параметров, контекст — до 514 токенов. Репозиторий содержит веса PyTorch и SafeTensors. В метаданных указан корейский язык. Лицензия в предоставленных данных не описана.
Это англоязычный cross-encoder на архитектуре BERT, разработанный ManasaKaza и дообученный на основе cross-encoder/ms-marco-MiniLM-L6-v2 с помощью библиотеки Sentence Transformers. Модель оценивает пары «поисковый запрос — документ» и выдаёт один числовой балл релевантности, который можно использовать для переранжирования результатов поиска и семантического поиска. Модель содержит 25,9 млн параметров, принимает текст и обрабатывает последовательности длиной до 512 токенов. В README описан обучающий набор из 2 932 пар запросов и документов с метками релевантности; примеры относятся к научной литературе по биомедицине. Лицензия в предоставленных данных не указана.
BM-K/KoSimCSE-bert — модель для получения векторных представлений корейских предложений. Репозиторий Korean-Sentence-Embedding предоставляет предварительно обученные модели для немедленного использования и средства для обучения собственных моделей. По метаданным это плотная модель архитектуры BERT с 137,8 млн параметров и контекстом до 512 токенов; доступны веса PyTorch и Safetensors. Модель предназначена для кодирования корейского текста в эмбеддинги, пригодные для сравнения семантической близости предложений и поиска похожих текстов. В README приведены результаты тестирования на задаче семантического сходства текста, однако конкретные показатели этой модели в предоставленном фрагменте не видны. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.
Карточка модели BM-K/KoSimCSE-Unsup-BERT на Hugging Face совпадает с карточкой BM-K/KoSimCSE-Unsup-RoBERTa, поэтому описание составлено по ней. BM-K/KoSimCSE-Unsup-RoBERTa — модель корейских векторных представлений предложений из семейства KoSimCSE. Она основана на RoBERTa и предназначена для получения эмбеддингов текста, которые можно использовать для сравнения семантической близости предложений. Модель подходит для семантического поиска и кластеризации корейских текстов. В карточке указано 137,8 млн параметров и контекст до 514 токенов; доступны веса PyTorch и Safetensors. README описывает обучение KoSimCSE без разметки на корпусе Wikipedia и приводит семантический поиск и кластеризацию как downstream-задачи. Сведения о лицензии в предоставленных данных отсутствуют.