I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейKaLM-embedding-multilingual-mini-v1-i1-GGUF — GGUF-квантизованная версия модели HIT-TMG/KaLM-embedding-multilingual-mini-v1, подготовленная и опубликованная mradermacher. Это модель для получения векторных представлений текста, предназначенная для семантического поиска, сравнения сходства предложений, кластеризации и других задач извлечения признаков; в карточке также указана совместимость с экосистемой sentence-transformers и MTEB. Модель позиционируется как мультиязычная, однако в метаданных README явно указан только английский язык. Архитектура, число параметров, размерность эмбеддингов, максимальная длина контекста и сведения о поддерживаемых модальностях не приведены. Доступны многочисленные варианты GGUF-квантизации размером примерно от 0,4 до 0,5 ГБ, включая IQ- и Q-форматы; Q4_K_S отмечен как оптимальный по соотношению размера, скорости и качества, а Q4_K_M — как быстрый и рекомендуемый. Основные преимущества — небольшой размер файлов и возможность выбрать компромисс между скоростью, занимаемой памятью и качеством. При этом агрессивные варианты квантизации могут заметно снижать качество, а README не содержит количественных результатов тестирования или подробного описания ограничений. Модель распространяется по лицензии MIT; в карточке указано, что квантизацию выполнил mradermacher.
KannadaSBERT — модель sentence-transformers от L3Cube-Pune для получения векторных представлений предложений на каннада и сравнения их семантического сходства. Она основана на KannadaBERT (l3cube-pune/kannada-bert) и дообучена на наборе данных NLI; архитектура — BERT с 264,8 млн параметров. Модель поддерживает извлечение признаков и сходство предложений, а длина контекста составляет до 512 токенов. Модель подходит для поиска похожих предложений, семантического поиска и сопоставления текстовых запросов с документами на каннада. README также упоминает отдельную, более качественную модель сходства, дообученную на основе этой модели, поэтому качество сходства у данного чекпойнта может быть ниже. Весы опубликованы в формате PyTorch по лицензии CC-BY-4.0.
kf-deberta-multitask — корейская модель sentence-transformers на архитектуре DeBERTa-v2, предназначенная для получения плотных векторных представлений предложений и абзацев. Разработчик не назван в доступной части карточки. Модель содержит 213,1 млн параметров, выдаёт эмбеддинги размерностью 768 и имеет контекстное окно 512 токенов. Модель обучалась на KorSTS и KorNLI в многозадачном режиме и оценивалась на KorSTS. Она подходит для семантического поиска, сравнения смысловой близости текстов и кластеризации; README приводит метрики корреляции для нескольких способов сравнения векторов. Для извлечения эмбеддингов через Transformers требуется применять подходящую операцию pooling к контекстным представлениям токенов. Сведения о лицензии в предоставленных источниках отсутствуют.
Это Sentence Transformer на основе корейской модели klue/roberta-base, дообученный для представления предложений и абзацев в виде плотных векторов размерности 768. Архитектура включает RoBERTa с усреднением токенных представлений; сходство векторов оценивается косинусной мерой. Модель содержит 137,8 млн параметров и принимает последовательности длиной до 514 токенов по метаданным (в карточке указано 512). Модель предназначена прежде всего для оценки семантического сходства текстов. Её можно применять для семантического поиска, поиска перефразировок, кластеризации и классификации текстов на корейском языке. В README приведены результаты оценки сходства, однако отдельные наборы данных и контекст метрик описаны неполно. Модель распространяется в формате Safetensors и использует библиотеку Sentence Transformers. Условия лицензии в предоставленных сведениях не указаны.
pjh6818 выпустил Sentence Transformers модель на основе klue/roberta-base, дообученную для сопоставления предложений. Архитектура включает RoBERTa и mean pooling; модель преобразует текст в плотные векторы размерности 768, а сходство оценивается косинусной мерой. Размер модели — 137,8 млн параметров, максимальная длина последовательности — 512 токенов по README и 514 токенов в метаданных. Модель предназначена прежде всего для оценки семантического сходства корейских текстов. Её также можно применять для семантического поиска, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. Базовая модель klue/roberta-base предварительно обучена для понимания корейского текста. В README приведены результаты оценки сходства, но они зависят от набора данных и не гарантируют такое же качество в других сценариях. Лицензия в предоставленных данных не указана.
SECUFIBRE/klue-roberta-base-klue-sts — модель Sentence Transformers, разработанная на основе klue/roberta-base и дообученная на наборе данных KLUE для оценки сходства корейских предложений. Архитектура включает RoBERTa и mean pooling; модель преобразует предложения и абзацы в плотные векторы размерностью 768, а сходство оценивает косинусной мерой. Размер модели — 137,8 млн параметров, максимальная длина последовательности — 512 токенов по README и 514 токенов по метаданным. Модель предназначена для семантического поиска, сопоставления предложений, поиска перефразирований, кластеризации и классификации текста на корейском языке. README приводит метрики Spearman для наборов sts-test и sts-eval, однако оценки различаются, поэтому качество следует проверять на данных целевого сценария. Лицензия в предоставленных источниках не указана.
Это Sentence Transformer на базе RoBERTa, разработанный автором byKim93 и дообученный на базе byKim93/klue-roberta-base-klue-sts-2. Модель преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения смысловой близости текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Для оценки близости используется косинусное сходство. Архитектура включает RobertaModel и усредняющий пулинг токенов; число параметров — 137,8 млн. Максимальная длина последовательности составляет 512 токенов в README и 514 контекстных токенов по метаданным. README приводит результаты оценки сходства: Spearman 0,8454 и Pearson 0,8517. Данные обучения и примеры в карточке на корейском языке; метаданные не подтверждают поддержку других языков. Репозиторий содержит веса в формате safetensors и опубликован под лицензией, указанной в метаданных Hugging Face.
ddobokki/klue-roberta-base-nli-sts — модель эмбеддингов предложений на базе архитектуры RoBERTa, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для оценки семантического сходства, семантического поиска и кластеризации текстов. Модель содержит 137,8 млн параметров и принимает текстовые последовательности длиной до 514 токенов. В карточке описано обучение с функцией потерь CosineSimilarityLoss. Файлы доступны в форматах PyTorch и Safetensors; для использования подходят Sentence-Transformers или Transformers с соответствующим pooling. Это производная модель на основе KLUE-RoBERTa-base, дообученная для задач сходства предложений и семантического представления текста. Основной язык — корейский, что следует из KLUE в названии базовой модели. Условия лицензирования в предоставленных данных не указаны.
ddobokki/klue-roberta-base-nli-sts-ko-en — модель эмбеддингов предложений на основе архитектуры RoBERTa, дообученная на данных NLI и STS для корейского и английского языков. Она предназначена для получения векторных представлений текстов и вычисления семантического сходства, например, для сравнения запроса с набором предложений по косинусному сходству. Модель содержит 137,8 млн параметров и принимает последовательности длиной до 514 токенов. Модель подходит для поиска семантически близких предложений и сопоставления текстов на корейском и английском. Карточка демонстрирует сравнение корейского запроса с английскими и корейскими предложениями. Доступна в форматах PyTorch и safetensors. Лицензия в предоставленных данных не указана.
ddobokki/klue-roberta-small-nli-sts — корейская модель Sentence Transformer на архитектуре RoBERTa, предназначенная для получения векторных представлений предложений и оценки их семантического сходства. Разработчик описывает её как модель для корейского языка; размер составляет 81,2 млн параметров, а длина контекста — 514 токенов. Модель подходит для сравнения предложений по смыслу, поиска семантически близких текстов и использования в системах извлечения признаков и векторного поиска. В README приведены результаты теста семантического сходства: корреляция Пирсона 84,27 и Спирмена 84,17 для косинусного сходства. Доступны веса PyTorch и Safetensors. В README не указана лицензия, поэтому условия распространения и коммерческого использования по имеющимся данным определить нельзя.
Модель bespin-global/klue-sroberta-base-continue-learning-by-mnr разработана JaeHyeong AN из Bespin Global. Это корейская модель эмбеддингов предложений на базе RoBERTa, дообученная в два этапа на KLUE/NLI и KLUE/STS: сначала с MultipleNegativeRankingLoss, затем с CosineSimilarityLoss. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически похожих текстов, кластеризации и оценки сходства предложений. В тесте STS автор сообщает среднее значение 0,889 по метрикам корреляции сходства. Модель содержит 137,8 млн параметров, принимает текст, поддерживает контекст до 514 токенов и распространяется в форматах PyTorch и safetensors. Лицензия — CC BY 4.0.
BM-K/KoSimCSE-bert-multitask — модель BM-K для построения эмбеддингов корейских предложений на основе архитектуры BERT. Она предназначена для преобразования текста в векторы, которые можно применять для сравнения смысловой близости предложений и других задач семантического поиска. В README приведены результаты на тесте семантического сходства и материалы для обучения собственных моделей. Модель содержит 137,8 млн параметров, принимает текстовые последовательности длиной до 512 токенов и выдаёт векторные представления. В метаданных указан корейский язык. Репозиторий содержит веса PyTorch и Safetensors. Лицензия в предоставленных данных не указана.
ko-sroberta-multitask — корейская модель эмбеддингов предложений на базе архитектуры RoBERTa, опубликованная jhgan. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения текстов и кластеризации. Модель содержит 137,8 млн параметров и принимает контекст до 514 токенов. Модель обучалась в режиме нескольких задач на наборах KorSTS и KorNLI; в README приведены результаты оценки на KorSTS. Она предназначена прежде всего для корейского языка. Для использования в Transformers поверх выходов модели требуется применить подходящую операцию pooling; доступны форматы PyTorch, TensorFlow, ONNX и OpenVINO. Сведения о лицензии в предоставленных материалах отсутствуют.
snunlp/KR-SBERT-Medium-klueNLI-klueSTS — корейская модель SentenceTransformer от SNUNLP на основе BERT, дообученная на данных klue/klue. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для оценки семантической близости, семантического поиска, поиска перефразирований, кластеризации и классификации текста. Для сравнения векторов используется косинусное сходство; средний pooling формирует представление из токенов. Модель принимает текст на корейском языке, имеет контекст до 512 токенов и около 128,6 млн параметров. Карточка приводит результат Spearman 0,8546 по cosine на sts-dev. Модель подходит для поиска похожих корейских фраз и построения эмбеддингов, но сама по себе не генерирует ответы; указанные задачи классификации требуют отдельной классификационной головы или последующей обработки векторов. Весовые файлы опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.
snunlp/KR-SBERT-Medium-klueNLItriplet_PARpair-klueSTS — модель Sentence Transformer от SNUNLP на архитектуре BERT, дообученная на корейском датасете klue/klue. Она преобразует предложения и абзацы в плотные векторы размерности 768, пригодные для сравнения семантической близости по косинусному сходству. Максимальная длина входа — 512 токенов. Модель предназначена для оценки сходства корейских текстов и может применяться для семантического поиска, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. В README приведена оценка Spearman cosine 0,869 на sts-dev. Модель принимает текст и выдаёт векторы; её карточка не указывает лицензию.
EIStakovskii/LaBSE-fr-de — сокращённая версия LaBSE для получения векторных представлений предложений на французском и немецком языках. Автор карточки указывает, что модель подготовлена при содействии cointegrated. Это плотная BERT-модель примерно на 130 млн параметров; словарь содержит токены только французского и немецкого языков и составляет около 10% исходного словаря, а число параметров — около 27% от исходной модели. Контекст — до 512 токенов. Модель предназначена для получения эмбеддингов предложений, например для оценки сходства и семантического поиска между французским и немецким текстом. Репозиторий содержит веса PyTorch и Safetensors. Лицензия в доступных данных не указана.
LaBSE-geonames-15K-MBML-5e-v1 — дообученная модель на основе многоязычной BERT-модели LaBSE, опубликованная пользователем dima-does-code. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения смысловой близости; подходит для семантического поиска и кластеризации текстов. В обучении использовалась MegaBatchMarginLoss. Модель принимает текст, поддерживает русский и английский языки и обрабатывает до 512 токенов за контекст. Вес модели составляет 498,1 млн параметров; доступны форматы PyTorch и safetensors. Модель рассчитана на поиск текстов со сходным смыслом и группировку предложений или абзацев. Лицензия — Apache-2.0. Карточка не приводит подробных результатов оценки качества, поэтому пригодность для конкретного набора данных следует проверять отдельно.
sergeyzh разработал русскоязычную модель BERT для вычисления эмбеддингов предложений и оценки их семантического сходства. Это дообученная версия cointegrated/LaBSE-en-ru, рассчитанная на использование, в частности, с библиотекой Sentence Transformers. Модель содержит 155,5 млн параметров, формирует векторы размерностью 768 и принимает последовательности длиной до 512 токенов. Модель подходит для поиска похожих предложений, выявления перефразирований и других задач сравнения смысла текстов. В README также приведены результаты для определения следования, тональности и токсичности, а также тесты классификации и кластеризации. На опубликованных метриках ruMTEB результаты различаются по задачам; для каждой из перечисленных задач качество может зависеть от данных и настройки применения. Веса доступны в формате safetensors, лицензия — MIT. Карточка описывает модель для русского языка; основание на LaBSE-en-ru само по себе не подтверждает, что эта версия предназначена для двуязычного использования.
LENS-d8000 — модель эмбеддингов на основе большой языковой модели, представленная в проекте LENS. Она формирует лексиконные представления текста: каждая из 8000 размерностей связана с кластером семантически близких токенов. Модель предназначена для извлечения признаков из текста и получения векторных представлений, которые можно использовать для поиска и сравнения текстов по смыслу. Модель имеет плотную архитектуру семейства Mistral и содержит 7,1 млрд параметров. Максимальный контекст составляет 32 768 токенов. Веса опубликованы в формате safetensors под лицензией Apache-2.0. В README приведено название технического отчёта о методе LENS, но сведения о поддерживаемых языках и результатах оценки не описаны.
atakankutalp/LFM2.5-2.6B-heretic — это изменённая версия LiquidAI/LFM2.5-2.6B, созданная с помощью Heretic 1.4.0. В модели применена направленная абляция: из весов удалено направление, связанное с отказами. Число параметров не изменилось и составляет 2,69 млрд; архитектура LFM2 — плотная языковая модель из 30 слоёв, сочетающая блоки коротких свёрток и группированное внимание. Контекст — 131 072 токена. Репозиторий содержит веса Safetensors и варианты GGUF, включая квантизированные сборки. Модель предназначена для генерации текста в диалоге и агентных сценариев: вызова инструментов, извлечения данных, RAG и работы с длинным контекстом. Базовая LFM2.5 поддерживает 17 языков, включая русский, английский, китайский, арабский и другие; карточка не сообщает, насколько абляция влияет на качество по отдельным языкам. В сравнении с исходной моделью отказы на чувствительных запросах стали заметно реже, поэтому ответы не следует считать защищёнными фильтрами безопасности. Исходная карточка также не рекомендует базовую модель для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other, без конкретных условий в предоставленных данных.
LinkBERT-base — англоязычный трансформерный энкодер семейства BERT, разработанный Мичи Ясунага и соавторами. Модель предварительно обучена на статьях англоязычной Википедии с учётом гиперссылок между документами: связанный текст подавался в общий контекст, чтобы модель усваивала знания, распределённые по нескольким документам. Размер модели — 135,5 млн параметров, максимальная длина контекста — 512 токенов; доступны веса PyTorch. Лицензия — Apache-2.0. Модель предназначена для дообучения под классификацию текста и другие задачи понимания языка, включая ответы на вопросы, классификацию последовательностей и токенов. Её также можно использовать как исходный энкодер для извлечения признаков. Учёт связей между документами особенно полезен для задач, требующих объединять сведения из нескольких источников, таких как поиск по документам и чтение с пониманием. В опубликованных результатах дообученная модель превосходит BERT-base на приведённых наборах MRQA и GLUE; сама базовая модель не является готовой системой ответов на вопросы и может требовать дообучения для целевой задачи.
Luxical-One — компактная модель встраивания текста от DatologyAI, полученная дистилляцией Snowflake/snowflake-arctic-embed-m-v2.0. Она создаёт векторы для симметричного сравнения сходства полных документов на английском языке и для задач классификации. Модель рассчитана на высокопроизводительное получение эмбеддингов без GPU-ускорения; доступна интеграция для инференса через Hugging Face. В репозитории указаны веса в формате safetensors. Лицензия — Apache-2.0.
LVBERT — регистрозависимая модель BERT-base для латышского языка, разработанная AiLab-IMCS и представленная в исследовательской работе; текущий репозиторий содержит улучшенную версию модели. Она предварительно обучена на корпусах современного латышского языка, латышской Википедии, новостных статьях и комментариях — суммарно примерно на 500 млн токенов. Обучение использовало masked language modeling и next sentence prediction. Модель имеет архитектуру BERT-base с 12 слоями, 768 скрытыми единицами, 12 головами внимания и контекстом до 512 токенов. Для токенизации используется словарь из 32 тысяч токенов в формате WordPiece, полученный из SentencePiece. Модель предназначена для дообучения на задачах понимания латышского текста, включая классификацию, распознавание именованных сущностей и ответы на вопросы; без дообучения её можно применять для получения контекстных представлений, поиска по смыслу, сравнения текстов и кластеризации. Доступна в форматах PyTorch и Safetensors. Модель выпущена под лицензией Apache-2.0. Она ориентирована на латышский язык и ограничена контекстом в 512 токенов; качество на задачах зависит от используемых данных и дообучения.
xmanii/maux-gte-persian — модель Sentence Transformers, дообученная на базе Alibaba-NLP/gte-multilingual-base для работы с персидским языком (фарси). Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска и сравнения текстов. Архитектура включает трансформерный энкодер, пулинг по CLS-токену и нормализацию; сходство оценивается косинусной мерой. Максимальная длина последовательности — 8192 токена. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации персидских текстов. Она обучена на 2000 парах персидских предложений, переведённых с английского с помощью GPT-4, поэтому качество может зависеть от охвата и особенностей этого набора данных. Опубликована в формате safetensors; условия лицензии в предоставленных данных не описаны.
atasoglu/mbert-base-cased-nli-stsb-tr — модель Sentence Transformers на основе многоязычного BERT, дообученная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Модель основана на google-bert/bert-base-multilingual-cased и обучена на наборах данных nli_tr и emrecan/stsb-mt-turkish. Она предназначена прежде всего для работы с турецким языком. Архитектура — BERT, число параметров — 205,1 млн, максимальный контекст — 512 токенов. Модель подходит для поиска смыслово близких текстов и группировки предложений. В карточке приведены результаты оценки на тестовой части STS-b, но конкретные значения здесь не представлены. Распространяется по лицензии Apache-2.0.
mentee-embed-v3 — модель для получения плотных векторных представлений текстов, разработанная Syed Syab Ahmad Shah и командой MenteE AI. Она предназначена для поиска по смыслу, сравнения предложений и многоязычного извлечения документов на английском, арабском и урду. Модель содержит 41 млн параметров и построена на 12-слойном Transformer с размерностью эмбеддингов 384. Она обучена с нуля: авторы создали собственный BPE-токенизатор, провели предварительное обучение на более чем 2,1 млн предложений и затем применили контрастивное обучение с подбором трудных отрицательных примеров. Репозиторий использует Transformers и формат safetensors; метаданные указывают контекст до 512 токенов, а README — максимальную длину последовательности 128 токенов. Модель показала результаты выше all-MiniLM-L6-v2 на описанном авторами тесте с небольшим пулом кандидатов, но уступает более крупным многоязычным базовым моделям. Качество ниже на арабском и урду, а на извлечении из Википедии она уступает предобученным конкурентам; полного набора MTEB нет. Лицензия — Apache-2.0.
MiroThinker-1.7-mini-GGUF — GGUF-квантизированная версия языковой модели MiroThinker-1.7-mini, разработанной командой MiroMind AI. Модель создана для агентных сценариев, глубокого исследования, сложных вопросов и многошагового анализа с использованием инструментов. Она ориентирована на выполнение длинных цепочек рассуждений и поддерживает до 300 вызовов инструментов в рамках одной задачи. Модель содержит 30 млрд параметров и имеет контекстное окно до 256 тыс. токенов. Указана поддержка английского языка; модальность — текстовая. В качестве базовой модели обозначена Qwen/Qwen3-235B-A22B-Thinking-2507. GGUF-версия была создана с использованием llama.cpp. К сильным сторонам относятся большой контекст, многошаговое рассуждение и ориентация на исследовательские агентные процессы. Ограничения включают зависимость качества от корректной интеграции инструментов и значительные требования к вычислительным ресурсам; конкретный вариант квантования в README не указан. Модель распространяется по лицензии Apache-2.0.
InterSync разработала дообученную версию Mistral-7B-Instruct-v0.2 с поддержкой вызова функций. Это плотная авторегрессионная модель семейства Mistral на 7,1 млрд параметров; она принимает текстовые сообщения и генерирует текст, включая структурированные вызовы внешних функций в диалоге. Контекст модели составляет 32 768 токенов. Модель предназначена для диалоговых приложений, которым нужно направлять запросы к внешним API, искать сведения в интернете или пользовательских базах данных и использовать полученные данные для ответов и кратких объяснений. Такие функции выполняются через интеграцию с инструментами приложения. Модель представлена в формате Safetensors и распространяется по лицензии CC. README описывает поддержку вызова функций, но не приводит результаты оценки качества; точная совместимость с конкретными схемами инструментов и API зависит от интеграции.
mmBERT-32K-YaRN — многоязычная модель семейства ModernBERT, разработанная для Semantic Router и семейства Mixture-of-Models проекта vLLM. Она расширяет jhu-clsp/mmBERT-base с 8 192 до 32 768 токенов контекста с помощью масштабирования RoPE методом YaRN. Модель содержит около 307 млн параметров и использует архитектуру ModernBERT с Flash Attention 2; доступны веса Safetensors и экспорт ONNX. Модель предназначена для понимания длинных документов, классификации запросов для семантической маршрутизации, классификации документов, поиска информации и других многоязычных NLP-задач с длинным контекстом. В README заявлена поддержка более 1 800 языков; метаданные перечисляют английский, немецкий, французский, испанский, китайский, японский, русский, арабский, корейский и португальский. Обучение продолжения на CC-100 описано как работа с последовательностями длиной 32 768 токенов. Для длинных фрагментов точность извлечения снижается при расстоянии свыше 2 048 токенов. Обучающие данные собраны из веб-страниц и могут содержать связанные с ними смещения; для обработки полного контекста 32K README указывает потребность примерно в 180 ГБ GPU-памяти при batch size 1. Лицензия — MIT.
Fremtind/mmBERT-base-norwegian — модель Sentence Transformer, разработанная Fremtind и дообученная на базе многоязычного энкодера ModernBERT jhu-clsp/mmBERT-base. Она преобразует предложения и абзацы на норвежском языке в плотные векторы размерностью 768 для сравнения смысловой близости, семантического поиска, классификации и кластеризации текста. Модель использует архитектуру ModernBERT с 306,9 млн параметров и формат safetensors. Для дообученного Sentence Transformer стандартная максимальная длина последовательности составляет 75 токенов; базовая модель допускает контекст до 8192 токенов. Модель оценивали на норвежских задачах классификации и кластеризации из MTEBv2. Модель распространяется по лицензии MIT. Она предназначена прежде всего для норвежского языка; результаты README указывают на оценивание по ограниченному набору задач, поэтому качество на других языках и сценариях этими данными не подтверждено.