I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейknowledgator/gliclass-instruct-edge-v1.0 — компактная модель классификации последовательностей семейства GLiClass, разработанная Knowledgator. Она предназначена для классификации текста с произвольными метками в zero-shot и few-shot сценариях: метки и их описания задаются при запросе, без обязательного дообучения под каждую задачу. По README модель также применяют для определения тематики, тональности и намерений, проверки следования правилам, обнаружения галлюцинаций и оценки безопасности ответов LLM, NLI и ранжирования релевантности текста. Модель использует архитектуру GLiClass и распространяется в формате safetensors. В версии V3 библиотека GLiClass поддерживает иерархические метки, примеры в контексте, описания меток и промпты задач. В приведённых бенчмарках edge-вариант уступает более крупным вариантам GLiClass по F1 на тестах CR, SST-2 и SST-5, что отражает компромисс между размером и качеством. В карточке не приведены размер модели, контекстное окно и поддерживаемые языки. Лицензия — Apache-2.0.
gte-large — модель текстовых эмбеддингов General Text Embeddings, разработанная Alibaba DAMO Academy на основе архитектуры BERT и обученная контрастивным обучением на крупном корпусе пар текстов с оценками релевантности. Она преобразует английские тексты в векторы размерностью 1024 и предназначена для поиска информации, сравнения семантической близости и ранжирования текстов. Модель применима в поисковых системах, семантическом сопоставлении предложений и других задачах, использующих текстовые эмбеддинги. В тесте MTEB для gte-large указана средняя оценка 63,13 по 56 задачам. Контекст ограничен 512 токенами: более длинные тексты обрезаются. Модель рассчитана только на английский язык. Лицензия — MIT.
Это модель Sentence Transformer, дообученная на базе anhtuansh/gte-multilingual-base-Matryoshka-2e-9k. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения смысловой близости и поиска по тексту. В архитектуре используется трансформер с пуллингом CLS-токена и нормализацией; сходство оценивается косинусной мерой. Максимальная длина входа — 8192 токена. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текстов. В README приведена оценка на задачах информационного поиска, однако результаты зависят от данных и сценария применения. Обучение выполнено на наборе json из 8 259 пар anchor-positive; в примерах набора представлены вьетнамские тексты, поэтому не следует считать поддержку конкретных языков подтверждённой только по этому фрагменту. Лицензия в предоставленных данных не указана.
gte-Qwen1.5-7B-instruct — многоязычная модель эмбеддингов из семейства gte, разработанная Alibaba-NLP на основе языковой модели Qwen1.5-7B. Она преобразует текст в векторы размерности 4096 для поиска семантически похожих предложений и других задач, основанных на сходстве текстов. Модель использует двунаправленное внимание и настройку инструкциями для запросов; обучалась на многоязычном корпусе из разных областей с сочетанием слабой и контролируемой разметки. Модель содержит 7 млрд параметров и принимает до 32 тыс. токенов. Подходит для семантического поиска, ранжирования кандидатов по смысловой близости и построения систем поиска по текстовым коллекциям. Для запуска README указывает Transformers версии 4.39.2 или новее и flash_attn версии 2.5.6 или новее. Распространяется по лицензии Apache-2.0.
Карточка модели vectoriseai/gte-small на Hugging Face совпадает с карточкой avsolatorio/MixEmbedFinetune-base-20240122220725-best, поэтому описание составлено по ней. avsolatorio/MixEmbedFinetune-base-20240122220725-best — модель текстовых эмбеддингов на базе BERT, представленная в карточке как gte-small. Семейство GTE разработано Alibaba DAMO Academy и обучалось на большом наборе пар текстов с оценками релевантности; конкретный репозиторий содержит дообученную модель размером около 40 млн параметров. Модель предназначена для получения векторных представлений английских текстов и их сравнения по смыслу. Её можно применять для семантического поиска, оценки сходства предложений, поиска релевантных документов и ранжирования текстов. Максимальная длина последовательности — 512 токенов; более длинный ввод обрезается. Лицензия — MIT.
Это модель Sentence Transformers на основе BERT, созданная дообучением thenlper/gte-small. Она преобразует предложения и абзацы в плотные векторы размерностью 384 и сравнивает их с помощью косинусного сходства. Максимальная длина входной последовательности — 512 токенов; архитектура включает усреднение токенных представлений и нормализацию векторов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации текста. Её можно использовать для построения векторного поиска и группировки похожих предложений и документов. Карточка указывает англоязычную базовую модель GTE; отдельные языки дообучения не обозначены. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.
saraleivam/GURU2-paraphrase-multilingual-MiniLM-L12-v2 — мультиязычная Sentence Transformer модель на архитектуре BERT, дообученная на базе saraleivam/GURU-paraphrase-multilingual-MiniLM-L12-v2. Она преобразует предложения и абзацы в плотные векторы размерности 384 для оценки семантического сходства, поиска по смыслу, выявления перефразировок, классификации текстов и кластеризации. В README указана максимальная длина последовательности 128 токенов; метаданные каталога указывают контекст до 512 токенов. Для сравнения векторов предусмотрена косинусная близость. Модель поддерживает несколько языков; примеры обучающих данных включают испанский, корейский и английский. Она рассчитана на получение текстовых эмбеддингов и может применяться в семантическом поиске, ранжировании похожих фраз и группировке текстов. Размер модели — 124,3 млн параметров, библиотека — sentence-transformers. Лицензия в предоставленных данных не указана.
Многоязычная модель Sentence Transformer, дообученная saraleivam на sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. Она использует BERT с усреднением токеновых представлений и преобразует предложения и абзацы в плотные векторы размерностью 384; сходство можно оценивать косинусной метрикой. По карточке, модель предназначена для семантического сравнения текстов, поиска и извлечения перефразировок, кластеризации и классификации текста. README указывает максимальную длину последовательности 128 токенов, а метаданные — контекст до 512 токенов. Модель принимает текст и выдаёт векторы; библиотека Sentence Transformers поддерживает её использование. Лицензия в предоставленных данных не описана.
saraleivam/GURU-trained-final-model — многоязычная модель Sentence Transformers, дообученная разработчиком на примерах пар предложений. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического сравнения и поиска; сходство оценивается косинусной мерой. В основе лежит XLM-RoBERTa с mean pooling, 305,2 млн параметров; метаданные указывают контекст до 514 токенов, а карточка README — максимальную длину последовательности 128 токенов. Модель подходит для поиска смыслово близких текстов, сопоставления перефразировок, кластеризации и извлечения признаков для классификации. Примеры обучающих данных охватывают разноплановые тексты, в том числе на английском и испанском; базовая модель мультиязычная. Обучающий набор содержит 521 пример, поэтому качество на конкретных языках и предметных областях следует проверять отдельно. Лицензия в предоставленных данных не указана.
Карточка модели valurank/headline_similarities на Hugging Face совпадает с карточкой XHY-DY/all-mpnet-base, поэтому описание составлено по ней. XHY-DY/all-mpnet-base — модель Sentence Transformers для кодирования предложений и коротких абзацев в плотные векторы размерности 768. Она основана на MPNet и дообучена методом контрастивного обучения на наборе более чем из миллиарда пар предложений; исходная модель — microsoft/mpnet-base. В карточке указано применение для семантического поиска, измерения сходства предложений и кластеризации. По умолчанию текст длиннее 384 частей словаря обрезается. Модель принимает текст и возвращает векторное представление, пригодное для поиска и сравнения по смыслу. Она ориентирована на английский язык; заявленная библиотека — Sentence Transformers. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.
ICT-TIME-and-Querit-embedding-v1 — модель текстовых эмбеддингов, разработанная ICT-TIME-and-Querit на основе Qwen3-4B. Она предназначена для поиска по смыслу, сопоставления предложений, ранжирования и других задач, где текст нужно представить в виде векторов. Модель использует архитектуру Qwen3 с 3,7 млрд параметров, pooling по последнему токену и контекст до 40 960 токенов по метаданным (в README указано 32k). Модель обучена на общих текстовых данных и данных для поиска кода, а итоговая версия объединяет модели двух этапов обучения методом Multi-SLERP. В README приведены результаты на MTEB English v2, HUME и MTEB Code; заявленная область применения охватывает как обычные тексты, так и код. Основной язык обучения — английский, также в обучающих данных есть китайские и другие языки. Метаданные указывают библиотеку Transformers и формат safetensors. Лицензия в предоставленных данных не указана. Показатели бенчмарков из README не гарантируют такого же качества на конкретных данных; особенно важно оценивать модель на целевом языке и домене.
IndicSBERT-STS — модель семейства Sentence-BERT от L3Cube-Pune, выпущенная в рамках проекта MahaNLP. Она построена на архитектуре BERT и обучена на данных STS для десяти крупных индийских языков; одна модель сопоставляет предложения на английском, хинди, маратхи, каннада, тамильском, телугу, гуджарати, ория, пенджаби, малаялам и бенгальском, в том числе между языками. Модель предназначена для получения векторных представлений предложений и оценки их семантического сходства; размер составляет 264,8 млн параметров, максимальный контекст — 512 токенов. Её можно применять для поиска похожих предложений, межъязыкового сопоставления и построения семантического поиска по текстам на поддерживаемых языках. Лицензия CC BY 4.0 требует указания авторства. Карточка рекомендует Sentence-Transformers либо применение подходящего pooling поверх контекстных представлений BERT при использовании Transformers.
Fatahillah01/indobert-sts-indonesian — модель Sentence Transformers, созданная дообучением indobenchmark/indobert-base-p1 для оценки семантического сходства предложений на индонезийском языке. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и использует косинусное сходство для сравнения текстов. Архитектура состоит из BERT-трансформера с усреднением токенных представлений; метаданные указывают 151,6 млн параметров и контекст до 512 токенов, тогда как конфигурация модели в README задаёт максимальную длину последовательности 128 токенов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации текстов, классификации на основе эмбеддингов и ранжирования пар предложений по смысловой близости. В README приведён результат Spearman 0,7612 на наборе проверки sbert_val. Модель принимает текст и выдаёт векторные представления; сведения о лицензии в предоставленных данных отсутствуют.
endre01/infonce-e5-small-v2-0614-0450-st — модель Sentence Transformers, дообученная разработчиком endre01 на базе endre01/infonce-e5-small-v2-0614_0450. Она использует архитектуру BERT и преобразует предложения и абзацы в плотные векторы размерности 384; длина входной последовательности — до 512 токенов. Для сравнения текстов применяется косинусное сходство. Модель предназначена для семантического поиска, оценки сходства текстов, поиска перефразирований, кластеризации и классификации текста. Векторные представления можно использовать в системах поиска и группировки текстовых данных. В README не приведены сведения о конкретных языках обучения или применения, поэтому языковую специализацию определить нельзя. Модель распространяется в формате safetensors; лицензия в предоставленных данных не указана.
Карточка модели mdizak/infoxlm-large-sentence-embeddings-rust на Hugging Face совпадает с карточкой KnutJaegersberg/infoxlm-large-sentence-embeddings, поэтому описание составлено по ней. KnutJaegersberg/infoxlm-large-sentence-embeddings — модель Sentence-Transformers для преобразования предложений и абзацев в плотные векторы размерностью 1024. Она основана на XLM-RoBERTa и предназначена для поиска семантически близких текстов, кластеризации и семантического поиска. В обучении использовалась функция TripletLoss с евклидовой метрикой расстояния. Модель содержит 658,7 млн параметров, принимает текст и выдаёт векторные представления; максимальная длина контекста — 514 токенов. В карточке указаны форматы PyTorch и safetensors. Лицензия в предоставленных данных не приведена.
Instructor-XL — модель текстовых эмбеддингов, разработанная исследователями HKU NLP. Это дообученная на инструкциях версия энкодера T5, содержащая 385,2 млн параметров и принимающая текст с контекстом до 512 токенов. Задачу и область применения можно задавать инструкцией при создании эмбеддингов, без дополнительного дообучения модели. Модель предназначена для поиска документов и информации, оценки сходства и релевантности текстов, кластеризации, классификации и оценки текста. Она поддерживает английский язык; в README также приведены примеры применения в научной, финансовой и медицинской областях. Модель выдаёт векторы эмбеддингов, пригодные для этих задач. Доступна по лицензии Apache-2.0.
Bheri/ithasa-mmbert — модель Sentence Transformers, дообученная на базе jhu-clsp/mmBERT-base для получения эмбеддингов предложений и абзацев. Она кодирует текст в плотные векторы размерностью 768 и сравнивает их косинусным сходством; архитектура включает ModernBERT и усредняющий пулинг токенов. Максимальная длина последовательности — 8192 токена. Модель предназначена для поиска семантически близких текстов, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текста. В карточке приведён обучающий набор из 256 886 триплетов anchor-positive-negative. Примеры включают английский и санскритский текст; базовая модель описана как многоязычная. Файлы весов представлены в формате Safetensors. Лицензия в предоставленных данных не указана.
Англоязычная модель эмбеддингов Jina AI на архитектуре JinaBERT, основанной на BERT. Она преобразует текст в векторные представления для поиска по смыслу, сравнения предложений, ранжирования и рекомендательных систем. Модель содержит 136,7 млн параметров и поддерживает контекст длиной до 8192 токенов; для получения эмбеддингов README рекомендует применять mean pooling. Модель обучена на коллекции Jina AI из более чем 400 млн пар предложений и сложных негативных примеров. В основе лежит JinaBERT, предварительно обученный на C4; симметричный двунаправленный вариант ALiBi позволяет обрабатывать длинные последовательности. Модель подходит для поиска по длинным документам, семантического сходства и RAG, сохраняя сравнительно быстрый инференс. Для загрузки через Transformers требуется trust_remote_code=True; README также указывает на gated-доступ на Hugging Face. Лицензия — Apache-2.0. Модель предназначена для английского текста и не является мультимодальной.
jina-embeddings-v2-small-en — англоязычная модель эмбеддингов, разработанная Jina AI. Она построена на архитектуре JinaBERT на базе BERT: энкодер предварительно обучен на C4, а затем модель дообучена на наборе Jina AI из более чем 400 миллионов пар предложений и сложных негативных примеров из разных областей. Модель преобразует текст в векторы для поиска по длинным документам, семантического сравнения текстов, ранжирования, рекомендаций и систем RAG. Контекст поддерживает до 8192 токенов благодаря двунаправленному варианту ALiBi; при обучении использовалась длина последовательности 512 токенов. Для получения эмбеддинга предложения или фрагмента текста README рекомендует применять mean pooling. Размер модели — около 32,4 млн параметров по метаданным. Компактный размер обеспечивает быстрое и экономное по памяти получение эмбеддингов. Модель предназначена для английского языка и не является мультиязычной. Для работы через Transformers может потребоваться параметр trust_remote_code=True; модель доступна в форматах PyTorch, Safetensors, ONNX и Core ML. Лицензия — Apache-2.0.
jina-embeddings-v3-GGUF — GGUF-версия модели jina-embeddings-v3, разработанной jinaai и квантизированной компанией Second State Inc. Это модель для построения векторных представлений текста, предназначенная для семантического поиска, сопоставления текстов, кластеризации и других задач, где требуется сравнивать смысловое сходство документов или запросов. Модель рассчитана на запуск через совместимые инструменты, включая LlamaEdge; для неё используется шаблон prompt типа embedding. Доступны варианты размерности эмбеддингов от 32 до 1024: 32, 64, 128, 256, 512, 768 и 1024. Формат GGUF поддерживает различные уровни квантования, позволяя выбирать между размером файла и сохранением качества; среди указанных вариантов Q4_K_M и Q5_K_M отмечены как сбалансированные или рекомендуемые. В README не указаны архитектура исходной модели, поддерживаемые языки, модальности и точный размер контекста; для запуска LlamaEdge приведён контекст 768. Сильными сторонами модели являются возможность локального запуска, выбор размерности эмбеддингов и нескольких уровней квантования, включая компактные варианты. Более агрессивное квантование может приводить к заметной потере качества, тогда как версии с большим числом бит занимают больше памяти. Лицензия в предоставленном README не указана; условия использования следует уточнять в карточке исходной модели jinaai/jina-embeddings-v3 и соответствующего GGUF-репозитория.
Jina AI выпустила MLX-порт модели Jina Embeddings v5 Text Small Classification для запуска на компьютерах Apple с процессорами M1, M2, M3 и M4 и ускорением Metal. Это плотная модель эмбеддингов на архитектуре Qwen3-0.6B с предварительно объединёнными LoRA-адаптерами для задач классификации и поиска. Она преобразует запросы и документы в векторы размерностью до 1024; поддерживается сокращение размерности по схеме Matryoshka до 32, 64, 128, 256, 512 или 768. Максимальная длина последовательности — 32 768 токенов. Модель предназначена для получения представлений запросов и фрагментов документов, которые можно использовать для поиска и классификации текста. Репозиторий распространяет веса в формате safetensors и рассчитан на работу с библиотекой MLX. Лицензия — CC BY-NC 4.0, которая ограничивает коммерческое использование.
Jina Embeddings v5 Text Small Text Matching — порт для MLX модели эмбеддингов Jina AI, оптимизированный для запуска на компьютерах Apple Silicon с ускорением Metal. Модель основана на архитектуре Qwen3-0.6B и использует предварительно объединённые LoRA-адаптеры для сопоставления текстов; число параметров — 507,9 млн. Модель преобразует поисковые запросы и документы или фрагменты текста в векторы для поиска и оценки смыслового соответствия. Размерность эмбеддингов — 1024, доступно усечение по схеме Matryoshka до 32, 64, 128, 256, 512 и 768 измерений. Максимальная длина последовательности — 32 768 токенов. Порт предназначен для Apple Silicon M1, M2, M3 и M4 и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. README не уточняет поддерживаемые естественные языки; качество сопоставления для конкретных языков следует проверять отдельно.
mlx-community/jina-reranker-v3-4bit-mxfp4 — конвертированная в формат MLX 4-битная версия реранкера Jina Reranker v3. Карточка сообщает, что исходные веса взяты из jinaai/jina-reranker-v3, а преобразование выполнено с помощью mlx-embeddings версии 0.0.3. По метаданным, модель основана на дообученной Qwen3-0.6B: архитектура плотная, около 507,9 млн параметров, контекст — до 131 072 токенов. Модель предназначена для ранжирования текстов по релевантности запросу, например для переупорядочивания результатов поиска или кандидатов в системе RAG. Метаданные указывают многоязычную поддержку. Для использования в среде MLX карточка предлагает библиотеку mlx-embeddings. Лицензия — CC BY-NC 4.0, поэтому коммерческое использование не разрешено условиями этой лицензии.
KaLM-embedding-multilingual-mini-instruct-v1 — мультиязычная модель эмбеддингов из серии KaLM-Embedding, разработанной командой HIT-TMG. Она дообучена на базе Qwen/Qwen2-0.5B с использованием масштабного слабонаблюдаемого предварительного обучения и обучения с учителем. Модель предназначена для преобразования текстов в векторы, оценки сходства предложений и поиска по смыслу; версия instruct рассчитана на сценарии, где запросы и инструкции помогают уточнить задачу. Модель содержит около 494 млн параметров, использует плотную архитектуру Qwen2 и формат весов safetensors. Заявленная длина контекста — 131 072 токена. В README приведены оценки серии KaLM-Embedding на наборах C-MTEB и MTEB, а также сравнение с другими моделями эмбеддингов. Лицензия — MIT. Для запуска авторы рекомендуют transformers версии 4.37.0 или новее.
KaLM-embedding-multilingual-mini-instruct-v2 — компактная мультиязычная модель для получения текстовых эмбеддингов, разработанная HIT-TMG и дообученная на базе Qwen/Qwen2-0.5B. Она использует двунаправленное внимание и многоэтапное обучение с предварительной и контролируемой настройкой на наборах данных для разных задач представления текста. Размер модели — около 0,5 млрд параметров, размерность эмбеддинга — 896, поддерживаются варианты размерности 512, 256, 128 и 64. README указывает максимум 32 тыс. токенов на вход, а метаданные — нативный контекст 131 072 токена. Модель предназначена для поиска и сопоставления текстов, семантического сходства, классификации и кластеризации; для асимметричных задач и симметричного сравнения предусмотрены инструкции к запросам и текстовым фрагментам. В карточке и метаданных отмечены английский и китайский языки. Модель распространяется по лицензии MIT. Метрики качества для конкретных языков и сценариев в предоставленных данных не приведены.
KaLM-Reranker-V1-Large-R2 — модель-реранкер семейства KaLM от разработчиков KaLM-Embedding, дообученная на базе google/t5gemma-2-4b-4b. Она оценивает релевантность документов запросу и предназначена для повторной сортировки кандидатов в поиске и RAG-системах. Архитектура FBNL использует encoder-decoder T5Gemma2; размер Large — около 4 млрд активируемых параметров, поддерживается контекст до 128 тыс. токенов. Модель поддерживает многоязычное ранжирование и Matryoshka pooling с коэффициентом сжатия от 1x до 128x. Меняя сжатие и применяя каскадную схему coarse-to-fine, можно регулировать вычислительные затраты при ранжировании большого числа кандидатов. В README приведены результаты на BEIR и MIRACL; они указывают на улучшение относительно предыдущей версии, включая устойчивость к сильному сжатию. Модель принимает текстовые запросы и документы, а выдаёт оценки релевантности для сортировки. Она не предназначена для генерации свободного текста. Лицензия — Apache-2.0. Результаты бенчмарков не гарантируют такую же точность на конкретных данных; качество следует оценивать на целевом поисковом корпусе.
KaLM-Reranker-V1-Small — модель-реранкер семейства KaLM-Reranker-V1, разработанная командой KaLM-Embedding. Она предназначена для повторного ранжирования найденных документов по релевантности запросу, в том числе в конвейерах поиска и RAG. Модель построена на encoder-decoder архитектуре T5Gemma2 и дообучена на базе google/t5gemma-2-1b-1b; в карточке указано около 1 млрд активируемых параметров. Энкодер позволяет заранее кодировать документы, а декодер учитывает инструкции и намерение запроса; перекрёстное внимание связывает запрос с представлением документа. Поддерживается Matryoshka pooling с диапазоном 1x–32x. README указывает длину последовательности 128 тыс. токенов для этой версии, тогда как пример использования ограничивает длину документов 1024 токенами и запросов 512 токенами. Модель рассчитана на оценку пар «запрос—документ» и сортировку документов по релевантности. Авторы сообщают о конкурентных результатах на BEIR, MIRACL и LMEB; также отмечают, что модель не обучалась на больших объёмах многоязычных данных. Метаданные классифицируют её как мультиязычную, но конкретные языки не перечислены. Для инференса описана интеграция с Sentence Transformers и поддержка vLLM. Лицензия — Apache-2.0.
KaLM-Reranker-V1-Small-R2 — мультиязычная модель для переранжирования документов в поисковых системах и RAG-системах, разработанная командой KaLM-Embedding. Это дообученный вариант encoder-decoder модели T5Gemma2 с архитектурой FBNL: она оценивает релевантность документа запросу, поддерживает инструкции и позволяет менять вычислительные затраты с помощью коэффициента сжатия представлений. Версия Small содержит около 1 млрд активируемых параметров, 26 слоёв в энкодере и 26 в декодере, а длина последовательности составляет до 128 тысяч токенов. Модель рассчитана на ранжирование кандидатов в многоязычном поиске и RAG. Поддерживается Matryoshka pooling с коэффициентом сжатия от 1x до 128x, что позволяет выбирать баланс между скоростью и качеством или использовать каскадное ранжирование. В README приведены результаты на BEIR и MIRACL; при стандартном сжатии 4x Small-R2 показывает nDCG@10 61,07 на BEIR и 74,06 на MIRACL. Модель распространяется в формате safetensors по лицензии Apache-2.0. Она выдаёт оценки для ранжирования, а не готовые ответы пользователю; качество зависит от языка, набора документов, параметров сжатия и сценария применения.
Kanana-Nano-2.1B-Embedding — двуязычная модель эмбеддингов от Kakao, основанная на семействе Kanana. Она преобразует тексты в векторные представления и предназначена для семантического поиска, ранжирования и систем Retrieval Augmented Generation (RAG). Модель содержит 1,9 млрд параметров, использует архитектуру Kanana2Vec и поддерживает контекст до 8192 токенов; основными языками являются корейский и английский. Модель совместима с Transformers и sentence-transformers. В sentence-transformers по умолчанию применяется инструкция query, а при усреднении исключаются токены инструкции. При использовании vLLM инструкция учитывается в усреднении, поэтому получаемые векторы могут заметно отличаться от результатов Transformers и sentence-transformers. Для загрузки через Transformers требуется trust_remote_code=True. Лицензия CC BY-NC 4.0 разрешает использование на условиях с ограничением коммерческого применения.
Kiel-2-Rerank — дообученный кросс-энкодер на базе BAAI/bge-reranker-base для повторного ранжирования текстов. Модель разработана автором репозитория kiel2 и оценивает пару «запрос — документ» совместно, выдавая один числовой балл релевантности. Она предназначена для семантического поиска и многоэтапного извлечения документов, включая подбор контекста для RAG-систем. Модель использует архитектуру XLM-RoBERTa с примерно 305,2 млн параметров; README указывает максимальную длину последовательности 512 токенов. На вход подаются текстовые пары, на выходе — оценки, по которым можно упорядочить кандидатов. В карточке нет сведений о лицензии или специальных доменах применения. Для ранжирования больших наборов документов потребуется предварительный поиск кандидатов, поскольку модель совместно обрабатывает каждую пару.