I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейЭто модель Sentence Transformer, созданная Sahith Kumar и дообученная на базе microsoft/mpnet-base. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения текстов по семантической близости, семантического поиска, поиска перефразировок, классификации и кластеризации. Для сравнения используется косинусное сходство; архитектура включает MPNet и усреднение токенных представлений. Максимальная длина входа — 512 токенов по README и 514 контекстных токенов по метаданным. Модель имеет 136,7 млн параметров и распространяется в формате safetensors. В README описано дообучение на 800 примерах с anchor, positive и negative и приведена оценка cosine accuracy 1.0 на двух наборах TripletEvaluator; результаты относятся только к указанным тестам и не гарантируют качество на других данных. Поддерживаемые языки и лицензия в предоставленных источниках не указаны. Для использования требуются Sentence Transformers или совместимая инфраструктура эмбеддингов.
joshuapb/fine-tuned-matryoshka-1500 — англоязычная модель Sentence Transformers, дообученная на основе BAAI/bge-base-en-v1.5 для получения плотных эмбеддингов предложений и абзацев. Архитектура включает BERT, пулинг по CLS-токену и нормализацию векторов; размерность эмбеддинга составляет 768, а максимальная длина входа — 512 токенов. Для сравнения векторов используется косинусное сходство. Модель предназначена для семантического поиска и оценки сходства текстов; эмбеддинги также можно применять для поиска перефразировок, кластеризации и классификации текста. Обучение с MatryoshkaLoss позволяет использовать укороченные представления размерностью 64, 128, 256 или 512 наряду с полным вектором. В README приведены результаты оценки поиска на наборах dim_64–dim_768, однако они не гарантируют аналогичное качество на других данных. Модель распространяется по лицензии Apache-2.0.
hermoine1234/fine_tuned_model_v3 — модель Sentence Transformers на базе архитектуры XLM-RoBERTa, обученная сопоставлять предложения и абзацы в плотном векторном пространстве. Она содержит 305,2 млн параметров и строит эмбеддинги размерности 768; для оценки сходства используется косинусная близость. Модель подходит для семантического поиска, поиска похожих предложений, выявления перефразирований, кластеризации и классификации текста. Карточка описывает обучение на 1 784 парах текстов с CosineSimilarityLoss; примеры датасета представлены на нескольких языках. README указывает максимальную длину последовательности 128 токенов, тогда как метаданные каталога указывают нативный контекст 514 токенов. Модель принимает текст и выдаёт векторы эмбеддингов; файлы представлены в формате safetensors. Лицензия в предоставленных данных не указана.
kimquynh/finetuned_sbert_6 — англоязычная Sentence Transformer, дообученная автором на базе BAAI/bge-base-en-v1.5 для поиска и сравнения текстов. Архитектура включает BERT, пулинг CLS и нормализацию эмбеддингов; модель содержит 136,7 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 768. Максимальная длина последовательности — 512 токенов, сходство оценивается косинусной мерой. Модель подходит для семантического поиска, извлечения релевантных текстов и сравнения предложений. В карточке приведены результаты оценки сходства и бинарной классификации на данных о резюме и вакансиях; обучающий набор содержит 6241 пару предложений. Модель принимает текст и выдаёт эмбеддинги. Репозиторий использует формат safetensors и библиотеку Sentence Transformers. Условия лицензии в предоставленных данных не описаны.
LamaDiab/FinetuningMiniLM-V23Data-256ConstantBATCH-SemanticEngine — модель Sentence Transformers на базе BERT, дообученная авторами репозитория от LamaDiab/MiniLM-V23Data-256ConstantBATCH-SemanticEngine. Она преобразует предложения и абзацы в плотные векторы размерности 384 и предназначена для сравнения текстов по смыслу, семантического поиска, поиска перефразировок, классификации и кластеризации. Для сравнения векторов используется косинусное сходство. В архитектуре применяются Transformer с усреднением токенных представлений и нормализацией выходного вектора. README указывает максимальную длину последовательности 128 токенов, а метаданные — контекстное окно 512 токенов. Модель обучалась на примерах текстовых запросов и соответствующих категорий товаров; в README также приведён результат cosine accuracy 0,9648 на оценке TripletEvaluator. Модель принимает текст и выдаёт векторы, пригодные для ранжирования и поиска по близости. README не сообщает поддерживаемые естественные языки, поэтому языковую специализацию определить нельзя. Репозиторий содержит веса в формате safetensors; условия лицензии в предоставленных данных не указаны.
FlowVec-v1 — мультиязычная модель текстовых эмбеддингов от LingoIITGN, дообученная на базе Qwen/Qwen3-Embedding-8B с помощью трёхэтапного рецепта LoRA и дистилляции относительно замороженной базовой модели. Она предназначена для семантического поиска, ранжирования, кластеризации и сопоставления текстов на индийских языках. Модель использует архитектуру Qwen3 с 7,6 млрд параметров, извлекает векторы размерности 4096 посредством пулинга последнего токена и L2-нормализации. В README указана максимальная длина последовательности 512 токенов; метаданные базовой модели указывают контекст 40960 токенов. Обучение охватывает retrieval, bitext, классификацию, NLI и кластеризацию; модель оценивалась на MTEB(Indic, v1). В README приведены сильные результаты для поиска и ранжирования, но оценки следует трактовать с учётом пересечения обучающих данных с двумя задачами и подбора инструкций на самом бенчмарке. Для подходящих задач важно передавать prompt_name; при поиске и ранжировании запросы кодируются с инструкцией, а документы — без неё. Модель принимает текст и выдаёт эмбеддинги. Лицензия — Apache 2.0.
Jainam/freeflow-biencoder — модель Sentence Transformers на базе RoBERTa, разработчик которой указан в идентификаторе репозитория как Jainam. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации. Обучение использовало MultipleNegativesRankingLoss с косинусным сходством; модель также подходит для сравнения смысловой близости текстов. Модель содержит 151,8 млн параметров и принимает текст, выдавая векторные представления. Её можно использовать через Sentence-Transformers либо Transformers с подходящей операцией pooling. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия и конкретные поддерживаемые естественные языки в предоставленных данных не указаны.
FRIDA — полноразмерная модель эмбеддингов текста, разработанная командой SaluteDevices AI for B2C RnD. Она основана на энкодере FRED-T5 и использует архитектуру T5; число параметров — 936,6 млн. Модель предварительно обучена на русско-английском наборе данных и дообучена для получения текстовых представлений. Репозиторий содержит веса в формате safetensors. FRIDA предназначена для построения эмбеддингов и оценки сходства предложений. Её можно применять для семантического поиска, подбора похожих текстов и задач ранжирования, используя подходящие префиксы и pooling CLS. Максимальная длина входа — 512 токенов. Модель распространяется по лицензии MIT.
Это Sentence Transformer на архитектуре XLM-RoBERTa, дообученный для сопоставления смысла предложений и абзацев. Модель преобразует текст в нормализованные плотные векторы размерности 1024; сходство между ними можно оценивать косинусной мерой. В метаданных указано 658,7 млн параметров, а максимальная длина последовательности в README составляет 1024 токена. Модель предназначена для семантического поиска, оценки текстового сходства, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. Она принимает текст и выдаёт векторные представления. README сообщает о 105 064 обучающих примерах с парами и отрицательными примерами, но не указывает их языки, поэтому языковую поддержку определить нельзя. Карточка не называет исходную модель, лицензию или конкретные ограничения качества; происхождение дообучения следует из описания обучения Sentence Transformer и архитектуры XLM-RoBERTa. Для использования доступны веса в формате safetensors; библиотека — Sentence Transformers.
dguzh/geo-all-MiniLM-L6-v2 — модель Sentence Transformers для преобразования предложений и абзацев в плотные векторы размерностью 384. Она предназначена для семантического поиска, кластеризации и сравнения текстов по смыслу. Архитектура — BERT; модель содержит 25,9 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Обучалась с ContrastiveLoss на основе косинусного расстояния. Модель можно применять для поиска похожих фрагментов, группировки текстов и ранжирования кандидатов по семантическому сходству. В карточке не описаны языки и предметная область, поэтому предполагается общее назначение без выделения конкретного языка. Доступна в форматах PyTorch и Safetensors; лицензия в предоставленных данных не указана.
Giga-Embeddings-instruct-10B-A1.8B-0826 — модель текстовых эмбеддингов, разработанная ai-sage на основе GigaChat3-10B-A1.8B. Её адаптировали под двунаправленное encoder-style внимание и обучили контрастивной функцией потерь InfoNCE. По карточке, архитектура относится к DeepSeek-V3: 26 слоёв, скрытая размерность 1536, Multi-head Latent Attention и MoE с 64 маршрутизируемыми экспертами. Всего около 10 млрд параметров, из них примерно 1,8 млрд активны на токен; веса представлены в bfloat16. Модель строит плотные векторы для поиска по смыслу, семантического сравнения, классификации и кластеризации текста. Она рассчитана в первую очередь на русский и английский языки и поддерживает контекст до 262 144 токенов. Для получения эмбеддингов требуется усреднить представления непустых токенов и выполнить L2-нормализацию; для асимметричного поиска инструкцию добавляют к запросу, а документы кодируют без неё. В README сообщается о результатах на русских, английских и кодовых бенчмарках MTEB. Для коммерческого и иного использования применяется лицензия MIT. Важно соблюдать предусмотренную схемой обработки последовательность пулинга и нормализации: CLS- и last-token pooling дают неверные результаты. Результаты могут немного различаться в зависимости от версий Transformers и PyTorch.
GeorgeCU/Giga-Embeddings-instruct-3B-0826-ft — модель текстовых эмбеддингов из серии Giga-Embeddings, построенная на собственной предобученной модели с архитектурой Qwen3 и двунаправленным encoder-style вниманием. Она содержит около 3,2 млрд параметров, формирует векторы размерностью 2048 и поддерживает контекст до 8192 токенов. Для получения эмбеддинга используются mean pooling по непаддинговым токенам и L2-нормализация. Модель предназначена для векторного поиска, семантического сравнения, классификации и кластеризации текстов. Она обучена контрастивным методом InfoNCE и рассчитана прежде всего на русский и английский языки. В асимметричном поиске инструкцию следует добавлять к запросу, оставляя документы без инструкции; для симметричного сравнения инструкцию можно опустить или использовать общую. README приводит результаты MTEB для русского, английского и кода. Для корректного применения нужны mean pooling и L2-нормализация: CLS- и last-token pooling дают неверные результаты. При прямом использовании transformers эти операции нужно выполнять самостоятельно; результаты могут немного различаться в зависимости от версий PyTorch и Transformers. Лицензия — MIT.
GIST-Embedding-v0 — текстовая модель эмбеддингов, разработанная avsolatorio и дообученная на основе BAAI/bge-base-en-v1.5. Она кодирует предложения и тексты в плотные векторы для поиска, сравнения смысловой близости и других задач сопоставления текста. Для получения эмбеддингов инструкции в запросе не требуются, поэтому модель подходит для прямого кодирования поисковых запросов и документов. Модель основана на архитектуре BERT, содержит 136,7 млн параметров, работает с контекстом до 512 токенов и распространяется в форматах PyTorch и safetensors. Обучение проведено на данных MEDI и размеченных триплетах, полученных из обучающей части MTEB Classification; оценка выполнялась набором MTEB. Дообучение заметно изменило профиль качества: на некоторых задачах результаты улучшились, на других ухудшились, в частности отмечено снижение качества поиска для TRECCOVID. Лицензия модели — MIT; сторонние наборы данных могут иметь дополнительные условия использования.
knowledgator/gliclass-instruct-base-v1.0 — компактная плотная модель семейства GLiClass от Knowledgator для классификации текста по заданным меткам. Она поддерживает zero-shot и few-shot сценарии: метки можно задавать под конкретную задачу, добавлять к ним описания и примеры, группировать и направлять классификацию инструкцией. Модель рассчитана на тематическую и тональную классификацию, определение намерений, проверку следования правилам и безопасности, выявление галлюцинаций, вывод по естественному языку и оценку релевантности текстов. Модель принимает текст и возвращает оценки классов. В README отмечено, что для вывода по естественному языку лучше проверять по одной гипотезе за раз. Приведённые в карточке результаты показывают качество на отдельных наборах для классификации тональности и тем, но сами по себе не гарантируют точность на пользовательских данных. Модель распространяется по лицензии Apache-2.0.
GLiClass Instruct Large v1.0 — модель Knowledgator для классификации последовательностей текста с нулевым и малым количеством примеров. Она сопоставляет входной текст с заданными пользователем метками и предназначена для тематической и тональной классификации, определения намерений, проверки логического следования, обнаружения галлюцинаций и классификации безопасности LLM. Модель также можно применять для оценки релевантности пар «запрос — фрагмент». Архитектура относится к семейству GLiClass; веса опубликованы в формате safetensors. Модель поддерживает работу с произвольными метками, а в версии GLiClass V3 описаны иерархические метки, примеры для few-shot, текстовые описания меток и подсказки задачи. В README приведены результаты zero-shot-бенчмарков для large-v1.0, в том числе F1 0,9154 на SST-2 и 0,3387 на SST-5. Модель принимает текст и выдаёт оценки или классы, связанные с заданными метками. В README не перечислены поддерживаемые естественные языки, поэтому языковые поля оставлены пустыми. Лицензия — Apache-2.0. Качество зависит от формулировок меток и задачи; для NLI README рекомендует подавать одну гипотезу за раз. Результаты приведены не для всех наборов данных.
GLiClass large v1.0 — компактная модель классификации последовательностей, разработанная Knowledgator. Она выполняет классификацию текста без предварительного обучения на конкретных целевых наборах данных: пользователь задаёт категории, а модель относит к ним текст. По описанию автора, классификация выполняется за один проход модели, что снижает вычислительные затраты по сравнению с cross-encoder при сопоставимой производительности. Модель основана на архитектуре GLiClass и содержит 438 млн параметров. Модель предназначена для классификации тем и тональности, а также для ранжирования документов в RAG-системах. В карточке приведены результаты zero-shot оценки на наборах данных для отзывов, новостей и эмоций; качество зависит от задачи и категорий. Обучение проводилось на синтетических данных, заявлена поддержка коммерческого применения. Модель распространяется под лицензией Apache-2.0; доступны форматы Safetensors и ONNX.
GLiClass Large v1.0 Init — лёгкая модель классификации последовательностей с нулевым обучением, разработанная Knowledgator и вдохновлённая GLiNER. Она выполняет классификацию одним проходом и, согласно карточке, обеспечивает качество на уровне cross-encoder при меньших вычислительных затратах. Размер модели составляет 438 млн параметров; доступны форматы Safetensors и ONNX. Модель предназначена для классификации тем и тональности, а также для ранжирования текстов в RAG-пайплайнах. В карточке приведены результаты zero-shot тестирования на IMDB, AG_NEWS и Emotions без дообучения на этих наборах. Модель обучалась на синтетических данных MoritzLaurer/synthetic_zeroshot_mixtral_v0.1 и выпущена под лицензией Apache-2.0, допускающей коммерческое использование.
GLiClass Modern Base v2.0 Init — компактная модель классификации последовательностей от Knowledgator, построенная на базе encoder-модели ModernBERT-base и дообученная для классификации без примеров. Она сопоставляет текст с заданными пользователем категориями за один проход модели; карточка сообщает об эффективности, сравнимой с cross-encoder, при меньших вычислительных затратах. Модель предназначена для классификации тем и тональности, а также для ранжирования документов в RAG-системах. По бенчмаркам в README модель показывает результаты на наборах IMDB, AG_NEWS и Emotions, а также на нескольких наборах для классификации отзывов и тональности. Поддерживаются английский и французский языки. Доступны веса в форматах Safetensors и ONNX. В README для этой версии указано 151 млн параметров; базовая ModernBERT-base в метаданных каталога оценивается в 149 млн параметров. Для коммерческого применения заявлено обучение на синтетических и лицензированных данных, допускающих такое использование; лицензия репозитория — Apache-2.0.
GLiClass Modern Base v3.0 — компактная модель классификации последовательностей от Knowledgator, созданная на основе архитектуры GLiClass. Она предназначена для классификации текста по заданным меткам в zero-shot-режиме, включая тематическую классификацию и анализ тональности; также её можно использовать для ранжирования документов в RAG-системах. По карточке, модель содержит около 151 млн параметров и занимает 606 МБ. Для дообучения на логических задачах применялись LoRA-адаптеры, чтобы сохранить прежние знания модели. GLiClass выполняет классификацию за один проход и рассчитана на более эффективное использование вычислений по сравнению с cross-encoder. В опубликованных тестах эта версия показала средний результат 0,5571 и скорость 54,46 примера в секунду на GPU A6000 при размере пакета 1; результаты зависят от набора данных и числа меток. Карточка не сообщает поддерживаемые естественные языки или длину контекста. Модель опубликована под лицензией Apache-2.0.
GLiClass Modern Large v2.0 Init — модель классификации последовательностей с нулевым обучением, разработанная Knowledgator на основе ModernBERT-large. Она сопоставляет текст с пользовательскими категориями за один проход модели и предназначена для тематической классификации, анализа тональности и ранжирования документов в RAG-системах. Архитектура GLiClass использует признаки с разных слоёв энкодера; размер модели в карточке указан как 399 млн параметров, а базовый ModernBERT-large — как 395 млн параметров. Модель ориентирована на английский и французский языки и унаследовала от ModernBERT способность обрабатывать длинные последовательности. В README приведены результаты zero-shot-бенчмарков на задачах тональности, эмоций и классификации новостей; качество зависит от набора данных и может заметно меняться, особенно при большом числе тонких категорий. Для улучшения результата автор демонстрирует использование примеров. Модель выпущена под лицензией Apache-2.0; README сообщает, что обучение проводилось на синтетических и лицензированных данных, допускающих коммерческое использование.
GLiClass Modern Large v3.0 — модель Knowledgator для классификации последовательностей текста с нулевым обучением на пользовательских метках. Она использует архитектуру GLiClass и выполняет классификацию за один проход, что, по данным авторов, делает её вычислительно эффективной по сравнению с cross-encoder. Модель предназначена для тематической классификации, анализа тональности и ранжирования текстов в RAG-сценариях. Модель содержит около 399 млн параметров, занимает примерно 1,6 ГБ и распространяется в формате Safetensors. Для версии v3.0 использовали LoRA-адаптеры с рангом 768 и дообучение на логических задачах; в README также приведены результаты тестирования в zero-shot режиме на наборах классификации. Лицензия — Apache-2.0. В README не указаны поддерживаемые естественные языки и максимальная длина контекста. Качество зависит от формулировки меток и предметной области; приведённые результаты относятся к отдельным бенчмаркам и не гарантируют такую же точность на других данных.
GLiClass Multilang Edge от Knowledgator — компактная модель семейства GLiClass для классификации последовательностей с произвольными метками в zero-shot и few-shot режимах. Модель насчитывает около 140 млн параметров и предназначена для эффективной классификации текста; карточка указывает архитектуру GLiClassModel и формат safetensors. Модель поддерживает тематическую и тональную классификацию, определение намерений, проверку следования правилам и безопасности LLM, выявление галлюцинаций, NLI и оценку релевантности текстовых фрагментов. Можно задавать описания меток, пользовательские инструкции и иерархии меток; текст и метки могут быть на разных языках. По карточке, модель обучена для 20 языков: шведского, норвежского, чешского, польского, литовского, эстонского, латышского, испанского, финского, немецкого, французского, румынского, итальянского, португальского, нидерландского, украинского, хинди, китайского, арабского и иврита. Английский также присутствует в метках языков карточки. Небольшой размер обеспечивает высокую скорость: в тесте автора средняя пропускная способность составила 553,6 примера в секунду при пакетной обработке на RTX PRO 6000 Blackwell. Качество зависит от языка и задачи; приведённые в карточке результаты показывают более низкие средние показатели Edge по сравнению с более крупными вариантами multilang-mini и multilang-ultra. Лицензия — Apache-2.0.
GLiClass Multilang Mini — мультиязычная модель классификации текста из семейства GLiClass, опубликованная Knowledgator. Она предназначена для классификации с пользовательскими метками без дообучения, а также для few-shot сценариев с примерами и описаниями меток. Модель содержит около 288 млн параметров и использует архитектуру GLiClass с механизмом CrossAttn Scorer. Модель подходит для тематической и тональной классификации, определения намерений, проверки следования правилам и безопасности ответов LLM, обнаружения галлюцинаций, NLI и оценки релевантности пары запрос–текст. Она обучена для 20 языков и поддерживает межъязыковые сочетания текста и меток. В README приведены результаты zero-shot оценок и высокая пропускная способность на GPU, но фактическое качество зависит от языка, набора меток и задачи; для NLI рекомендуется подавать одну гипотезу за раз. Веса представлены в формате safetensors, для использования предлагается библиотека gliclass. Лицензия — Apache-2.0.
GLiClass Multilang Ultra — мультиязычная модель классификации текста от Knowledgator на архитектуре GLiClass. Она предназначена для zero-shot и few-shot классификации по заданным пользователем меткам, а также для оценки соответствия текста меткам при решении задач NLI и ранжирования релевантности. Модель поддерживает 20 языков: шведский, норвежский, чешский, польский, литовский, эстонский, латышский, испанский, финский, немецкий, французский, румынский, итальянский, португальский, нидерландский, украинский, хинди, китайский, арабский и иврит. Текст и метки могут быть на разных языках. В README указано около 1,72 млрд параметров; доступны иерархические метки, их описания и примеры для few-shot настройки. Модель подходит для тематической и тональной классификации, определения намерений, проверки следования правилам и классификации безопасности LLM. В README приведены оценки на нескольких наборах данных и сравнительные замеры скорости; фактическая производительность зависит от оборудования и задачи. Русский язык среди заявленных языков отсутствует. Лицензия — Apache-2.0.
GLiClass X-Base — компактная мультиязычная модель классификации последовательностей от Knowledgator, построенная на основе mdeberta-v3-base. Она выполняет классификацию по заданным категориям в zero-shot режиме, используя один проход модели; разработчики отмечают вычислительную эффективность на уровне cross-encoder-подхода. Модель предназначена для классификации тем и тональности, а также для ранжирования текстов в RAG-системах. В README приведены результаты zero-shot оценки на общих и мультиязычных наборах данных. Обучение проводилось на синтетических и лицензированных данных, разрешающих коммерческое использование; лицензия репозитория — Apache-2.0. Модель принимает текст и возвращает оценки классов, поэтому качество зависит от формулировки категорий и языка входа. Показатели на приведённых наборах различаются; перед применением в конкретной предметной области их следует проверить на собственных данных.
Модель Sentence Transformer, созданная дообучением многоязычной BERT-модели google-bert/bert-base-multilingual-uncased на наборах пар предложений с оценками сходства. Она кодирует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения текстов по косинусному сходству, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура включает BERT и mean pooling; максимальная длина последовательности — 512 токенов. Базовая модель поддерживает 102 языка, однако отдельные языки обучения этой версии в карточке не уточнены. Модель выпущена в формате safetensors и использует библиотеку Sentence Transformers. Лицензия в предоставленных данных не указана.
Это sentence-transformers-модель на базе google-bert/bert-base-multilingual-uncased, дообученная Стефаном Шварцем на наборе пар текстов с положительными и отрицательными примерами. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой близости по косинусному сходству, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура включает BERT и усредняющий пулинг токенов; максимальная длина входа — 512 токенов. Базовая модель поддерживает 102 языка, однако языки обучающих примеров в карточке явно не указаны. Модель опубликована в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.
Карточка модели noname002/google-embeddinggemma-300m-3fre-df-bkai на Hugging Face совпадает с карточкой google/embeddinggemma-300m, поэтому описание составлено по ней. EmbeddingGemma — компактная модель эмбеддингов Google DeepMind на 300 млн параметров, построенная на Gemma 3 с инициализацией T5Gemma. Она преобразует текстовые запросы и документы в векторы и предназначена для семантического поиска, оценки сходства, классификации и кластеризации. Модель поддерживает более 100 языков и рассчитана на локальное использование на телефонах и компьютерах с ограниченными ресурсами. Модель принимает текст с контекстом до 2048 токенов и выдаёт эмбеддинги размерностью 768; с помощью Matryoshka Representation Learning размерность можно сократить до 512, 256 или 128 с последующей нормализацией. Она подходит для поиска документов и кода по запросу, поиска материалов для систем вопросов и ответов, обнаружения дубликатов и тематической группировки текстов. Для работы предусмотрена библиотека Sentence Transformers. Качество представлений зависит от охвата и возможных смещений обучающих данных; модель может хуже учитывать тонкие языковые оттенки, сарказм и переносный смысл. Лицензия указана как Gemma; применяются условия использования Gemma и её политика запрещённого использования.
gte-large — модель текстовых эмбеддингов семейства General Text Embeddings (GTE), разработанная Alibaba DAMO Academy на основе архитектуры BERT. Она обучена на крупных наборах пар текстов с разметкой релевантности и предназначена для поиска информации, сравнения смысловой близости предложений и ранжирования текстов. Модель принимает английский текст и преобразует его в векторы размерностью 1024. Максимальная длина входа — 512 токенов; более длинные тексты обрезаются. В README приведены результаты на бенчмарке MTEB, включая задачи поиска, семантического сходства, классификации и ранжирования. Репозиторий содержит веса PyTorch и ONNX. Лицензия — MIT.
ChristianAzinn/gte-large-gguf — это квантизированная GGUF-версия модели gte-large, разработанной Alibaba DAMO Academy и опубликованной thenlper. Репозиторий подготовил ChristianAzinn; исходная модель построена преимущественно на архитектуре BERT и распространяется как модель для создания текстовых эмбеддингов. Модель предназначена для информационного поиска, оценки семантического сходства текстов, reranking и других задач, где требуется сопоставление текстовых представлений. Она обучалась на крупном корпусе релевантных пар текстов из различных предметных областей. Указан английский язык, максимальная длина контекста — 512 токенов. GGUF-файлы поддерживаются llama.cpp и LM Studio; доступны варианты квантизации от 2 до 8 бит, а также FP16 и FP32. Квантизация уменьшает размер и требования к памяти, но низкобитные варианты могут заметно снижать качество; README рекомендует сбалансированные варианты Q4_K_M, Q5_K_S, Q5_K_M и Q8_0. Модель не предназначена для генерации текста: её основная функция — получение эмбеддингов для последующего сравнения или поиска. Варианты с высокой степенью квантизации удобны для локального запуска на ограниченных ресурсах, однако требуют оценки влияния потери точности на конкретную задачу. Исходная модель и материалы репозитория распространяются по лицензии MIT.