I.3Извлечение и структурирование данных

Qdrant/all-MiniLM-L6-v2-onnx — это ONNX-порт модели sentence-transformers/all-MiniLM-L6-v2, опубликованный Qdrant для получения векторных представлений текста. Модель предназначена для сравнения семантической близости предложений, поиска похожих текстов и задач текстовой классификации на основе эмбеддингов. Она содержит около 25,9 млн параметров и поддерживает контекст длиной до 512 токенов. Модель подходит для семантического поиска, кластеризации, дедупликации и ранжирования текстовых документов; эмбеддинги можно использовать в векторных базах данных и системах поиска, включая сценарии с FastEmbed. Формат ONNX удобен для эффективного инференса в совместимых средах. В README не указаны поддерживаемые естественные языки и специализированные домены, поэтому языковые и предметные характеристики не уточняются. Модель распространяется по лицензии Apache-2.0.

Карточка модели leif1557/all-mpnet-base-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-mpnet-base-v2, поэтому описание составлено по ней. all-mpnet-base-v2 — модель Sentence Transformers, разработанная в ходе Community Week Hugging Face. Она кодирует предложения и короткие абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения текстов и кластеризации. В основе лежит microsoft/mpnet-base, дообученная контрастивным обучением на более чем миллиарде пар предложений из нескольких наборов данных. Модель содержит 136,7 млн параметров, использует архитектуру MPNet и принимает текст. Её можно применять для семантического поиска, извлечения информации и группировки похожих фрагментов. Текст длиннее 384 токенов модели обрезается; README рекомендует использовать её как кодировщик предложений и коротких абзацев. Лицензия — Apache-2.0.

Samizie/avia-MiniLM-L12-v2 — модель Sentence Transformers на архитектуре BERT, разработчик описывает её как модель для преобразования предложений и абзацев в плотные векторы размерности 384. Она подходит для поиска семантически близких текстов, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. Вектор формируется усреднением токенных представлений; для сравнения README рекомендует косинусное сходство. Максимальная длина входа — 512 токенов. Модель принимает текст и выдаёт эмбеддинги; в метаданных также заявлена задача sentence-similarity. В репозитории указаны веса safetensors и около 40 млн параметров. Лицензия в предоставленных сведениях не указана.

BidirLM-1.7B-Embedding — многоязычная модель для получения текстовых эмбеддингов, разработанная авторами семейства BidirLM. Это плотный двунаправленный энкодер BidirLMModel на 1,7 млрд параметров, дообученный на основе BidirLM/BidirLM-1.7B-Base контрастивным обучением. Модель использует mean pooling, поддерживает контекст до 32 768 токенов и предназначена для семантического поиска и других задач сопоставления текстов. Модель подходит для поиска и извлечения документов, оценки семантического сходства, кластеризации, классификации текстов, парной классификации, переранжирования и поиска параллельных текстов. Также её можно дообучать для классификации последовательностей и токенов, включая NER и POS-разметку. В карточке заявлена поддержка более 119 языков; метаданные подтверждают многоязычность и перечисляют языковые коды, включая английский, арабский, китайский и хинди. В карточке отмечены результаты на бенчмарках MTEB и LongEmbed, а также возможность применять одну модель и для эмбеддингов, и для последующего дообучения под прикладные задачи. Для загрузки требуется trust_remote_code=True и совместимые версии Transformers и Sentence Transformers. Модель распространяется по лицензии Apache-2.0.

EmbeddingGemma — компактная модель эмбеддингов текста от Google DeepMind на 302,8 млн параметров, построенная на Gemma 3 с инициализацией T5Gemma. Она преобразует текст в векторы размерностью 768; благодаря Matryoshka Representation Learning вектор можно сократить до 512, 256 или 128 измерений с последующей нормализацией. Модель принимает текст с контекстом до 2048 токенов и предназначена для запуска в том числе на телефонах, ноутбуках и настольных компьютерах с ограниченными ресурсами. Основные сценарии — семантический поиск и извлечение документов, сравнение предложений, классификация и кластеризация текстов, поиск кода по запросам на естественном языке, а также подбор материалов для систем ответов на вопросы и проверки фактов. Модель обучалась на данных более чем 100 языков, включая веб-тексты, код и техническую документацию. Для использования авторы рекомендуют Sentence Transformers с Gemma 3 из Transformers; в репозитории также представлены форматы ONNX, OpenVINO, PyTorch, Safetensors и TensorFlow. Качество зависит от охвата и смещений обучающих данных; модель может хуже улавливать тонкие языковые нюансы, сарказм и переносный смысл. Лицензия — Gemma; при использовании необходимо соблюдать условия Gemma и ограничения политики допустимого использования.

Это модель SentenceTransformer, дообученная автором srikarvar на базе intfloat/multilingual-e5-small для сравнения и поиска текстов по смыслу. Архитектура основана на BERT: модель преобразует предложения и абзацы в плотные векторы размерности 384, применяя усреднение токенов и нормализацию; близость оценивается косинусным сходством. Максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. В карточке приведены результаты бинарной классификации сходства на парах предложений, однако они не гарантируют аналогичное качество на других данных. Модель поддерживает многоязычные эмбеддинги благодаря базовой multilingual-e5-small; конкретный набор языков отдельно не перечислен. Для запуска предназначена библиотека Sentence Transformers. Лицензия в предоставленных сведениях не указана.

unsloth/gemma-4-E4B-it-unsloth-bnb-4bit — это 4-битная квантованная instruction-tuned версия мультимодальной модели Gemma 4 E4B. Базовую модель разработала Google DeepMind, а текущую оптимизированную сборку подготовила Unsloth с использованием квантования bitsandbytes в формате 4-bit. Модель предназначена для локального запуска и дообучения на совместимом оборудовании. Модель поддерживает обработку текста, изображений и аудио с генерацией текстовых ответов. Она рассчитана на задачи рассуждения, генерации текста, программирования, мультимодального анализа, вызова функций и агентских сценариев. Для E4B заявлены около 4,5 млрд эффективных параметров, 42 слоя, контекстное окно до 128K токенов и словарь размером 262K токенов. Семейство Gemma 4 поддерживает более 140 языков. Архитектура использует гибридное внимание с локальными скользящими окнами и глобальными слоями. Ключевые преимущества модели — мультимодальность, большое контекстное окно, поддержка режимов рассуждения, системных инструкций и нативного function calling, а также сниженные требования к памяти благодаря 4-битному представлению. Квантование может повлиять на точность по сравнению с полноразмерной версией, однако конкретные показатели такого влияния в README не приведены. Модель распространяется по лицензии Apache 2.0.

GeorgeCU/Giga-Embeddings-instruct-3B-0826-ft — модель текстовых эмбеддингов из серии Giga-Embeddings, построенная на собственной предобученной модели с архитектурой Qwen3 и двунаправленным encoder-style вниманием. Она содержит около 3,2 млрд параметров, формирует векторы размерностью 2048 и поддерживает контекст до 8192 токенов. Для получения эмбеддинга используются mean pooling по непаддинговым токенам и L2-нормализация. Модель предназначена для векторного поиска, семантического сравнения, классификации и кластеризации текстов. Она обучена контрастивным методом InfoNCE и рассчитана прежде всего на русский и английский языки. В асимметричном поиске инструкцию следует добавлять к запросу, оставляя документы без инструкции; для симметричного сравнения инструкцию можно опустить или использовать общую. README приводит результаты MTEB для русского, английского и кода. Для корректного применения нужны mean pooling и L2-нормализация: CLS- и last-token pooling дают неверные результаты. При прямом использовании transformers эти операции нужно выполнять самостоятельно; результаты могут немного различаться в зависимости от версий PyTorch и Transformers. Лицензия — MIT.

cyankiwi/GLM-5.3-Flash-AWQ-INT4 — квантизированный чекпойнт модели GLM-5.3-Flash, разработанной Z.ai и опубликованный пользователем cyankiwi. Модель является нативно мультимодальной и предназначена для обработки текста и изображений, включая диалоговые сценарии, программирование, агентные задачи и работу с длинным контекстом. В карточке указаны английский и китайский языки, а README дополнительно заявляет поддержку хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. GLM-5.3-Flash использует гибридную архитектуру с разреженным и линейным вниманием, а также Manifold-Constrained Hyper-Connections. Общий объём модели составляет 320 млрд параметров, из которых активно используется около 18 млрд; точный максимальный размер контекста в карточке не указан, но модель оптимизирована для длинных контекстов. Данный вариант сочетает схемы compressed-tensors INT4, FP8-block и BF16 в разных модулях, его размер — около 197,19 ГБ. Сильными сторонами модели являются мультимодальность, эффективность инференса, поддержка многоязычных сценариев, программирования и агентных рабочих процессов, а также возможность управления интенсивностью рассуждений через параметр reasoning_effort. Ограничением является необходимость специальной версии форка vLLM для загрузки этого чекпойнта; стандартный vLLM его не поддерживает. Лицензия — MIT.

CoboSan/GLM-5.3-Flash-GGUF — это GGUF-версия GLM-5.3-Flash, разработанная на основе модели zai-org/GLM-5.3-Flash. Модель относится к семейству GLM-5 и предназначена для генерации текста, программирования, агентских сценариев и задач, требующих работы с изображениями и текстом. В README указаны английский и китайский языки, а также поддержка нативной мультимодальности. Модель использует гибридную архитектуру со sparse attention и linear attention, а также Manifold-Constrained Hyper-Connections. Она содержит 320 млрд общих параметров, из которых 18 млрд активируются при обработке запроса, что ориентировано на снижение вычислительных затрат и стоимости работы с длинным контекстом. Обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. В оценках использовались контексты до 300 000 токенов, а для отдельных тестов — до 1 млн токенов, однако точное ограничение контекста данной GGUF-сборки в README не указано. К сильным сторонам относятся сочетание высокой заявленной производительности, эффективности разреженной активации, работы с длинным контекстом, программирования, агентских задач и мультимодального ввода. Для запуска требуется совместимое программное обеспечение, например llama.cpp с указанной поддержкой или Unsloth Desktop. README не содержит подробных сведений о конкретных уровнях квантования, системных требованиях и ограничениях качества квантованной версии. Лицензия модели — MIT.

furiosa-ai/gpt-oss-120b — адаптация открытой весовой модели OpenAI gpt-oss-120b, подготовленная для запуска на аппаратных ускорителях FuriosaAI RNGD с использованием Furiosa-LLM. Это авторегрессионная текстовая модель на архитектуре Mixture-of-Experts (MoE), предназначенная для универсальной генерации текста и задач, требующих углублённого рассуждения, включая рабочие производственные сценарии. Модель принимает и генерирует текст, поддерживает английский язык и работает в формате harmony response format, отделяющем рассуждения от итогового ответа. Доступна настройка глубины рассуждения с помощью параметра reasoning_effort со значениями low, medium и high. Также поддерживается вызов инструментов и функций через OpenAI-совместимый API. Экспертные веса MoE квантизованы в MXFP4, а компоненты attention, router и embeddings сохраняются в более высокой точности. Для запуска на RNGD используется tensor parallelism с 32 вычислительными элементами, что соответствует четырём картам RNGD. Ключевое ограничение — описанная в README сборка ориентирована на Furiosa-LLM и оборудование FuriosaAI RNGD, хотя исходная модель также может работать с другими фреймворками. Модель распространяется по лицензии Apache 2.0.

GreenNode/GreenNode-Embedding-E5-Large-VN-V1 — sentence-transformers-модель на базе XLM-RoBERTa, созданная для преобразования предложений и абзацев в плотные векторы размерности 1024. Архитектура включает трансформер, pooling по CLS-токену и нормализацию; сходство векторов рекомендуется измерять косинусной близостью. Максимальная длина последовательности — 512 токенов. Модель подходит для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации текста. Метаданные указывают на поддержку задач извлечения признаков и оценки сходства предложений, но карточка не называет языки обучения или целевое языковое покрытие, поэтому в описании не предполагается конкретный язык. Репозиторий содержит веса PyTorch и Safetensors; лицензия в предоставленных данных не указана.

harrier-oss-v1-0.6b — разработанная Microsoft мультиязычная модель эмбеддингов текста на архитектуре Qwen3 с 507,9 млн параметров. Она использует pooling по последнему непустому токену и L2-нормализацию, формируя плотные векторы размерности 1024. Максимальная длина контекста — 32 768 токенов. Модель предназначена для поиска и ранжирования текстов, кластеризации, оценки семантического сходства, классификации и поиска параллельных текстов. Для запросов рекомендуется задавать краткую инструкцию, описывающую задачу; для документов инструкция не требуется. Семейство обучалось контрастивным методом на мультиязычных данных, а варианты 270M и 0.6B дополнительно дистиллированы из более крупных моделей эмбеддингов. В README заявлены высокие результаты на Multilingual MTEB v2. Поддерживаются многие языки, включая русский, английский, китайский, японский и ряд европейских и азиатских языков. Модель распространяется в формате Safetensors по лицензии MIT. Качество зависит от формулировки инструкции для запроса; небольшие различия результатов могут возникать из-за версий Transformers и PyTorch.

Hy4 preview — экспериментальная предварительная версия языковой модели Tencent Hy Team для диалогов и генерации текста. В README описана MoE-архитектура: 770 млрд параметров в основной модели, из которых активируются 49 млрд на токен; также упоминается дополнительный слой MTP для ускорения декодирования. Метаданные каталога указывают архитектуру HYV4ForCausalLM и 33,9 млрд параметров, что расходится с числом в README; поэтому размер модели здесь нельзя считать однозначным. Модель предназначена для разработки программного обеспечения, анализа документов и данных, подготовки офисных материалов, прототипирования игр и исследовательских задач. Заявлен контекст длиной до 1 048 576 токенов. В README не указаны поддерживаемые естественные языки. Известные ограничения ранней версии — избыточно долгие рассуждения по сложным задачам и склонность к повторной проверке уже выполненной работы. Модель распространяется по лицензии Apache-2.0.

Карточка модели thetechoddbug/Hy4-preview на Hugging Face совпадает с карточкой tencent/Hy4-preview, поэтому описание составлено по ней. Hy4 preview — языковая модель поколения Hy4, разработанная командой Tencent Hy. README описывает её как модель Mixture-of-Experts с 770 млрд параметров в основной части и 49 млрд активируемых параметров на токен; встроенный слой MTP предназначен для ускорения спекулятивного декодирования. Метаданные Hugging Face указывают архитектуру HYV4ForCausalLM, библиотеку Transformers, 33,9 млрд параметров и контекст до 1 048 576 токенов; эти значения расходятся с характеристиками в README. Модель предназначена для диалоговой генерации текста и сложных задач: разработки и отладки программ, работы с документами и таблицами, анализа данных, создания прототипов игр и решения научных задач. В README также заявлены сценарии подготовки презентаций и финансовых моделей. Указанная в карточке лицензия — Apache-2.0. Это ранняя preview-версия. Известные ограничения — избыточно долгие рассуждения на сложных задачах и склонность чрезмерно перепроверять результат.

Карточка модели cern6959/intfloat_multilingual-e5-base на Hugging Face совпадает с карточкой intfloat/multilingual-e5-base, поэтому описание составлено по ней. Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.

K-EXAONE — мультиязычная языковая модель LG AI Research для диалога, рассуждений, работы с инструментами и обработки длинных текстов. Она использует архитектуру Mixture of Experts: в README указаны 236 млрд параметров всего и 23 млрд активных при инференсе; метаданные каталога приводят 21,3 млрд параметров. Модель поддерживает контекст до 262 144 токенов и языки корейский, английский, испанский, немецкий, японский и вьетнамский. Архитектура включает 128 экспертов, из которых активируются 8, а также механизм Multi-Token Prediction для ускорения генерации. Модель предназначена для ответов на вопросы, рассуждений, многоязычного общения, анализа длинных документов и агентных сценариев с вызовом инструментов. README сообщает о специальной поддержке корейских культурных и исторических контекстов. Модель доступна в формате safetensors и работает с Transformers; для сервинга также описаны vLLM и SGLang. В README лицензия не названа, а метаданные указывают «other», поэтому точные условия использования следует проверять на странице модели. Возможны фактические ошибки, устаревшие ответы, предвзятость и неподходящие генерации; заявленная дата среза знаний — декабрь 2024 года.

Saxo, специалист по данным компании Linkbricks, дообучил Hermes-3-Llama-3.1-70B, чтобы усилить работу модели с японским языком. Модель семейства Llama с архитектурой dense содержит 69,5 млрд параметров и принимает текст. Для обучения использовали продолженное предобучение на японском корпусе новостей и Википедии, затем SFT и DPO; токенизатор оставили от базовой модели без расширения словаря. Модель предназначена для диалогов, генерации и редактирования текстов, анализа отзывов и публикаций в социальных сетях, программирования, математических и логических задач. Она обучалась на японских, корейских, китайских и английских данных, поддерживает контекст до 131 072 токенов и интерфейс вызова функций и инструментов. Доступна по лицензии Apache-2.0.

llama-embed-nemotron-8b — мультиязычная модель текстовых эмбеддингов, разработанная NVIDIA для поиска и сопоставления текстов. Она предназначена для исследовательских систем RAG, семантического поиска, ранжирования и классификации текстовых данных, включая поиск между языками. Модель основана на архитектуре Llama 3.1 8B с двунаправленным вниманием и содержит около 7,5 млрд параметров. Она независимо кодирует запросы и документы и выдаёт для каждого текста вектор размерности 4096. Контекст составляет до 131 072 токенов. Для запросов при поиске рекомендуется добавлять инструкцию по шаблону «Instruct: …\nQuery: …», а документы подавать без специального оформления. Модель показала высокие результаты на мультиязычном бенчмарке MTEB по состоянию на октябрь 2025 года. Она поддерживает извлечение признаков и оценку сходства предложений; для запуска ориентирована на GPU и совместима с инструментами NVIDIA. Лицензия ограничивает использование некоммерческими и исследовательскими целями.

RedHatAI/Meta-Llama-3.1-70B-Instruct-quantized.w4a16 — квантованная версия Meta-Llama-3.1-70B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая autoregressive-модель для генерации текста и ассистентского диалога, предназначенная прежде всего для коммерческого и исследовательского использования на английском языке. Возможные сценарии включают чат-ассистентов, ответы на инструкции, генерацию текста, решение математических задач и помощь в программировании. Модель имеет архитектуру Meta-Llama-3 и содержит 70 млрд параметров в исходной версии. Веса линейных операторов в трансформерных блоках квантованы в формат INT4 по схеме W4A16 с симметричной групповой квантизацией для групп по 128 параметров; для квантования применён алгоритм GPTQ. Это сокращает объём хранения и требования к памяти GPU примерно на 75% по сравнению с 16-битной версией. Модель работает с текстом на входе и выходе, а в README заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, хотя официальное назначение ограничено английским. Указанная длина контекста при развёртывании — до 8192 токенов. К сильным сторонам относятся существенное снижение требований к памяти и высокая близость качества к неквантованной модели: заявлены результаты восстановления 100% для Arena-Hard, 99,4% для OpenLLM v1, 97,4% для OpenLLM v2, 101,0% для HumanEval pass@1 и 99,2% для HumanEval+ pass@1. Ограничения включают возможную потерю точности из-за INT4-квантования, ориентацию на английский язык и отсутствие мультимодальности. Для эффективного развёртывания рекомендуется backend vLLM, включая режим OpenAI-compatible serving. Модель распространяется по лицензии Llama3.1; применяются ограничения исходной лицензии, включая запрет использования с нарушением законодательства.

aifeifei798/Meta-Llama-3.1-8B-Instruct — мультиязычная инструктивная языковая модель, разработанная Meta на архитектуре Llama 3.1. Это авторегрессионный трансформер с 7,5 млрд параметров и механизмом Grouped-Query Attention; репозиторий содержит веса в формате safetensors. Модель принимает и генерирует текст, настроена на диалог с помощью дообучения по инструкциям и обучения с обратной связью от людей. Контекстное окно — до 131 072 токенов. Модель предназначена для диалоговых помощников, ответов на запросы и других задач генерации текста. В карточке заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; метаданные также включают китайский, корейский и японский. Возможен интерфейс вызова инструментов, но его интеграцию и безопасность должен обеспечивать разработчик приложения. Условия использования определяет пользовательская лицензия Meta Llama 3.1 Community License; действуют её ограничения и Acceptable Use Policy.

Meta-Llama-3.1-8B-Instruct-quantized.w8a8 — языковая модель для генерации текста и ассистентского диалога, созданная Neural Magic на основе Meta-Llama-3.1-8B-Instruct от Meta. Модель поддерживает текстовый ввод и вывод, предназначена для коммерческого и исследовательского использования в многоязычных сценариях. В заявленной языковой поддержке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Архитектура — LlamaForCausalLM, размер базовой модели — 8 млрд параметров. Ключевая особенность — INT8-квантизация весов и активаций линейных слоёв Transformer-блоков с использованием GPTQ и библиотеки llm-compressor. Это примерно вдвое снижает требования к памяти и размер модели на диске, а также может примерно вдвое повысить пропускную способность матричных операций. По приведённым оценкам, модель сохраняет качество, близкое к неквантизированной версии: результаты составляют 105,4% для Arena-Hard, 100,3% для OpenLLM v1, 101,5% для OpenLLM v2, 99,7% для HumanEval pass@1 и 98,8% для HumanEval+ pass@1 относительно соответствующих базовых показателей. Для развёртывания рекомендуется vLLM; ограничения включают возможные последствия потери точности из-за квантизации и запрет использования с нарушением применимого законодательства. Лицензия — Llama 3.1.

jfarray/Model_paraphrase-multilingual-MiniLM-L12-v2_1_Epochs — модель Sentence-Transformers на архитектуре BERT, преобразующая предложения и абзацы в плотные векторы размерности 384. Она предназначена для семантического поиска, кластеризации и сравнения текстов по смыслу. Модель обучалась с функцией потерь CosineSimilarityLoss; для получения векторов можно использовать библиотеку sentence-transformers или Transformers с соответствующей операцией pooling. В репозитории указано 124,3 млн параметров и контекст до 512 токенов. Метка multilingual в названии указывает на многоязычную основу, однако конкретный список поддерживаемых языков в доступных данных не приведён. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

Карточка модели AbdullahMoQH/multilingual-e5-base на Hugging Face совпадает с карточкой intfloat/multilingual-e5-base, поэтому описание составлено по ней. Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.

Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.

Карточка модели hajkis-glami/multilingual-e5-base-embeddings на Hugging Face совпадает с карточкой intfloat/multilingual-e5-base, поэтому описание составлено по ней. Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.

nomic-embed-text-v1.5 — текстовая модель эмбеддингов компании Nomic AI на архитектуре NomicBert, содержащая 136,7 млн параметров. Она преобразует тексты в векторы для семантического поиска, индексации документов для RAG, кластеризации, поиска дубликатов и подготовки признаков для классификации. Для выбора режима перед текстом требуется указать инструкционный префикс, например search_document или search_query. Модель использует Matryoshka Representation Learning: размерность вектора можно уменьшать, снижая потери качества; в карточке приведены результаты для размерностей 768 и 512. README сообщает о последовательностях до 8192 токенов, тогда как метаданные указывают базовый размер контекста 2048 токенов. Доступны форматы safetensors и ONNX, лицензия Apache-2.0. Для совместных мультимодальных эмбеддингов README указывает на отдельную модель nomic-embed-vision-v1.5; сама эта модель кодирует текст.

paraphrase-albert-base-v2 — модель Sentence Transformers на архитектуре ALBERT, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768, предназначенные для сравнения семантической близости, кластеризации и семантического поиска. Для обработки текстов использует библиотеку sentence-transformers; также доступны форматы PyTorch, TensorFlow, ONNX и OpenVINO. Модель подходит для поиска похожих фраз и документов, группировки текстов по смыслу и построения эмбеддингов для поиска. Размер модели — 136,3 млн параметров, максимальная длина входа — 512 токенов. Лицензия Apache-2.0. В README не заявлена поддержка конкретных языков, поэтому языки и основной язык не указаны.

paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.

paraphrase-TinyBERT-L6-v2 — модель sentence-transformers, обученная командой sentence-transformers для преобразования предложений и абзацев в плотные векторы размерности 768. Она основана на архитектуре BERT и предназначена для получения эмбеддингов, которые можно сравнивать по смыслу. Модель подходит для семантического поиска, кластеризации текстов и оценки сходства предложений. Для работы с ней можно использовать библиотеку Sentence-Transformers; при использовании Transformers необходимо применить подходящую операцию pooling к контекстным представлениям токенов. Репозиторий содержит варианты в форматах PyTorch, safetensors, TensorFlow, ONNX и OpenVINO. Максимальная длина контекста — 512 токенов. Модель распространяется по лицензии Apache-2.0.