I.3Извлечение и структурирование данных

rjnClarke/BAAI-bge-large-en-v1.5-fine-tuned — англоязычная модель Sentence Transformers, дообученная на базе BAAI/bge-large-en-v1.5. Она кодирует предложения и абзацы в плотные векторы размерности 1024 для сравнения семантической близости и поиска по текстам. Архитектура включает BERT, пулинг CLS-токена и нормализацию векторов; сходство можно оценивать косинусной мерой. Модель рассчитана на семантический поиск, поиск перефразировок, кластеризацию и классификацию текста. Максимальная длина последовательности — 512 токенов. В карточке приведена оценка на задаче информационного поиска, но её результаты зависят от набора данных и не гарантируют качество на других корпусах. Лицензия — Apache-2.0.

Это Sentence Transformer от luanafelbarros, дообученный на основе многоязычного энкодера google-bert/bert-base-multilingual-cased. Модель кодирует предложения и абзацы в плотные векторы размерностью 768 и сравнивает их косинусным сходством. В архитектуре используются BERT и усреднение токенных представлений; README указывает максимальную длину последовательности 128 токенов, а метаданные — контекст до 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и получения признаков для классификации. Данные обучения содержат пары английских и неанглийских запросов, включая русский и другие языки; это указывает на многоязычное применение, в том числе межъязыковое сопоставление. Модель распространяется в формате safetensors; лицензия в предоставленных данных не указана.

Карточка модели LDCC/bge-m3 на Hugging Face совпадает с карточкой BAAI/bge-m3, поэтому описание составлено по ней. BGE-M3 — многоязычная модель эмбеддингов для поиска, разработанная BAAI и основанная на архитектуре XLM-RoBERTa. Она создаёт плотные эмбеддинги, разреженные лексические представления и многовекторные представления текста для задач извлечения и сопоставления.

Карточка модели megavn/bge-m3-embeddings на Hugging Face совпадает с карточкой BAAI/bge-m3, поэтому описание составлено по ней. BGE-M3 — многоязычная модель эмбеддингов для поиска, разработанная BAAI и основанная на архитектуре XLM-RoBERTa. Она создаёт плотные эмбеддинги, разреженные лексические представления и многовекторные представления текста для задач извлечения и сопоставления.

Citaman/command-r-11-layer — объединённая языковая модель на архитектуре Cohere, опубликованная Citaman. По карточке, модель получена методом SLERP с помощью mergekit из слоёв Citaman/command-r-12-layer, а метаданные классифицируют её как дообучение этой базовой модели. Модель содержит 11,1 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие; поддерживает интерфейс вызова инструментов. Модель подходит для чат-ботов, генерации ответов и систем, где языковая модель взаимодействует с инструментами. Контекстное окно составляет 8192 токена. В карточке указана архитектура CohereForCausalLM и формат safetensors. Лицензия и целевые языки в предоставленных данных не указаны.

DFlash-Qwen3.5-27B-Uncensored-i1-GGUF — GGUF-квантизированная версия модели DFlash-Qwen3.5-27B-Uncensored, разработанной AEON-7 и квантизированной mradermacher. Модель относится к семейству Qwen3.5 и предназначена для диалоговой генерации текста, рассуждений, программирования, агентских сценариев, вызова функций и работы с инструментами. Доступны варианты для локального запуска через совместимое с GGUF программное обеспечение, включая экосистемы с поддержкой vLLM и llama.cpp-подобных движков. Заявлены размер 27B параметров, гибридная архитектура с hybrid attention, linear attention и gated deltanet, поддержка длинного контекста, текстовой и визуальной информации. Это vision-language модель: для обработки изображений могут потребоваться отдельные mmproj-файлы. В README указан английский язык, однако точный перечень поддерживаемых языков и максимальная длина контекста не приведены. Доступно множество квантизаций от очень компактных IQ1 до более качественных Q5 и Q6; варианты различаются размером, скоростью и качеством, при этом README рекомендует i1-Q4_K_M как быстрый сбалансированный вариант. К сильным сторонам относятся мультимодальность, возможности для программирования, рассуждений, tool calling и локального развертывания с выбором размера файла. Ограничения связаны с потерями качества при низкобитных квантизациях, отсутствием в README количественных бенчмарков и точных требований к памяти, а также с тем, что заявленный uncensored-профиль может означать ослабленные ограничения на содержание. Модель распространяется по лицензии Apache-2.0.

kardosdrur/dfm-sentence-encoder-large-v1 — sentence-transformers модель на архитектуре BERT, предназначенная для преобразования предложений и абзацев в плотные векторы размерностью 1024. Её можно применять для поиска семантически близких текстов, кластеризации и других сценариев сравнения текстов по смыслу. Модель содержит 453,9 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт векторные представления. При обучении использовалась функция потерь MultipleNegativesRankingLoss с косинусным сходством. В карточке нет сведений о целевых языках, поэтому языковую специализацию определить нельзя. Для использования доступны PyTorch и библиотеки Sentence-Transformers или Hugging Face Transformers; при работе через Transformers необходимо применить соответствующую операцию pooling. Лицензия в предоставленных данных не указана.

E5-base — англоязычная модель текстовых эмбеддингов, разработанная Liang Wang, Nan Yang и соавторами. Это плотная модель на архитектуре BERT с 12 слоями, размерностью эмбеддинга 768 и 136,7 млн параметров; она принимает текст и выдаёт векторные представления. Модель обучена методом контрастивного предобучения со слабым контролем и предназначена для сравнения смысловой близости текстов и поиска по текстовым коллекциям. E5-base подходит для семантического поиска, извлечения релевантных фрагментов для систем вопросов и ответов, поиска перефразировок, кластеризации и использования эмбеддингов как признаков для классификации. Для корректной работы следует добавлять префиксы «query: » и «passage: » в соответствии с типом задачи. В репозитории указаны веса PyTorch и safetensors; длина контекста — до 512 токенов. Модель работает только с английским текстом, а более длинные входы обрезаются до 512 токенов. Авторы рекомендуют перейти на e5-base-v2, который, по их сообщению, показывает лучшие результаты при том же способе использования. Лицензия — MIT.

E5-base-v2 — англоязычная модель эмбеддингов текста, разработанная Liang Wang, Nan Yang и соавторами. Она обучена методом контрастивного предобучения со слабой супервизией и основана на архитектуре BERT: 12 слоёв, размерность эмбеддинга 768, около 136,7 млн параметров. Модель принимает текст и выдаёт векторные представления для сравнения предложений и поиска по смыслу. Модель подходит для семантического сходства, поиска документов и пассажей, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Для асимметричного поиска рекомендуется добавлять к запросам префикс «query: », а к документам — «passage: »; для сходства и других симметричных задач используется префикс «query: ». Контекст ограничен 512 токенами, длинные тексты обрезаются; модель предназначена только для английского языка. Лицензия — MIT.

E5-large-v2 — англоязычная модель текстовых эмбеддингов, разработанная Liang Wang, Nan Yang, Xiaolong Huang и соавторами. Она обучена методом контрастивного предобучения со слабой супервизией и основана на архитектуре BERT: 24 слоя и размерность эмбеддинга 1024. Общее число параметров — 433,9 млн, максимальная длина входа — 512 токенов. Модель преобразует тексты в векторы для семантического поиска, сопоставления запросов и документов, оценки сходства предложений, поиска перефразировок, кластеризации и использования эмбеддингов как признаков для классификации. Для асимметричного поиска рекомендуется добавлять к запросу префикс «query: », а к документу — «passage: »; для симметричного сравнения обычно используют «query: » перед обоими текстами. Модель предназначена только для английских текстов; более длинные входы обрезаются до 512 токенов. При использовании косинусного сходства важнее относительный порядок оценок, чем их абсолютные значения. Расхождения в версиях PyTorch и Transformers могут вызывать небольшие различия результатов. Лицензия — MIT.

E5-small-trm — компактная версия модели multilingual-e5-small, опубликованная пользователем clips и созданная с помощью vocabtrimmer: словарь исходной модели сокращён с 250 037 до 50 002 токенов, а число параметров в карточке указано как 47,5 млн. Это модель Sentence Transformers на архитектуре BERT, предназначенная для получения текстовых эмбеддингов, семантического поиска и сравнения предложений; карточка также указывает поддержку sentence-similarity. README описывает настройку словаря на нидерландском поднаборе C4 и пример кодирования запросов и фрагментов MS MARCO. Модель принимает текст и выдаёт векторы; максимальный контекст — 512 токенов. Лицензия — MIT. Сокращение словаря ориентировано на нидерландский язык, поэтому качество для других языков может отличаться от исходной многоязычной модели.

kimquynh/finetuned_sbert_8 — дообученная модель Sentence Transformers на базе sentence-transformers/all-mpnet-base-v2, разработанная автором репозитория. Она преобразует предложения и абзацы на естественном языке в плотные текстовые векторы размерности 768 и подходит для поиска по смыслу и сравнения текстов по косинусному сходству. Архитектура включает MPNet, усредняющий pooling и нормализацию; размер модели — 136,7 млн параметров. В README указан предел последовательности 384 токена, а метаданные сообщают о native context в 514 токенов. Модель обучена на 6 241 парах текстов со значениями сходства; в README приведены результаты проверки на задачах семантического сходства и бинарной классификации. Она принимает текст и выдаёт эмбеддинги, которые можно использовать для извлечения релевантных документов, ранжирования кандидатов и кластеризации. Языки обучающих данных и основного применения не установлены по предоставленным сведениям. Лицензия в доступных данных не указана.

Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced — мультимодальная языковая модель в формате GGUF, созданная HauhauCS на основе Gemma 4 12B от Google DeepMind. Это вариант с удалёнными ограничениями на отказы, предназначенный для агентного программирования, рассуждений, творческого письма, ролевого общения и диалоговых задач, где важны следование инструкциям и надёжность ответов. Модель имеет плотную архитектуру размером 12B параметров и поддерживает контекст до 256K токенов. Основной файл использует 4-битную QAT-квантизацию Q4_K_M и занимает около 6,9 ГБ; для обработки изображений требуется отдельный mmproj-файл размером 168 МБ. Заявлена поддержка английского языка, а визуальный ввод реализуется через компонент mmproj. Для ускорения генерации доступен MTP-модуль спекулятивного декодирования, который, по данным автора, даёт примерно 60% прироста скорости при использовании llama.cpp без изменения результата. Сильные стороны модели — большой контекст, поддержка изображений, ориентация на кодирование и рассуждения, а также совместимость с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-совместимыми средами. Заявление об отсутствии отказов основано на тестах автора и не является абсолютным: для некоторых пограничных запросов возможны отказы с первой попытки. Модель рекомендована для запуска на одной GPU; автор отмечает возможные сбои Gemma 4 в LM Studio при режиме tensor-split. Распространяется по лицензии Gemma.

GeorgeCU/Giga-Embeddings-instruct-480M-0826-ft — дообученная модель текстовых эмбеддингов, созданная на основе ai-sage/Giga-Embeddings-instruct-480M-0826. Она предназначена для преобразования текстов в векторы, которые можно применять для семантического поиска, сравнения сходства предложений, классификации и кластеризации. Модель использует плотную двунаправленную архитектуру Qwen3 и библиотеку Sentence Transformers. В ней около 483,7 млн параметров, она принимает текст с контекстом до 8192 токенов и выдаёт эмбеддинги. В карточке указан русский язык; базовая модель описана как двуязычная, но второй язык для этой версии отдельно не подтверждён. Для загрузки в Sentence Transformers README показывает параметр trust_remote_code=True и нормализацию эмбеддингов. Модель распространяется по лицензии other; конкретные условия лицензии в предоставленных данных не раскрыты.

GLM-5.3-Flash — разработанная Z.ai мультимодальная модель семейства GLM-5 для диалогов, анализа изображений, программирования и агентных сценариев. Это новая модель с гибридной архитектурой, сочетающей разреженное и линейное внимание; в README указаны 320 млрд общих параметров и 18 млрд активных параметров. Репозиторий содержит веса в формате safetensors FP8, а метаданные указывают библиотеку Transformers и лицензию MIT. Модель предназначена для ответов на вопросы по тексту и изображениям, помощи с кодом и выполнения многошаговых задач с инструментами. В README описано управление бюджетом рассуждений через reasoning_effort; также заявлены улучшения эффективности и работы с длинным контекстом. Указанные в карточке результаты контекстных оценок не подтверждают максимальную длину контекста для всех способов запуска. Языковые метаданные карточки перечисляют английский и китайский; независимых сведений о качестве на других языках нет.

onnx-community/harrier-oss-v1-0.6b-ONNX — ONNX-версия мультиязычной модели для получения текстовых эмбеддингов, разработанной Microsoft. Модель предназначена для поиска и извлечения релевантных документов, кластеризации, оценки семантического сходства, классификации, поиска параллельных предложений и переранжирования. Она поддерживает широкий набор языков, включая русский, английский, китайский, японский, корейский, арабский, немецкий, французский и многие другие. Модель построена на decoder-only архитектуре и использует pooling по последнему непустому токену с последующей L2-нормализацией. Версия имеет около 0,6 млрд параметров, размерность эмбеддинга 1024 и поддерживает контекст до 32 768 токенов. Обучение выполнялось с использованием контрастивного обучения на крупной смеси мультиязычных наборов данных; для вариантов на 270 млн и 0,6 млрд параметров дополнительно применялась дистилляция знаний от более крупных моделей. Заявленный результат на Multilingual MTEB v2 составляет 69,0. Сильными сторонами являются широкий охват языков, большой контекст, универсальность для задач семантического поиска и сопоставления текстов, а также возможность запуска через Transformers.js, в том числе в браузере с WebGPU и квантованием. Для запросов рекомендуется добавлять однострочную инструкцию с описанием задачи, тогда как для документов инструкции не требуются; их отсутствие для запросов может снижать качество. Модель предназначена для работы с текстом и не поддерживает другие модальности. Распространяется по лицензии MIT.

Huihui-Qwen3.6-35B-A3B-abliterated-NVFP4 — квантованная версия модели huihui-ai/Huihui-Qwen3.6-35B-A3B, подготовленная пользователем YuYu1015. Модель предназначена для генерации текста, диалоговых и рассуждающих сценариев, а также использования с вызовом инструментов. Она поддерживает режим рассуждений, tool calling через парсер qwen3_xml и спекулятивное декодирование MTP; совместимость с DFlash также заявлена. В основе лежит MoE-архитектура с 35 млрд параметров в общей сложности и примерно 3 млрд активных параметров: 256 экспертов, 8 маршрутизируемых и 1 общий эксперт, в сочетании с GDN/Mamba и механизмом внимания. Поддерживается контекст до 262 144 токенов, языки — английский и китайский. Модель использует NVFP4-квантизацию W4A4, занимает около 25,1 ГБ вместо примерно 71,9 ГБ в исходном формате BF16 и оптимизирована для NVIDIA DGX Spark с GPU GB10 SM121. Основные преимущества — существенно сниженные требования к памяти, сохранённые MTP-веса в BF16 и специальная смешанная калибровка на диалоговых и рассуждающих данных для восстановления точности. Ограничения включают зависимость от совместимых версий vLLM, FlashInfer и CUDA, а также необходимость подходящего оборудования и программного стека для заявленного режима W4A4. После abliteration распределение активаций отличается от исходного, поэтому эффективность DFlash снижается; для этой версии рекомендуется MTP с одним спекулятивным токеном. Модель распространяется по лицензии Apache-2.0.

deeperbreath/knowlog-bert — модель семейства BERT, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Модель содержит 138 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт векторные представления. При обучении использовались функция потерь ранжирования с множественными негативными примерами и косинусным сходством, а также TokenClassificationLoss. В карточке не указаны поддерживаемые естественные языки или специализированные прикладные области. Модель опубликована в формате PyTorch; сведения о лицензии отсутствуют в предоставленных данных.

Карточка модели crusoeai/Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

Карточка модели RoyYao233/Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

LLaMa-3.1-Instruct-13B — языковая модель, созданная сообществом mergekit-community с помощью mergekit из unsloth/Meta-Llama-3.1-8B-Instruct. Применён метод passthrough: в итоговую модель включены указанные диапазоны слоёв исходной модели. Это плотная архитектура Llama для генерации текста и диалогов; размер составляет 12,5 млрд параметров, нативный контекст — до 131 072 токенов. Модель подходит для ответов на вопросы, диалоговых сценариев и генерации текста; метаданные также указывают интерфейс вызова инструментов. В репозитории используются веса safetensors, библиотека — Transformers. В карточке указана лицензия исходной модели Llama 3.1: используйте модель в соответствии с её условиями.

unsloth/Meta-Llama-3.1-8B-Instruct — инструкционно настроенная плотная авторегрессионная языковая модель семейства Llama, опубликованная Unsloth на основе Meta-Llama-3.1-8B-Instruct. Она предназначена для диалогов, генерации текста и выполнения пользовательских инструкций; каталог также отмечает интерфейс вызова инструментов. В репозитории указаны 7,5 млрд параметров, формат safetensors и библиотека Transformers. Заявленная длина контекста — 131 072 токена. Модель подходит для создания чат-ботов, генерации и продолжения текста, а также приложений, использующих интерфейс вызова инструментов. В метаданных указан английский язык; README посвящён настройке Llama 3.1 и не сообщает результатов оценки качества именно этой версии. Лицензия — llama3.1; условия использования следует сверять с лицензией семейства Llama 3.1.

Карточка модели vy22215/Meta-Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

Это квантованная версия Meta-Llama-3.1-8B-Instruct, разработанной Meta AI и подготовленной сообществом Hugging Quants. Модель предназначена для генерации текста и ведения многоязычных диалогов, включая работу через Transformers, AutoGPTQ и Text Generation Inference. Она подходит для чат-ботов, ассистентов и других сценариев текстового взаимодействия. Модель содержит 8 миллиардов параметров и работает только с текстом на входе и выходе. Исходная модель поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В данном варианте веса преобразованы из FP16 в INT4 с использованием GPTQ, zero-point quantization и group size 128, что снижает требования к памяти: для загрузки контрольной точки требуется около 4 ГиБ VRAM без учёта KV-кэша и CUDA-графов. К преимуществам относятся уменьшенное потребление видеопамяти и возможность локального запуска с поддержкой распространённых инструментов инференса. Ограничения связаны с потерями, возможными при 4-битном квантовании, отсутствием мультимодальных возможностей и необходимостью дополнительной памяти для KV-кэша и генерации. Модель распространяется по лицензии Llama 3.1; условия исходной лицензии Meta необходимо учитывать при использовании.

MaziyarPanahi/Mistral-Large-Instruct-2407-GGUF — это набор файлов модели в формате GGUF для инструкционной языковой модели Mistral-Large-Instruct-2407, разработанной компанией Mistral AI. Репозиторий содержит квантизированные варианты исходной модели, включая уровни 2-, 3-, 4-, 5-, 6- и 8-битной квантизации. Модель предназначена для генерации текста и выполнения задач по инструкциям, а формат GGUF ориентирован на локальный запуск и эффективное использование ресурсов. Файлы совместимы с llama.cpp и рядом связанных инструментов и приложений, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие. Поддерживаются сценарии локального диалога, генерации текста и интеграции через программные библиотеки или API-совместимые серверы. Ключевые характеристики исходной архитектуры, количество параметров, поддерживаемые языки, размер контекста и мультимодальные возможности в README не указаны. Сильными сторонами являются несколько вариантов квантизации и широкая совместимость с экосистемой GGUF; при этом степень потери качества и требования к памяти зависят от выбранного уровня квантизации. Лицензия в представленном описании не указана.

schaitanya/modernbert-embed-base-transcript-documents-v1 — англоязычная модель Sentence Transformers, дообученная на парах запросов и релевантных документов, включая транскрипты. Она кодирует предложения и абзацы в нормализованные плотные векторы размерностью 768 для семантического поиска, сравнения текстов и извлечения релевантных документов; сходство оценивается косинусной мерой. В основе лежит ModernBERT с архитектурой среднего пулинга токенов и контекстом до 8192 токенов по метаданным; карточка модели указывает максимальную длину последовательности 1024 токена. Модель содержит 149 млн параметров и распространяется в формате safetensors. Модель подходит для поиска по транскриптам и документам, сопоставления коротких запросов с длинными текстами, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. В обучающей выборке — 6116 пар «запрос — положительный документ»; приведённые в карточке метрики поиска показывают cosine_accuracy@1 0,5191, @3 0,7441 и @5 0,8. Поддерживается английский язык. Лицензия — Apache-2.0.

Карточка модели thuan220401/multilingual-e5-large на Hugging Face совпадает с карточкой intfloat/multilingual-e5-large, поэтому описание составлено по ней. Multilingual-E5-large — многоязычная модель эмбеддингов текста, опубликованная intfloat; её технический отчёт подготовили Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder и Furu Wei. Модель основана на XLM-RoBERTa-large и имеет 24 слоя с размерностью эмбеддинга 1024. Она принимает текст и выдаёт векторные представления для поиска и сравнения текстов. Модель предназначена для межъязыкового и многоязычного поиска, ранжирования passage по запросу, оценки семантического сходства, поиска перефразировок и использования эмбеддингов в кластеризации или классификации. При обучении текстовые роли задаются префиксами `query:` и `passage:`; их следует выбирать в соответствии со сценарием, иначе качество может снизиться. Поддерживаются 100 языков XLM-RoBERTa, включая русский, однако для языков с небольшим объёмом ресурсов качество может быть ниже. Вход ограничен 512 токенами, а более длинный текст обрезается. Лицензия — MIT.

Карточка модели aiacademyvn/multilingual-e5-large-instruct на Hugging Face совпадает с карточкой Nextcloud-AI/multilingual-e5-large-instruct, поэтому описание составлено по ней. Nextcloud-AI/multilingual-e5-large-instruct — модель текстовых эмбеддингов семейства E5, основанная на XLM-RoBERTa-large. Разработчики исходной модели — Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder и Furu Wei; репозиторий Nextcloud-AI содержит её копию. Модель имеет 24 слоя и размерность эмбеддинга 1024, насчитывает 658,7 млн параметров и принимает текст длиной до 514 токенов по метаданным; README предупреждает об усечении длинных текстов до 512 токенов. Она предназначена для создания векторных представлений текста и поддерживает извлечение признаков и сравнение предложений. Подходит для поиска документов по смыслу, ранжирования пассажей и оценки семантического сходства. При кодировании запроса рекомендуется добавлять краткую инструкцию, описывающую задачу; к документам такую инструкцию добавлять не требуется. Модель поддерживает 100 языков XLM-RoBERTa, хотя качество может снижаться для языков с малым объёмом обучающих данных. Репозиторий предоставляет веса в форматах safetensors и ONNX. Лицензия — MIT. README указывает, что результаты могут немного отличаться в зависимости от версий Transformers и PyTorch, а абсолютные значения косинусного сходства не следует трактовать как универсальную оценку: для поиска важнее относительный порядок результатов.

Карточка модели Hisham480/multilingual-e5-small на Hugging Face совпадает с карточкой intfloat/multilingual-e5-small, поэтому описание составлено по ней. Multilingual-E5-small — модель текстовых эмбеддингов, разработанная авторами технического отчёта Multilingual E5. Это компактная 12-слойная модель архитектуры BERT с 124,3 млн параметров и размерностью эмбеддингов 384; она инициализирована из microsoft/Multilingual-MiniLM-L12-H384 и дополнительно обучена на смеси многоязычных наборов данных. Модель преобразует тексты в векторы для поиска и сравнения по смыслу, включая межъязыковой поиск, поиск фрагментов для систем вопросов и ответов, семантическое сходство, подбор перефразировок и кластеризацию. Для разных типов текста следует использовать префиксы «query: » и «passage: » согласно сценарию; без них качество может снизиться. Поддерживаются 100 языков, однако качество для языков с малым количеством ресурсов может быть ниже. Контекст ограничен 512 токенами, длинные тексты обрезаются. В репозитории доступны форматы PyTorch, SafeTensors, ONNX и OpenVINO. Лицензия — MIT.

Карточка модели nleeson/multilingual-e5-small на Hugging Face совпадает с карточкой intfloat/multilingual-e5-small, поэтому описание составлено по ней. Multilingual-E5-small — модель текстовых эмбеддингов, разработанная авторами технического отчёта Multilingual E5. Это компактная 12-слойная модель архитектуры BERT с 124,3 млн параметров и размерностью эмбеддингов 384; она инициализирована из microsoft/Multilingual-MiniLM-L12-H384 и дополнительно обучена на смеси многоязычных наборов данных. Модель преобразует тексты в векторы для поиска и сравнения по смыслу, включая межъязыковой поиск, поиск фрагментов для систем вопросов и ответов, семантическое сходство, подбор перефразировок и кластеризацию. Для разных типов текста следует использовать префиксы «query: » и «passage: » согласно сценарию; без них качество может снизиться. Поддерживаются 100 языков, однако качество для языков с малым количеством ресурсов может быть ниже. Контекст ограничен 512 токенами, длинные тексты обрезаются. В репозитории доступны форматы PyTorch, SafeTensors, ONNX и OpenVINO. Лицензия — MIT.