II.6Документация и сопровождение разработки
В разделе собраны самостоятельные задачи, где AI помогает поддерживать понятную техническую документацию и ускорять передачу знаний. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
38 015 моделейArthurZ/Ilama-3.2-1B — модель для извлечения признаков из текста, опубликованная на Hugging Face и предназначенная для использования с библиотекой Transformers. Модель имеет около 1,2 млрд параметров и поддерживает контекст длиной до 131 072 токенов. Основной сценарий применения — преобразование текстовых последовательностей в векторные представления для последующего семантического поиска, кластеризации, сравнения текстов, классификации и построения систем RAG. В метаданных модель также отмечена как совместимая с text-embeddings-inference и использующая формат Safetensors. В README отсутствуют сведения о разработчике, лицензии, языках, архитектурных деталях, обучающих данных, результатах оценки и конкретных ограничениях качества. Поэтому пригодность модели для определённых языков и прикладных областей следует проверять самостоятельно перед использованием.
jina-embeddings-v5-omni-small-retrieval-GGUF — мультимодальная retrieval-ориентированная модель эмбеддингов от Jina AI. Это квантизированная GGUF-сборка модели jinaai/jina-embeddings-v5-omni-small-retrieval для использования с llama.cpp. Модель преобразует текст, изображения, видео и аудио в векторы размерностью 1024 и помещает их в общее векторное пространство, совместимое с эталонной PyTorch-версией и текстовой моделью jina-embeddings-v5-text-small-retrieval. Благодаря этому документы можно индексировать одним типом данных, а выполнять поиск — по запросам любой поддерживаемой модальности. Модель предназначена прежде всего для мультимодального семантического поиска и retrieval-сценариев, включая поиск по тексту, изображениям, видео и аудио, а также комбинированные запросы. Она содержит около 1,56 млрд параметров в текстовой, визуальной и аудиочасти, поддерживает контекст до 32768 токенов и использует pooling по последнему токену. Доступны Matryoshka-размерности эмбеддингов 32, 64, 128, 256, 512, 768 и 1024, что позволяет уменьшать размер векторов для экономии памяти и ускорения поиска. Поддерживаются распространённые форматы изображений, видео, аудио и PDF-документы. К сильным сторонам относятся единое пространство для разных модальностей, возможность кросс-модального поиска без переиндексации, большой контекст и несколько уровней размерности векторов. Ограничения связаны с тем, что вариант предназначен для retrieval-задач, а не для генерации текста, и требует llama.cpp со специальными мультимодальными патчами Jina AI, которые, согласно README, ещё не вошли в upstream-версию. Текстовая часть доступна в F16 и нескольких квантизированных вариантах, тогда как мультимодальные проекторы поставляются в F16. Лицензия — CC BY-NC 4.0, допускающая использование с обязательным указанием авторства и ограничивающая коммерческое применение.
Карточка модели avsolatorio/MixEmbedFinetune-base-20240122145230-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.
Карточка модели avsolatorio/MixEmbedFinetune-base-20240123213810-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.
Карточка модели avsolatorio/MixEmbedFinetune-base-20240124231910-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.
MrBERT — многоязычная модель-энкодер от BSC-LT на архитектуре ModernBERT, предварительно обученная с нуля на корпусе объёмом 6,1 трлн токенов. Она использует двунаправленный masked language modeling и предназначена для получения контекстных представлений текста на 35 европейских языках и кода. Модель содержит около 307 млн параметров, использует токенизатор SentencePiece с словарём на 256 тысяч токенов и поддерживает контекст до 8192 токенов. MrBERT подходит как основа для последующей настройки на поиск и извлечение информации, классификацию, семантический поиск и кросс-языковые задачи понимания текста. В карточке приведены оценки на XTREME и других многоязычных тестах, включая XNLI, PAWS-X и UDPOS; результаты различаются по задачам и языкам. Для получения эмбеддингов или прикладного предсказания потребуется соответствующая downstream-настройка. Модель распространяется под лицензией Apache-2.0. Хотя в обучающем корпусе присутствуют код и 35 языков, основная доля данных — английская (67,4%); результаты и качество могут быть неодинаковыми для разных языков и задач.
api19750904/newspainclass — модель семейства RoBERTa, опубликованная в формате PyTorch и предназначенная для преобразования предложений и абзацев в плотные векторы размерностью 768. Её можно применять для поиска семантически близких текстов, кластеризации и оценки сходства предложений; README описывает обучение с CosineSimilarityLoss в рамках Sentence-Transformers. Модель принимает текст и выдаёт векторные представления. Метаданные указывают 151,8 млн параметров и контекст до 514 токенов. Карточка не сообщает, какие языки и тематические области охватывает модель, поэтому её языковую специализацию определить нельзя. Лицензия в предоставленных данных не указана.
Xenova/nomic-embed-text-v1 — это версия модели эмбеддингов nomic-ai/nomic-embed-text-v1, подготовленная с ONNX-весами для совместимости с библиотекой Transformers.js. Репозиторий Xenova предназначен для запуска модели в JavaScript-окружении, включая веб-сценарии и другие среды, поддерживающие ONNX и Transformers.js. Модель предназначена для преобразования текста в числовые векторные представления с помощью задачи feature extraction. Такие эмбеддинги могут использоваться для семантического поиска, сопоставления текстов, кластеризации и других задач обработки естественного языка, где требуется сравнивать смысловое сходство текстовых фрагментов. README подтверждает поддержку текстового ввода, но не содержит сведений о точном размере модели или векторов, архитектуре, максимальной длине контекста, поддерживаемых языках и специальных модальностях. Ключевое преимущество этой версии — возможность использовать модель через Transformers.js и ONNX-веса, что упрощает интеграцию с JavaScript-приложениями. Ограничения и требования к качеству, производительности, языковому покрытию и аппаратному ускорению в README не указаны. Лицензия также не приведена, поэтому условия использования следует уточнять в исходном репозитории nomic-ai/nomic-embed-text-v1.
ENOSYS/Octen-Embedding-8B-750-v1-GGUF — квантизированная версия модели Octen/Octen-Embedding-8B в формате GGUF, подготовленная с использованием калибровочных данных на английском и русском языках. Репозиторий описывает экспериментальную квантизацию с настройками global target bits-per-weight и патчами для ответвления LLaMA C++; тензоры сохранены в F16 для совместимости с архитектурой Nvidia Pascal. Модель предназначена для получения текстовых эмбеддингов, оценки семантического сходства и извлечения информации, в том числе в сценариях семантического поиска. Она основана на мультиязычной модели Octen на базе Qwen3 и распространяется по лицензии Apache-2.0. В README приведены метрики сравнения вариантов квантизации, но они показывают существенное ухудшение perplexity относительно исходного качества и не подтверждают пригодность каждого варианта для конкретного сценария. Для использования могут потребоваться совместимые инструменты и ветка LLaMA C++.
Ornith-1.5-9B — плотная языковая модель с 9 миллиардами параметров, разработанная командой Ornith AI. Она относится к семейству Ornith-1.5 и создана на основе подхода непрерывного самоулучшения: модель совместно оптимизирует генерацию задач, построение scaffold и выполнение решений с применением reinforcement learning. Модель распространяется для задач генерации текста и ориентирована прежде всего на эффективное развертывание на одной GPU; для мобильных устройств предусмотрен отдельный квантизированный вариант Ornith-1.5-9B-Mobile. Основные сценарии применения — программирование, работа с терминалом и автоматизированное решение задач разработки. В README приведены результаты на Terminal-Bench 2.1: 46,2 с Terminus-2 и 47 с Claude Code, а также 70,6 на SWE-bench Verified и 47,5 на SWE-bench Pro. Эти показатели указывают на сильную сторону модели в агентных задачах, связанных с написанием и исправлением кода, хотя результаты зависят от используемого окружения и scaffold. Архитектура, поддерживаемые языки, длина контекста и мультимодальные возможности в карточке не указаны. Модель распространяется по лицензии MIT. Данных о специфических ограничениях, безопасностных свойствах и качестве на других языках недостаточно; приведенные benchmark-результаты не следует считать гарантией поведения в произвольных прикладных сценариях.
PEG (Progressively Learned Textual Embedding) — модель текстовых эмбеддингов для поиска и сопоставления предложений, представленная разработчиками карточки. Она обучалась с прогрессивной настройкой вклада примеров в функцию потерь с учётом сложности негативных примеров, чтобы повысить устойчивость текстового поиска. Для обучения использована коллекция более чем из 110 миллионов примеров из разных областей, включая общие знания, финансы, туризм и медицину. Модель построена на архитектуре BERT, содержит 424,3 млн параметров и принимает текст с контекстом до 512 токенов; карточка указывает китайский язык. Она подходит для извлечения эмбеддингов предложений и оценки их сходства. Распространяется под лицензией Apache-2.0.
PolDense-32M — польская модель эмбеддингов для плотного поиска, разработанная в рамках семейства PolDense на основе энкодеров ettin с архитектурой ModernBERT. Она содержит 31,9 млн параметров и предназначена для поиска по текстам, семантического сопоставления и систем RAG на польском языке. Модель обучалась в три этапа: адаптация английских энкодеров к польскому с помощью дистилляции, дополнительная дистилляция на польских текстах и настройка для поиска контрастивным обучением. В README сообщается, что семейство PolDense показало высокие результаты на польском бенчмарке PIRB, а варианты 32M и 68M сопоставимы с более крупными многоязычными моделями. Для поиска к запросу добавляют префикс «[query]: », а для семантического сходства — «[sts]: ». Модель принимает текст и выдаёт векторные представления, пригодные для оценки сходства и поиска. Контекст составляет до 7 999 токенов. Указанная лицензия — Gemma; применяйте модель в соответствии с её условиями.
PP-DocLayoutV2 — лёгкая модель для анализа структуры документов из семейства PaddleOCR, разработанная PaddlePaddle. Она обнаруживает и классифицирует элементы макета, а затем определяет порядок их чтения. Архитектура состоит из детектора RT-DETR и последующей pointer-сети, которая упорядочивает найденные элементы. Модель предназначена для анализа страниц документов и подготовки их структуры для OCR и дальнейшего извлечения информации. Метаданные указывают поддержку английского и китайского языков, а также мультиязычных сценариев. Репозиторий распространяется по лицензии Apache-2.0.
Карточка модели infgrad/Prism-Qwen3.5-Reranker-0.8B на Hugging Face совпадает с карточкой infgrad/Prism-Qwen3.5-Reranker-4B, поэтому описание составлено по ней. Prism-Qwen3.5-Reranker-4B — модель-реранкер от infgrad на основе архитектуры Qwen3.5, дообученная для поиска и RAG-сценариев. Она оценивает релевантность пары «запрос — документ» и может дополнительно выдать краткий вклад документа в ответ на запрос и самостоятельный фрагмент с релевантными свидетельствами. Для нерелевантных документов возвращает отрицательный результат без этих пояснений. Модель предназначена для переупорядочивания результатов поиска, в том числе в агентных системах, и обработки запросов в форме ключевых слов. Веса содержат 3,4 млрд параметров; архитектура плотная, контекстное окно по метаданным — 262 144 токена. Однако обучение ограничивало примеры 10 тысячами токенов, поэтому на более длинных входах качество может снижаться. Основные языки — английский и китайский; другие языки также поддерживаются, но обучающих данных для них меньше. Модель распространяется под лицензией MIT.
infgrad выпустил модель на базе XLM-RoBERTa для поиска и семантического сопоставления текстов. Она формирует векторные представления предложений и поддерживает несколько выходных размерностей: 256, 768, 1024, 1563, 1792, 2048 и 4096. Модель рассчитана на поиск как внутри одного языка, так и между китайским и английским; автор отмечает, что английские представления слабее китайских. Контекстная длина составляет 514 токенов. Модель распространяется под лицензией MIT.
hanhainebula/qwen3-8b-ft-msmarco — текстовая модель эмбеддингов, созданная дообучением Qwen/Qwen3-8B на английских обучающих данных MSMARCO в течение одной эпохи с помощью FlagEmbedding. Она выпущена в рамках ресурсов ReasonEmbed, посвящённых улучшению эмбеддингов для поиска документов со сложными рассуждениями. Модель предназначена для преобразования текста в векторные представления и задач извлечения документов; в метаданных для неё указан pipeline feature-extraction. Модель имеет плотную архитектуру Qwen3, содержит 7,6 млрд параметров и поддерживает контекст до 40 960 токенов. Весовые файлы представлены в формате safetensors; токенизатор изменён для автоматического добавления EOS-токена. Лицензия — Apache-2.0. Обучение описано для английских данных MSMARCO; многоязычность базовой Qwen3 сама по себе не подтверждает, что этот чекпойнт одинаково хорошо работает на других языках.
mlx-community/Qwen3-Embedding-8B-4bit-DWQ — модель для получения признаковых представлений текста, задач sentence similarity и feature extraction. Она основана на Qwen/Qwen3-Embedding-8B и преобразована сообществом mlx-community в формат MLX с использованием mlx-lm 0.25.1. Модель имеет размер 8B параметров и 4-битное квантование DWQ, что предназначено для снижения требований к памяти при сохранении возможности локального запуска в экосистеме MLX. В карточке указана поддержка библиотек Transformers и Sentence Transformers, а также тип конвейера feature-extraction. Конкретные языки, размер контекста и перечень поддерживаемых модальностей не указаны; по представленным данным модель предназначена для работы с текстом. Лицензия модели — Apache-2.0. README не содержит подробных сведений о качестве, ограничениях, языковом покрытии и результатах тестирования, поэтому эти характеристики нельзя оценить точнее.
Ruri v3 130M — японская модель текстовых эмбеддингов, разработанная cl-nagoya на основе cl-nagoya/ruri-v3-pt-130m и архитектуры ModernBERT-Ja. Она преобразует текст в векторы размерностью 512 для поиска, сравнения предложений и других задач семантического сходства; сходство оценивается косинусной мерой. Модель содержит 132,1 млн параметров и обрабатывает последовательности длиной до 8192 токенов. В её архитектуре используются словарь на 100 тысяч токенов, токенизатор SentencePiece и FlashAttention; для токенизации не требуется отдельный инструмент сегментации японского текста. В оценке JMTEB модель показала средний результат 76,55. Модель предназначена прежде всего для японского текста. Она выдаёт эмбеддинги, а не готовые ответы или сгенерированный текст, поэтому для поиска или ранжирования обычно требуется сравнивать полученные векторы. Лицензия — Apache 2.0.
Карточка модели PapaMoth/sentence-bert-swedish-cased на Hugging Face совпадает с карточкой KBLab/sentence-bert-swedish-cased, поэтому описание составлено по ней. KBLab, лаборатория данных Национальной библиотеки Швеции, разработала эту модель на базе BERT для получения плотных векторных представлений шведских и английских предложений и абзацев. Это sentence-transformers bi-encoder размером 151,9 млн параметров; он отображает текст в векторы размерности 768 и поддерживает входную последовательность до 512 токенов. Модель предназначена для оценки семантического сходства, семантического поиска и кластеризации текстов. Шведская KB-BERT обучалась как student-модель с помощью дистилляции знаний от английской all-mpnet-base-v2. В README приведены результаты оценки на шведских наборах SweParaphrase и SweFAQ; версия v2.0 показала лучшие результаты на задаче поиска ответов в SweFAQ v2.0 среди перечисленных версий. Модель принимает текст и выдаёт векторы, пригодные для сравнения и поиска. Распространяется по лицензии Apache-2.0. Результаты оценки относятся к указанным шведским бенчмаркам; качество на других языках и типах текстов может отличаться.
Seznam/simcse-dist-mpnet-paracrawl-cs-en — компактная модель эмбеддингов предложений от Seznam.cz, дообученная с целью SimCSE на базе Seznam/dist-mpnet-paracrawl-cs-en. Она предназначена для получения семантических представлений чешских и английских текстов и подходит для поиска похожих предложений, семантического поиска, извлечения релевантных текстов, кластеризации и классификации. Модель построена на архитектуре BERT, содержит 27,2 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Модель ориентирована на создание небольших высококачественных эмбеддингов для нескольких задач NLP. В карточке приведены примеры загрузки, но сведения об оценках качества и конкретных ограничениях не раскрыты. Лицензия — CC BY 4.0.
sdadas/st-polish-paraphrase-from-distilroberta — модель на базе Sentence-Transformers, опубликованная пользователем sdadas. Она преобразует предложения и абзацы на польском языке в плотные векторы размерности 768 для поиска семантически близких текстов. Модель основана на архитектуре RoBERTa и содержит около 151,6 млн параметров; максимальная длина контекста — 514 токенов. Модель подходит для семантического поиска, сравнения предложений и абзацев, кластеризации текстов и построения векторного поиска. Для использования через Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов; Sentence-Transformers упрощает этот процесс. Веса доступны в форматах PyTorch, Safetensors и TensorFlow. Лицензия — LGPL. Карточка указывает назначение для парафразов, однако не приводит конкретных результатов оценки, поэтому качество на конкретных данных следует проверять отдельно. Модель предназначена для польского языка; перенос на другие языки не подтверждён.
WhiteRabbitNeo-2.5-Qwen-2.5-Coder-7B — модель серии WhiteRabbitNeo, разработанной для задач наступательной и защитной кибербезопасности. Это дообученная версия Qwen/Qwen2.5-Coder-7B с архитектурой Qwen2 и 7,1 млрд параметров; модель предназначена для генерации кода и диалогового взаимодействия. Она принимает текстовые запросы и выдаёт текст, включая программный код. Поддерживаемая длина контекста — 32 768 токенов; в карточке указан английский язык. Модель выпущена как публичная предварительная версия для оценки возможностей и общественного влияния. Лицензия — Apache-2.0; README также содержит условия использования и отказ от гарантий.
Bangla Sentence Transformer — разработанная автором репозитория модель Sentence Transformers на архитектуре XLM-RoBERTa, дообученная на базе stsb-xlm-r-multilingual. Она кодирует предложения в плотные векторные представления для сравнения семантической близости, семантического поиска и поиска информации; эмбеддинги также можно использовать в классификации текста. Модель содержит 305,2 млн параметров, работает с текстом и имеет контекст до 514 токенов. В карточке указаны бенгальский и английский языки. Форматы весов — PyTorch и Safetensors; для использования README рекомендует библиотеку sentence-transformers. Лицензия и конкретные ограничения качества в предоставленных данных не описаны.
BAAI/bge-base-zh-v1.5 — плотная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная Beijing Academy of Artificial Intelligence. Она преобразует текст в низкоразмерные векторы для семантического поиска, извлечения документов, классификации и кластеризации, а также для поиска контекста в векторных базах данных при построении систем с генерацией с дополненной выборкой (RAG). Модель основана на BERT, содержит около 129,5 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Для поиска коротким запросом длинных документов инструкция к запросу может повысить качество, но её влияние зависит от задачи. Модель рассчитана на китайский язык; README описывает семейство BGE и на английском, однако это само по себе не подтверждает поддержку английского этой конкретной модели. Модель выдаёт векторные представления, а не готовые ответы или оценки релевантности документов. Значения сходства между парами текстов не следует интерпретировать по универсальному порогу: для фильтрации нужно подбирать порог на собственных данных. Лицензия — MIT.
Карточка модели ryanx0019/bge-large-zh-v1.5 на Hugging Face совпадает с карточкой BAAI/bge-large-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-large-zh-v1.5 — модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI). Она преобразует китайский текст в плотные векторные представления для поиска и сравнения текстов; версия v1.5 улучшает распределение оценок сходства и позволяет выполнять поиск без инструкции к запросу. Модель построена на архитектуре BERT, содержит 424,3 млн параметров и принимает последовательности длиной до 512 токенов. Модель подходит для семантического поиска по документам, поиска ответов для RAG-систем и сопоставления запросов с текстами. Эмбеддинги можно использовать для получения первичного списка кандидатов, а затем уточнять ранжирование отдельной моделью BGE Reranker. В README семейство BGE описано для китайского и английского языков, однако эта конкретная модель рассчитана прежде всего на китайский. Сходство между эмбеддингами не следует трактовать как универсальную вероятность: в README отмечено, что оценки несхожих предложений могут быть выше 0,5. Репозиторий использует формат PyTorch и лицензию MIT.
juyoungml разработал эту модель Sentence Transformers как дообучение BAAI/bge-m3 на корейском наборе ko-triplet-v1.0. Она преобразует предложения и абзацы в плотные векторы размерности 1024, нормализует их и предназначена для сравнения по косинусному сходству, семантического поиска и поиска перефразировок. Также в README указаны кластеризация и классификация текстов как возможные сценарии применения. Модель основана на XLM-RoBERTa и принимает текст длиной до 8192 токенов. Она ориентирована на корейский язык; репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана. README сообщает точность cosine_accuracy 0,99 на TripletEvaluator, однако это значение относится к указанной оценке и не гарантирует такое качество на других данных.
RedHatAI/bge-small-en-v1.5-quant — квантованная версия модели эмбеддингов BGE-small-en-v1.5 от Red Hat AI. Это плотный BERT-чекпойнт примерно на 40 млн параметров, представленный в формате ONNX с квантованием INT8; для ускоренного инференса README указывает на DeepSparse и DeepSparseSentenceTransformers. Модель предназначена для преобразования английских текстов в векторные представления, например для семантического поиска и поиска по сходству. Указанный размер контекста — 512 токенов. Лицензия — MIT.
Lajavaness/bilingual-embedding-large — двуязычная модель эмбеддингов предложений от Lajavaness, основанная на XLM-RoBERTa и реализованная с помощью Sentence Transformers. Она кодирует французские и английские предложения в нормализованные векторы размерности 1024; максимальная длина последовательности — 512 токенов, а нативное контекстное окно — 514 токенов. Размер модели — 658,7 млн параметров. Модель обучалась на SNLI и XNLI для английского и французского языков, затем дообучалась на STS-Benchmark и расширенных парах предложений. Её используют для семантического поиска, оценки сходства предложений, ранжирования текстов и кластеризации. Веса доступны в формате safetensors по лицензии Apache-2.0. Модель специализируется на французском и английском языках; качество на других языках не заявлено. README не содержит результатов оценки, поэтому точность для конкретных наборов данных и сценариев по карточке определить нельзя.
Bloomz-3b-retriever — двуязычный биэнкодер на базе дообученной модели cmarkea/bloomz-3b-sft-chat, разработанный Cyrile Delestre для Crédit Mutuel Arkéa. Он преобразует запросы и тексты документов в векторные представления для поиска релевантных документов, включая поиск между английским и французским языками. Модель обучена на парах запросов и контекстов с контрастивной целью на основе Triplet Network; в карточке указано 3,8 млрд параметров. Она подходит для поиска фрагментов в системах открытого поиска ответов на вопросы и векторных базах данных. В README приведено сравнение на наборе SQuAD, включая сценарий с запросом на английском и контекстом на французском, но карточка предупреждает, что версия Bloomz-3b-retriever-v2 показывает значительно более высокое качество. Репозиторий содержит веса PyTorch и Safetensors и распространяется по лицензии BigScience BLOOM RAIL 1.0.
BrazEmbed-PT-BR — модель для получения векторных представлений текстов на бразильском португальском, созданная на базе BERTimbau и опубликованная tardellirs. Это дообученная модель семейства BERT с 136,1 млн параметров; она использует mean pooling и L2-нормализацию, работает через библиотеку sentence-transformers и принимает последовательности длиной до 512 токенов. В README указано, что опубликованный одиночный чекпойнт представляет собой TIES-слияние четырёх экспертов по отдельным задачам. Модель предназначена для вычисления эмбеддингов предложений и сравнения их семантической близости, например при поиске похожих фраз или семантическом поиске по текстам на португальском. В MTEB(por) для одиночной модели указан результат mean_16 0,6372; более высокий результат 0,6567 относится к отдельной системе с маршрутизацией по задачам, а не к этому чекпойнту. README сообщает об аудите пересечений обучающих данных с тестовыми наборами, но также отмечает, что разработка велась итеративно по MTEB(por) без отложенной выборки. Лицензия — MIT.