I.2Синтез, понимание и проверка знаний
В разделе собраны самостоятельные задачи, где AI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
42 341 модельGflorent/setfit_emotion — модель представлений предложений на базе MPNet, опубликованная автором florentgbelidji. Она преобразует предложения и абзацы в плотные векторы размерности 768; в README указано обучение с BatchHardTripletLoss. Модель предназначена для поиска семантически близких текстов и кластеризации, а также может использоваться как основа для сравнения предложений. Модель содержит 136,7 млн параметров, работает с текстом и имеет контекстное окно 514 токенов. Для применения README рекомендует библиотеку Sentence-Transformers. В метаданных указаны форматы PyTorch и задачи sentence-similarity и feature-extraction. Лицензия не указана в предоставленных данных.
SimCSE-Dist-MPNet-CzEng — компактная модель семантических эмбеддингов, разработанная Seznam.cz и дообученная с целевой функцией SimCSE. Она предназначена для оценки смыслового сходства предложений и может применяться для семантического поиска, извлечения релевантных текстов, кластеризации и классификации. Модель основана на архитектуре BERT, содержит 27,2 млн параметров и принимает текстовые входные данные, формируя векторные представления предложений. Контекст ограничен 512 токенами. В карточке заявлена поддержка чешского и английского языков. Модель опубликована в формате PyTorch под лицензией CC-BY-NC-SA-4.0, которая ограничивает коммерческое использование и требует соблюдения условий распространения.
Карточка модели RedHatAI/snowflake-arctic-embed-m-long на Hugging Face совпадает с карточкой Snowflake/snowflake-arctic-embed-m-long, поэтому описание составлено по ней. Snowflake Arctic Embed M Long — текстовая модель эмбеддингов компании Snowflake для поиска и сопоставления запросов с документами. Она преобразует текст в плотные векторы, пригодные для построения семантического поиска, ранжирования кандидатов и других систем извлечения информации. Модель относится к семейству Arctic Embed, обученному на основе открытых моделей представления текста с многоэтапной оптимизацией retrieval-задач: на парах запрос–документ и триплетах с трудными негативными примерами. Архитектура — NomicBert; максимальная длина контекста — 8192 токена. Доступны веса Safetensors и формат ONNX. В README семейство описано как оптимизированное для качества поиска; в карточке этой версии отдельно не приведены размер модели, размерность эмбеддинга или языковой охват. Подходит для семантического поиска по документам, поиска ответов в корпусах и сравнения текстов по смыслу. README сообщает о высоких результатах Arctic Embed на наборах MTEB/BEIR, но более поздние версии семейства названы предпочтительными для многоязычных задач. Модель распространяется по лицензии Apache-2.0.
witty-works/test_false_positive_2 — модель на базе архитектуры MPNet, разработанная командой witty-works. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, сравнения предложений и кластеризации. Модель содержит 136,7 млн параметров, принимает текст и возвращает эмбеддинги; заявленная длина контекста — 514 токенов. Для использования доступны веса PyTorch и интеграция с Sentence-Transformers или Transformers. Модель подходит для семантического поиска и группировки текстов по смыслу. Она обучалась с функцией потерь CosineSimilarityLoss. В карточке не указаны языковая специализация и условия лицензии, поэтому их нельзя определить по предоставленным данным.
FiditeNemini/Unhinged-Qwen2.5-R1-1M-Uncensored-BF16 — объединённая модель автора FiditeNemini, полученная методом TIES из huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2 и mkurman/Qwen2.5-14B-DeepSeek-R1-1M. Это плотная причинно-языковая модель семейства Qwen2 с 14 млрд параметров, предназначенная для диалогов и генерации текста, включая код; интерфейс модели также поддерживает вызов инструментов. Репозиторий содержит веса Safetensors и версию для MLX в точности bfloat16. Метаданные указывают контекст до 1 010 000 токенов, тогда как README приводит 4096 токенов; фактическая поддержка столь длинного контекста может зависеть от конфигурации и используемого преобразования. В тегах указан английский язык. Модель позиционируется как uncensored и основана на вариантах с ослабленными отказами, поэтому её ответы могут включать нежелательный контент. Лицензия — Apache 2.0.
uzbek-minilm — модель эмбеддингов предложений на базе BERT, дообученная разработчиком sukhrobnurali на многоязычной sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 для семантического поиска и извлечения документов на узбекском языке, а также поиска между узбекским и английским. Модель содержит 124,3 млн параметров, преобразует текст в нормализованные векторы и принимает предложения или документы без специальных префиксов; максимальная длина контекста — 512 токенов. По README, дообучение на парах узбекских текстов заметно улучшило результаты поиска относительно базовой модели. Модель подходит для поиска фрагментов в узбекских корпусах и RAG, сравнения сходства предложений, кластеризации и двуязычного поиска uz↔en. Разработчик сообщает высокие результаты на тесте узбекского поиска, но на кросс-языковой оценке модель уступает своей модели uzbek-e5-small. Качество кириллического узбекского проверено ограниченно; редкие тематики представлены хуже, а часть параллельных данных содержит шум машинного перевода. Лицензия — Apache 2.0.
rjnClarke/BAAI-bge-m3-fine-tuned — дообученная модель Sentence Transformers на базе BAAI/bge-m3 для получения плотных текстовых эмбеддингов и сравнения смысловой близости. Она построена на XLM-RoBERTa с пулингом CLS-токена и нормализацией векторов; размерность выхода — 1024, максимальная длина входа — 8194 токена. Модель обучена на парах anchor-positive с использованием MultipleNegativesRankingLoss и рассчитана на английский язык. Модель подходит для семантического поиска по документам, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текстов. Косинусное сходство можно использовать для ранжирования фрагментов по близости к запросу, в том числе в RAG-сценариях. В README приведены результаты оценки на m3-dev, однако данных недостаточно, чтобы судить о качестве на других наборах и языках. Лицензия — Apache-2.0.
RinKana/bge-base-en-v1.5-afterimage-v.0.1 — англоязычная модель Sentence Transformer, дообученная на базе BAAI/bge-base-en-v1.5. Она кодирует предложения и абзацы в плотные текстовые векторы размерности 768 для поиска и сравнения по смыслу. Архитектура включает BERT, пулинг по CLS-токену и нормализацию; сходство векторов можно оценивать косинусной мерой. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска, извлечения релевантных фрагментов и подбора ответа к контексту диалога. Для обучения использовались 4 744 примера с якорным текстом, положительными и отрицательными парами; в README приведена оценка retrieval на наборе gap-to-candidate-eval. Репозиторий содержит веса safetensors и рассчитан на использование с библиотекой Sentence Transformers. Лицензия в предоставленных данных не указана.
nthakur/contriever-base-msmarco — порт модели Contriever MSMARCO в формат Sentence-Transformers. Модель на архитектуре BERT содержит 136,7 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 768; для корректного получения векторов в Transformers требуется подходящая операция pooling над контекстными представлениями токенов. Модель предназначена для семантического поиска и кластеризации текстов, а также для сравнения смысловой близости предложений. Принимает текст и выдаёт эмбеддинги; максимальная длина контекста — 512 токенов. Репозиторий содержит веса PyTorch. README ссылается на исходную модель Contriever, однако сведения о лицензии и поддерживаемых языках в предоставленных данных отсутствуют.
teven/cross_all_bs160_allneg_finetuned_WebNLG2020_correctness — модель на базе MPNet, дообученная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 и подходит для семантического поиска и кластеризации. В метаданных указаны 136,7 млн параметров и контекст длиной 514 токенов; модель использует PyTorch и экосистему Sentence-Transformers. Модель предназначена для поиска текстов по смыслу и группировки семантически близких фрагментов. Карточка называет её дообученной на WebNLG 2020 для оценки корректности, однако подробности обучения и языковая поддержка не описаны. Лицензия в предоставленных данных не указана.
Это англоязычная модель Sentence Transformer, дообученная Komalverma на базе BAAI/bge-base-en-v1.5. Она кодирует предложения и абзацы в плотные текстовые эмбеддинги размерности 768 и предназначена для поиска и сравнения текстов по семантическому сходству. Сходство между векторами можно оценивать косинусной мерой. Модель построена на архитектуре BERT с усреднением токенных представлений; максимальная длина входа — 512 токенов. Обучение выполнено на 47 056 парах предложений, а в метаданных указан DenoisingAutoEncoderLoss. Модель подходит для семантического поиска и извлечения релевантных документов, в том числе как компонент RAG. Лицензия в предоставленных данных не указана.
unsloth/DeepSeek-R1-GGUF — GGUF-версия модели DeepSeek-R1, разработанной DeepSeek и подготовленной компанией Unsloth. Модель предназначена для локального запуска через llama.cpp и сценариев, требующих рассуждений, генерации и анализа текста, а также написания программного кода. В README указан английский язык; другие языки не заявлены. Модель использует архитектуру MoE и представлена в нескольких вариантах динамической квантизации: 1,58 бит, 1,73 бит, 2,22 бит и 2,51 бит. Размер файлов составляет примерно от 131 до 212 ГБ. Более точные варианты требуют больше дискового пространства, но характеризуются лучшей заявленной точностью: от Fair для 1,58-битной версии до Best для 2,51-битной. Для запуска рекомендуется llama.cpp; возможна частичная выгрузка слоёв на GPU. В примерах используется контекст 8192 токена, однако максимальный размер контекста в README не указан. К сильным сторонам относятся существенное уменьшение размера весов за счёт агрессивной квантизации, возможность локального запуска и наличие вариантов с разным компромиссом между качеством и требованиями к ресурсам. Ограничениями являются очень большой объём файлов даже у наиболее сжатых вариантов, необходимость совместимого оборудования и ПО, а также потенциальное снижение точности из-за низкой разрядности. Модель распространяется по лицензии MIT.
unsloth/DeepSeek-R1-GGUF-UD — это GGUF-квантизированная версия модели DeepSeek-R1, разработанной командой DeepSeek и подготовленной в формате динамической квантизации Unsloth Dynamic v2.0. Модель предназначена для локального запуска через llama.cpp и ориентирована на задачи рассуждений, генерации текста, программирования и диалогового использования. В README указан английский язык, библиотека Transformers и поддержка формата GGUF. Доступны варианты с эффективной разрядностью от 1,58 до 2,51 бит: UD-IQ1_S, UD-IQ1_M, UD-IQ2_XXS и UD-Q2_K_XL. Размер файлов составляет примерно от 131 до 212 ГБ. Квантизация выборочно применяет разные разрядности к компонентам MoE, чтобы сохранить больше точности по сравнению со стандартными 1-битными и 2-битными вариантами. В README приведены оценки качества от Fair до Best, однако архитектурные параметры, общее число параметров и размер контекста исходной модели не указаны; для примеров запуска используется контекст 8192 токена. Сильные стороны модели — возможность локального запуска, уменьшенный объём хранения относительно полной точности и повышенная точность благодаря динамической квантизации. Ограничениями являются очень большой размер даже у наиболее компактной версии, необходимость совместимого оборудования и llama.cpp, а также возможная потеря качества на низких уровнях квантизации. Для запуска рекомендуется использовать специальный chat template и параметр --min-p 0.05; доступна выгрузка части слоёв на GPU. Репозиторий распространяется по лицензии MIT.
DeepSeek V4 Flash — REAM144 (163B) DS4 Q2 — это чат-модель WaveCut в формате GGUF, созданная на основе DeepSeek-V4-Flash-0731-REAM144-163B. В сборке сохранено 144 из исходных 256 экспертов на слой; модель квантизована до 2 бит для экспертов и 8 бит для attention, с использованием матрицы важности. Файл весит 49,3 ГБ, а автор указывает запуск на Mac с 64 ГБ памяти и контекстом 8 тыс. токенов. Модель предназначена для многоязычного диалога, рассуждений, ответов на вопросы по коду и сценариев с инструментами. По карточке она уверенно справляется с многоязычным чатом, рассуждениями и длинными диалогами, включая русский и переключение между английским и русским. Для запуска нужен DS4 fork с поддержкой переменного числа экспертов; обычный llama.cpp этот файл не загрузит. Квантизация 2 бит может ухудшать качество агентных задач: тесты показали непостоянные сбои при вызове инструментов, рефакторинге кода и цепочках «вызов инструмента — код». Лицензия — MIT.
Dmeta-embedding-zh — плотная модель эмбеддингов на архитектуре BERT, разработанная командой DMetaSoul. Она преобразует китайские и английские тексты в векторы для семантического поиска, сопоставления предложений и других задач, основанных на близости текстовых представлений. Модель предназначена для поиска, вопросно-ответных систем, интеллектуальной поддержки клиентов и приложений с дополненной генерацией по поиску (RAG); поддерживает интеграцию через Transformers, Sentence-Transformers и LangChain. В модели 129,5 млн параметров, размерность эмбеддингов — 768, а контекстное окно составляет до 1024 токенов. В README заявлены обучение на разнообразных слабых и размеченных парах, включая данные из нескольких предметных областей, и оптимизация для задач поиска. Репозиторий распространяется в формате PyTorch по лицензии Apache-2.0. Результаты MTEB, приведённые в карточке, относятся к опубликованной оценке 2024 года; фактическое качество может зависеть от данных и сценария применения.
E5 Multilingual FrenchBoost v1 — многоязычная модель эмбеддингов предложений, разработанная AurelPx на основе intfloat/multilingual-e5-base. Она предназначена прежде всего для семантического поиска и ранжирования франкоязычных текстов, сохраняя возможности исходного многоязычного пространства E5. Модель построена на архитектуре XLM-RoBERTa, содержит 305,2 млн параметров, принимает текст с контекстом до 514 токенов и выдаёт эмбеддинги. Для запросов и документов рекомендуется использовать префиксы «query:» и «passage:». Модель подходит для поиска по коллекциям документов, оценки сходства предложений, переранжирования результатов, кластеризации и обнаружения дубликатов. Внутренняя оценка на 25 задачах MTEB(fra)-safe v2 показала средний результат 0,5636; авторы отдельно отмечают, что это оценка разработки, а не заявление о превосходстве над современными моделями. Модель выпущена под лицензией MIT. Это первая версия модели. Валидация пока ограничена внутренним бенчмарком; авторы планируют проверить устойчивость на более широком наборе задач, особенно для поиска, кластеризации и классификации пар.
E5-small-v2-t2t — нидерландская адаптация модели intfloat/e5-small-v2, созданная с помощью transtokenizer на основе токенизатора BERTje. Модель использует архитектуру BERT и содержит 39,9 млн параметров; она преобразует текст в эмбеддинги для семантического поиска, сопоставления предложений и оценки их сходства. Подходит для поиска и ранжирования текстов на нидерландском языке, а также для задач извлечения признаков и группировки текстов. Максимальная длина контекста — 512 токенов. Выпускается под лицензией MIT.
F2LLM-v2-80M — компактная многоязычная модель эмбеддингов из семейства F2LLM-v2, разработанного CodeFuse AI. Она основана на архитектуре Qwen3 и предназначена для получения векторных представлений текста для семантического поиска, ранжирования и других задач сравнения текстов. Модель содержит 66,8 млн параметров и поддерживает контекст до 40 960 токенов. Модель обучена на данных семейства F2LLM-v2, включающих курированный набор из 60 млн публичных примеров; в README заявлена поддержка более 200 языков, с акцентом на языки с ограниченными ресурсами. Она поддерживает инструкции для поисковых запросов и Matryoshka Representation Learning: размер эмбеддинга можно уменьшать усечением с последующей нормализацией. Представлены результаты на ряде бенчмарков MTEB, однако конкретные показатели этой версии в карточке не приведены. Репозиторий содержит safetensors-веса и использует библиотеку Transformers. Лицензия — Apache-2.0. Это дообученная и уменьшенная версия модели codefuse-ai/F2LLM-v2-0.6B-Preview-Pruned-80M.
sentence-transformers/gtr-t5-xl — модель для семантического поиска, опубликованная сообществом Sentence Transformers и основанная на работе «Large Dual Encoders Are Generalizable Retrievers». Она кодирует предложения и абзацы в плотные векторы размерностью 768, чтобы находить тексты, близкие по смыслу к запросу. Модель использует энкодер архитектуры T5; в README указано, что веса происходят от T5-3B и хранятся в формате FP16. Версия PyTorch получена преобразованием исходной TensorFlow-модели gtr-xl-1. Максимальная длина контекста по метаданным — 512 токенов. Поддерживаемый язык — английский. Для распространения указана лицензия Apache-2.0. Модель подходит для семантического поиска и сопоставления предложений через векторные представления. README предупреждает, что эмбеддинги могут немного отличаться от TensorFlow-версии, хотя результаты на упомянутых бенчмарках совпадают; подробные ограничения применения не описаны.
Instructor-large — модель текстовых эмбеддингов, разработанная исследовательской группой HKUNLP и дообученная следовать инструкциям для получения векторов, настроенных под задачу и предметную область. Задачу задают текстовой инструкцией при кодировании, без отдельного дообучения под каждый сценарий. Модель основана на T5 Encoder и содержит 385,2 млн параметров; максимальная длина контекста — 512 токенов. Модель предназначена для семантического поиска и извлечения информации, классификации, кластеризации, оценки текста и сравнения сходства предложений. Инструкции могут задавать область, например науку, финансы или медицину, и цель представления текста. В README заявлены высокие результаты на разнообразных задачах бенчмарка MTEB. Модель принимает текст и выдаёт эмбеддинги; для работы с ней авторы рекомендуют библиотеку InstructorEmbedding на базе Sentence Transformers. Модель поддерживает английский язык. Лицензия — Apache-2.0. Контекст ограничен 512 токенами, а заявленные результаты бенчмарка не гарантируют качество для каждой пользовательской задачи; инструкцию и применение следует подбирать и оценивать отдельно.
InternVL2_5-78B — мультимодальная модель серии InternVL 2.5, разработанная командой OpenGVLab. Она сочетает зрительный энкодер InternViT и языковую модель Qwen2.5-72B-Instruct в архитектуре ViT-MLP-LLM; компоненты объединены с помощью обучаемого MLP-проектора. Репозиторий использует формат safetensors и библиотеку Transformers. Модель предназначена для диалога по изображениям, анализа нескольких изображений и видеокадров, а также для текстовой генерации. Динамическое разбиение изображений на тайлы 448×448 помогает работать с изображениями высокого разрешения; поддерживаются многоязычные сценарии, включая OCR и анализ математических диаграмм. В обучении использовано 120 млрд токенов. Длина контекста в доступных сведениях не приводится. Модель подходит для визуальных вопросов и ответов, описания изображений и видео, распознавания текста на изображениях и диалоговой генерации. Её размер 78 млрд параметров требует значительных вычислительных ресурсов; обработка нескольких изображений увеличивает расход контекста. В метаданных указана лицензия other, поэтому конкретные условия использования следует сверять с лицензией в репозитории.
Карточка модели letzdev/klue-roberta-base-klue-sts-mrc на Hugging Face совпадает с карточкой Jinsol0802/klue-roberta-base-klue-sts-mrc, поэтому описание составлено по ней. Jinsol0802/klue-roberta-base-klue-sts-mrc — модель эмбеддингов предложений на архитектуре RoBERTa, представленная в формате Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения близости текстов и кластеризации. Обучение с MultipleNegativesRankingLoss оптимизирует сходство косинусной мерой; размер модели — 137,8 млн параметров, максимальный контекст — 514 токенов. Модель рассчитана на работу с текстом и подходит для поиска похожих фрагментов и группировки семантически близких текстов. Идентификатор и название базового семейства указывают на ориентацию на корейский язык KLUE, однако в доступной карточке отдельный список поддерживаемых языков не приведён. Ограничения: представление текста сведено к вектору, поэтому модель сама не генерирует ответы; качество поиска и сравнения зависит от соответствия домена и данных. Файлы представлены в формате safetensors; лицензия в предоставленных сведениях не указана.
NANI-Nithin/MiniCPM5-2B-GGUF — набор GGUF-квантизованных версий MiniCPM5-2B, разработанного командой OpenBMB. Модель предназначена для локального запуска на устройствах с ограниченными ресурсами, создания ассистентов, coding agents, сценариев tool use, агентских workflows и задач рассуждения. Репозиторий содержит исходную BF16-версию и 29 вариантов квантования от Q8_0 до Q1_0. Базовая модель представляет собой плотный Transformer на 2,516,756,480 параметров с архитектурой LlamaForCausalLM, 42 слоями и GQA с 16 query heads и 2 KV heads. Она поддерживает контекст до 131 072 токенов, работает с английским и китайским языками и ориентирована на text generation. По данным разработчика, модель особенно сильна в рассуждениях при работе с кодом, математике, обработке длинного контекста, использовании инструментов и агентских задачах; заявленный средний результат в сравнении с другими открытыми моделями класса 2B составляет 53,9 балла. Основное преимущество набора — возможность выбрать баланс между качеством, размером и требованиями к памяти: Q4_K_M размером около 1,45 ГБ указан как вариант по умолчанию, Q8_0 около 2,50 ГБ — как близкий к исходному качеству, а IQ2_M около 0,90 ГБ — как минимальный практически пригодный вариант. Качество низкобитных и экспериментальных квантов снижается, особенно у версий Q2 и Q1. Файлы предназначены для llama.cpp, Ollama и LM Studio и не загружаются напрямую через vLLM, SGLang или transformers; для этих сред следует использовать исходный репозиторий модели. Модель распространяется по лицензии Apache-2.0, а её ответы могут содержать ошибки.
cambridgeltl/mirror-roberta-base-sentence-drophead — несупервизируемый энкодер предложений, разработанный Liu et al. (2021). Он основан на RoBERTa-base и обучен на неразмеченных предложениях; для получения представления текста рекомендуется брать вектор токена [CLS] до слоя pooler. В качестве аугментации пространства признаков используется drophead вместо dropout. Модель предназначена для извлечения векторных представлений предложений и задач сравнения их семантического сходства. Она содержит около 151,8 млн параметров, принимает текст и поддерживает контекст длиной до 514 токенов. Карточка указывает английский язык. Доступны веса PyTorch и Safetensors. Лицензия в предоставленных данных не указана.
MixEmbedBert-base-20240115163419-best — компактная модель эмбеддингов предложений на архитектуре BERT, представленная в карточке как bge-micro. Она преобразует предложения и абзацы в плотные векторы размерностью 384 для семантического поиска, кластеризации и сравнения текстов. Модель дистиллирована из avsolatorio/bge-small-en-v1.5 и содержит примерно в четыре раза меньше неэмбеддинговых параметров; по README, при половине параметров all-MiniLM-L6-v2 показывает сопоставимое качество. Модель содержит 18,8 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт векторные представления. Метаданные указывают задачи sentence-similarity и feature-extraction. README описывает англоязычную базовую модель и не заявляет поддержку других языков. Для использования доступны веса safetensors; лицензия в предоставленных данных не указана.
Это англоязычная модель Sentence Transformers, разработанная tomaarsen и дообученная на microsoft/mpnet-base с использованием пар вопросов и ответов из набора GooAQ. Она кодирует предложения и абзацы в плотные векторы размерностью 768; сходство между ними можно оценивать косинусной близостью. Модель подходит для семантического поиска, сопоставления вопросов с ответами и поиска похожих формулировок, а полученные векторы также можно использовать для кластеризации и классификации текста. В основе лежит MPNet с усреднением токенных представлений; максимальная длина входа — 512 токенов, а в метаданных указано контекстное окно 514 токенов. Обучение проводилось на 90 тысячах примеров GooAQ с функцией потерь CachedMultipleNegativesBidirectionalRankingLoss. Модель распространяется по лицензии Apache-2.0. Она обучена на англоязычных данных, поэтому её назначение и заявленная поддержка относятся к английскому; карточка не приводит гарантий качества для других языков или областей.
dinab/multilingual-e5-base-Q4_K_M-GGUF — квантизированная версия мультиязычной модели эмбеддингов multilingual-e5-base, разработанной intfloat и представленной в формате GGUF. Модель предназначена для преобразования текстов в векторные представления и подходит для семантического поиска, сопоставления предложений, кластеризации, классификации и задач retrieval, включая использование через llama.cpp. Модель поддерживает множество языков, в том числе русский, английский, немецкий, французский, испанский, китайский, японский и другие. В названии указана квантизация Q4_K_M, которая уменьшает требования к памяти и делает модель удобнее для локального запуска, но может снижать точность по сравнению с полноразмерной версией. Размер параметров, архитектура, максимальная длина контекста и точные требования к оборудованию в README не указаны. Приведены результаты оценки на ряде наборов MTEB для классификации и поиска, однако они относятся к базовой модели multilingual-e5-base. Модель распространяется под лицензией MIT. README не содержит подробного описания ограничений, поэтому качество следует дополнительно проверять на целевых языках, доменах и сценариях применения.
Xenova/multilingual-e5-large — это версия модели intfloat/multilingual-e5-large с весами в формате ONNX, подготовленная для работы в библиотеке Transformers.js. Разработчик исходной модели — intfloat; репозиторий Xenova адаптирует её для использования в JavaScript-приложениях, включая веб-среду. Модель предназначена для создания векторных представлений предложений и текстов, а также для задач семантического поиска и retrieval. Она поддерживает пакетную обработку текстов, mean pooling и нормализацию эмбеддингов; размер выходного вектора составляет 768. Для поиска рекомендуется добавлять к запросу префикс «Represent this sentence for searching relevant passages: ». Эмбеддинги можно сравнивать, например, с помощью косинусного сходства. Ключевое преимущество модели — мультиязычное семантическое кодирование, пригодное для сопоставления запросов и документов по смыслу, а также возможность запуска через Transformers.js с ONNX-весами. README не содержит сведений о точном наборе языков, размере контекста, архитектурных деталях, ограничениях качества или лицензии, поэтому эти характеристики нельзя достоверно уточнить.
WENGSYX/Multilingual_SimCSE — модель для извлечения признаков на основе архитектуры DeBERTa-v2, содержащая 306 млн параметров. Карточка указывает на мультиязычное назначение; модель принимает текст и формирует векторные представления, которые можно использовать для сравнения текстов и поиска похожих фрагментов. Модель подходит для создания текстовых эмбеддингов в мультиязычных поисковых и семантических системах. Контекст ограничен 512 токенами. Доступны веса в форматах PyTorch и Safetensors. В README приведены заголовки разделов с кодом обучения и запуска, но сами фрагменты опущены. Сведения о лицензии в доступных данных отсутствуют.
multi-qa-MiniLM-L6-cos-v1 — модель Sentence Transformers, разработанная в рамках проекта Hugging Face по обучению моделей эмбеддингов предложений. Она преобразует вопросы, предложения и абзацы в нормализованные плотные векторы размерностью 384 и предназначена прежде всего для семантического поиска и подбора релевантных документов по запросу. Модель основана на архитектуре BERT и дообучена на примерно 215 млн пар «вопрос—ответ» из разных источников, включая наборы вопросов и ответов, Stack Exchange и пары для Wikipedia. Для представления текста используется mean pooling; контрастивное обучение улучшает близость векторных представлений связанных текстов. Модель содержит 25,9 млн параметров, поддерживает английский язык и рассчитана на последовательности до 512 токенов, хотя при обучении использовался текст длиной до 250 word pieces. Её можно применять для семантического поиска, поиска ответов и ранжирования текстовых фрагментов по сходству; нормализованные векторы позволяют использовать косинусное сходство или скалярное произведение. Тексты длиннее 512 токенов обрезаются, а качество на последовательностях существенно длиннее 250 word pieces может снижаться. Сведения о лицензии в предоставленных данных отсутствуют.