I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельGiga-Embeddings-instruct-480M-0826 — двуязычная модель текстовых эмбеддингов серии Giga-Embeddings, представленная под именем GigaChat. Она основана на предобученной модели с архитектурой Qwen3, адаптированной для двунаправленного encoder-style внимания, и обучена контрастивной функцией InfoNCE. Модель содержит около 483,7 млн параметров, формирует векторы размерности 1024 и поддерживает контекст до 8192 токенов. Модель предназначена для семантического поиска, сравнения предложений и абзацев, классификации и кластеризации текстов на русском и английском языках. Для асимметричного поиска к запросу следует добавлять краткую инструкцию задачи, а документы кодировать без неё; для симметричного сравнения инструкция необязательна. Используются mean pooling по непустым токенам и L2-нормализация; при прямом использовании через Transformers их нужно реализовать самостоятельно. По заявленным результатам модель сильна на русскоязычном MTEB, а на английском и коде уступает некоторым моделям из сравнения. Модель распространяется в формате safetensors, библиотека карточки — sentence-transformers. Лицензия MIT. Небольшие различия версий Transformers и PyTorch могут приводить к отличиям результатов воспроизведения.
GLM-4.6-REAP-268B-A32B-GGUF — сжатая GGUF-версия модели GLM-4.6, подготовленная Unsloth на основе варианта cerebras/GLM-4.6-REAP-268B-A32B. Модель использует метод REAP (Router-weighted Expert Activation Pruning), при котором равномерно удалено 25% экспертов исходной Mixture-of-Experts-модели. Она предназначена для генерации текста, программного кода, агентных рабочих процессов, понимания репозиториев и function calling, особенно в условиях ограниченных ресурсов, локального развертывания и академических исследований. Это разреженная causal language model с 268B параметров, из которых 32B активируются для каждого токена. Архитектура включает 92 слоя, 120 экспертов вместо исходных 160, 8 активируемых экспертов на токен и GQA с 96 головами Q и 8 головами KV. Контекстное окно составляет 202 752 токена. Заявляется сохранение почти идентичной производительности относительно полной 355B-версии при снижении требований к памяти примерно на 25%; при этом отдельные оценки для BF16-версии в README не приведены. Модель поддерживает развертывание через актуальный vLLM, а GGUF-файл содержит исправления chat template Unsloth и рассчитан на использование с параметром --jinja в llama.cpp. К преимуществам относятся однократное сжатие без дополнительного дообучения, сохранение независимого управления экспертов маршрутизатором и совместимость с vLLM без модификации исходного кода. Для запуска требуется значительный объём вычислительной памяти из-за общего размера модели, поэтому в README рекомендуется снижать максимальное число одновременно обрабатываемых последовательностей при нехватке памяти. Указана лицензия MIT.
harrier-oss-v1-27b — разработанная Microsoft многоязычная модель для получения плотных текстовых эмбеддингов. Она использует декодерную архитектуру Gemma3TextModel с last-token pooling и L2-нормализацией; в метаданных указано 28,3 млрд параметров, а README для варианта 27B приводит размерность эмбеддинга 5376 и максимум 32 768 токенов. Метаданные указывают нативный контекст 131 072 токена. Модель предназначена для семантического поиска и извлечения документов, кластеризации, оценки сходства предложений, классификации, поиска параллельных текстов и ранжирования. По README, Harrier OSS v1 достигла результата 74,3 на Multilingual MTEB v2 для варианта 27B. Для запросов рекомендуется добавлять короткую инструкцию с описанием задачи; отсутствие инструкции может снизить качество. Метаданные подтверждают многоязычность и широкий список языков, а README также перечисляет русский. Модель распространяется под лицензией MIT. Это текстовая модель эмбеддингов: она принимает текст и выдаёт векторы, а качество зависит от формулировки инструкции и используемого сценария; результаты могут немного различаться в зависимости от версий Transformers и PyTorch.
Это мультиязычная модель Sentence Transformer, разработанная как дообучение HIT-TMG/KaLM-embedding-multilingual-mini-v1 на 21 769 парах предложений. Она использует энкодер Qwen2 с усреднением токенных представлений и нормализацией, преобразует предложения и абзацы в плотные векторы размерностью 896 и предназначена для сравнения текстов по косинусному сходству. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текста. В README указана максимальная длина последовательности 512 токенов; метаданные также сообщают о нативном контекстном окне 131 072 токена, однако практический предел Sentence Transformer указан как 512. Репозиторий содержит веса Safetensors; лицензия в предоставленных данных не указана.
Llama3.1-8B-Titanium-Forge — языковая модель, созданная ZeroXClem методом слияния четырёх моделей ValiantLabs на базе семейства Llama 3.1. Она объединяет диалоговые навыки ShiningValiant2, математические способности Cobalt, генерацию кода Enigma и структурированный вывод Fireplace2. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст, выдавая текст; заявленная длина контекста — 131 072 токена. Модель предназначена для технических консультаций, решения математических задач, написания и объяснения кода, создания SQL-запросов и JSON, а также для диалоговых помощников и творческого письма. Карточка заявляет поддержку вызова инструментов через интерфейс модели. Основной язык — английский; метаданные не содержат отдельного перечня поддерживаемых языков. Весовые файлы опубликованы в формате safetensors. Модель распространяется по лицензии Apache-2.0. Заявленные специализации происходят из карточки и не сопровождаются результатами оценивания; точность ответов, качество на длинном контексте и надёжность структурированного вывода следует проверять для конкретного применения.
unsloth/llama-3-8b-bnb-4bit — это 4-битная квантованная версия 8-миллиардной языковой модели Llama 3, подготовленная Unsloth на базе Meta-Llama-3-8B. Исходную модель разработала Meta. Она предназначена для генерации текста и кода, диалоговых сценариев, текстового автодополнения и последующего дообучения на пользовательских наборах данных. Модель принимает только текст и генерирует текст или код. В основе лежит авторегрессионная архитектура оптимизированного Transformer; заявлены Grouped-Query Attention и контекстное окно 8 тысяч токенов. Модель обучалась на смеси общедоступных онлайн-данных; дата отсечения знаний — март 2023 года. Квантование до 4 бит снижает требования к памяти и делает модель более удобной для локального запуска и тонкой настройки, однако может уменьшать качество по сравнению с полноточной версией. Модель не поддерживает изображения и другие модальности, а качество ответов зависит от исходной Llama 3 и конкретного сценария использования. В README указана лицензия Llama 3 (license: llama3).
SillyTilly/Meta-Llama-3.1-405B-Instruct — текстовая инструкция-настроенная модель Meta из семейства Llama 3.1. Это авторегрессионный плотный Transformer с архитектурой LlamaForCausalLM и механизмом Grouped-Query Attention; в репозитории указано около 408 млрд параметров, формат весов safetensors и контекст до 131 072 токенов. Модель принимает и генерирует текст и предназначена для диалоговых сценариев с ассистентом, генерации текста и использования в коммерческих и исследовательских приложениях. Модель поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Ключевые особенности семейства включают настройку инструкциями с помощью supervised fine-tuning и обучения с обратной связью от людей, а также возможности многоязычного диалога и интеграции с внешними инструментами на стороне приложения. Репозиторий создан пользователем SillyTilly; README описывает модель Meta Llama 3.1. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License и Acceptable Use Policy. К ограничениям относятся непредсказуемые или небезопасные ответы, а также недостаточно надёжное качество и безопасность на языках, не входящих в перечень поддерживаемых; при подключении инструментов разработчик должен отдельно контролировать их безопасность и целостность.
NVIDIA MiniMax-M2.5-NVFP4 — квантизированная версия авторегрессионной языковой модели MiniMax-M2.5, разработанной MiniMax и подготовленной NVIDIA с использованием Model Optimizer. NVIDIA не является разработчиком исходной модели. Модель предназначена для коммерческого и некоммерческого применения, включая AI-агентов, чат-ботов, RAG-системы и другие приложения на базе генерации текста. Модель использует архитектуру Transformers с сетевой архитектурой MiniMaxM2ForCausalLM и содержит 229 млрд параметров. Она работает с текстовыми последовательностями на входе и генерирует текст на выходе; поддерживаемый контекст составляет до 196 608 токенов. Языки явно не указаны. Квантизация весов и активаций линейных операторов внутри трансформерных блоков до формата NVFP4 уменьшает число бит на параметр с 8 до 4, а также примерно в 1,65 раза сокращает требования к дисковому пространству и видеопамяти. Модель ориентирована на развёртывание на NVIDIA GPU, прежде всего на системах с микроархитектурой Blackwell, и интегрируется с SGLang и vLLM под Linux. К сильным сторонам относятся большой контекст, поддержка задач рассуждения и программирования, а также сниженные требования к памяти благодаря квантизации. Ограничения включают зависимость от совместимого оборудования NVIDIA и необходимость дополнительного тестирования на данных конкретного сценария; характеристики исходной MiniMax-M2.5, включая детальные языковые возможности, в предоставленных данных не раскрыты. Использование регулируется NVIDIA Open Model License; дополнительно указана Modified MIT License исходной модели MiniMax-M2.5. Версия квантизации создана с использованием NVIDIA Model Optimizer 0.43.0.
Это дообученная модель Sentence Transformers на базе endre01/e5-small-v2_st, разработанная для преобразования предложений и абзацев в плотные текстовые эмбеддинги размерностью 384. В основе архитектуры — BERT с усреднением токеновых представлений; модель вычисляет сходство по косинусной мере и поддерживает последовательности длиной до 512 токенов. Модель подходит для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текста. Эмбеддинги можно применять для сопоставления запросов с документами и группировки похожих фрагментов. В карточке не указаны специальные предметные ограничения или языковой охват. Лицензия не указана в предоставленных данных.
jfarray/Model_paraphrase-multilingual-MiniLM-L12-v2_30_Epochs — модель Sentence Transformers на базе архитектуры BERT. Она преобразует предложения и абзацы в плотные векторы размерностью 384, предназначенные для сравнения семантической близости, семантического поиска и кластеризации. Обучение проводилось с функцией потерь CosineSimilarityLoss; модель доступна в формате PyTorch и может использоваться через Sentence-Transformers или Transformers с подходящим pooling. Модель подходит для поиска похожих фраз и документов, группировки текстов и получения векторных представлений для последующей обработки. Контекст ограничен 512 токенами. Название базовой модели указывает на мультиязычный вариант MiniLM, однако README и метаданные не приводят список поддерживаемых языков или идентификатор базовой модели. Лицензия в предоставленных данных не указана.
Карточка модели Karmukilan/multilingual-e5-base на Hugging Face совпадает с карточкой intfloat/multilingual-e5-base, поэтому описание составлено по ней. Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.
Карточка модели NaganoJRC/multilingual-e5-base на Hugging Face совпадает с карточкой intfloat/multilingual-e5-base, поэтому описание составлено по ней. Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.
Data-Lab multilingual-e5-large-instruct-embedder_distill-tgd — дообученная модель Sentence Transformer на базе intfloat/multilingual-e5-large-instruct, разработанная Data-Lab. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска и сравнения текстов. Архитектура включает XLM-RoBERTa, усреднение токенных представлений и нормализацию; модель использует косинусное сходство и принимает последовательности длиной до 514 токенов по метаданным. Модель подходит для поиска близких по смыслу документов, оценки сходства текстов, поиска перефразирований, кластеризации и классификации на основе эмбеддингов. В README приведена точность cosine_accuracy 0,8994 на dev-наборе TripletEvaluator, но это значение относится только к указанной оценке и не гарантирует качество на других данных. Метаданные не уточняют языковой охват дообученной версии; базовая модель многоязычная. Репозиторий содержит веса Safetensors; сведения о лицензии в предоставленных данных отсутствуют.
Multilingual-E5-small — многоязычная модель текстовых эмбеддингов семейства E5, основанная на архитектуре BERT. В карточке указаны 12 слоёв и размерность эмбеддинга 384; метаданные сообщают о 124,3 млн параметров и формате ONNX. Модель инициализирована из microsoft/Multilingual-MiniLM-L12-H384 и дополнительно обучена на смеси многоязычных наборов данных. Модель предназначена для получения векторных представлений текстов и оценки их семантического сходства. Её можно применять для поиска и ранжирования пассажей, семантического поиска, сопоставления парафразов и межъязыкового поиска. Для поиска по запросу и документам следует добавлять префиксы «query: » и «passage: » соответственно; для симметричных задач и использования эмбеддингов как признаков применяется «query: ». Модель поддерживает 100 языков, однако качество может снижаться для языков с малым объёмом ресурсов. Тексты длиннее 512 токенов обрезаются. Лицензия — MIT.
Muse Glimmer-30B — мультимодальная модель Meta Superintelligence Lab с плотным причинным трансформером и отдельным энкодером восприятия; версия Unsloth дообучена на базе meta-models/Muse-Glimmer-30B. Модель содержит около 29,6 млрд параметров и предназначена для локального запуска, в том числе на потребительском оборудовании. Лицензия — Apache 2.0. Модель рассчитана на агентные сценарии: многошаговое планирование, вызов инструментов, восстановление после ошибок и длительное выполнение задач. Она принимает изображения вместе с текстом и подходит для анализа скриншотов, графиков и документов, а также для программирования, генерации синтетических данных и оценки ответов других моделей. Аудио не поддерживается; видео отдельно не оптимизировано и обрабатывается покадрово. Языковое покрытие неоднородно: качество может снижаться для языков, на которых модель недостаточно оценивали. Модель может ошибаться в многошаговых рассуждениях, особенно в новых сценариях, и выдавать предвзятые или нежелательные ответы. Для агентных применений разработчикам рекомендуется проводить проверки безопасности и добавлять защитные механизмы, включая подтверждение необратимых действий.
codersan/newfa_e5small_7 — дообученная модель Sentence Transformers на базе intfloat/multilingual-e5-small, разработанная автором репозитория codersan. Она преобразует предложения и абзацы в плотные текстовые эмбеддинги размерностью 384 для сравнения семантической близости, семантического поиска, поиска перефразирований, классификации и кластеризации текста. Архитектура включает трансформер BERT, усреднение токенных представлений и нормализацию векторов; сходство можно оценивать косинусной мерой. Модель обучена на парах anchor-positive с помощью MultipleNegativesRankingLoss. Максимальная длина последовательности — 512 токенов. Базовая модель многоязычная, а примеры обучающих данных включают персидский и английский языки. Для работы с моделью используется библиотека Sentence Transformers. Лицензия в предоставленных данных не указана.
Модель mykor/paraphrase-multilingual-MiniLM-L12-v2 — версия sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, подготовленная для преобразования в формат GGUF. Это многоязычная модель на архитектуре XLM-RoBERTa с 124,3 млн параметров, предназначенная для получения эмбеддингов предложений и оценки их сходства. Она подходит для семантического поиска, сопоставления перефразировок и поиска близких по смыслу текстов. Модель принимает текст и выдаёт векторные представления; метаданные указывают задачу sentence-similarity, а карточка также отмечает совместимость с извлечением признаков. Поддерживаются многочисленные языки, включая русский и английский. Контекст ограничен 512 токенами. Лицензия — Apache 2.0.
Карточка модели questgen/paraphrase-multilingual-mpnet-base-v2-feature-extraction-pipeline на Hugging Face совпадает с карточкой jamiealexandre/paraphrase-multilingual-mpnet-base-v2-konni, поэтому описание составлено по ней. jamiealexandre/paraphrase-multilingual-mpnet-base-v2-konni — модель Sentence-Transformers для преобразования предложений и абзацев в плотные векторы размерностью 768. Она основана на архитектуре XLM-RoBERTa, содержит 305,2 млн параметров и принимает текстовые последовательности длиной до 514 токенов. Модель предназначена для получения эмбеддингов, семантического поиска, сравнения текстов и кластеризации. Разработчик карточки указывает Sentence-Transformers; README описывает базовую модель paraphrase-multilingual-mpnet-base-v2. Векторные представления подходят для поиска похожих фрагментов и группировки текстов по смыслу. Для использования с Transformers требуется корректно применять pooling к контекстным представлениям токенов; Sentence-Transformers упрощает этот шаг. Модель распространяется в формате PyTorch по лицензии Apache-2.0.
jamiealexandre/paraphrase-multilingual-mpnet-base-v2-konni — модель Sentence-Transformers для преобразования предложений и абзацев в плотные векторы размерностью 768. Она основана на архитектуре XLM-RoBERTa, содержит 305,2 млн параметров и принимает текстовые последовательности длиной до 514 токенов. Модель предназначена для получения эмбеддингов, семантического поиска, сравнения текстов и кластеризации. Разработчик карточки указывает Sentence-Transformers; README описывает базовую модель paraphrase-multilingual-mpnet-base-v2. Векторные представления подходят для поиска похожих фрагментов и группировки текстов по смыслу. Для использования с Transformers требуется корректно применять pooling к контекстным представлениям токенов; Sentence-Transformers упрощает этот шаг. Модель распространяется в формате PyTorch по лицензии Apache-2.0.
paraphrase-xlm-r-multilingual-v1 — модель Sentence-Transformers для преобразования предложений и абзацев в плотные векторы размерности 768. Она основана на XLM-RoBERTa, содержит 305,2 млн параметров и предназначена для вычисления сходства по смыслу, семантического поиска и кластеризации текстов. Контекст модели составляет до 514 токенов. Модель обучена командой Sentence-Transformers и поддерживает многоязычные тексты. Для получения векторов её можно использовать через библиотеку Sentence-Transformers или через Transformers с подходящей операцией pooling. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель подходит для поиска похожих предложений, группировки текстов и построения семантического поиска. Она выдаёт векторные представления, а не готовые ответы; качество может зависеть от языка и предметной области. Лицензия — Apache-2.0.
RedHatAI/Qwen3.5-9B-quantized.w8a8 — квантизированная версия мультимодальной модели Qwen/Qwen3.5-9B, разработанная RedHatAI. Модель принимает текст и изображения и генерирует текст, поэтому предназначена для диалоговых систем, анализа изображений, ответов на вопросы, следования инструкциям и задач рассуждения. Модель содержит около 9 млрд параметров и использует INT8-квантизацию весов и активаций линейных операторов в трансформерных блоках. Размер модели на диске составляет около 14,0 ГБ вместо 19,3 ГБ в формате BF16. Энкодер изображений, токеновые эмбеддинги и слои linear attention оставлены в BF16. Заявлена поддержка контекста до 262 144 токенов при развертывании через vLLM; доступен также текстовый режим с пониженным потреблением памяти. Ключевое преимущество модели — существенное сокращение размера и требований к памяти при сохранении качества, близкого к исходной Qwen/Qwen3.5-9B: на приведённых тестах показатели квантизированной версии находятся практически на уровне базовой модели. Ограничения включают зависимость от совместимого стека vLLM и частичную, а не полную квантизацию компонентов. Модель распространяется по лицензии Apache 2.0.
RedHatAI/Qwen3-8B-quantized.w4a16 — языковая авторегрессионная модель на архитектуре Qwen3ForCausalLM, разработанная Red Hat совместно с Neural Magic на базе Qwen/Qwen3-8B. Модель работает с текстом на входе и генерирует текст на выходе; заявлены поддержка рассуждений, вызова функций, многоязычного следования инструкциям, перевода и адаптации под предметные области посредством дообучения. Модель использует квантизацию весов до INT4 в формате W4A16. Квантизуются веса линейных операторов внутри трансформерных блоков с применением GPTQ, асимметричной групповой схемы и размером группы 64; параметр lm_head исключён. Такое сжатие уменьшает число бит на параметр с 16 до 4, а заявленный размер на диске и требования к памяти GPU — примерно на 75%. Для развёртывания рекомендуется backend vLLM, включая OpenAI-совместимый режим сервинга. Сильные стороны модели — существенно сниженные требования к хранению и GPU-памяти при сохранении назначения исходной Qwen3-8B, а также пригодность для задач рассуждений, перевода и работы с инструкциями. Ограничения включают потенциальное снижение качества из-за квантизации и отсутствие в представленном README конкретных численных результатов оценки; также не указаны точный перечень поддерживаемых языков и гарантированное максимальное окно контекста. В материалах приведены конфигурации с длиной последовательности до 8192 и отдельные оценки с длиной до 40960 токенов, что не следует автоматически трактовать как универсальное ограничение модели. Модель распространяется по лицензии Apache-2.0. Использование должно соответствовать применимым законам и нормативным требованиям.
Qwen3.8-Flash-Next-MLX-Serve-iQ-MLX-3.3bpw — это квантованный пакет модели Qwen3.8-Flash-Next, разработанной Qwen и адаптированной пользователем ddalcu для запуска через mlx-serve на компьютерах Mac с 64 ГБ памяти. Модель предназначена для генерации текста, работы с агентами, кодом, прозой и математическими задачами, а также поддерживает обработку изображений и видео благодаря встроенной vision tower. Доступен формат вызова инструментов Qwen3.8 с XML-синтаксисом; режим рассуждений включён по умолчанию и может быть отключён. Пакет использует экспериментальную архитектуру Qwen4 с MoE, gated residual streams, n-gram embedding и Qwen Sparse Attention. Полный исходный чекпойнт включает около 180 млрд параметров: 125 млрд параметров основного ствола, 51 млрд параметров n-gram-таблицы и 4 млрд параметров MTP-головы. В данном варианте веса квантованы примерно до 3,3 бит на параметр с imatrix-калибровкой. Заявлена нативная длина контекста до 262 тысяч токенов, а для 64-ГБ Mac рекомендован размер контекста 65 536 токенов. Пакет занимает около 52 ГБ оперативной памяти; измеренная скорость на M4 Max составляет примерно 52,6 токена в секунду при декодировании и 762 токена в секунду при предварительной обработке. Главное преимущество — возможность разместить крупную мультимодальную MoE-модель на Mac с 64 ГБ памяти при сохранении около 99% вероятностной массы более тяжёлого варианта mixed-4-8bit. Ограничения связаны с потерями качества из-за агрессивной квантизации, требованиями к памяти и специфической инфраструктурой MLX. N-gram-таблица объёмом 32 ГБ подгружается через отображение файла и при холодном кэше может замедлять обработку длинного первого запроса. Для использования требуется mlx-serve и macOS с настройкой лимита GPU-памяти. Лицензия указана как qwen-community-1.0.
Карточка модели m-hasnain-sabqi/Qwen3-Embedding-4B на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-4B, поэтому описание составлено по ней. Qwen3-Embedding-4B — мультиязычная модель для построения текстовых эмбеддингов из семейства Qwen3, разработанная командой Qwen. Это плотная модель на базе Qwen3-4B-Base, дообученная для задач поиска и сравнения текстов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель подходит для семантического поиска по документам и коду, оценки сходства предложений, классификации и кластеризации текстов, а также поиска соответствий между языками. Она поддерживает более 100 языков, контекст до 40 960 токенов по метаданным и до 32 тысяч токенов в описании модели. Размер эмбеддинга можно настраивать от 32 до 2560 измерений; также поддерживаются инструкции, настраивающие представление под задачу.
Qwen3-Embedding-8B — текстовая модель эмбеддингов семейства Qwen3, опубликованная RedHatAI на базе Qwen/Qwen3-8B-Base. Это плотная архитектура Qwen3 с 7,6 млрд параметров; модель предназначена для получения векторных представлений текста и задач ранжирования и поиска. Метаданные указывают контекст до 40 960 токенов, а README описывает поддержку последовательностей до 32 тысяч токенов и векторы размерностью от 32 до 4096. Модель понимает пользовательские инструкции для настройки представлений под конкретную задачу. Модель подходит для семантического поиска по текстам и коду, многоязычного и межъязыкового поиска, классификации и кластеризации текстов, сопоставления параллельных текстов и оценки сходства. В README заявлена поддержка более 100 языков и приведены высокие результаты на бенчмарках MTEB; эти показатели относятся к оценкам разработчика и зависят от сценария применения. Для многоязычных сценариев README рекомендует формулировать инструкции на английском. Модель выпущена в формате safetensors и распространяется по лицензии Apache-2.0. Для загрузки через Transformers требуется версия 4.51.0 или новее, поскольку в более ранних версиях может возникать ошибка распознавания архитектуры Qwen3.
clu-ling/roberta-finetuned-stsbenchmark — модель на архитектуре RoBERTa, дообученная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 1024 для поиска семантически близких фрагментов, кластеризации и сравнения текстов. Модель поддерживает контекст до 514 токенов и распространяется в формате PyTorch. Модель подходит для семантического поиска и группировки текстов по смыслу. Для использования доступны Sentence-Transformers и Transformers; при работе через Transformers нужно применить подходящую операцию pooling к контекстным представлениям токенов. В README упомянуто обучение с CosineSimilarityLoss. Язык данных обучения и лицензия в предоставленных сведениях не приведены. Качество зависит от соответствия языка и тематики входных текстов данным обучения; результаты сходства следует проверять на целевом наборе.
semantic-lite — компактная многоязычная модель эмбеддингов, созданная разработчиком репозитория ukung на основе Qwen3-0.6B. Это плотная модель семейства Qwen3 с 6 слоями после сокращения исходных 28; метаданные указывают 231,1 млн параметров, а README — около 250 млн. Она преобразует текст в векторы размерности 1024 для семантического поиска, сравнения сходства, межъязыкового поиска, кластеризации, поиска дубликатов и парафраз, а также подготовки контекста для RAG и рекомендаций. Модель рассчитана на работу через sentence-transformers; в метаданных указан контекст до 40 960 токенов, тогда как README приводит максимум 8 192 токена. По карточке, модель наследует широкое языковое покрытие Qwen3; метаданные явно перечисляют английский, индонезийский, французский, испанский, немецкий, португальский, итальянский, нидерландский, японский, китайский, корейский, арабский, русский, вьетнамский, тайский, турецкий, польский, украинский, шведский, персидский, иврит и хинди. README сообщает о хорошем сходстве представлений в тесте на 22 языках и результатах выше all-MiniLM-L6-v2 на небольшом внутреннем индонезийском наборе. Лицензия — Apache-2.0. Нулевая классификация не поддерживается; короткие абстрактные запросы могут требовать асимметричных префиксов query:/passage:, а опубликованная оценка ограничена небольшим внутренним корпусом.
yunyu/sentence-transformers-e5-small-v2 — модель эмбеддингов на архитектуре BERT, опубликованная в формате PyTorch. Она преобразует предложения и абзацы в плотные векторы размерностью 384 и предназначена для семантического поиска, кластеризации и сравнения текстов. Модель содержит около 40 млн параметров и принимает последовательности длиной до 512 токенов. Лицензия в доступных данных не указана.
embaas разработала модель эмбеддингов на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 и предназначена для поиска семантически близких текстов, кластеризации и других задач сравнения предложений. Модель можно использовать в сценариях семантического поиска и группировки текстовых фрагментов. Модель поставляется в формате PyTorch и рассчитана на входные последовательности длиной до 514 токенов. Лицензионные условия в предоставленных данных не описаны.
Multilingual-E5-small — многоязычная модель эмбеддингов текста семейства E5, представленная в техническом отчёте Liang Wang и соавторов. Это плотная BERT-модель на 12 слоёв с размерностью эмбеддинга 384 и 124,3 млн параметров; она создана на основе microsoft/Multilingual-MiniLM-L12-H384 и дополнительно обучена на смеси многоязычных данных. Модель преобразует запросы и тексты в векторы для семантического поиска, извлечения фрагментов, оценки сходства предложений и поиска перефразировок. Для асимметричного поиска рекомендуется добавлять к запросу префикс «query: », а к документу — «passage: »; для симметричных задач и кластеризации используется «query: ». Заявлена поддержка 100 языков; низкоресурсные языки могут работать хуже. Контекст ограничен 512 токенами, длинные тексты обрезаются. Репозиторий содержит веса safetensors и лицензирован по MIT.