I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельssmits опубликовал текстовую диалоговую модель Llama-3.1-Nemotron-92B-Instruct-HF-late, полученную слиянием через mergekit методом passthrough на основе nvidia/Llama-3.1-Nemotron-70B-Instruct-HF. Модель с плотной архитектурой LlamaForCausalLM содержит 90,9 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Модель предназначена для диалога, генерации ответов на инструкции и запросы, а также сценариев с интерфейсом вызова инструментов. Она распространяется в формате safetensors через библиотеку Transformers. Сведения о лицензии и конкретных ограничениях качества или безопасности в предоставленных данных отсутствуют.
Карточка модели aratadev/Llama-3.2-3B-Instruct на Hugging Face совпадает с карточкой unsloth/Llama-3.2-3B-Instruct, поэтому описание составлено по ней. unsloth/Llama-3.2-3B-Instruct — текстовая диалоговая модель семейства Llama 3.2, разработанного Meta и опубликованного Unsloth в виде модели на базе meta-llama/Llama-3.2-3B-Instruct. Это плотный авторегрессионный трансформер с архитектурой LlamaForCausalLM и примерно 3,2 млрд параметров; веса представлены в формате safetensors. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и предназначена для многоязычных диалогов. Модель подходит для генерации ответов, суммаризации, поиска знаний в диалоговых сценариях и построения приложений с вызовом инструментов. В карточке Unsloth также приведены ноутбуки для дообучения и экспорта моделей, но это описание относится к самому чекпойнту. README указывает поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; метаданные отдельно отмечают английский. Использование регулируется лицензией Llama 3.2 Community License — специальной коммерческой лицензией Meta.
unsloth/Llama-3.2-3B-Instruct-unsloth-bnb-4bit — 4-битная версия instruction-tuned языковой модели Llama 3.2 с 3 млрд параметров, подготовленная Unsloth на основе meta-llama/Llama-3.2-3B-Instruct. Разработчик базовой модели — Meta; Unsloth предоставляет оптимизированное квантованное представление для использования и дообучения с меньшими требованиями к памяти. Модель предназначена для текстовых диалогов, генерации и обработки текста, включая многоязычные сценарии, агентский поиск и суммаризацию. Это авторегрессионная модель на основе оптимизированной архитектуры Transformer, обученная с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель принимает и генерирует только текст; размер контекста в карточке не указан. Ключевое преимущество версии — 4-битное квантование Unsloth, которое снижает требования к памяти и подходит для локального запуска и эффективного дообучения. Из-за квантования возможен компромисс между экономией ресурсов и точностью по сравнению с полноразмерной версией; конкретные показатели качества в карточке не приведены. Модель распространяется по лицензии Llama 3.2 Community License; её использование также должно соответствовать Acceptable Use Policy.
llama-embed-mamba2-1.3b — модель векторных представлений текста, разработанная Dynatrace Open Source на основе state-spaces/mamba2-1.3b. Она воспроизводит процедуру обучения e5-mistral-7b-instruct и предназначена для поиска по смыслу, кластеризации, классификации и других задач сравнения текстов. Модель использует рекуррентную архитектуру Mamba-2, содержит 2,9 млрд параметров и выдаёт эмбеддинги. Вертикальная обработка блоками позволяет выполнять инференс с постоянным потреблением памяти независимо от длины последовательности; вычислительная сложность при этом линейна по длине входа. В README приведены результаты MTEB Multilingual v2 — 55,2, MTEB English v2 — 64,3 и LongEmbed — 40,8. Модель принимает текст и предназначена для многоязычных задач, с отдельно приведёнными результатами для английского языка; основной язык не выделен. Для длинных входов требуется вертикальная обработка блоками, а для использования указана зависимость от transformers версии 5.5.0 или новее. Лицензия — Apache-2.0; обучение частично использовало синтетические данные, созданные Llama 3.1 70B.
BAAI/llm-embedder — англоязычная модель эмбеддингов, выпущенная BAAI в рамках проекта FlagEmbedding. Она преобразует текст в плотные векторы для поиска и других задач, где нужно сопоставлять тексты по смыслу. Модель предназначена, в частности, для разных сценариев retrieval augmentation в системах на базе больших языковых моделей и может использоваться с векторными базами данных. Это плотная модель архитектуры BERT с 136,7 млн параметров и контекстом до 512 токенов. Векторы подходят для семантического поиска, извлечения документов, классификации и кластеризации. Для коротких поисковых запросов, используемых для нахождения длинных документов, авторы рекомендуют добавлять к запросу инструкцию; необходимость этого зависит от конкретной задачи. Модель не является переранжировщиком: она строит векторные представления, а не оценивает напрямую пару «запрос — документ». Значения сходства могут быть высокими даже для несвязанных текстов, поэтому порог нужно подбирать на данных конкретного применения, а для ранжирования кандидатов можно использовать отдельный reranker. Лицензия — MIT.
Leo1212/longformer-base-4096-sentence-transformers-all-nli-stsb-quora-nq — англоязычная модель Sentence Transformers, дообученная на базе allenai/longformer-base-4096. Она преобразует предложения и абзацы в плотные векторы размерности 768; архитектура объединяет Longformer и mean pooling. Максимальная длина последовательности — 4098 токенов, сходство векторов можно оценивать косинусной мерой. Модель предназначена для семантического сравнения текстов, поиска по смыслу, поиска перефразировок, кластеризации и классификации текста. В обучении использованы наборы all-NLI, STS-B, Quora и Natural Questions. Она принимает текст и выдаёт векторные представления; карточка не приводит сравнительных оценок качества. Лицензия в предоставленных данных не указана.
harsh-wk/long-seq-paraphrase-MiniLM-L6-v2 — модель Sentence Transformers для преобразования предложений и абзацев в плотные векторы размерности 384. Она подходит для семантического поиска, сравнения сходства текстов и кластеризации. По метаданным, модель основана на архитектуре BERT, содержит 25,9 млн параметров и принимает последовательности длиной до 512 токенов. Модель обучена Sentence Transformers и распространяется по лицензии Apache-2.0. В репозитории доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. README описывает семантический поиск и кластеризацию как основные сценарии; язык текстов, поддерживаемых моделью, в предоставленных данных не установлен.
RedHatAI/Meta-Llama-3.1-8B-Instruct-FP8-dynamic — квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая autoregressive-модель архитектуры LlamaForCausalLM для генерации текста, диалоговых ассистентов и tool calling. Модель получает текст на вход и генерирует текст на выходе; поддержка вызова инструментов реализована через специальный шаблон чата и парсер llama3_json. Модель содержит 8 млрд параметров и использует FP8-квантизацию весов и активаций. Квантизируются линейные операторы в трансформерных блоках с применением симметричной поканальной схемы для весов и динамической потокенной квантизации активаций. По сравнению с 16-битным представлением это примерно вдвое уменьшает размер на диске и требования к памяти GPU. Модель рассчитана на эффективный инференс с vLLM; заявлено восстановление качества на уровнях 99,7–105,4% относительно исходной модели в ряде тестов, включая Arena-Hard, OpenLLM и HumanEval. В метаданных указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, однако README отдельно ограничивает использование языком английским и указывает, что применение в других языках относится к сценариям вне области назначения. Контекст модели в README явно не указан. Модель предназначена для коммерческого и исследовательского использования с учетом условий лицензии Llama 3.1 и применимых законов и ограничений. Она была проверена с RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4.
MiniCPM5-2B MLX 8-bit — это квантованная версия текстовой языковой модели OpenBMB MiniCPM5-2B, подготовленная в формате MLX для локального запуска. Модель имеет плотную Llama-based архитектуру и около 2 млрд параметров; конверсия использует аффинное 8-битное квантование с размером группы 64 и занимает примерно 2,5 ГБ в формате MLX safetensors. Поддерживаются английский и китайский языки, максимальная длина контекста составляет 131 072 токена. Модель предназначена для генерации текста, программирования, рассуждений, задач с длинным контекстом и использования инструментов, включая сценарии локального развертывания через mlx-lm. Это text-only модель: компоненты для обработки изображений и MTP-файлы отсутствуют, поэтому мультимодальные задачи не поддерживаются. Лицензия — Apache-2.0; приведённые в README результаты тестирования относятся к исходной версии MiniCPM5-2B от OpenBMB, а не непосредственно к этой MLX-конверсии.
marrodion/minilm-l12-v2-simple — дообученная модель Sentence Transformers на базе sentence-transformers/all-MiniLM-L12-v2, разработанная автором репозитория marrodion. Она кодирует предложения и абзацы в плотные векторы размерности 384 и предназначена для сравнения текстов по косинусному сходству, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Модель использует архитектуру BERT с усреднением токенных представлений и нормализацией векторов. Метаданные указывают размер около 40 млн параметров и нативный контекст до 512 токенов; в README указан максимальный размер последовательности 128 токенов. Обучение описано на парах предложений с оценками сходства, а в README приведена оценка на наборе SemEval-15-dev. Модель рассчитана на текст на английском языке, как и базовая all-MiniLM-L12-v2. Она выдаёт эмбеддинги, а не готовые ответы; качество зависит от предметной области и данных, а длинные последовательности ограничены указанным размером. В метаданных лицензия не приведена. Для использования требуется библиотека Sentence Transformers.
solidrust/Mistral-7B-Instruct-v0.3-AWQ — это 4-битно квантованная версия Mistral-7B-Instruct-v0.3, разработанной компанией Mistral AI (mistralai) и опубликованной в формате AWQ пользователем Suparious. Модель представляет собой большую языковую модель с авторегрессионной архитектурой для генерации текста и была дообучена на выполнение инструкций. Модель предназначена для диалоговых сценариев, ответов на запросы пользователей, генерации и обработки текста, а также задач, где требуется следование инструкциям. Базовая версия Mistral-7B-v0.3 получила расширенный словарь размером 32768 токенов, поддержку токенизатора v3 и function calling. README не указывает поддерживаемые языки и размер контекстного окна. Ключевое преимущество версии AWQ — снижение требований к памяти и потенциально высокая скорость инференса при сохранении качества, сопоставимого с распространёнными настройками GPTQ. Ограничением является поддержка преимущественно Linux и Windows с графическими процессорами NVIDIA; для macOS рекомендуется использовать модели в формате GGUF. Для запуска доступны AutoAWQ, vLLM, Text Generation Inference, Transformers и Text Generation WebUI. Модель распространяется по лицензии Apache-2.0.
MixEmbedMean-base-20240116021758-best — модель эмбеддингов avsolatorio на базе BERT, представленная как модель Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, кластеризации и других задач сравнения текста. Модель дистиллирована из BAAI/bge-small-en-v1.5 и содержит 18,8 млн параметров; README сообщает, что у неё в четыре раза меньше параметров без учёта эмбеддингов, чем у исходной модели, и примерно вдвое меньше параметров, чем у all-MiniLM-L6-v2, при сопоставимом качестве.
Карточка модели onelevelstudio/ML-E5-0.3B на Hugging Face совпадает с карточкой intfloat/multilingual-e5-base, поэтому описание составлено по ней. Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.
tanbinh2210/mlm_finetuned_phobert — модель Sentence Transformers, дообученная разработчиком tanbinh2210 на базе tanbinh2210/mlm_trained_phobert. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения семантической близости по косинусному сходству. Модель основана на RoBERTa и использует усреднение токенных представлений; размер составляет 162,4 млн параметров, максимальная длина последовательности — 258 токенов по метаданным. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и извлечения признаков для классификации текста. При обучении использовалась функция MultipleNegativesRankingLoss и набор данных из 357 024 примеров с запросами, положительными и отрицательными текстами. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.
Карточка модели novelcore/model7 на Hugging Face совпадает с карточкой sentence-transformers/all-distilroberta-v1, поэтому описание составлено по ней. all-distilroberta-v1 — модель Sentence Transformers на архитектуре DistilRoBERTa, разработанная в рамках Hugging Face Community Week для проекта по обучению эмбеддингов предложений на большом наборе пар. Модель дообучена на базе distilroberta-base контрастивным обучением на более чем 1 млрд пар предложений. Она преобразует предложения и короткие абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, оценки сходства и кластеризации текста. Модель принимает текст и выдаёт векторные представления. В README указано усечение входа длиннее 128 word pieces; метаданные сообщают контекстное окно 514 токенов. В карточке отмечен английский язык. Репозиторий содержит веса PyTorch и варианты ONNX, OpenVINO и safetensors. Модель распространяется по лицензии Apache-2.0. Модель подходит для поиска текстов по смыслу и группировки семантически близких фрагментов. Она не предназначена для генерации ответов; качество зависит от соответствия языка и предметной области обучающим данным, а длинные входы ограничиваются усечением.
Это модель Sentence Transformers, дообученная на базе mixedbread-ai/deepset-mxbai-embed-de-large-v1. Она использует трансформер XLM-RoBERTa и преобразует предложения и абзацы в плотные векторы размерностью 1024, нормализованные для сравнения по косинусному сходству. Максимальная длина входа — 512 токенов; библиотека модели — sentence-transformers. Модель предназначена для семантического поиска и сопоставления текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации. В карточке указаны результаты оценки на задаче поиска информации, однако данных недостаточно, чтобы обобщать эти показатели на другие наборы текстов. Лицензия в предоставленных источниках не указана.
knguyennguyen/mpnet_jacket4k_adjustedv3 — дообученная модель Sentence Transformers на базе sentence-transformers/all-mpnet-base-v2, разработанная пользователем knguyennguyen. MPNet преобразует предложения и абзацы в плотные векторы размерности 768; для сравнения используется косинусное сходство. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов. В обучающем наборе было 11 097 пар anchor-positive, а в оценочном — 300 пар. Максимальная длина последовательности в конфигурации README — 128 токенов; метаданные указывают нативный контекст в 514 токенов. Модель принимает текст и выдаёт эмбеддинги, которые можно использовать для ранжирования по сходству и дальнейшего анализа. Языки обучения и поддерживаемые естественные языки в предоставленных данных не определены. Модель сохранена в формате safetensors и использует библиотеку Sentence Transformers. Лицензия в предоставленных метаданных и README не указана. Качество для конкретных задач следует проверять отдельно; последовательности длиннее указанного в README предела могут обрезаться.
jamescalam/mpnet-nli-sts — модель на базе MPNet, разработанная James Calam для получения эмбеддингов предложений и абзацев. Она отображает текст в плотное векторное пространство размерности 768 и подходит для семантического поиска, сравнения сходства и кластеризации текстов. Модель дообучена на наборе STSb, используя jamescalam/mpnet-snli-negatives как исходную модель; в карточке сообщается о корреляции Пирсона около 0,9 по косинусному сходству на тестовой части STSb. Модель содержит 136,7 млн параметров, принимает английский текст, а её контекст ограничен 514 токенами. Распространяется в формате PyTorch по лицензии MIT.
Tool-COLT/msmarco-roberta-base-ance-firstp-v1-ToolBenchG3 — модель на базе RoBERTa, созданная для получения плотных векторных представлений предложений и абзацев. Она преобразует текст в эмбеддинги размерности 768 и подходит для семантического поиска и кластеризации. Обучение с MultipleNegativesRankingLoss и косинусной мерой сходства ориентировано на сопоставление текстов по смыслу. Модель содержит 151,8 млн параметров, использует формат PyTorch и принимает последовательности длиной до 514 токенов. Её можно применять с Sentence-Transformers или Hugging Face Transformers, используя соответствующую операцию pooling. Лицензия в предоставленных данных не указана.
Это модель Sentence Transformer, дообученная автором anhtuansh на базе intfloat/multilingual-e5-base. Она преобразует предложения и абзацы в плотные векторы размерностью 768; архитектура включает XLM-RoBERTa, усреднение токенов и нормализацию, а близость векторов можно оценивать косинусным сходством. Модель предназначена для семантического поиска, сопоставления текстов, поиска перефразировок, кластеризации и классификации текста. При дообучении использован набор json из 10 200 пар anchor-positive с MatryoshkaLoss и MultipleNegativesRankingLoss. Максимальная длина входа — 512 токенов по README и 514 токенов контекстного окна по метаданным. Многоязычная базовая модель позволяет работать с текстами на разных языках; в обучающих примерах есть вьетнамские юридические тексты. README приводит результаты оценки поиска, но не уточняет язык и состав тестовых данных. Модель распространяется в формате safetensors; лицензия в предоставленных данных не указана.
Это многоязычная модель Sentence Transformer от mrm8488, дообученная на базе intfloat/multilingual-e5-large на расширенном испаноязычном наборе stsb_multi_es_aug. Модель на архитектуре XLM-RoBERTa преобразует предложения и абзацы в плотные текстовые эмбеддинги; описание указывает размерность 1024, усреднение токенов с последующей нормализацией и сравнение по косинусному сходству. Максимальная длина последовательности составляет 512 токенов по README; метаданные каталога указывают нативный контекст 514 токенов. Модель предназначена для оценки семантического сходства, семантического поиска, поиска перефразирований, кластеризации и классификации текста на основе эмбеддингов. В README приведены результаты оценки сходства на STS для нескольких размерностей в диапазоне 16–768. Модель содержит 658,7 млн параметров и распространяется в формате safetensors. Лицензия в предоставленных данных не указана.
Nextcloud-AI/multilingual-e5-large-instruct — модель текстовых эмбеддингов семейства E5, основанная на XLM-RoBERTa-large. Разработчики исходной модели — Liang Wang, Nan Yang, Xiaolong Huang, Linjun Yang, Rangan Majumder и Furu Wei; репозиторий Nextcloud-AI содержит её копию. Модель имеет 24 слоя и размерность эмбеддинга 1024, насчитывает 658,7 млн параметров и принимает текст длиной до 514 токенов по метаданным; README предупреждает об усечении длинных текстов до 512 токенов. Она предназначена для создания векторных представлений текста и поддерживает извлечение признаков и сравнение предложений. Подходит для поиска документов по смыслу, ранжирования пассажей и оценки семантического сходства. При кодировании запроса рекомендуется добавлять краткую инструкцию, описывающую задачу; к документам такую инструкцию добавлять не требуется. Модель поддерживает 100 языков XLM-RoBERTa, хотя качество может снижаться для языков с малым объёмом обучающих данных. Репозиторий предоставляет веса в форматах safetensors и ONNX. Лицензия — MIT. README указывает, что результаты могут немного отличаться в зависимости от версий Transformers и PyTorch, а абсолютные значения косинусного сходства не следует трактовать как универсальную оценку: для поиска важнее относительный порядок результатов.
Модель austinpatrickm/multilingual-e5-small-finetuned — дообученный автором модели Sentence Transformer на базе intfloat/multilingual-e5-small. Она использует архитектуру BERT с усреднением токенных представлений и нормализацией и преобразует предложения и абзацы в плотные эмбеддинги размерности 384. Максимальная длина входа — 512 токенов; близость векторов можно оценивать косинусным сходством. Модель предназначена для семантического поиска, сравнения предложений, поиска перефразирований, кластеризации и классификации текста. В README приведены результаты оценки поиска информации и обучающий набор из 29 840 пар текстов. Многоязычность наследуется от базовой multilingual-e5-small; конкретные языки в карточке не перечислены. Лицензия в предоставленных данных не указана.
Abdul-Ib/multilingual-en-ar-2024 — модель на основе BERT из библиотеки Sentence Transformers, разработанная Abdul-Ib. Она преобразует предложения и абзацы в плотные векторы размерности 384 для поиска по смыслу, кластеризации и сравнения текстов. Модель содержит 124,3 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт векторные представления. Название указывает на английский и арабский языки; README описывает модель как мультиязычную. Модель можно использовать для семантического поиска, группировки похожих фраз и построения систем сравнения предложений. Файлы модели опубликованы в формате safetensors. Условия лицензии в доступных данных не указаны.
marianodo/MultipleNegativesRankingLoss — модель Sentence Transformers на архитектуре MPNet, преобразующая предложения и абзацы в плотные векторы размерностью 768. Она обучалась с функцией потерь MultipleNegativesRankingLoss и косинусным сходством и предназначена для сравнения смысловой близости текстов. Модель подходит для семантического поиска, кластеризации и получения текстовых эмбеддингов. В метаданных указаны 136,7 млн параметров, контекст до 514 токенов и формат PyTorch. Лицензия в предоставленных данных не указана.
Карточка модели swardiantara/MultiSource-full-crk10-m0.5-e5-b128-L6 на Hugging Face совпадает с карточкой swardiantara/one-crk10-m0.5-e5-b128-L6, поэтому описание составлено по ней. swardiantara/one-crk10-m0.5-e5-b128-L6 — модель Sentence Transformers на основе архитектуры BERT, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска, сравнения сходства текстов и кластеризации. Модель содержит 25,9 млн параметров, принимает последовательности длиной до 512 токенов и распространяется в формате safetensors. При обучении использовалась ContrastiveLoss с косинусной метрикой расстояния. Это делает модель подходящей для построения текстовых эмбеддингов и поиска близких по смыслу фрагментов. В предоставленных материалах не названы поддерживаемые естественные языки и лицензия, поэтому их нельзя определить по этим данным.
coder3101/Muse-Glimmer-30B-heretic-v2 — производная версия Muse Glimmer-30B от Meta Superintelligence Lab, изменённая методом abliteration для снижения частоты отказов. Это плотная причинная трансформерная модель с энкодером восприятия, примерно на 29,6 млрд параметров; она принимает текст и изображения и предназначена для диалогов, мультимодального анализа и агентных сценариев. Модель рассчитана на локальный запуск и поддерживает вызов инструментов, многошаговое планирование и восстановление после ошибок. Её можно применять для анализа скриншотов, диаграмм и документов, программирования, вызова функций и оценки ответов других моделей. В сравнении с исходной моделью в карточке указано 14 отказов из 100 против 58 из 100; это отражает снижение отказов, но не гарантирует точность или безопасность ответов. Карточка отдельно предупреждает о возможных ошибках в рассуждениях, смещённых или нежелательных ответах и ухудшении качества на недостаточно проверенных языках. Аудио не поддерживается, видео специально не оптимизировано. Лицензия — Apache 2.0.
mxbai-embed-large-v1-gguf — модель для построения векторных представлений предложений и текстов, разработанная MixedBread AI и преобразованная в формат GGUF пользователем ChristianAzinn. В основе лежит модель mxbai-embed-large-v1 архитектуры BERT, обученная с использованием функции потерь AnglE на большом высококачественном наборе данных. Модель ориентирована на англоязычные тексты и предназначена для семантического поиска, сравнения текстов, кластеризации, извлечения признаков и других задач, где используются sentence embeddings. Модель поддерживает контекст до 512 токенов и поставляется в вариантах GGUF с квантованием от 2 до 8 бит, а также в FP16 и FP32. Файлы совместимы с llama.cpp и LM Studio при указанных в README версиях. Квантование позволяет снизить требования к памяти, однако варианты с малым числом бит могут существенно ухудшать качество; наиболее сбалансированными авторами названы Q4_K_M, Q5_K_S, Q5_K_M и Q8_0. Размер исходной модели и точное число параметров в README не указаны. Модель сильна в задачах семантического представления текста и заявлена как обеспечивающая высокие результаты на бенчмарках уровня BERT-large. Ограничения включают поддержку только английского языка, ограничение контекста 512 токенами и возможную потерю качества при агрессивном квантовании. Модель распространяется по лицензии Apache-2.0.
dwulff/mxbai-personality — модель эмбеддингов предложений на базе MPNet, опубликованная пользователем dwulff. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текст и выдаёт векторы; заявленная длина контекста — 514 токенов. Модель подходит для семантического поиска, группировки похожих текстов и оценки сходства предложений. В README указано обучение с CosineSimilarityLoss. Доступна в формате safetensors и предназначена для использования с библиотекой Sentence-Transformers. Сведения о лицензии в предоставленных данных отсутствуют.
MartinV/my-awesome-setfit-model — модель семейства MPNet на базе Sentence Transformers, которая преобразует предложения и абзацы в плотные векторы размерности 768. Она предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений по смыслу. Модель содержит 136,7 млн параметров и принимает текст с контекстным окном до 514 токенов. Модель обучалась с функцией потерь CosineSimilarityLoss. Веса опубликованы в формате PyTorch; для использования подходят библиотека Sentence Transformers или Transformers с корректной операцией pooling. В карточке указана архитектура MPNet, но базовая модель и лицензия не установлены, поэтому условия распространения по этим данным описать нельзя.