II.8Инженерия данных и аналитика

AlexWortega/qwen7k — модель Sentence Transformers, дообученная на базе Qwen/Qwen2.5-0.5B-Instruct. Она преобразует предложения и абзацы в плотные векторы размерностью 896; сходство текстов оценивается косинусной мерой. В архитектуру входят трансформер Qwen2 и mean pooling. Модель содержит 494 млн параметров и принимает текстовые последовательности длиной до 32 768 токенов согласно метаданным; в карточке модели указан лимит 1 024 токена. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. При обучении использовался MultipleNegativesRankingLoss; в карточке приведены результаты оценки на STS. Доступна в формате safetensors через библиотеку sentence-transformers. Лицензия в предоставленных данных не указана.

hivaze/ru-e5-base — компактная версия multilingual-e5-base, созданная Сергеем Братчиковым на основе XLM-RoBERTa. Из словаря исходной модели оставлены 69 382 токена, преимущественно для кириллических языков и английского; соответствующие эмбеддинги перенесены на новые идентификаторы токенов. Параметры модели не дообучались, поэтому автор заявляет о сохранении качества исходной модели для кириллических текстов и английского. Модель предназначена для извлечения признаковых представлений текста и может применяться для построения текстовых эмбеддингов, поиска по смыслу и других задач, использующих векторные представления. Уменьшенный словарь сокращает объём модели и расход памяти при обучении. Модель содержит 166,5 млн параметров, принимает последовательности длиной до 514 токенов и доступна в формате safetensors. Лицензия в предоставленных данных не указана.

optimum/sbert-all-MiniLM-L6-with-pooler — преобразованная в ONNX модель sentence-transformers на основе all-MiniLM-L6-v2, опубликованная для использования с Hugging Face Optimum. Она кодирует предложения и короткие абзацы в плотные векторы размерности 384 для семантического поиска, сравнения сходства и кластеризации. Вариант включает выходы last_hidden_state и pooler_output, тогда как стандартный экспорт ONNX обычно содержит только last_hidden_state. Модель основана на MiniLM-L6-H384-uncased и дообучена контрастивным методом на более чем миллиарде пар предложений. В карточке указано ограничение контекста 512 токенов; при стандартной настройке sentence-transformers текст длиннее 256 word pieces обрезается. Репозиторий лицензирован по Apache-2.0.

embaas/sentence-transformers-gte-large — модель эмбеддингов предложений и абзацев, опубликованная embaas. Она преобразует текст в плотные векторы размерностью 1024, предназначенные для поиска по смыслу, сравнения текстов и кластеризации. Модель построена на архитектуре BERT и содержит около 433,9 млн параметров; максимальная длина контекста — 512 токенов. Модель подходит для создания векторного поиска и группировки семантически близких предложений или документов. Её можно использовать через библиотеку Sentence-Transformers; в репозитории указаны веса PyTorch. README не сообщает целевые языки или результаты бенчмарков. Условия лицензии в предоставленных данных не указаны.

embaas разработала модель эмбеддингов на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 и предназначена для поиска семантически близких текстов, кластеризации и других задач сравнения предложений. Модель можно использовать в сценариях семантического поиска и группировки текстовых фрагментов. Модель поставляется в формате PyTorch и рассчитана на входные последовательности длиной до 514 токенов. Лицензионные условия в предоставленных данных не описаны.

smart-tribune/sentence-transformers-multilingual-e5-small — модель семейства Sentence-Transformers на архитектуре BERT, разработчик которой в карточке не раскрыт. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, сравнения сходства и кластеризации текстов. Модель имеет 124,3 млн параметров, принимает текст, поддерживает контекст до 512 токенов и распространяется в формате safetensors. Векторы можно применять для поиска текстов по смыслу и группировки похожих документов. Метаданные указывают задачи извлечения признаков и оценки сходства предложений. Название модели содержит «multilingual», однако доступные данные не перечисляют поддерживаемые языки. Лицензия в предоставленных сведениях не указана.

Карточка модели mah18/sent_similarity на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

Smaug-Qwen2-72B-Instruct — диалоговая языковая модель, созданная Abacus.AI как дообученная версия Qwen2-72B-Instruct. Она генерирует текст и предназначена для общения, ответов на вопросы, решения сложных задач на рассуждение и помощи с кодом. Модель имеет плотную архитектуру Qwen2ForCausalLM, около 71,5 млрд параметров и контекстное окно до 32 768 токенов; принимает текст и выдаёт текст. В карточке указана поддержка английского языка. В README приведены сравнительные результаты на BBH, LiveCodeBench, Arena-Hard и MT-Bench: Smaug превосходит исходную Qwen2-72B-Instruct в отдельных оценках, включая BBH и LiveCodeBench, но уступает ей по среднему результату MT-Bench. Это экспериментальные бенчмарки, поэтому они не гарантируют качество для конкретных задач. Модель распространяется в формате safetensors; лицензия указана как other, поэтому условия использования следует проверить в карточке модели и у базовой модели.

starchat2-15b-sft-v0.1 — дообученная HuggingFaceH4 на базе bigcode/starcoder2-15b разговорная языковая модель с архитектурой StarCoder2, предназначенная для генерации текста в диалоге. Модель содержит 21,7 млрд параметров и поддерживает контекст до 16 384 токенов. Дообучение проводилось на наборах airoboros-3.2, Code-Feedback, orca-math-word-problems-200k, SystemChat и capybara. Модель можно использовать для диалоговых ответов, помощи с кодом и решения математических задач в формате текстовой генерации. Она распространяется по лицензии BigCode OpenRAIL-M.

NovaSearch/stella_en_1.5B_v5 — модель встраивания текста, разработанная NovaSearch на основе Alibaba-NLP/gte-large-en-v1.5 и Alibaba-NLP/gte-Qwen2-1.5B-instruct. Она предназначена для поиска релевантных фрагментов по запросу, семантического сходства и других задач сравнения текстов; поддерживает кодирование через SentenceTransformers и Transformers. Модель построена на плотной архитектуре Qwen2ForCausalLM и содержит 1,5 млрд параметров. Для векторов доступны размерности 512, 768, 1024, 2048, 4096, 6144 и 8192; обычно авторы рекомендуют 1024 измерения. Контекст архитектуры составляет до 131 072 токенов, однако README рекомендует последовательности длиной 512 токенов: модель обучалась на такой длине, а на специализированных задачах поиска по длинным текстам результаты часто снижаются. Для большинства задач предусмотрены инструкции s2p для поиска и s2s для семантического сходства. Модель подходит для семантического поиска и ранжирования по сходству; метаданные также указывают поддержку извлечения признаков, генерации текста и классификации текста, но README описывает прежде всего получение эмбеддингов. Данные обучения и подробный метод обучения в карточке ещё не опубликованы. Лицензия — MIT.

stella-mrl-large-zh-v3.5-1792d — модель векторных представлений предложений, разработанная автором семейства Stella. Она предназначена для поиска по смыслу и сопоставления текстов, включая retrieval, оценку семантического сходства и ранжирование. Модель основана на stella-large-zh-v3-1792d и обучена методом MRL; архитектура — BERT, размер — 424,3 млн параметров. Модель кодирует текст в эмбеддинги размерностью до 1792 и позволяет выбирать меньшую размерность, обрезая вектор; автор рекомендует размерности, кратные 128, и нормализацию после обрезки. Заявлена поддержка китайского и английского языков. Максимальная длина контекста — 512 токенов. В README приведены результаты оценки на CMTEB для разных размерностей; более крупный вектор обычно даёт лучшие результаты при больших расходах памяти и вычислений. Модель подходит для семантического поиска, сравнения предложений и построения систем извлечения информации. Лицензия — MIT.

Gameselo/STS-multilingual-mpnet-base-v2 — дообученная Gameselo модель Sentence Transformers на базе sentence-transformers/paraphrase-multilingual-mpnet-base-v2. Она использует архитектуру XLM-RoBERTa и преобразует предложения и абзацы в плотные векторы размерности 768 для оценки семантического сходства, семантического поиска, поиска перефразирований, кластеризации и классификации текста. Для сравнения векторов предусмотрена косинусная мера сходства. README указывает максимальную длину последовательности 128 токенов, а метаданные — размер модели 305,2 млн параметров и контекст 514 токенов. Модель рассчитана на многоязычные тексты. В README приведены результаты на мультиязычных наборах STS, включая примеры для арабского и английско-арабского; карточка также описывает обучение на парах предложений с оценками сходства. Метаданные указывают формат safetensors и библиотеку sentence-transformers. Лицензия в предоставленных данных не указана.

USER2-small — русскоязычная модель для получения векторных представлений предложений и длинных текстов, разработанная DeepPavlov. Она построена на энкодере RuModernBERT-small и дообучена для поиска, сравнения смысловой близости и других семантических задач. Модель содержит 34,4 млн параметров, поддерживает контекст до 8192 токенов и выдаёт эмбеддинги размерностью 384. Модель поддерживает Matryoshka Representation Learning: эмбеддинги можно сокращать до 32, 64, 128 или 256 измерений с небольшими потерями качества. Для разных сценариев предусмотрены префиксы, например search_query и search_document для поиска, а также clustering для кластеризации. В карточке приведены результаты оценок на MTEB-rus и русской части MLDR; качество зависит от задачи, длины текста и выбранного префикса. USER2-small подходит для семантического поиска по русскоязычным документам, ранжирования кандидатов и группировки похожих текстов. Это энкодер, который возвращает эмбеддинги, а не готовые текстовые ответы. Модель распространяется по лицензии Apache-2.0.

voyage-4-nano — мультиязычная модель для создания текстовых эмбеддингов, разработанная Voyage AI для семантического поиска и извлечения релевантных документов. Она подходит для локальной разработки и сценариев, где важны низкая стоимость и высокая пропускная способность. Модель построена на плотной архитектуре Qwen3 и содержит 306,6 млн параметров; длина контекста по метаданным составляет 40 960 токенов. Модель обучена с Matryoshka Representation Learning и поддерживает эмбеддинги размерностью 2048, 1024, 512 и 256. Благодаря обучению с учетом квантования доступны выходы в форматах float32, int8, uint8 и бинарной точности. Эмбеддинги совместимы в общем пространстве с другими моделями серии Voyage 4, поэтому модели серии можно менять без переиндексации данных. По карточке модель поддерживает многоязычные тексты; лицензия — Apache 2.0.

Карточка модели avsolatorio/01-600-11-1-2-2-0-0-cls-qli_0-normed-384-512_ASYM_BAAI_bge-small-en-v1.5-20240416141927-best на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.

Карточка модели avsolatorio/01-600-11-1-3-2-0-0-cls-qli_0-normed-384-512_ASYM_BAAI_bge-small-en-v1.5-20240423213707-best на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.

Карточка модели avsolatorio/01-600-11-1-4-2-0-0-cls-qli_0-normed-384-512_ASYM_BAAI_bge-small-en-v1.5-20240424004605-latest на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.

Frank Wong дообучил модель Sentence Transformers на базе Qwen/Qwen3-Embedding-0.6B на наборе ssf-train-valid-full-synthetic-batch10-cleaned. Она преобразует предложения и абзацы в плотные векторы размерности 1024 и предназначена для оценки семантического сходства, семантического поиска, поиска перефразирований, классификации текста и кластеризации. Модель использует архитектуру Qwen3Model с пулингом по последнему токену и нормализацией; сходство векторов можно оценивать косинусной мерой. Максимальная длина последовательности — 32 768 токенов. Веса доступны в формате safetensors, библиотека — Sentence Transformers. Лицензия в предоставленных данных не указана.

Frank Wong дообучил sentence-transformers на базе nomic-ai/modernbert-embed-base на датасете ssf-train-valid-combi-v1v2v3. Модель ModernBERT с 149 млн параметров кодирует предложения и абзацы в плотные векторы размерностью 768; средний pooling по токенам сопровождается нормализацией, а сходство оценивается косинусной мерой. Максимальная длина последовательности — 8192 токена. Модель предназначена для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и подготовки эмбеддингов для классификаторов. Карточка описывает англоязычную базовую модель, однако язык дообучающего датасета явно не установлен. Файлы доступны в формате safetensors; лицензия в предоставленных данных не указана.

jamiehudson/579-STmodel-v1a — модель Sentence-Transformers на базе MPNet, разработанная пользователем Jamie Hudson. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и сравнения предложений. Модель содержит 136,7 млн параметров, принимает текст и выдаёт эмбеддинги; заявленная длина контекста — 514 токенов. Для обучения использовалась CosineSimilarityLoss. Репозиторий содержит веса PyTorch, а для работы подходят Sentence-Transformers или Transformers с соответствующей операцией pooling. Лицензия в предоставленных данных не указана.

jamiehudson/579-STmodel-v5_final — модель Sentence Transformers на архитектуре MPNet, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и подходит для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 514 токенов. В карточке указано обучение с функцией потерь CosineSimilarityLoss. Модель можно использовать через Sentence-Transformers или Transformers с подходящей операцией pooling. Доступны веса PyTorch. Лицензия в предоставленных данных не указана.

Это модель Sentence Transformers на архитектуре Qwen3, разработанная frankwong2001 и дообученная на базе Qwen/Qwen3-Embedding-0.6B. Она преобразует предложения и абзацы в плотные текстовые векторы размерности 1024 для семантического сравнения и поиска; для оценки сходства используется косинусная близость. Модель поддерживает последовательности длиной до 32 768 токенов. Её можно применять для поиска похожих документов, выявления перефразировок, кластеризации текстов и классификации на основе эмбеддингов. При дообучении использован набор ssf-train-valid-full-synthetic-v2 с парами положительных и отрицательных примеров. Метаданные указывают 507,6 млн параметров и формат safetensors. Сведения о лицензии в предоставленных источниках отсутствуют.

InternScience/Agents-A1-4B-Q8_0-GGUF — квантованная версия Agents-A1-4B, разработанная командой InternScience и предназначенная для локального запуска в формате GGUF с квантованием Q8_0. Модель относится к классу агентных языковых моделей и ориентирована на работу в связке с инструментами и внешними источниками данных. Модель предназначена для многошагового поиска, инженерных и научных задач, следования сложным инструкциям, профессиональных вопросов, планирования и вызова инструментов. Она умеет разбивать сложные задачи на последовательность действий, учитывать промежуточные результаты и взаимодействовать с API, интерпретаторами кода, поисковыми системами и другими инструментами. Базовая версия Agents-A1-4B является плотной моделью примерно на 4 млрд параметров; заявлена поддержка текстовой генерации, function calling и агентных сценариев. Языки и максимальная длина контекста в README не указаны. К сильным сторонам относятся агентное рассуждение, работа с длинными горизонтами задач, инструментами, научной и профессиональной информацией, а также высокая эффективность по сравнению с более крупными моделями. Ограничения этой конкретной GGUF-сборки, требования к оборудованию, совместимые рантаймы и возможное влияние квантования на качество отдельно не описаны. Модель распространяется по лицензии Apache-2.0.

all-distilroberta-v1 — модель Sentence Transformers на архитектуре DistilRoBERTa, разработанная в рамках Hugging Face Community Week для проекта по обучению эмбеддингов предложений на большом наборе пар. Модель дообучена на базе distilroberta-base контрастивным обучением на более чем 1 млрд пар предложений. Она преобразует предложения и короткие абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, оценки сходства и кластеризации текста. Модель принимает текст и выдаёт векторные представления. В README указано усечение входа длиннее 128 word pieces; метаданные сообщают контекстное окно 514 токенов. В карточке отмечен английский язык. Репозиторий содержит веса PyTorch и варианты ONNX, OpenVINO и safetensors. Модель распространяется по лицензии Apache-2.0. Модель подходит для поиска текстов по смыслу и группировки семантически близких фрагментов. Она не предназначена для генерации ответов; качество зависит от соответствия языка и предметной области обучающим данным, а длинные входы ограничиваются усечением.

Карточка модели Artemrai13/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

Карточка модели basavyr/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

Карточка модели darylnigel/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой optimum/all-MiniLM-L6-v2, поэтому описание составлено по ней. optimum/all-MiniLM-L6-v2 — конверсия в формат ONNX модели sentence-transformers/all-MiniLM-L6-v2, разработанной в рамках проекта Hugging Face Community Week. Это компактный энкодер на архитектуре BERT с 25,9 млн параметров, который преобразует предложения и короткие абзацы в плотные векторы размерностью 384 для сравнения семантики. Метаданные указывают контекст до 512 токенов; README сообщает, что по умолчанию вход длиннее 256 word pieces обрезается. Модель предназначена для поиска по смыслу, вычисления сходства предложений и кластеризации текстов. Она обучена контрастивным методом на наборе более чем из миллиарда пар предложений, начиная с предобученной nreimers/MiniLM-L6-H384-uncased. В карточке указана поддержка английского языка. Лицензия — Apache-2.0.

Карточка модели GRBogar/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

Карточка модели Luther123456/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

all-MiniLM-L6-v2 — модель для создания эмбеддингов предложений и коротких абзацев, разработанная в рамках Community Week Hugging Face при участии сообщества и команд Flax, JAX и Cloud. Она преобразует текст в плотный вектор размерности 384, отражающий его семантическое содержание. Модель предназначена для семантического поиска, кластеризации и оценки сходства предложений, а также для использования в качестве универсального текстового энкодера. Она основана на предварительно обученной MiniLM-L6-H384-uncased и дообучена с помощью контрастивного обучения на наборе более чем из 1 миллиарда пар предложений, собранных из множества датасетов. Поддерживается английский язык. По умолчанию вход длиннее 256 word pieces усекается; при базовом использовании через Transformers требуется выполнить mean pooling с учётом attention mask и нормализацию векторов. Сильные стороны модели — компактный размер, высокая скорость получения эмбеддингов и пригодность для широкого спектра задач семантического сопоставления. Ограничения включают ориентацию на английский язык, предназначенность прежде всего для предложений и коротких абзацев, а также усечение длинных входов. Модель распространяется по лицензии Apache-2.0.