I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельmitra-mir/setfit_model_Calgary_epochs2_Jul_15_2023 — модель эмбеддингов предложений на базе MPNet, представленная в формате PyTorch. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров и рассчитана на контекст до 514 токенов. В README указано обучение с CosineSimilarityLoss; карточка описывает модель как sentence-transformers. Её можно использовать для поиска похожих фрагментов, группировки текстов по смыслу и вычисления семантического сходства. Лицензия и конкретные поддерживаемые естественные языки в предоставленных данных не указаны.
vitthalbhandari/simcse_retrain_edos_100k_64batch — модель эмбеддингов предложений на базе RoBERTa, опубликованная в формате PyTorch и рассчитанная на использование с Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768; заявленные сценарии включают семантический поиск и кластеризацию. В обучении применялась функция MultipleNegativesRankingLoss с косинусным сходством. Модель подходит для сравнения смысловой близости текстов и построения систем поиска по смыслу. Контекст составляет до 514 токенов. Карточка не сообщает лицензию и языковую специализацию, поэтому их нельзя установить по предоставленным сведениям.
vitthalbhandari/simcse_retrain_edos_10k — модель эмбеддингов предложений на архитектуре RoBERTa, представленная в формате PyTorch. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Обучение с MultipleNegativesRankingLoss и косинусным сходством ориентирует модель на получение векторов, отражающих семантическую близость текстов. Модель содержит около 151,8 млн параметров и принимает текст с контекстом до 514 токенов. Её можно использовать через Sentence-Transformers или Transformers с соответствующей операцией pooling. Карточка не сообщает о специализированной области применения или поддерживаемых языках. Лицензия в предоставленных данных не указана.
Tiiny/SmallThinker-21BA3B-Instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели SmallThinker-21BA3B-Instruct, разработанной совместно исследовательской группой IPADS, School of AI Шанхайского университета Цзяо Тун и компанией Zenergize AI. Модель относится к семейству on-device моделей, ориентированных на локальный запуск без обращения к облачным сервисам, что обеспечивает потенциальные преимущества в приватности и задержке ответа. Основной язык обучения — английский; назначение модели — генерация текста и выполнение инструкций, включая вопросы общего характера, математические задачи, программирование и другие сценарии работы с текстом. В основе модели лежит архитектура Mixture-of-Experts (MoE): всего 21 млрд параметров, из которых для каждого токена активируется около 3 млрд. Модель содержит 52 слоя, 64 эксперта и выбирает 6 экспертов на токен; используются GQA, 28 attention heads, 4 KV heads, функция активации ReGLU и контекст длиной до 16K токенов. Для запуска обычных файлов .gguf рекомендуется llama.cpp, а файлы с суффиксом .powerinfer.gguf совместимы только с фреймворком PowerInfer и используют специализированные разреженные операторы. Сильными сторонами модели заявлены производительность в задачах общего понимания, следования инструкциям, математики и генерации кода, а также возможность локального запуска на устройствах с ограниченными ресурсами. Ограничения включают преимущественно англоязычную направленность, возможные фактические ошибки, предвзятость и устаревшие сведения; результаты требуют самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.
ielabgroup/Starbucks_STS — модель Sentence Transformers на основе BERT, дообученная командой ielabgroup на наборе all-nli для создания текстовых эмбеддингов. Она преобразует предложения и абзацы в плотные векторы размерностью 768, пригодные для сравнения косинусным сходством. Модель представлена в работе Starbucks: Improved Training for 2D Matryoshka Embeddings и обучалась с использованием Matryoshka-подхода для работы с несколькими размерностями эмбеддингов. Модель предназначена для оценки семантической близости текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Она принимает текст на английском языке, использует архитектуру BERT с усреднением токенов и поддерживает последовательности до 512 токенов. В README приведён результат Spearman 0,8274 на sts-test для косинусного сходства. Для работы нужны библиотека Sentence Transformers или совместимый движок эмбеддингов; веса доступны в формате safetensors. Лицензия в предоставленных данных не указана. Модель обучена на англоязычных данных, поэтому её применение к другим языкам не подтверждено.
BlueAvenir/sti_workplace_new_prompting_0_1 — модель семейства XLM-RoBERTa на базе Sentence-Transformers, разработчик в карточке не раскрыт. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Модель содержит 305,2 млн параметров, принимает текст и имеет контекстное окно 514 токенов. В README указано обучение с CosineSimilarityLoss; доступны веса PyTorch и использование через Sentence-Transformers или Transformers с соответствующим pooling. Модель подходит для поиска семантически близких текстов и группировки текстовых данных. Карточка не сообщает языковой охват и лицензию, поэтому их нельзя уточнить.
mlx-community/tasksource-ModernBERT-base-embed-8bit — 8-битная версия модели эмбеддингов, преобразованная сообществом mlx-community из tasksource/ModernBERT-base-embed в формат MLX с помощью mlx-lm 0.0.3. Она построена на ModernBERT-base и предназначена для получения векторных представлений предложений и оценки их семантического сходства. Модель подходит для поиска по смыслу, сопоставления запросов с документами и ранжирования текстовых кандидатов; обучающие данные включают наборы для поиска ответов, семантического сходства и распознавания текстовых отношений. Модель содержит 149 млн параметров, использует архитектуру ModernBERT и поддерживает контекст до 8192 токенов. Метаданные указывают английский язык. Квантованное представление рассчитано на запуск в экосистеме MLX; README рекомендует библиотеку mlx-embeddings. Лицензия в предоставленных данных не указана.
SentenceTransformer на базе BAAI/bge-large-en-v1.5, дообученный на 16 909 примерах с парами anchor, positive и negative. Модель кодирует предложения и абзацы в плотные векторы размерности 1024; архитектура включает BERT, пулинг CLS и нормализацию. Для сравнения векторов используется косинусное сходство. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и классификации текста. README указывает максимальную длину последовательности 384 токена, тогда как метаданные каталога указывают нативный контекст 512 токенов. Обучающие примеры и описание базовой модели ориентированы на английский язык. Лицензия в предоставленных данных не указана.
Карточка модели hyperalpha/transferzai-bge на Hugging Face совпадает с карточкой BAAI/bge-small-en-v1.5, поэтому описание составлено по ней. BAAI/bge-small-en-v1.5 — компактная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она построена на архитектуре BERT и предназначена для преобразования английского текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Размер модели — около 40 млн параметров, максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, извлечения релевантных документов и вычисления сходства предложений, в том числе как компонент RAG-систем. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Доступны форматы PyTorch, Safetensors и ONNX. Лицензия — MIT. Модель рассчитана на английский язык; контексты длиннее 512 токенов не поддерживаются. Оценки сходства не следует трактовать как вероятности или применять фиксированный порог без калибровки.
swardiantara/two-crk10-m0.05-e2-b128-L6 — модель Sentence Transformers на базе архитектуры BERT, которая преобразует предложения и абзацы в плотные векторы размерности 384. Её можно применять для поиска семантически близких текстов, кластеризации и вычисления сходства между предложениями. Модель содержит 25,9 млн параметров и принимает текстовые последовательности длиной до 512 токенов. В карточке указано обучение с ContrastiveLoss и косинусной метрикой расстояния. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.
swardiantara/two-crk10-m0.15-e2-b128-L6 — модель на основе BERT, созданная для преобразования предложений и абзацев в плотные векторы размерности 384. Её можно применять для семантического поиска, сравнения сходства текстов и кластеризации. Модель использует библиотеку Sentence Transformers и имеет около 25,9 млн параметров; максимальная длина контекста составляет 512 токенов. При обучении использовалась ContrastiveLoss с косинусной метрикой расстояния. В репозитории указаны веса в формате safetensors. Данные не устанавливают язык модели или её специализированную предметную область. Условия лицензии в доступных сведениях не приведены.
Sakalti разработал ultiima-32B-v1.5 — объединённую языковую модель на архитектуре Qwen2 с 32 млрд параметров. Она создана методом TIES с помощью mergekit: в качестве основы использована Qwen/Qwen2.5-32B, объединённая с Qwen/Qwen2.5-32B-Instruct. Модель предназначена для диалогов и генерации текста; метаданные также указывают интерфейс вызова инструментов. Она работает с текстом и поддерживает контекст до 131 072 токенов. Модель подходит для создания чат-ботов, подготовки текстовых ответов и запросов к инструментам в приложениях. В репозитории веса представлены в формате safetensors для библиотеки Transformers. Лицензия в предоставленных данных не указана.
Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_840 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.
jamiehudson/579-STmodel-v1a — модель Sentence-Transformers на базе MPNet, разработанная пользователем Jamie Hudson. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и сравнения предложений. Модель содержит 136,7 млн параметров, принимает текст и выдаёт эмбеддинги; заявленная длина контекста — 514 токенов. Для обучения использовалась CosineSimilarityLoss. Репозиторий содержит веса PyTorch, а для работы подходят Sentence-Transformers или Transformers с соответствующей операцией pooling. Лицензия в предоставленных данных не указана.
RonanMcGovern разместил sentence-transformers/all-MiniLM-L12-v2-ft — дообученную модель Sentence Transformers на базе sentence-transformers/all-MiniLM-L12-v2. Это компактный BERT-энкодер примерно на 40 млн параметров: он преобразует предложения и абзацы в плотные эмбеддинги размерности 384, нормализует векторы и сравнивает их с помощью косинусного сходства. В README указана максимальная длина последовательности 128 токенов; метаданные указывают контекст до 512 токенов. Модель предназначена для семантического поиска и оценки сходства текстов, а также может применяться для поиска перефразирований, кластеризации и классификации текста. Карточка описывает дообучение с TripletLoss, но не уточняет датасет и специализацию, поэтому качество для конкретных доменов и языков из этих данных установить нельзя. Базовая модель англоязычная, и основной сценарий использования — англоязычные тексты. Для применения указана библиотека Sentence Transformers; веса опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.
Trelis/all-MiniLM-L12-v2-ft-pairs-balanced — дообученная модель Sentence Transformers на базе sentence-transformers/all-MiniLM-L12-v2, разработанная Trelis. Она кодирует предложения и абзацы в плотные векторы размерности 384 для поиска по смыслу, сравнения текстов, выявления перефразировок и кластеризации. Архитектура включает BERT-трансформер, усреднение токенных представлений и нормализацию; сходство векторов можно измерять косинусной близостью. Модель имеет около 40 млн параметров и принимает последовательности длиной до 512 токенов по метаданным; README указывает максимальную длину 128 токенов. Модель подходит для построения семантического поиска, сравнения коротких текстов и получения признаков для классификации. Базовая модель описана как англоязычная, поэтому основное применение ориентировано на английский. Лицензия в предоставленных данных не указана.
Карточка модели darylnigel/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой optimum/all-MiniLM-L6-v2, поэтому описание составлено по ней. optimum/all-MiniLM-L6-v2 — конверсия в формат ONNX модели sentence-transformers/all-MiniLM-L6-v2, разработанной в рамках проекта Hugging Face Community Week. Это компактный энкодер на архитектуре BERT с 25,9 млн параметров, который преобразует предложения и короткие абзацы в плотные векторы размерностью 384 для сравнения семантики. Метаданные указывают контекст до 512 токенов; README сообщает, что по умолчанию вход длиннее 256 word pieces обрезается. Модель предназначена для поиска по смыслу, вычисления сходства предложений и кластеризации текстов. Она обучена контрастивным методом на наборе более чем из миллиарда пар предложений, начиная с предобученной nreimers/MiniLM-L6-H384-uncased. В карточке указана поддержка английского языка. Лицензия — Apache-2.0.
Карточка модели GRBogar/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.
Карточка модели laowang11111/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.
Карточка модели Saim-11/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.
Карточка модели sky-meilin/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.
KhaledReda/all-MiniLM-L6-v21-pair_score — англоязычная модель Sentence Transformers, дообученная автором на KhaledReda/all-MiniLM-L6-v20-pair_score на наборе пар текстов с оценками сходства, синонимами и опечатками. Она кодирует предложения и абзацы в плотные векторы размерностью 384; сходство между текстами оценивается косинусной близостью. Архитектура основана на BERT и использует усреднение токенных представлений с последующей нормализацией. Модель предназначена для семантического сравнения текстов и поиска: её можно применять для семантического поиска, поиска перефразировок, кластеризации и классификации текстов. В README указана максимальная длина последовательности 256 токенов, а метаданные каталога задают нативный контекст 512 токенов. Модель поддерживает английский язык, содержит 25,9 млн параметров и распространяется в формате safetensors. Лицензия — Apache-2.0. Обучение ориентировано на пары коротких текстов; качество на других языках и существенно отличающихся доменах README не подтверждает.
Abdul-I опубликовал модель sentence-transformers на базе BERT, которая преобразует предложения и абзацы в плотные векторы размерностью 384. Её можно использовать для семантического поиска, сравнения сходства текстов и кластеризации. Модель содержит 25,9 млн параметров и принимает последовательности длиной до 512 токенов. При обучении применялась функция потерь MultipleNegativesRankingLoss с косинусным сходством. В репозитории указаны веса в формате safetensors. Языковая специализация и лицензия в предоставленных данных не описаны.
Gloomreach/all-MiniLM-L6-v2-ru-hnp-mnrl — русскоязычная модель эмбеддингов на базе sentence-transformers/all-MiniLM-L6-v2. Автор адаптировал её дообучением на 20 000 примерах парафраз из deepvk/ru-HNP в течение пяти эпох с функцией потерь MultipleNegativesRankingLoss. Модель преобразует текст в векторы размерности 384 и предназначена для сравнения семантической близости русскоязычных предложений, поиска похожих текстов и задач ранжирования по сходству. Это 25,9-миллионная модель семейства BERT с mean pooling и нормализацией эмбеддингов; контекст ограничен 512 токенами. В README указан небольшой прирост Recall@5 и Recall@10 после дообучения. Модель распространяется по лицензии Apache-2.0. Автор отмечает, что качество понимания русской семантики остаётся далёким от идеального; результаты могут зависеть от данных и сценария применения.
KhaledReda/all-MiniLM-L6-v65-pair_score — англоязычная модель Sentence Transformers, дообученная автором на sentence-transformers/all-MiniLM-L6-v2 с использованием набора пар текстов и оценок pairs_with_scores_v52. Она кодирует предложения и абзацы в плотные векторы размерностью 384 и предназначена для оценки семантического сходства, семантического поиска, поиска перефразировок, кластеризации и классификации текстов. Архитектура — BERT-энкодер с усреднением токеновых представлений и нормализацией векторов; модель содержит 25,9 млн параметров. В README указан максимальный размер входа 256 токенов, а метаданные каталога указывают контекст 512 токенов. Основной язык — английский. Для сравнения векторов рекомендуется косинусное сходство. Модель подходит для поиска семантически близких фрагментов и ранжирования пар текстов по близости. Лицензия — Apache-2.0. Качество на иных доменах и языках, чем английские данные обучения, не установлено; максимальная длина по README ограничена 256 токенами.
KhaledReda/all-MiniLM-L6-v66-pair_score — англоязычный энкодер предложений на базе Sentence Transformers, дообученный KhaledReda на наборе pairs_with_scores_v53. Модель преобразует предложения и абзацы в плотные векторы размерности 384 и нормализует их; для сравнения используется косинусное сходство. Архитектура включает Transformer на базе BertModel и mean pooling. В метаданных указаны 25,9 млн параметров и контекст до 512 токенов; в README максимальная длина последовательности указана как 256 токенов. Модель предназначена для оценки семантического сходства текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текстов. Обучающий набор содержит пары текстов с оценками сходства, а функция потерь — CoSENTLoss. Векторы можно использовать в системах поиска и других задачах сравнения текстов. Модель поддерживает английский язык и распространяется по лицензии Apache-2.0. Указанные в карточке сценарии описывают возможности эмбеддинговой модели, но качество для конкретного домена следует проверять отдельно.
all-MiniLM-L6-v68-pairscore — англоязычная модель Sentence Transformers, дообученная KhaledReda на базе KhaledReda/all-MiniLM-L6-v67-pair_score на наборе pairs_with_scores_v55. Она преобразует предложения и абзацы в плотные векторы размерности 384 и предназначена прежде всего для оценки семантического сходства и семантического поиска; также подходит для поиска перефразирований, кластеризации и классификации текста. Архитектура основана на BERT с усреднением токенных представлений и нормализацией векторов; сходство рассчитывается косинусной мерой. README указывает максимальную длину последовательности 256 токенов, а метаданные — контекст до 512 токенов. Модель принимает текст и выдаёт векторы, которые можно сравнивать для ранжирования по смысловой близости. Обучающие данные содержат пары текстов с оценками сходства. Лицензия — Apache-2.0. Модель рассчитана на английский язык; качество на других языках не подтверждено. При использовании следует учитывать ограничение длины входа и проверять качество на целевых данных.
Khaled Reda создал all-MiniLM-L6-v69-pair_score — англоязычный Sentence Transformer, дообученный на sentence-transformers/all-MiniLM-L6-v2 на парах текстов с оценками сходства. Энкодер на архитектуре BERT содержит 25,9 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 384; для сравнения используется косинусное сходство. Метаданные указывают максимальный контекст 512 токенов, а README описывает ограничение последовательности в 256 токенов. Модель предназначена для оценки семантического сходства текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текстов. Её можно использовать для построения векторных представлений и ранжирования текстов по близости; модель принимает текст и выдаёт эмбеддинги. Обучающие данные — пары с числовыми оценками сходства из датасета pairs_with_scores_v56. Модель распространяется по лицензии Apache-2.0. Она рассчитана на английский язык; качество для других языков не подтверждено. Для корректной обработки входов учитывайте указанное в README ограничение последовательности в 256 токенов.
KhaledReda разработал all-MiniLM-L6-v72-pair_score как Sentence Transformers энкодер, дообученный на парах текстов с оценками сходства из набора pairs_with_scores_v58. Модель основана на sentence-transformers/all-MiniLM-L6-v2 и использует архитектуру BERT с усреднением токенных представлений и нормализацией выходного вектора. Модель кодирует предложения и абзацы в плотные векторы размерности 384; сходство можно оценивать косинусной мерой. Она подходит для поиска семантически близких текстов, сравнения предложений и абзацев, поиска перефразировок, кластеризации и классификации текста. Основной язык — английский. README указывает максимальную длину последовательности 256 токенов, тогда как метаданные сообщают контекст 512 токенов. Число параметров — 25,9 млн. Модель принимает текст и выдаёт векторы и оценки сходства. Лицензия — Apache-2.0. Результаты зависят от домена и качества входных текстов; при работе с длинными последовательностями следует учитывать ограничение длины модели.
KhaledReda/all-MiniLM-L6-v79-pair_score — англоязычная модель Sentence Transformers, дообученная KhaledReda на парах текстов с оценками сходства. Она основана на sentence-transformers/all-MiniLM-L6-v2, использует энкодер BERT и преобразует предложения и абзацы в плотные векторы размерности 384; для оценки близости подходит косинусное сходство. В README указана максимальная длина последовательности 256 токенов, а метаданные указывают контекст до 512 токенов. Модель предназначена для семантического сравнения текстов и получения эмбеддингов для поиска, выявления перефразировок, кластеризации и классификации текстов. Она обучалась с CoSENTLoss на датасете pairs_with_scores_v64. Лицензия — Apache-2.0. Модель ориентирована на английский язык. Векторы могут терять точность на текстах длиннее рабочего ограничения последовательности, а результаты для других языков в карточке не подтверждены.