I.3Извлечение и структурирование данных

Это дообученная модель Sentence-Transformers на основе архитектуры BERT, содержащая 25,9 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 384 для сравнения смысловой близости, семантического поиска и кластеризации. Модель принимает текст и выдаёт векторные представления; максимальная длина контекста — 512 токенов. Модель подходит для поиска похожих текстов и группировки предложений или абзацев по смыслу. В README указано обучение с CosineSimilarityLoss, однако данные о наборе обучения и результатах оценки не приведены. Для использования требуется библиотека sentence-transformers. Репозиторий содержит веса PyTorch; лицензия в доступных данных не указана.

qquarkq/all-MiniLM-L6-v2-ru-domain_adapt — дообученная модель Sentence Transformers на основе sentence-transformers/all-MiniLM-L6-v2, предназначенная для создания векторных представлений русских предложений и абзацев. Это плотный энкодер архитектуры BERT с 25,9 млн параметров: он преобразует текст в нормализованные векторы размерности 384 и сравнивает их с помощью косинусного сходства. Модель рассчитана на поиск и сопоставление текстов; в README приведены русскоязычные примеры обучающих данных из 20 000 триплетов. Модель принимает текст, поддерживает последовательности длиной до 512 токенов по метаданным; в README также указано ограничение 256 токенов. Её можно применять для семантического поиска, извлечения релевантных текстов и сравнения предложений. Лицензия в предоставленных данных не указана.

Модель fdlvaaa/all-MiniLM-L6-v2-ru-triplet — русскоязычная Sentence Transformer, дообученная на базе sentence-transformers/all-MiniLM-L6-v2. Она преобразует предложения и абзацы в плотные семантические векторы размерности 384 для поиска и сравнения текстов; сходство векторов можно оценивать косинусной мерой. Архитектура включает энкодер BERT, усредняющий pooling и нормализацию. Модель содержит 25,9 млн параметров, принимает текст и рассчитана на последовательности длиной до 512 токенов по метаданным; в README указан предел 256 токенов. В обучающей выборке из 20 000 троек есть русские примеры, а обучение проводилось с TripletLoss. Лицензия в предоставленных данных не указана.

KhaledReda дообучил англоязычный Sentence Transformer на базе sentence-transformers/all-MiniLM-L6-v2 на наборе пар текстов pairs_with_scores_v33. Модель использует энкодер BERT с усреднением токенных представлений и нормализацией; она преобразует предложения и абзацы в плотные векторы размерностью 384 и сравнивает их косинусным сходством. Метаданные указывают 25,9 млн параметров и контекст до 512 токенов, а README заявляет максимальную длину последовательности 256 токенов. Модель предназначена для оценки семантического сходства пар текстов и создания эмбеддингов для семантического поиска, поиска перефразировок, кластеризации и классификации текста. Обучение с CoSENTLoss на парах с оценками сходства помогает ранжировать тексты по близости смысла. Доступна по лицензии Apache-2.0.

KhaledReda/all-MiniLM-L6-v73-pair_score — англоязычная модель Sentence Transformers, дообученная на наборе pairs_with_scores_v59 на основе sentence-transformers/all-MiniLM-L6-v2. Она кодирует предложения и абзацы в плотные векторы размерности 384, нормализует их и позволяет сравнивать тексты по косинусному сходству. Модель предназначена для семантического поиска и сопоставления текстов, поиска перефразировок, кластеризации и классификации. Архитектура основана на BERT: энкодер с mean pooling и нормализацией; в метаданных указан размер 25,9 млн параметров. Карточка указывает максимум 256 токенов, а метаданные — нативный контекст 512 токенов. Поддерживается английский язык. Лицензия — Apache-2.0.

KhaledReda/all-MiniLM-L6-v77-pair_score — англоязычный Sentence Transformer от KhaledReda, дообученный на sentence-transformers/all-MiniLM-L6-v2 на парах текстов с оценками сходства. BERT-энкодер содержит 25,9 млн параметров и формирует нормализованные плотные векторы размерностью 384; сходство пар можно оценивать косинусной мерой. README указывает максимальную длину последовательности 256 токенов, а метаданные — нативный контекст 512 токенов. Модель предназначена для семантического сравнения предложений и абзацев, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Веса доступны в формате safetensors, использовать их можно через библиотеку Sentence Transformers. Лицензия — Apache-2.0. Карточка не приводит результатов бенчмарков, поэтому качество на конкретных данных следует оценивать отдельно; модель рассчитана на английский язык, а входы длиннее рабочего предела последовательности могут быть усечены.

Apertus-8B-Instruct-2509 — многоязычная языковая модель для генерации текста и диалогов, опубликованная в репозитории unsloth как дообученная версия swiss-ai/Apertus-8B-2509. Это плотный decoder-only Transformer семейства Apertus с 10,3 млрд параметров и контекстом до 65 536 токенов; модель работает через Transformers и поддерживает интерфейс вызова инструментов. Модель предназначена для многоязычных диалогов, генерации текста и сценариев с длинными документами. В карточке семейство Apertus описано как поддерживающее более 1 800 языков; конкретный основной язык для этой версии не выделен. Модель обучалась на открытых данных с опубликованными сведениями о процессе обучения, а базовое семейство разработано Swiss AI Initiative. Модель может генерировать фактически неверный или нелогичный текст и воспроизводить предвзятости данных. Для неё не предоставлен фильтр выходных данных, в том числе для персональных данных; важные ответы следует проверять. Лицензия — Apache-2.0.

Это дообученная модель Sentence Transformer на базе BAAI/bge-large-en-v1.5 для преобразования предложений и абзацев в плотные векторы размерности 1024. Архитектура включает BertModel, пулинг по CLS-токену и нормализацию; максимальная длина последовательности — 512 токенов. Разработчик конкретного дообучения и обучающие данные в карточке не описаны. Модель предназначена для вычисления семантического сходства и поиска по тексту, а также для поиска перефразировок, кластеризации и классификации текстов. Нормализованные эмбеддинги сравниваются косинусным сходством. Репозиторий создан 17 ноября 2024 года и содержит веса safetensors. Условия лицензии в предоставленных данных не указаны.

IR-Cocktail/bert-base-uncased-mean-v3-msmarco — модель Sentence-Transformers на архитектуре BERT, обученная на данных MS MARCO. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Обучение с MultipleNegativesRankingLoss и косинусной мерой сходства ориентировано на сопоставление текстовых запросов и релевантных фрагментов. Модель содержит 136,7 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Её можно применять для построения векторного поиска и группировки похожих текстов; для использования доступны Sentence-Transformers и Transformers. Карточка не сообщает лицензию и подробную оценку качества.

MANMEET75 разработал англоязычную Sentence Transformer модель, дообученную на базе BAAI/bge-large-en-v1.5 для сопоставления предложений и семантического поиска. Модель построена на BERT: преобразует предложения и абзацы в нормализованные плотные эмбеддинги размерностью 1024, сравниваемые по косинусному сходству. Контекст ограничен 512 токенами. Модель предназначена для поиска релевантных фрагментов по вопросу, оценки семантического сходства, поиска перефразировок, кластеризации и классификации текста. Обучение Matryoshka позволяет использовать укороченные представления размерностью до 64, сохраняя полезность для поиска. В README приведены результаты InformationRetrievalEvaluator на датасетах dim_768, dim_512, dim_256, dim_128 и dim_64; размер обучающей выборки — 530 пар. Модель принимает текст и возвращает векторы признаков; лицензия Apache-2.0. Она рассчитана на английский язык, а качество на других языках не подтверждено. Тексты длиннее 512 токенов выходят за заявленный предел последовательности.

Карточка модели godsyy/bge-m3 на Hugging Face совпадает с карточкой BAAI/bge-m3, поэтому описание составлено по ней. BGE-M3 — многоязычная модель эмбеддингов для поиска, разработанная BAAI и основанная на архитектуре XLM-RoBERTa. Она создаёт плотные эмбеддинги, разреженные лексические представления и многовекторные представления текста для задач извлечения и сопоставления.

hqta1110/bge-m3 — дообученная разработчиком репозитория модель Sentence Transformer на базе BAAI/bge-m3, построенная на XLM-RoBERTa. Она кодирует предложения и абзацы в плотные векторы размерности 1024 и подходит для семантического поиска, оценки сходства текстов, поиска перефразировок, классификации и кластеризации. Модель обучалась на 119 434 примерах из CSV с тройками Anchor, Positive и Negative; для сравнения в README указана косинусная мера сходства. Метаданные указывают контекст до 8194 токенов, тогда как в архитектуре README задана максимальная длина последовательности 1024 токена. Используйте её для получения текстовых эмбеддингов и сравнения текстов; конкретные языки и области применения в карточке не обозначены. Доступна в формате safetensors, библиотека — sentence-transformers. Сведения о лицензии в предоставленных данных отсутствуют.

Это модель Sentence Transformers, дообученная разработчиком карточки на базе BAAI/bge-m3. Она использует XLM-RoBERTa и преобразует предложения и абзацы в плотные векторы размерности 1024, нормализованные для сравнения по косинусному сходству. Максимальная длина последовательности в README — 1024 токена. Модель предназначена для семантического поиска и сравнения текстов; также её можно применять для поиска перефразирований, кластеризации и классификации текстов. Она выдаёт векторы признаков, которые можно использовать в системах поиска и ранжирования. Метаданные указывают поддержку многоязычных представлений через базовую BGE-M3, однако конкретные языки этой версии не перечислены. Репозиторий содержит веса safetensors; лицензия в предоставленных данных не указана.

quangtqv/bi_encoder_tool_learning_backbone_14_6 — модель Sentence Transformer на архитектуре BERT, преобразующая предложения и абзацы в нормализованные плотные векторы размерности 768. Она предназначена для сравнения семантического сходства, семантического поиска, поиска перефразировок, классификации текста и кластеризации; сходство векторов можно оценивать косинусной мерой. Модель принимает текстовые последовательности длиной до 512 токенов. В архитектуре используются BERT, pooling по CLS-токену и нормализация выходного вектора. В метаданных указано 136,7 млн параметров; веса опубликованы в формате safetensors. README описывает обучение модели, но не сообщает базовую модель, набор данных или языки, поэтому её языковую специализацию установить нельзя. Лицензия в предоставленных данных не указана.

Это модель Sentence Transformers, дообученная разработчиком BjarneNPO на базе FacebookAI/xlm-roberta-base. Она кодирует предложения и абзацы в плотные векторы размерности 768; сходство между текстами оценивается косинусной мерой. Архитектура состоит из XLM-RoBERTa с усреднением токенных представлений, число параметров — 305,2 млн, максимальная длина последовательности — 512 токенов (514 токенов нативного контекста по метаданным). Модель предназначена для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В карточке приведены обучающие пары «запрос — ответ» объёмом 72 349 примеров и примеры на немецком языке, однако языковая поддержка явно не перечислена. Лицензия в предоставленных данных не указана.

ChatGLM3-6B-32K 是由 ChatGLM 项目团队开发的中文、英文对话模型，基于 ChatGLM3-6B，并针对长文本对话进行了扩展训练。 Это плотная архитектура ChatGLM примерно с 7,5 млрд параметров; модель принимает текст и поддерживает контекст до 32 768 токенов. Модель предназначена для многоходового диалога и работы с длинными текстами: она может отвечать на вопросы по объёмным материалам, обобщать их и поддерживать сценарии с вызовом инструментов и исполнением кода, заявленные для семейства ChatGLM3. В карточке также указаны задачи генерации текста и классификации текста. Для контекстов до 8K токенов разработчики рекомендуют ChatGLM3-6B; вариант 32K рассчитан на более длинный ввод. Модель работает с PyTorch и Transformers. Веса открыты для академических исследований; бесплатное коммерческое использование допускается после регистрации через анкету.

OpenMOSS-Team/claif-scaled-roberta-base — модель эмбеддингов предложений и абзацев на архитектуре RoBERTa, опубликованная OpenMOSS-Team. Она преобразует текст в плотные векторы размерности 768 и предназначена для сравнения смысловой близости, семантического поиска и кластеризации. Модель можно использовать через Sentence-Transformers или Transformers с подходящей операцией pooling. Модель содержит 151,8 млн параметров, принимает последовательности длиной до 514 токенов и работает с английским языком. Обучение с CosineSimilarityLoss ориентировано на получение векторов, пригодных для оценки сходства текстов. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0.

Tool-COLT/contriever-base-msmarco-v1-ToolBenchG3 — модель на базе архитектуры BERT, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения семантической близости, поиска и кластеризации. Модель содержит 136,7 млн параметров и принимает текст с контекстом до 512 токенов. Обучение использовало MultipleNegativesRankingLoss с косинусной мерой сходства. Модель подходит для построения семантического поиска и группировки текстов; для получения эмбеддингов через Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. В карточке указана библиотека PyTorch. Лицензия в предоставленных данных не приведена.

Карточка модели Ashokreddy6/CounselAssistant-RetrieverV1 на Hugging Face совпадает с карточкой intfloat/e5-large-v2, поэтому описание составлено по ней. E5-large-v2 — англоязычная модель текстовых эмбеддингов, разработанная Liang Wang, Nan Yang, Xiaolong Huang и соавторами. Она обучена методом контрастивного предобучения со слабой супервизией и основана на архитектуре BERT: 24 слоя и размерность эмбеддинга 1024. Общее число параметров — 433,9 млн, максимальная длина входа — 512 токенов. Модель преобразует тексты в векторы для семантического поиска, сопоставления запросов и документов, оценки сходства предложений, поиска перефразировок, кластеризации и использования эмбеддингов как признаков для классификации. Для асимметричного поиска рекомендуется добавлять к запросу префикс «query: », а к документу — «passage: »; для симметричного сравнения обычно используют «query: » перед обоими текстами. Модель предназначена только для английских текстов; более длинные входы обрезаются до 512 токенов. При использовании косинусного сходства важнее относительный порядок оценок, чем их абсолютные значения. Расхождения в версиях PyTorch и Transformers могут вызывать небольшие различия результатов. Лицензия — MIT.

MohammadKhodadad/CTMEDGTE7_encoder — дообученная модель Sentence Transformers на базе skyfury/CTMEDGTE-cl7-step_6000. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения текстов по смыслу с помощью косинусного сходства. Архитектура основана на BERT с усреднением токенных представлений; модель рассчитана на последовательности длиной до 512 токенов по метаданным Hugging Face, а в конфигурации из README указано ограничение 256 токенов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации текстов и подготовки признаков для классификации. В метаданных указан объём 136,7 млн параметров и формат safetensors. Сведения о поддерживаемых естественных языках и лицензии в доступных данных отсутствуют.

Dans-PersonalityEngine-V1.3.0-24b-GGUF — текстовая генеративная модель, опубликованная под идентификатором Mungert/Dans-PersonalityEngine-V1.3.0-24b-GGUF. Она создана на базе Mistral-Small-3.1-24B-Base-2503 и представлена в формате GGUF; сборка выполнена с использованием llama.cpp. В README не указано имя отдельной организации-разработчика, однако модель связана с серией Dans и использует наборы данных PocketDoc и других авторов. Модель предназначена для универсальной генерации текста, ролевого общения, написания и редактирования историй, работы с инструкциями, математикой, рассуждениями, кодом, инструментами и специализированными темами, включая химию, биологию, климат, право, медицину и финансы. Заявлены английский, арабский, немецкий, французский, испанский, хинди, португальский, японский и корейский языки. Мультимодальность не заявлена, поэтому модель следует рассматривать как текстовую. Ключевая особенность — низкобитные варианты квантования IQ-DynamicGate с адаптивным распределением точности по слоям, ориентированные на снижение требований к памяти при сохранении качества. Такие варианты подходят для ограниченных по памяти GPU, CPU и периферийных устройств, но могут уступать более точным форматам по качеству. Приведённые в README результаты относятся к тестам Llama-3-8B, а не непосредственно к этой 24-миллиардной модели, поэтому их нельзя напрямую считать её характеристиками. Размер контекста для данной модели не указан. Лицензия — Apache-2.0.

kathisacutie/DeepSeek-V3.2 — текстовая генеративная модель на архитектуре DeepSeek V3.2, представленная как дообучение deepseek-ai/DeepSeek-V3.2-Exp-Base. В карточке заявлены эффективное рассуждение и работа в агентных сценариях, включая взаимодействие с инструментами. Модель использует механизм разреженного внимания DeepSeek Sparse Attention, рассчитанный на длинный контекст; размер указан как 37,6 млрд параметров, контекст — до 163 840 токенов. Модель предназначена для генерации текста, решения задач, требующих многошагового рассуждения, и сценариев, где агент использует инструменты. Для работы с сообщениями предусмотрен обновлённый формат чата с поддержкой вызова инструментов и режима рассуждения с инструментами; README отмечает, что шаблон Jinja не приложен. Репозиторий содержит веса в формате safetensors с FP8. Лицензия — MIT. README предупреждает, что парсер вывода рассчитан только на корректно сформированные строки и не исправляет ошибочный формат, поэтому для практического применения требуется надёжная обработка ошибок. Заявления об олимпиадных результатах и сравнении с другими моделями приведены авторами карточки и здесь не подтверждаются независимой оценкой.

gubartz/dense_model — модель на базе BERT, опубликованная как модель Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Число параметров — 137,1 млн, максимальная длина контекста — 512 токенов; модель работает с текстом и выдаёт эмбеддинги. При обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством. Модель подходит для поиска текстов по смыслу и группировки похожих предложений или документов. В карточке не названы обучающие данные и поддерживаемые естественные языки, поэтому нельзя установить языковую специализацию или качество на конкретных языках. Репозиторий содержит веса PyTorch; сведения о лицензии отсутствуют в предоставленных данных.

mingbao2020/distilroberta-base-nli-adaptive-layer — модель Sentence-Transformers на базе RoBERTa, разработанная автором репозитория mingbao2020. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 95,2 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате safetensors. Обучение использует AdaptiveLayerLoss с MultipleNegativesRankingLoss, что позволяет получать представления предложений для задач поиска и сопоставления по смыслу. Модель предназначена для создания текстовых эмбеддингов; сведения о лицензии и конкретных поддерживаемых языках в доступных данных отсутствуют.

Карточка модели vectoriseai/e5-base на Hugging Face совпадает с карточкой intfloat/e5-base, поэтому описание составлено по ней. E5-base — англоязычная модель текстовых эмбеддингов, разработанная Liang Wang, Nan Yang и соавторами. Это плотная модель на архитектуре BERT с 12 слоями, размерностью эмбеддинга 768 и 136,7 млн параметров; она принимает текст и выдаёт векторные представления. Модель обучена методом контрастивного предобучения со слабым контролем и предназначена для сравнения смысловой близости текстов и поиска по текстовым коллекциям. E5-base подходит для семантического поиска, извлечения релевантных фрагментов для систем вопросов и ответов, поиска перефразировок, кластеризации и использования эмбеддингов как признаков для классификации. Для корректной работы следует добавлять префиксы «query: » и «passage: » в соответствии с типом задачи. В репозитории указаны веса PyTorch и safetensors; длина контекста — до 512 токенов. Модель работает только с английским текстом, а более длинные входы обрезаются до 512 токенов. Авторы рекомендуют перейти на e5-base-v2, который, по их сообщению, показывает лучшие результаты при том же способе использования. Лицензия — MIT.

htdht/e5_base_finetune_v2 — модель Sentence Transformers, разработанная автором репозитория на базе intfloat/multilingual-e5-base и дообученная на наборах triplet и mnrl. Она преобразует предложения и абзацы в нормализованные плотные векторы размерности 768; сходство между ними можно оценивать по косинусной мере. Архитектура включает XLM-RoBERTa, mean pooling и нормализацию. Модель предназначена для семантического поиска и извлечения релевантных текстов, в том числе в retrieval-сценариях. Принимает текст, поддерживает многоязычный ввод и обрабатывает последовательности длиной до 514 токенов по метаданным. В README приведён результат cosine_accuracy 0,8745 на valid_triplet; он характеризует только указанную оценку и не гарантирует качество на других данных. Модель содержит около 305,2 млн параметров и распространяется в формате safetensors. Лицензия в предоставленных данных не указана.

omarelsayeed/e5_tsdae_contrastive — модель эмбеддингов на базе XLM-RoBERTa, представленная в формате Sentence-Transformers. Она кодирует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Модель подходит для построения векторного поиска по текстовым коллекциям, поиска похожих предложений и группировки текстов по смыслу. Доступны веса PyTorch; для работы можно использовать библиотеку Sentence-Transformers. Карточка описывает обучение с LoggingCosineLoss, но не приводит результаты оценки. Лицензия в предоставленных данных не указана.

rithwik-db разработал sentence-transformers-модель на базе BERT для преобразования предложений и абзацев в плотные векторы размерности 1024. Она подходит для семантического поиска, сравнения сходства текстов и кластеризации. Модель обучалась с MultipleNegativesRankingLoss и косинусной функцией сходства; для получения эмбеддингов можно использовать Sentence-Transformers либо Transformers с подходящей операцией pooling. Контекст ограничен 512 токенами. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

EmbeddingGemma-300m Haystack Contrastive Better Thin — дообученная на контрастивной задаче модель Sentence Transformers на базе google/embeddinggemma-300m. Она преобразует предложения и абзацы на английском языке в плотные эмбеддинги размерности 768 для сравнения по косинусному сходству. Модель подходит для семантического поиска, оценки сходства и перефразирования, кластеризации и классификации текста. Модель содержит 302,8 млн параметров, принимает текст длиной до 2048 токенов и распространяется в формате safetensors. В README описано обучение на 1200 парах текстов с метками и приведён результат cosine F1 0,961 на оценке бинарной классификации. Лицензия — Apache-2.0.

F2LLM-v2-330M — мультиязычная модель эмбеддингов из семейства F2LLM-v2, разработанного CodeFuse AI. Это instruct-вариант размером 284,8 млн параметров на архитектуре Qwen3; небольшие instruct-модели семейства были получены обрезкой базовой модели 0.6B и обучением. Модель принимает текст и преобразует его в векторные представления для поиска и сравнения текстов. Модель предназначена для семантического поиска, ранжирования и других задач работы с эмбеддингами. Она поддерживает инструкции в запросах, а Matryoshka Representation Learning позволяет сокращать размерность векторов для экономии места и ускорения векторного поиска. Семейство обучалось на мультиязычных данных и, по README, поддерживает более 200 языков; метаданные перечисляют среди языков русский, английский, китайский и другие. Контекст модели — до 40 960 токенов. README сообщает о высоких результатах семейства на широком наборе бенчмарков MTEB, но отдельные результаты именно этой версии не приведены. Модель распространяется по лицензии Apache-2.0. Для поиска и ранжирования инструкции следует добавлять к запросам, но не к документам; после усечения эмбеддингов нормализацию следует выполнять заново.