I.3Извлечение и структурирование данных

Binh230/bge-m3-finetuned-2 — модель Sentence Transformers на базе XLM-RoBERTa, дообученная для получения плотных векторных представлений предложений и абзацев. Она кодирует текст в векторы размерностью 1024 и предназначена для семантического поиска, сравнения сходства, поиска перефразирований, кластеризации и классификации текстов. Модель поддерживает последовательности до 8192 токенов; сходство векторов оценивается косинусной мерой. Для обучения использовано 68 042 парных примера, а архитектура включает трансформер, pooling по CLS-токену и нормализацию векторов. В примерах обучающих данных есть вьетнамские вопросы и фрагменты нормативных документов, поэтому модель подходит для поиска и сопоставления вьетнамских текстов. Лицензия в предоставленных данных не указана.

Hemg/biology-english-pancasila-2 — модель Sentence Transformers на базе BERT для преобразования предложений и абзацев в плотные векторы размерностью 384. Её можно использовать для поиска семантически похожих текстов, кластеризации и семантического поиска. Модель обучалась с функцией потерь MultipleNegativesRankingLoss и косинусным сходством. По метаданным, она содержит около 40 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате safetensors. Название указывает на тематику биологии и английский язык, однако README и метаданные не подтверждают специализацию или набор языков обучения. Для использования требуется библиотека sentence-transformers. Лицензия в предоставленных данных не указана.

Это дообученная Sentence Transformer-модель от hoamai1509 на базе bkai-foundation-models/vietnamese-bi-encoder. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для сравнения семантической близости, поиска и группировки текстов. Архитектура использует RoBERTa с усреднением токенных представлений; сходство вычисляется косинусной мерой. Модель рассчитана на вьетнамский язык и обрабатывает последовательности длиной до 258 токенов по метаданным.

Bylastic — модель классификации текстовых журналов от Byviz Analytics на архитектуре DistilBERT. Она распределяет записи по трём классам: ERROR, WARNING и INFO, чтобы выделять сбои, потенциальные проблемы и обычные сообщения в потоках логов. Модель предназначена для встраивания в конвейеры обработки журналов и интеграции с Elastic; веса доступны в формате safetensors, длина контекста составляет 512 токенов. Модель подходит для автоматической сортировки больших объёмов системных журналов и первичного выявления записей, требующих внимания. Карточка заявляет оптимизацию производительности и интеграцию с Elastic, но не приводит количественных результатов оценки. Лицензия — Apache-2.0.

ConvBERT small — компактная предобученная языковая модель на архитектуре ConvBERT, созданная Manuel Romero (@mrm8488) при поддержке Narrativa. Модель обучена на large_spanish_corpus и предназначена для получения контекстных векторных представлений испанского текста. Модель содержит 20,4 млн параметров, принимает последовательности длиной до 512 токенов и доступна в форматах PyTorch, Safetensors и TensorFlow. В README приведены метрики предобучения, включая точность masked language modeling 0,535 на наборе оценки. Её можно использовать как основу для поиска по смыслу, кластеризации текста и дообучения под задачи классификации или извлечения признаков на испанском языке. Распространяется по лицензии MIT.

Komalverma/custom-bge-baai-small-cfr-cms — дообученная модель Sentence Transformers на базе BAAI/bge-small-en-v1.5, разработанная пользователем Komalverma. Она кодирует предложения и абзацы на английском языке в плотные векторы размерности 384 для семантического поиска и извлечения релевантных текстов. Сходство векторов можно оценивать косинусной мерой. Модель использует архитектуру BERT с усреднённым пулингом выходов токенов, содержит около 40 млн параметров и обрабатывает до 512 токенов за последовательность. Обучающие данные состоят из 47 056 пар предложений; README указывает на примеры из сферы услуг Medicare, но не устанавливает более широкую специализацию модели. Доступны веса в формате safetensors. Лицензия в предоставленных данных не указана.

Карточка модели usama1111/e5-pak-legal-constitutional на Hugging Face совпадает с карточкой intfloat/multilingual-e5-base, поэтому описание составлено по ней. Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.

m-rudko-pn создал модель Sentence Transformers, дообучив multilingual-e5-small на 79 912 парах текстов из украинской Википедии. Модель на базе BERT преобразует предложения и абзацы в плотные векторы размерности 384; для сравнения используется косинусное сходство. Максимальная длина входа — 512 токенов. Модель подходит для семантического поиска и оценки сходства текстов, поиска перефразировок, кластеризации и классификации текстов. Примеры обучающих данных и название модели указывают на специализацию на украинских текстах. В карточке нет сведений о лицензии, поэтому условия использования определить нельзя.

ERNIE-4.5-21B-A3B-Paddle — текстовая модель семейства ERNIE 4.5, разработанная Baidu и опубликованная в формате весов PaddlePaddle. Это постобученная разреженная MoE-модель: в README указано 21 млрд параметров всего и около 3 млрд активируемых параметров на токен; метаданные каталога указывают 3,3 млрд параметров. Модель предназначена для диалогов, понимания текста и генерации ответов. Контекст составляет до 131 072 токенов. Модель обучалась в рамках мультимодального семейства ERNIE 4.5, однако эта версия обозначена в README как текстовая и принимает текст. Для дообучения доступны сценарии SFT и DPO через ERNIEKit на PaddlePaddle; для развёртывания README указывает FastDeploy. Метаданные отмечают поддержку английского и китайского языков. Сильные стороны — разреженная MoE-архитектура и длинный контекст; качество на конкретных задачах и аппаратные требования в предоставленных материалах не описаны. Лицензия — Apache-2.0.

spacemanidol/esci-jp-mpnet-crossencoder — модель Sentence-Transformers на базе MPNet, разработанная пользователем spacemanidol. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации. В метаданных указаны 136,7 млн параметров и контекст до 514 токенов; модель сохранена в формате PyTorch. Модель обучалась с функцией потерь CosineSimilarityLoss. Её можно использовать для поиска семантически близких текстов, группировки предложений и построения систем поиска по смыслу. README не уточняет язык обучающих данных, поэтому языковую поддержку нельзя определить по доступным сведениям. Лицензия в предоставленных данных не указана.

Fin-Retriever-base — модель Sentence Transformer на архитектуре BERT, представленная valuesimplex-ai-lab. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска и сравнения текстов. В архитектуре используются BERT, усреднение токенных представлений и нормализация векторов; сходство можно оценивать по косинусной мере. Модель рассчитана на последовательности до 512 токенов. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. Название указывает на финансовую тематику, однако README не описывает специализированные финансовые данные или сценарии обучения. Репозиторий содержит веса PyTorch и использует библиотеку sentence-transformers. Условия лицензирования в предоставленных данных не указаны.

FRPile_GPL_test_pipeline — модель на основе архитектуры BERT, разработанная как Sentence-Transformers-модель для преобразования предложений и абзацев в плотные векторы размерности 1024. Она предназначена для семантического поиска, кластеризации и сравнения текстов по смыслу. В метаданных указано 433,9 млн параметров, контекст до 512 токенов и формат PyTorch; для получения эмбеддингов предусмотрено использование Sentence-Transformers либо Transformers с соответствующей операцией pooling. В карточке упомянуто обучение с MarginDistillationLoss из инструментария GPL. Языки обучения, базовая модель и лицензия в предоставленных данных не раскрыты. Модель выдаёт векторные представления текста, поэтому качество семантического поиска и кластеризации зависит от соответствия текстов и домена её обучению.

FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel_Roberta-MISTRAL-notrescaled_20000 — модель в формате Sentence-Transformers на базе архитектуры RoBERTa, разработчик указан в идентификаторе репозитория как DragosGorduza. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для поиска по смыслу, сравнения текстов и кластеризации. Обучение использовало MarginDistillationLoss; модель содержит 151,8 млн параметров и принимает последовательности длиной до 514 токенов. Для работы можно использовать библиотеку Sentence-Transformers либо Transformers с соответствующей операцией pooling. В репозитории указаны веса Safetensors. Язык обучающих данных и лицензия в предоставленных сведениях не отражены, поэтому их нельзя достоверно описать.

unsloth/gemma-3-4b-pt — мультимодальная модель семейства Gemma 3, подготовленная Unsloth на основе предварительно обученной google/gemma-3-4b-pt. Она принимает текст и изображения и генерирует текстовые ответы. В метаданных указаны архитектура Gemma 3 с плотной моделью, библиотека Transformers и формат весов Safetensors; базовая модель имеет 4 млрд параметров по идентификатору репозитория. Для Gemma 3 заявлено контекстное окно 128 тыс. токенов и поддержка более 140 языков. Модель подходит для вопросов по изображениям, извлечения и обобщения визуальной информации, а также генерации и суммаризации текста. README описывает семейство Gemma 3 в целом, поэтому характеристики контекста и языковой поддержки относятся к семейству; эта версия обозначена как предварительно обученная, а не настроенная для следования инструкциям. Возможны фактические ошибки, пробелы и смещения, а также трудности с неоднозначными запросами и сложными задачами. Лицензия — Gemma.

ddalcu/gemma-4-e2b-it-4bit-textonly — облегчённая сборка Google Gemma 4 E2B, подготовленная в формате MLX на основе mlx-community/gemma-4-e2b-it-4bit. Это instruction-tuned языковая модель для генерации и обработки текста, предназначенная прежде всего для текстовых чат-приложений и локального запуска на устройствах Apple, включая сценарии on-device inference. Модель использует 4-битное affine-квантизование языкового backbone и эмбеддингов, полностью сохраняя веса и качество текстовой генерации исходной модели. Из неё удалены веса vision tower и audio tower: 1 415 из 2 511 тензоров. Размер загрузки сокращён примерно с 3,55 до 2,5 ГБ, то есть приблизительно на 30%. Модель поддерживает только взаимодействие «текст на входе — текст на выходе»; изображения и аудио она не обрабатывает. Сведения о размере контекста и языках в README не указаны. Основные преимущества — меньший размер по сравнению с мультимодальной сборкой и сохранение её текстовых возможностей при работе с MLX. Ограничение — отсутствие мультимодальных входов; для обработки изображений и аудио рекомендуется исходная модель mlx-community/gemma-4-e2b-it-4bit. README указывает лицензию Gemma. Для некоторых версий mlx-vlm при загрузке может потребоваться режим strict=False из-за отсутствующих весов vision-модуля.

JoBeer/german-semantic-base — модель эмбеддингов предложений на базе BERT, разработанная автором репозитория и дообученная в формате sentence-transformers на gbert-base. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации немецких текстов. Обучение проводилось на немецком STS-датасете с использованием машинных переводов AWS и DeepL, функции потерь MultipleNegativesRankingLoss и четырёх эпох; оценка также выполнялась на немецком STS-тесте. Модель содержит 137,1 млн параметров, принимает текст и выдаёт векторы; заявленная длина контекста — 512 токенов. Для использования подходят Sentence-Transformers или Transformers с соответствующей операцией pooling. В репозитории указаны веса safetensors. Лицензия в предоставленных данных не указана.

GPT-5.4 — фронтирная модель OpenAI, объединяющая линейки Codex и GPT. По карточке, она поддерживает контекст более чем в 1 млн токенов: до 922 тыс. входных и 128 тыс. выходных токенов. В доступных данных также указана задача image-text-to-text. Модель предназначена для работы с текстом и изображениями и выдачи текстовых ответов. Сведений о конкретных сценариях, языках, архитектуре, размере и лицензии в предоставленных данных нет, поэтому их нельзя уточнить.

IoannisKat1 разработал эту модель Sentence Transformers, дообучив Alibaba-NLP/gte-multilingual-base на 4 268 парах текстов. Модель кодирует предложения и абзацы в нормализованные плотные векторы размерности 768 для поиска и сравнения по косинусному сходству. Архитектура включает Transformer-энкодер, CLS-пулинг и нормализацию; максимальная длина входа — 8 192 токена. Модель предназначена для семантического поиска и извлечения релевантных фрагментов по запросу. Matryoshka-обучение позволяет усекать векторы до 512, 256, 128 или 64 измерений, с некоторым снижением качества поиска. Карточка указывает английский язык, однако примеры обучающих пар на греческом, поэтому поддержка других языков неясна. Лицензия — Apache-2.0.

InternVL2_5-4B — мультимодальная чат-модель семейства InternVL 2.5, разработанная командой OpenGVLab. Она предназначена для диалога по изображениям, нескольких изображений и видеокадров, а также для генерации текста по запросу. Модель использует архитектуру ViT-MLP-LLM: визуальный энкодер InternViT-300M-448px-V2_5, проектор MLP и языковую часть Qwen2.5-3B-Instruct; обработка изображений поддерживает динамическое разбиение на фрагменты 448×448 пикселей и высокое разрешение. Модель подходит для описания и анализа изображений, визуальных вопросов и ответов, чтения текста на изображениях, работы с несколькими изображениями и анализа видео по кадрам. Карточка описывает улучшения обучения и сохранение языковых возможностей, однако не приводит конкретных численных результатов для варианта 4B. Репозиторий использует лицензию MIT.

shangrilar/klue-roberta-base-klue-sts-mrc — модель Sentence-Transformers на базе RoBERTa, разработанная автором репозитория для получения векторных представлений предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 и предназначена для поиска семантически близких текстов, кластеризации и других задач сравнения предложений. Модель содержит 137,8 млн параметров и принимает последовательности длиной до 514 токенов. При обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством. Веса доступны в формате safetensors; для применения подходят Sentence-Transformers или Transformers с соответствующей операцией pooling. Карточка не сообщает лицензию и не приводит результатов оценки качества. Название базовой модели указывает на ориентацию на корейский язык, однако README и метаданные не перечисляют поддерживаемые языки.

ddobokki/klue-roberta-small-nli-sts — корейская модель Sentence Transformer на архитектуре RoBERTa, предназначенная для получения векторных представлений предложений и оценки их семантического сходства. Разработчик описывает её как модель для корейского языка; размер составляет 81,2 млн параметров, а длина контекста — 514 токенов. Модель подходит для сравнения предложений по смыслу, поиска семантически близких текстов и использования в системах извлечения признаков и векторного поиска. В README приведены результаты теста семантического сходства: корреляция Пирсона 84,27 и Спирмена 84,17 для косинусного сходства. Доступны веса PyTorch и Safetensors. В README не указана лицензия, поэтому условия распространения и коммерческого использования по имеющимся данным определить нельзя.

Карточка модели ronaldmannak/LFM2.5-ColBERT-350M-4bit на Hugging Face совпадает с карточкой mlx-community/LFM2.5-ColBERT-350M-4bit, поэтому описание составлено по ней. Это 4-битная сборка MLX модели LFM2.5-ColBERT-350M, подготовленная сообществом mlx-community на основе LiquidAI/LFM2.5-ColBERT-350M для локального инференса на компьютерах Apple с Apple Silicon. Модель использует архитектуру ColBERT с поздним взаимодействием: формирует 128-мерный вектор для каждого токена, а релевантность запроса и документа оценивает методом MaxSim. В метаданных указаны 443,4 млн параметров и контекст до 128 000 токенов. Модель предназначена для многоязычного семантического поиска и извлечения документов. В тестах README 4-битная версия сохранила в среднем 98,7% NDCG@10 и 99,7% Recall@10 относительно bf16 версии на восьми наборах данных; оценки получены на небольших или сокращённых корпусах и не сопоставимы напрямую с результатами на полных корпусах. В репозитории указана лицензия other; условия исходной модели следует сверить с её карточкой.

lid-neural-25.1 — модель для автоматического определения языка текста, разработанная olaverse и дообученная на базе XLM-RoBERTa. Она классифицирует текст по 25 языкам и рассчитана на документы, статьи и фрагменты текста; для коротких запросов и сообщений автор предлагает checkpoint lid-neural-25.2. Модель использует архитектуру XLM-RoBERTa для классификации последовательностей. В README указаны 125 млн параметров и максимальная длина входа 128 токенов, а метаданные Hugging Face — 305,2 млн параметров и контекст 514 токенов; эти сведения расходятся. Для версии .1 заявлена точность 99,9% на отложенной выборке из 2 498 примеров. Обучение требует GPU, запуск инференса возможен на CPU, но медленнее, чем у компактной fastText-модели. Модель поддерживает африкаанс, амхарский, немецкий, английский, французский, хауса, хинди, игбо, индонезийский, итальянский, японский, корейский, нидерландский, польский, португальский, русский, шона, сомали, испанский, суахили, турецкий, вьетнамский, коса, йоруба и зулу. На коротком тексте зулу и коса часто путаются; обучение на человеческих сообщениях и тексте со смешанными языками не проверялось. Лицензия модели — Apache-2.0.

Модель potsawee/longformer-large-4096-answerable-squad2 — дообученная Potsawee на Longformer Large для оценки того, можно ли ответить на вопрос по заданному контексту. На вход подаются вопрос и контекст, объединённые в одну последовательность; модель выдаёт вероятность от 0 до 1, где значения ближе к 1 означают, что ответ содержится в контексте, а ближе к 0 — что вопрос неразрешим по нему. Модель дообучена на SQuAD 2.0 с балансировкой обучающих примеров до соотношения 50/50 между ответимыми и неответимыми вопросами. Архитектура — LongformerForSequenceClassification на базе Longformer Large, около 454,1 млн параметров; максимальный контекст — 4098 токенов. Подходит для предварительной фильтрации вопросов в системах ответов по контексту и поиска по документам. Лицензия — Apache-2.0.

Meta-Llama-3-8B-Instruct-GGUF — это инструкционная языковая модель семейства Llama 3, разработанная Meta и представленная в формате GGUF сообществом bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, а также другие задачи обработки естественного языка. В README указаны английский язык и категория text-generation. Из доступных данных известно, что модель основана на Llama 3 и имеет размер 8 миллиардов параметров. Формат GGUF ориентирован на локальный запуск совместимыми средствами инференса, однако конкретная схема квантования, максимальная длина контекста, требования к оборудованию и дополнительные возможности в README не указаны. Сильными сторонами являются компактный для крупной языковой модели размер и специализация на следовании инструкциям; ограничения включают отсутствие подтверждённых сведений о поддерживаемых языках помимо английского, точности и производительности в различных сценариях. Модель распространяется по лицензии Meta Llama 3 Community License. При использовании и распространении необходимо соблюдать условия этой лицензии, включая требования к атрибуции, отображению надписи «Built with Meta Llama 3», соблюдение Acceptable Use Policy и ограничения, связанные с крупными коммерческими сервисами.

Mistral Medium 3.1 — обновлённая версия Mistral Medium 3 от Mistral AI. Это высокопроизводительная языковая модель корпоративного уровня, рассчитанная на широкий круг задач и призванная сочетать передовые возможности с более низкими эксплуатационными затратами. В доступном описании не приведены сведения об архитектуре, размере, контексте, языках, условиях лицензирования и конкретных сценариях применения.

Карточка модели avsolatorio/MixEmbed-base-20240110153733-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240124231910-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели jfarray/Model_bert-base-multilingual-uncased_10_Epochs на Hugging Face совпадает с карточкой jfarray/Model_dccuchile_bert-base-spanish-wwm-uncased_10_Epochs, поэтому описание составлено по ней. jfarray/Model_dccuchile_bert-base-spanish-wwm-uncased_10_Epochs — модель эмбеддингов предложений на базе BERT, опубликованная пользователем jfarray. Она кодирует предложения и абзацы в плотные векторы размерности 256 для поиска семантически близких текстов и кластеризации. Модель содержит 137,1 млн параметров, работает с текстом и поддерживает контекст до 512 токенов; в карточке указана библиотека Sentence-Transformers и обучение с CosineSimilarityLoss. Модель подходит для семантического поиска и группировки текстов по смыслу. Название базовой модели указывает на испанский BERT dccuchile/bert-base-spanish-wwm-uncased, поэтому основной язык — испанский. В метаданных указаны формат PyTorch и задачи извлечения признаков и сходства предложений. Лицензия в предоставленных данных не указана.

sobamchan/monnem-large-v0 — модель Sentence Transformer, дообученная на базе answerdotai/ModernBERT-large. Она кодирует предложения и абзацы на английском языке в плотные векторы размерностью 1024 для семантического поиска и извлечения текстов; сходство между векторами рекомендуется оценивать косинусной метрикой. Архитектура состоит из энкодера ModernBERT и слоя усредняющего пулинга. Метаданные указывают 394,7 млн параметров и контекст до 8192 токенов, тогда как карточка модели задаёт максимальную длину последовательности 512 токенов. Модель принимает текст и выдаёт эмбеддинги. Подходит для поиска релевантных предложений и абзацев, в том числе как компонент retrieval-систем. Данных о специализированных предметных областях нет. Модель опубликована под лицензией, сведения о которой в предоставленных источниках отсутствуют.