I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельSILMA Kashif 2B Instruct v1.0 — специализированная языковая модель от SILMA AI на архитектуре Gemma 2. Она предназначена прежде всего для генерации ответов на вопросы по предоставленному контексту в RAG-системах; также умеет извлекать сущности из текста. Модель содержит 2,7 млрд параметров, принимает текст и поддерживает контекст до 12 288 токенов. Модель рассчитана на арабский и английский языки. В заявленных сценариях она отвечает по коротким и длинным фрагментам, объединяет сведения из нескольких частей текста, работает с табличными данными и может сообщить, что ответа в контексте нет. По данным README, модель слабее справляется со сложными числовыми и финансовыми рассуждениями; обучение для вопросов и ответов ограничивает её пригодность для задач общего назначения. Для использования указана лицензия Gemma.
SLIM-EMOTIONS — специализированная модель серии SLIM от llmware, дообученная для анализа эмоций в тексте и вызовов функций. Она построена на плотной decoder-only архитектуре Llama и содержит 1 млрд параметров. Модель принимает текст и генерирует структурированный результат в виде словаря Python, например с перечнем распознанных эмоций. Модель предназначена для классификации эмоциональной окраски текста и включения результата в программные и многошаговые LLM-процессы. Для генерации используется формат prompt с задачей classify и параметром emotions. Контекст составляет 2048 токенов; веса представлены в формате PyTorch. Лицензия — Apache-2.0. Карточка описывает специализированный формат вывода, но не приводит метрик качества или перечня поддерживаемых языков. Результат генерируется как текст и может потребовать проверки перед разбором программой.
Abinaya/snowflake-arctic-embed-financial-matryoshka — англоязычная модель эмбеддингов предложений, дообученная на 6 300 парах текстов из набора json на базе Snowflake/snowflake-arctic-embed-m-v1.5. Она использует архитектуру Sentence Transformer с трансформером BERT, CLS-пулингом и нормализацией и преобразует тексты в плотные векторы размерностью 768. Для сравнения векторов применяется косинусное сходство; Matryoshka-обучение позволяет использовать укороченные представления размерностью 512, 256, 128 или 64. Модель предназначена для семантического поиска и сравнения финансовых текстов, включая поиск по документам, оценку сходства предложений, выявление перефразирований, кластеризацию и классификацию на основе эмбеддингов. Максимальная длина входа — 512 токенов. Модель принимает текст и выдаёт векторы; для получения меток классов или результатов поиска нужна отдельная последующая обработка. Выпущена под лицензией Apache-2.0.
juanquivilla выпустил полноточную дообученную модель LiquidAI/LFM2.5-350M-Base для очистки текстов, полученных распознаванием речи. Она исправляет транскрипты, нормализует числа, удаляет речевые заполнители и рассчитана на постобработку результатов ASR, в том числе на локальном устройстве. Модель построена на плотной архитектуре LFM2 и содержит 444,6 млн параметров; контекст — до 128 000 токенов. Веса представляют собой усреднение двух дообученных чекпойнтов одной линии разработки. README приводит высокие показатели точности чисел и на тестах с трудными примерами, но они получены на ограниченных наборах оценки и не гарантируют такие же результаты для других языков или типов транскриптов. Модель рассчитана на английский язык, распространяется в формате safetensors по лицензии MIT; для запуска на Apple Silicon автор рекомендует отдельную 5-битную MLX-версию.
splade-camembert-base-v2 — франкоязычный разреженный кодировщик SPLADE, дообученный на базе almanach/camembert-base с использованием библиотеки Sentence Transformers и данных msmarco-qwen3-reranker-0.6_b-french. Модель принимает предложения и абзацы и преобразует их в разреженные векторы размерностью 32 005; сходство между векторами оценивается скалярным произведением. Модель предназначена для семантического поиска и разреженного извлечения документов, а также может использоваться для оценки сходства предложений. Архитектура включает CamembertForMaskedLM и SPLADE pooling с max-пулингом и ReLU. Максимальная длина последовательности — 512 токенов (514 токенов в метаданных). Карточка приводит результаты оценки на франкоязычных наборах NanoBEIR и French STS. Модель поддерживает французский язык и распространяется по лицензии Apache-2.0. Она создаёт разреженные векторные представления для поиска и не предназначена для генерации связных текстовых ответов; качество зависит от предметной области и корпуса поиска.
UncensoredLM-DeepSeek-R1-Distill-Qwen-14B — экспериментальная версия чат-модели от UncensoredAI. Это плотная языковая модель архитектуры Qwen2 с 13,4 млрд параметров, представленная в формате safetensors и рассчитанная на контекст до 131 072 токенов. Модель предназначена для генерации текста и ответов с рассуждениями; шаблон обучения ориентирует её на извлечение ответа из предоставленного контекста без опоры на внешние сведения. Модель заявлена как версия с ослабленным выравниванием отказов. Автор называет её предварительным экспериментальным выпуском и приглашает сообщать о проблемах, поэтому качество и поведение могут измениться в следующих версиях. Лицензия — Apache 2.0.
Vero-Qwen35-9B — мультимодальная модель семейства Vero от Z Lab при Принстонском университете, дообученная на базе Qwen/Qwen3.5-9B с применением обучения с подкреплением. Она предназначена для диалогового визуального рассуждения: анализа изображений и диаграмм, задач по STEM, пространственного анализа, распознавания объектов и знаний, локализации, подсчёта, подписей к изображениям и следования инструкциям. Модель принимает текст и изображения и генерирует текстовые ответы. Семейство Vero обучалось для широкого переноса навыков визуального рассуждения; авторы сообщают о сильных результатах на наборе VeroEval и открыли обучающий код, данные и оценивание. Для Vero-Qwen35-9B указаны архитектура Qwen3.5, 9 млрд параметров и библиотека Transformers. Модель распространяется по лицензии Apache-2.0. README не приводит отдельные результаты или ограничения именно этой версии; качество на конкретных задачах следует проверять на собственных данных.
Карточка модели AITeamVN/Vi-Qwen2-1.5B-RAG на Hugging Face совпадает с карточкой AITeamVN/Vi-Qwen2-3B-RAG, поэтому описание составлено по ней. Vi-Qwen2-3B-RAG — языковая модель семейства Qwen2, дообученная командой разработчиков, указанной в карточке, для задач генерации с дополнением найденными материалами (RAG). Модель рассчитана на вьетнамский язык и поддерживает диалоговый режим; в метаданных указаны 3,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для ответов на вопросы по извлечённым документам: она может находить полезные сведения в зашумлённом контексте, отказываться от ответа при отсутствии нужной информации, объединять факты из нескольких фрагментов и определять, содержится ли ответ в контексте. Также её можно применять как чат-модель для последовательных вопросов. В карточке описана оценка определения наличия ответа с точностью около 99%, но подробности методики и воспроизводимые результаты не приведены. Это плотная авторегрессионная модель Qwen2 для генерации текста, доступная в формате Safetensors и рассчитанная на использование через Transformers. README описывает версию Vi-Qwen2-7B-RAG, тогда как идентификатор репозитория и метаданные относятся к Vi-Qwen2-3B-RAG; поэтому сведения о специфических результатах и сценариях меньшей версии следует считать описанием семейства, а не подтверждёнными отдельными оценками этой модели. Лицензия — Apache-2.0. Разработчики предупреждают, что модель специализирована на RAG и может быть ненадёжной в вопросах политики и общества, а также проявлять предвзятость или неуместные взгляды.
danurahul/wav2vec2-large-xlsr-pa-IN — модель автоматического распознавания речи на панджаби, созданная дообучением facebook/wav2vec2-large-xlsr-53 на данных Common Voice. Она использует архитектуру Wav2Vec2ForCTC и предназначена для преобразования панджабской речи в текст. Для входного аудио требуется частота дискретизации 16 кГц; доступны веса PyTorch и Flax. В карточке указан результат тестирования 100% на тестовых данных Common Voice, однако метрика не названа, а разделение данных описано неоднозначно: README сообщает об использовании наборов train и validation для обучения, валидации и тестирования. Поэтому результат не позволяет оценить обобщающую способность модели. Лицензия — Apache-2.0.
Whisper-Hindi2Hinglish-Swift — модель распознавания речи Oriserve на архитектуре Whisper Base, дообученная для транскрибации разговорной хинди в хинглиш: речь записывается латиницей с использованием английских букв и сохраняет распространённые смешанные формы. Модель принимает аудио и выдаёт текст; в метаданных указаны 51,7 млн параметров, библиотека Transformers и формат safetensors. Модель предназначена для распознавания хинди с индийским акцентом, в том числе в шумной обстановке. По данным карточки, для дообучения использовали около 550 часов специально собранных и размеченных аудиозаписей; авторы заявляют о снижении галлюцинаций и улучшении результатов относительно исходной Whisper Base на описанных бенчмарках. В примерах использования приведена настройка распознавания с параметром языка "en", поэтому поведение следует проверять на целевых аудиозаписях. Модель распространяется по лицензии Apache-2.0. Результаты и характеристики основаны на оценках авторов; карточка не даёт гарантий качества для иных условий записи или вариантов речи.
nlp-mg/whisper-mg — дообученная модель распознавания речи на базе openai/whisper-small, опубликованная под лицензией Apache-2.0. Она предназначена для преобразования аудио в текст; в README приведены результаты оценки: loss 0.1375 и WER 7.0732. Модель использует архитектуру WhisperForConditionalGeneration и содержит 153,1 млн параметров. Метаданные указывают поддержку аудиовхода. README не сообщает, на каких языках и данных проводилось дообучение, поэтому нельзя уточнить специализацию модели или качество распознавания для конкретного языка. Прикладные ограничения сверх этих сведений не описаны.
XLM-V-Tuktuk-HIEN-LID — модель Анша Шармы для распознавания языка на уровне отдельных токенов в текстах из социальных сетей, где смешаны хинди и английский. Это дообученный для токеновой классификации энкодер XLM-V/XLM-RoBERTa на базе facebook/xlm-v-base; в метаданных указано 805,7 млн параметров и контекст до 514 токенов. Модель присваивает каждому токену одну из меток: английский, хинди, именованная сущность или прочее. Она принимает текст латиницей на хинглише и выдаёт метки токенов; заявленные языки — английский и хинди. Модель предназначена для предварительной разметки хинглиш-текста, например для маршрутизации токенов в монолингвальные инструменты анализа тональности или токсичности, подготовки текста к машинному переводу и отбора токенов для NER или POS-разметки. На внешнем тесте LINCE авторы сообщают macro F1 0,87; результат на внутреннем holdout отражает согласие с псевдоразметкой, а не независимую проверку. Модель обучалась на данных с разметкой ансамблем моделей, а не людьми; хуже распознаёт редкий класс «прочее». Она не предназначена для классификации целых предложений, формального текста, письма деванагари и других пар смешения языков. Лицензия — Apache 2.0.
XuanYuan2-70B-Chat — Duxiaoman-DI выпустила эту чат-модель на архитектуре LLaMA с 68,8 млрд параметров. Она создана на базе XuanYuan-70B: модель продолжительно обучали на дополнительных высококачественных данных, затем дообучили на инструкциях и с помощью RLHF. Вариант Chat предназначен для диалога и выполнения пользовательских инструкций общего и финансового характера. Модель поддерживает контекст до 16 384 токенов и рассчитана на работу с текстом. В карточке отмечено улучшение китайских возможностей при сохранении английских; отдельный акцент сделан на финансовых знаниях. Для запуска доступны веса safetensors, а в семействе также существуют отдельные 8- и 4-битные версии Chat. Модель подходит для диалоговых помощников, ответов на финансовые вопросы и анализа длинных текстовых запросов. Оценки на наборах CEVAL, CMMLU и FinanceIQ показывают сильные результаты, но авторы предупреждают, что тестовые показатели не полностью отражают качество в реальных сценариях; также отмечены просадки в отдельных финансовых категориях. Лицензия — Llama 2 Community License; перед использованием следует учитывать её условия.
ACE-Step Transcriber — мультиязычная модель транскрибации, используемая ACE-Step v1.5 для разметки обучающих данных. В карточке указана архитектура Qwen2.5-Omni; модель принимает аудио и формирует структурированный текст с распознанной речью или текстом песен, а также пометками частей композиции, например куплетов, припева и инструментальных фрагментов. Модель предназначена для распознавания речи и пения, извлечения текста песен, создания субтитров и анализа музыкальной структуры. Она поддерживает более 50 языков, включая китайский, японский, корейский, вьетнамский, тайский, индонезийский, малайский, филиппинский, хинди, бенгальский, тамильский и урду. Репозиторий содержит веса в формате Safetensors, используется библиотека Transformers. Лицензия — MIT.
ActIO-UI-7B-RLVR — мультимодальная модель зрения и языка, разработанная Orby AI, подразделением Uniphore, для выполнения коротких подзадач в веб-интерфейсах по инструкциям на естественном языке. Она основана на Qwen2.5-VL-7B-Instruct и дообучена методом обучения с подкреплением с проверяемыми наградами поверх контрольной точки ActIO-UI-7B-SFT. Модель принимает изображения интерфейса и текстовые инструкции, а в ответ формирует текст, описывающий решение подзадачи. Типичные сценарии — выбор даты в календаре, прокрутка контейнера и извлечение сведений со страницы; модель также рассчитана на визуальное сопоставление элементов интерфейса с инструкциями. Архитектура — плотная Qwen2.5-VL с 7,1 млрд параметров; контекст составляет до 128 000 токенов. Для входного изображения README рекомендует размер 1280 × 720 пикселей. Основной язык карточки — английский. В опубликованных авторами результатах модель превосходит базовую Qwen2.5-VL-7B на ряде тестов GUI-подзадач и взаимодействия с веб-интерфейсами, однако показатели зависят от бенчмарка и сценария. Это специализированная модель: результаты тестирования не гарантируют надёжного выполнения произвольных длинных задач или корректной работы на всех сайтах. Лицензия репозитория — OpenMDW-1.0; авторы заявляют исследовательское и образовательное назначение и запрещают незаконное, неэтичное или вредное использование.
F1ow421/all-MiniLM-L6-v2-ru-hnp — русскоязычная доменно-адаптированная версия sentence-transformers/all-MiniLM-L6-v2, дообученная автором репозитория на 20 000 триплетов из набора deepvk/ru-HNP с функцией потерь TripletLoss. Это компактная модель на архитектуре BERT с 25,9 млн параметров; она преобразует предложения в эмбеддинги для сравнения смысловой близости и поиска парафраз. Модель рассчитана на русский язык, использует библиотеку sentence-transformers и принимает последовательности длиной до 512 токенов. Репозиторий распространяет веса в формате safetensors по лицензии Apache-2.0. В README приведена оценка на RuBQ Retrieval: Recall@5 и Recall@10 составили 0,36%, ниже показателей базовой модели. Автор связывает это с различием между обучением на симметричном поиске парафраз коротких предложений и оценкой на асимметричном поиске ответов по Википедии. Поэтому результаты не подтверждают пригодность модели для вопросно-ответного поиска такого типа; перед применением в конкретной задаче качество стоит оценить на целевых данных.
Audio8-ASR-0.1B — компактная авторегрессионная модель распознавания речи, опубликованная Audio8. Она принимает аудио и преобразует речь в текст на китайском, английском, французском, немецком, японском, корейском и кантонском языках. В модели используется аудиокодировщик Qwen3-ASR с MLP-проектором и восьмислойный причинный языковой декодер в стиле Qwen. Языковой компонент содержит около 103,5 млн параметров, а общее число уникальных параметров составляет около 324 млн. Модель рассчитана на работу через Hugging Face Transformers; частота дискретизации — 16 кГц. Для декодирования можно задавать подсказки с ключевыми словами без дообучения. Длина контекста в метаданных — 32 768 токенов. Модель подходит для транскрибации коротких аудиозаписей и распознавания речи с подсказками по терминам. В примерах аудио обрезается до 30 секунд; слишком сильное усиление ключевых слов может сместить результат распознавания. Выпущены отдельные варианты для ONNX Runtime и iOS, но этот репозиторий содержит чекпойнт Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
Англоязычная модель Sentence Transformer, дообученная на базе BAAI/bge-base-en-v1.5 для построения эмбеддингов текстов, связанных с товарами Shopify. Архитектура основана на BERT с CLS-пулингом и нормализацией; модель содержит 136,7 млн параметров и преобразует предложения и абзацы в векторы размерности 768. Максимальная длина последовательности — 512 токенов, сходство можно оценивать косинусной мерой. Модель подходит для семантического поиска и сравнения текстов о товарах, поиска перефразировок, кластеризации и классификации текстов. В описанной оценке на наборе bge-shopify-eval достигнута точность cosine_accuracy 0,9012; обучающий набор состоял из 729 примеров и использовал TripletLoss. Эта оценка относится к указанному набору и не гарантирует аналогичного качества на других данных. Лицензия в предоставленных сведениях не указана.
NeuML разработала BiomedBERT ColBERT — англоязычную модель эмбеддингов с несколькими векторами, дообученную на microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext. Она кодирует предложения и абзацы в последовательности плотных векторов размерностью 128 и оценивает их сходство с помощью позднего взаимодействия ColBERT и оператора MaxSim. Модель предназначена для семантического поиска и извлечения релевантных фрагментов из биомедицинских текстов, в том числе как источника контекста для RAG. Её можно применять для поиска по большим коллекциям публикаций, подбора ответов на вопросы по медицинской литературе и ускоренного переранжирования результатов. В README приведены оценки на PubMed QA, PubMed Subset и PubMed Summary; автор отмечает, что модель превосходит включённые в сравнение модели на среднем результате. Она не является cross-encoder, а её контекст ограничен 512 токенами. Модель содержит 136,7 млн параметров, распространяется в формате safetensors и доступна по лицензии Apache-2.0.
CharacterBERT — вариант BERT, разработанный Hicham El Boukkouri, Olivier Ferret, Thomas Lavergne, Hiroshi Noji, Pierre Zweigenbaum и Junichi Tsujii. Модель предназначена для получения контекстных представлений слов на основе их символов и поддерживает открытый словарь: вместо фиксированной WordPiece-токенизации используется CharacterCNN, который строит представление целого токена из последовательности символов. Модель содержит около 113,2 млн параметров, использует 12 трансформерных слоёв с размерностью скрытого состояния 768 и 12 attention heads, а максимальная длина контекста составляет 512 токенов. В репозитории Hugging Face она предназначена для feature extraction и реализована на PyTorch с пользовательским кодом Transformers. Базовая версия предварительно обучена на англоязычных Wikipedia и OpenWebText. Модель подходит для извлечения эмбеддингов слов и предложений, а также для последующей адаптации к задачам классификации и другим задачам обработки текста. Символьное представление делает её устойчивой к неизвестным словам и опечаткам. Ограничения включают более медленное предварительное обучение из-за CharacterCNN и необходимость доверять пользовательскому коду при загрузке через Transformers. Репозиторий распространяется по лицензии Apache-2.0.
Code-Llama-2-7B-instruct-text2sql — языковая модель, дообученная автором карточки на базе codellama/CodeLlama-7b-Instruct-hf для преобразования вопросов на естественном языке в SQL-запросы с учётом схемы базы данных. Модель построена на авторегрессионной архитектуре Transformer семейства Llama и содержит 6,6 млрд параметров; для обучения использовался датасет bugdaryan/sql-create-context-instruction. Контекст составляет до 16 384 токенов. Модель предназначена прежде всего для генерации SQL по англоязычным запросам, а также поддерживает генерацию кода, заполнение пропусков и диалог по инструкциям. В описании обучения указаны LoRA-параметры и 4-битная настройка bitsandbytes NF4, однако доступный репозиторий содержит формат PyTorch; наличие отдельного адаптера или квантизированных весов по метаданным не подтверждено. Модель распространяется по лицензии Llama 2. Она может выдавать неточные или нежелательные ответы, поэтому SQL следует проверять перед выполнением; автор рекомендует тестирование и настройку безопасности для конкретного применения.
ContextPilot-E4B-heretic — вариант чекпойнта ContextPilot на базе Gemma 4 E4B Instruct. ContextPilot разработан для исследования проактивного управления контекстом в агентах с длинным горизонтом работы: модель планирует, поддерживает структурированную долговременную память, извлекает сведения и освобождает контекст от менее полезной информации, продолжая рассуждать и пользоваться инструментами. Подход ContextPilot использует набор инструментов управления контекстом, частичные rollout с фокусом на важных решениях по редактированию контекста и детальное распределение вклада промежуточных состояний по результатам последующих ветвей. Модель предназначена для длинноконтекстного ответа на вопросы и задач глубокого поиска. Это плотная архитектура Gemma 4, доступная в формате safetensors и используемая через Transformers. Сам чекпойнт не выполняет инструменты управления контекстом без определений инструментов, агентного runtime и оценочного конвейера из репозитория ContextPilot. В README также приведены результаты abliteration: 32 отказа из 100 против 100 из 100 у исходной модели, при KL-дивергенции 0,0064; теги описывают вариант как uncensored/decensored. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.
Карточка модели nehayadav941244/deberta-v3-large на Hugging Face совпадает с карточкой microsoft/deberta-v3-large, поэтому описание составлено по ней. microsoft/deberta-v3-large — англоязычная модель понимания текста от Microsoft на архитектуре DeBERTa V3. Она использует раздельное представление содержимого и позиций в механизме внимания, улучшенный декодер маски и предобучение в стиле ELECTRA с разделением градиентов в эмбеддингах. Модель содержит 24 слоя, скрытый размер 1024 и словарь из 128 тысяч токенов; всего в репозитории указано 533,8 млн параметров. Максимальная длина контекста — 512 токенов. Основная задача модели — предсказание замаскированных токенов в английском тексте. Её также можно дообучать для задач понимания естественного языка, например классификации текста и ответов на вопросы; README приводит результаты на SQuAD 2.0 и MNLI. Доступны веса в форматах PyTorch и TensorFlow. Модель выпущена под лицензией MIT. Она предназначена для обработки текста и не генерирует свободный текст как диалоговая языковая модель; качество зависит от конкретной задачи и дообучения.
adalbertojunior/distilbert-portuguese-cased — дистиллированная модель на архитектуре BERT, созданная на основе BERTimbau. Она предназначена для извлечения признаков из текста и может служить компактной отправной точкой для последующего дообучения на собственных данных. Модель содержит около 79,5 млн параметров и поддерживает контекст до 512 токенов; для загрузки используются форматы PyTorch и safetensors. Карточка сообщает, что в некоторых задачах точность может достигать 99% от результата исходной BERTimbau. Это относительная оценка для отдельных задач, а не гарантия качества на произвольных данных. Модель рассчитана на португальский язык, использует регистр букв и требует дообучения под конкретное применение. Лицензия в предоставленных данных не указана.
alakxender/e5-dhivehi-paws-mnr — модель в формате Sentence Transformers, дообученная разработчиком на базе intfloat/multilingual-e5-base для понимания смыслового сходства предложений на дивехи. Она кодирует предложения и абзацы в плотные векторы размерности 768; для сравнения используется косинусное сходство. Архитектура основана на XLM-RoBERTa с усреднением токенных представлений, максимальная длина последовательности в карточке — 256 токенов. Модель подходит для поиска семантически близких фраз, выявления перефразирований, кластеризации текстов и построения поиска по дивехи. README также перечисляет классификацию текста как возможный сценарий использования эмбеддингов. Обучение проводилось на 25 436 парах из alakxender/dhivehi-paws-labeled с MultipleNegativesRankingLoss; приведённая оценка Spearman для сходства составляет 0,283. Метаданные указывают 311,4 млн параметров и лицензию MIT. В README заявлена специализация на дивехи, но также приведена базовая мультиязычная модель; качество для других языков отдельно не оценено.
Ludo33/e5_General_2026 — дообученная модель intfloat/multilingual-e5-base для классификации текста. Она построена на архитектуре XLM-RoBERTa, содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. В README указаны результаты оценки: взвешенный F1 — 0,9333, loss — 0,2143; сведения о наборе данных, назначении классов и условиях оценки не приведены. Базовая модель предназначена для создания многоязычных текстовых эмбеддингов, однако эта версия классифицирует текст. Доступные сведения не позволяют определить конкретные языки, классы или прикладные области. Модель распространяется по лицензии MIT.
naver/efficient-splade-VI-BT-large-doc — компонент асимметричной модели Efficient SPLADE от Naver для поиска релевантных фрагментов текста. Это часть пары отдельных кодировщиков: данный вариант предназначен для кодирования документов, а для запросов требуется соответствующая модель query. Кодировщик на базе DistilBERT преобразует предложения и абзацы в разреженные векторы размерности 30 522; релевантность оценивается скалярным произведением. Максимальная длина последовательности — 512 токенов, а карточка указывает применение для семантического поиска и разреженного поиска по корпусу. Модель рассчитана на индексирование документов и извлечение passages, в том числе в сценариях поиска по MS MARCO. В метаданных указаны Sentence Transformers, английский язык и форматы PyTorch и safetensors. Лицензия CC-BY-NC-SA-4.0 ограничивает коммерческое использование и требует соблюдения условий атрибуции и распространения производных материалов на совместимых условиях.
Day1Kim дообучил модель google/embeddinggemma-300m для получения эмбеддингов корейских предложений и абзацев. Она преобразует текст в плотные векторы размерностью 768, которые сравниваются с помощью косинусного сходства; модель построена как Sentence Transformer на архитектуре Gemma 3 Text и поддерживает контекст до 2048 токенов. Модель предназначена для семантического поиска и оценки сходства текстов. Её также можно применять для поиска перефразирований, классификации и кластеризации. Примеры обучающих данных относятся к корейским стандартам проектирования, поэтому модель особенно подходит для поиска по корейским техническим документам и ответов на запросы к ним. В README приведены результаты оценки информационного поиска, но нет сведений о лицензии; условия использования следует сверить с карточкой базовой модели и репозитория.
EpistemeAI разработала эту модель Sentence Transformer дообучением unsloth/embeddinggemma-300m на 10 000 примерах вопросов и фрагментов из набора generator, описанного как медицинская литература с рецензированием. Модель кодирует предложения и абзацы в плотные векторы размерности 768; сходство векторов оценивается косинусной мерой. Она предназначена для семантического поиска и сопоставления вопросов с фрагментами текста, а также для поиска перефразировок, классификации и кластеризации текстов. Модель содержит 302,8 млн параметров, использует архитектуру Gemma3Text и библиотеку Sentence Transformers. Метаданные указывают контекст 2048 токенов, тогда как README заявляет максимальную длину последовательности 1024 токена. Для поиска информации README приводит показатели cosine_accuracy@1 0,8285, @3 0,928 и @5 0,95. Это текстовая модель, а не диагностическая система; приведённые результаты относятся к указанной оценке и не гарантируют качество на других данных. Распространяется в формате safetensors; сведения о лицензии в предоставленных источниках отсутствуют.
IDEA-CCNL разработала Erlangshen-Roberta-110M-Similarity — модель на базе китайской RoBERTa-wwm-ext-base, дообученную для оценки сходства текстов. Она предназначена для сравнения пар предложений, в том числе поиска перефразировок и семантически близких формулировок. Модель имеет архитектуру BertForSequenceClassification, содержит 129,5 млн параметров и принимает последовательности длиной до 512 токенов. Обучение проводилось на 2 773 880 примерах из 20 китайских наборов данных по перефразированию; в карточке приведены результаты на BQ, BUSTM и AFQMC. Модель подходит для поиска похожих запросов, группировки перефразировок и оценки семантической близости китайских предложений. Доступны веса PyTorch и Safetensors; для загрузки README показывает использование Transformers. Лицензия — Apache 2.0. Модель ориентирована на китайский язык и задачи сходства, поэтому её результаты на других языках и типах текстов не подтверждены приведёнными данными.