I.3Извлечение и структурирование данных

Это модель на базе XLM-RoBERTa для получения эмбеддингов предложений на болгарском языке и оценки их семантического сходства. Её обучил rmihaylov на закрытых параллельных данных на болгарском и английском языках: по подходу Sentence-BERT переведённые предложения учатся занимать близкие позиции в векторном пространстве. Модель чувствительна к регистру. Чекпойнт содержит 124,5 млн параметров, принимает текст и выдаёт векторы; максимальный контекст — 514 токенов. После обучения модель сжали методом progressive module replacing. Лицензия — MIT. Она подходит для поиска похожих болгарских предложений и сопоставления переводов; качество на других языках и задачах не подтверждено.

mrp/simcse-model-wangchanberta — модель эмбеддингов предложений на базе архитектуры CamemBERT, обученная с использованием SimCSE. По README, исходной точкой служил mBERT, а для обучения использовалась тайская Википедия. Модель преобразует предложения и абзацы в плотные векторы размерности 768; её можно применять для семантического поиска и кластеризации. Параметры распространяются в формате PyTorch, размер модели — 132,5 млн параметров, максимальный контекст — 512 токенов. Модель предназначена прежде всего для работы с тайским текстом. Лицензия в доступных данных не указана.

SLM-SQL-0.5B — компактная языковая модель команды SLM-SQL для преобразования вопросов на естественном языке в SQL-запросы. Она основана на Qwen2.5-Coder-0.5B-Instruct и содержит около 494 млн параметров. Модель дообучена с помощью supervised fine-tuning и GRPO; в исследовании также применялся подход corrective self-consistency для получения ответов. Репозиторий содержит веса Safetensors, модель использует архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации SQL по текстовым вопросам, в том числе для сценариев, где важны быстрая инференция и развёртывание на устройствах с ограниченными ресурсами. В README сообщается о точности выполнения 56,87% на наборе BIRD dev для версии 0.5B; этот результат относится к описанной экспериментальной оценке и не гарантирует качество на других базах данных. Доступна по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

fancyfeast/so400m-long — это дообученная модель SigLIP 2 So400m для сопоставления изображений с текстом и классификации изображений по текстовым меткам без заранее заданного набора классов. Автор увеличил максимальную длину текста с 64 до 256 токенов, оставив визуальную башню замороженной и дообучив часть текстовой башни. Модель принимает изображения и текстовые описания, кодирует их в общее пространство и позволяет сравнивать соответствие изображения текстовым меткам. Модель подходит для классификации изображений по пользовательским категориям и поиска подходящих изображений по длинным описаниям. При дообучении использовались пары изображение–текст, включая подписи, теги, промпты и примеры вопросов и ответов по изображениям. Автор отмечает, что результаты немного лучше базовой SigLIP 2 So400m, однако модель склонна отдавать предпочтение более коротким описаниям; распознавание списков booru-тегов на фотореалистичных изображениях остаётся несовершенным. Лицензия — Apache-2.0.

ctaguchi/ssc-kbd-mms-model-mix-adapt-max — дообученная модель автоматического распознавания речи, созданная на основе facebook/mms-1b-all. Она использует архитектуру wav2vec2 с CTC-декодированием и содержит 1,3 млрд параметров. Модель принимает аудио и предназначена для преобразования речи в текст; README сообщает результаты оценки: CER 0,1091 и WER 0,5604. Карточка не описывает обучающие данные, целевые языки или предполагаемые сценарии применения. Базовая MMS-1B-All поддерживает более тысячи языков, но целевой набор языков этого дообученного чекпойнта из доступных сведений определить нельзя. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

ctaguchi/ssc-lth-model — модель распознавания речи, дообученная на основе facebook/wav2vec2-xls-r-300m с помощью Transformers. Она принимает аудио и преобразует речь в текст; размер модели — 402,7 млн параметров. В карточке приведены результаты оценки: CER 0,3085 и WER 0,7821, однако сведений о языке и наборе данных для обучения нет. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Указанные метрики оценки и отсутствие описания сценариев применения ограничивают возможность судить о качестве распознавания для конкретных языков и условий записи.

orionweller/tart-dual-contriever-msmarco — модель на базе архитектуры BERT объёмом 136,7 млн параметров, опубликованная для удобства использования. Она предназначена для извлечения признаков из текста; метаданные указывают ограничение контекста в 512 токенов. Файлы модели представлены в формате Safetensors. Название указывает на связь с TART, Dual Contriever и MS MARCO, однако README не описывает обучение, назначение этих компонентов или конкретный сценарий применения. Лицензия в предоставленных данных не указана.

ykilcher/totally-harmless-model — обычная модель DistilBERT в формате PyTorch, предназначенная для извлечения признаковых представлений текста. Её можно загрузить через Transformers с помощью AutoModel. Модель принимает текст и выдаёт векторные представления токенов. Контекст ограничен 512 токенами; в метаданных указан английский язык. Карточка не описывает специальную предметную область или дополнительные возможности. Лицензия в предоставленных данных не указана.

sinanalyuruk/trmteb-trnews-v1-mlx — турецкая модель эмбеддингов для поиска новостей и сравнения текстов, подготовленная для Apple Silicon. Это MLX-сборка дообученной модели trmteb/turkish-embedding-model на новостном датасете TR-News; веса в формате float16 преобразованы из PyTorch-сборки. Модель основана на BERT и содержит 137,8 млн параметров. Модель преобразует текст в L2-нормализованные векторы размерности 768 с помощью mean pooling. Их можно сравнивать по косинусному сходству или скалярному произведению для поиска похожих новостей и ранжирования результатов. Максимальная длина последовательности — 512 токенов; основным языком является турецкий. Сборка предназначена для запуска через mlx-embeddings на Apple Silicon и требует mlx версии 0.30 или новее и mlx-embeddings версии 0.1.0 или новее. В README указано совпадение результатов с исходной PyTorch-моделью при проверке эмбеддингов и метрик поиска. Лицензия — MIT.

VibeVoice-ASR-Streaming-7B — потоковая модель автоматического распознавания речи от Microsoft. Она преобразует поступающую речь в текст и связывает реплики с говорящими, поддерживая пользовательские ключевые слова для имён и специальных терминов. Модель рассчитана на потоковую транскрибацию речи на китайском, английском, французском, немецком, итальянском, японском, корейском, португальском, русском и испанском языках. Архитектура — плотная модель семейства VibeVoice; файлы весов представлены в safetensors, для работы используется Transformers. Поддержка атрибуции говорящих и настраиваемых ключевых слов подходит для транскрибации разговоров и аудио с предметной лексикой. В предоставленных материалах не описаны точность, ограничения по длительности или шуму и требования к ресурсам. Лицензия — MIT.

Это дообученная модель Sentence Transformers, созданная на основе bkai-foundation-models/vietnamese-bi-encoder. Она использует архитектуру RoBERTa с mean pooling и преобразует предложения и абзацы в плотные векторы размерностью 768; сходство между ними измеряется косинусной функцией. Обучение с MatryoshkaLoss позволяет использовать векторы меньшей размерности, вплоть до 64, с некоторым снижением качества поиска. Модель предназначена для семантического поиска и сравнения текстов, а также для поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В README указан английский язык; контекст ограничен 258 токенами по метаданным. Модель распространяется по лицензии Apache-2.0. Оценки поиска приведены для наборов данных из карточки и не гарантируют качество на других данных.

VoiceCLAP-Commercial (small) — модель LAION для сопоставления речи и текстовых описаний по контрастивным эмбеддингам, предназначенная для поиска эмоций и манеры речи. Она дообучена на базе laion/voiceclap-small и обучена только на данных, допускающих коммерческое использование; указана лицензия CC BY 4.0. Модель использует двухбашенную архитектуру CLAP: аудиокодировщик BUD-E-Whisper-Small обрабатывает звук с частотой 16 кГц, а текстовый кодировщик all-MiniLM-L6-v2 — описания. Обе башни формируют нормализованные совместные эмбеддинги размерности 768. Дополнительный компонент с 39 обучаемыми прототипами эмоций усиливает представление эмоциональных признаков. Поддерживаемые языки: английский, немецкий, французский, испанский и китайский. Модель подходит для извлечения признаков и поиска аудиофрагментов по текстовым описаниям эмоций или стиля речи. В сравнительных экспериментах она показала лучшие результаты, чем вариант, обученный также на данных с ограничением на некоммерческое использование, по четырём из пяти метрик; результаты экспериментов следует считать сравнительными, а не максимальными. Карточка не приводит отдельных ограничений качества за пределами этих результатов.

Модель patrickvonplaten/wavlm-libri-clean-100h-base — дообученная версия microsoft/wavlm-base для автоматического распознавания речи. Она использует архитектуру WavLMForCTC и содержит 113,3 млн параметров. Модель обучена на чистой части набора LibriSpeech ASR и предназначена для преобразования речи в текст. На указанном в карточке наборе для оценки модель показала WER 0,0675 и loss 0,0829. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

kinit/whisper-large-v3-sk — модель распознавания словацкой речи, разработанная командой KInIT на основе Whisper large-v3 от OpenAI. Модель с архитектурой Whisper encoder-decoder дообучена на словацком речевом корпусе; в метаданных указано 905,2 млн параметров. Для повышения устойчивости к шуму при обучении применялась аугментация фоновой среды. Модель предназначена для автоматической транскрибации словацкой речи в разных предметных областях и условиях записи. В оценке на Common Voice 24.0 указаны WER 7,68% и CER 2,27%; на внутреннем тестовом наборе KInIT — WER 5,67% и CER 3,01%. Модель опубликована в формате safetensors и используется через Transformers. Дообучение только на словацких данных существенно ухудшило распознавание других языков, поэтому для многоязычной транскрибации следует использовать базовую Whisper large-v3. Качество может снижаться на сильных акцентах, диалектах и речи из областей, слабо представленных в обучении; надёжная длина одного сегмента без разбиения — до 30 секунд. Лицензия — Apache-2.0.

emads/whisper-large-v3-urdu-v2 — модель распознавания речи, созданная дообучением Whisper large-v3 для пакистанского урду. Принимает аудио и по управляющему токену декодирования выводит текст в одном из трёх вариантов: письмом урду насталик, романизированным урду или смешанной записью урду и английского с английскими фрагментами латиницей. Архитектура — плотная encoder-decoder модель WhisperForConditionalGeneration, около 905,3 млн параметров; репозиторий содержит веса Safetensors. Модель предназначена для транскрибации пакистанской речи, включая переключение между урду и английским, например в звонках, интервью и разговорных записях. В README приведены результаты на тестах FLEURS Urdu, Common Voice Urdu и Roman Urdu; для выбора регистра требуется передавать соответствующий токен в префиксе декодера. Модель наследует мультиязычную основу Whisper, но обучение и заявленные сценарии ориентированы на урду Пакистана и его письменные варианты. Для длинных записей нужна внешняя нарезка на фрагменты до 30 секунд. Распознавание разговорного пакистанского аудио при переключении языков обозначено как известная слабая сторона; романизация следует разговорным вариантам написания. Лицензия модели — Apache-2.0.

jlvdoorn/whisper-small-atco2-asr — дообученная модель распознавания речи на базе мультиязычной Whisper Small от OpenAI. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и принимает аудио для преобразования речи в текст. Репозиторий распространяет веса в форматах PyTorch и safetensors. Модель предназначена для автоматического распознавания речи. В README приведены результаты оценки: loss 0,8297 и WER 33,4520; описание набора данных, сценариев применения и ограничений не предоставлено. Лицензия — Apache-2.0.

amirsz8203/whisper-small-fa-finetuned — версия Whisper Small, дообученная автором репозитория для автоматического распознавания речи. Модель принимает аудио и генерирует текстовую транскрипцию; карточка указывает оценку WER 24,1495 на наборе оценки, но не описывает сам набор данных и условия измерения. Модель использует архитектуру Whisper и библиотеку Transformers, веса представлены в формате safetensors. Лицензия — Apache 2.0. Поддерживаемый язык в карточке не подтверждён.

litus-ai/whisper-small-ita — версия Whisper Small, разработанная Litus AI и дообученная для итальянской речи на части собственных данных компании. Модель предназначена для автоматического распознавания речи и рассчитана на сценарии с ограниченным вычислительным бюджетом, где важна точность транскрипции. Архитектура — WhisperForConditionalGeneration, число параметров — 153,1 млн; модель работает с аудио и выдаёт текст. Помимо слов, транскрипция может включать специальные маркеры смеха, междометий, вздохов, шума, неразборчивой речи, самоисправлений и переключения на английский. Карточка приводит сравнение с другими моделями на внутренних тестах для итальянских совещаний и телефонных звонков, но не содержит численных результатов. Модель доступна по лицензии Apache-2.0.

SungBeom разработал модель распознавания речи на основе Whisper Small и дообучил её на нескольких крупных наборах данных AI Hub с корейской речью. Она преобразует аудио в текст и рассчитана на распознавание речи в разных сценариях, включая клиентские обращения, разговоры и общую корейскую речь. Модель содержит 153,1 млн параметров, использует архитектуру WhisperForConditionalGeneration и распространяется в формате PyTorch через библиотеку Transformers. Обучение на нескольких наборах данных призвано повысить устойчивость к различиям между речевыми доменами. При этом качество ASR зависит от домена, а карточка указывает, что распознавание диалектов, детской и пожилой речи может требовать дополнительной адаптации. Лицензия — Apache-2.0.

whisper-tiny-minds14-en-US — дообученная tomragus модель семейства Whisper на базе openai/whisper-tiny, обученная на наборе PolyAI/minds14. Она предназначена для автоматического распознавания речи и преобразования аудио в текст, в частности для транскрибации англоязычных аудиозаписей с акцентом на вариант английского языка en-US. В README приведены результаты оценки: WER 0,3359 и нормализованный WER 0,3418. Модель использует архитектуру WhisperForConditionalGeneration и распространяется в формате safetensors через Transformers. Лицензия — Apache-2.0. Это компактный вариант Whisper; в метаданных для базовой модели указана многоязычная поддержка, однако эта версия дообучена на англоязычном наборе данных и ориентирована на en-US.

Rolv-Arild/xls-r-300m-npsc-4 — модель автоматического распознавания речи, разработанная путём дообучения facebook/wav2vec2-xls-r-300m на наборе NBAILAB/NPSC - 16K_MP3. Она использует архитектуру wav2vec2 с CTC-декодированием, принимает аудио и преобразует речь в текст. На оценочном наборе указаны loss 0,1957 и WER 0,1697. Модель предназначена для распознавания речи в сценариях, соответствующих данным NPSC; подробности о целевых условиях применения в карточке не приведены. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0.

IndranilB разработал эту модель как дообученную версию microsoft/xtremedistil-l6-h384-uncased для многоклассовой классификации юридических документов Европейского союза. Модель на базе BERT Encoder содержит 25,9 млн параметров и распределяет документы по 29 категориям, включая регламенты, директивы, решения, рекомендации, заключения и сообщения. Она принимает текст документов на английском языке и предназначена для автоматической категоризации, маршрутизации и организации юридических материалов, а также для использования в системах поиска правовой информации. Максимальная длина входа — 512 токенов; более длинные документы обрезаются, поэтому важные сведения за пределами этого окна могут быть потеряны. На валидационной выборке указаны точность и micro-F1 68,59%, что следует учитывать при автоматической обработке документов. Модель распространяется по лицензии Apache-2.0.

0sint-event-embedder — англоязычный энкодер предложений, разработанный для выделения сообщений об одном и том же реальном событии в шумном потоке OSINT. Модель дообучена на датасете allenborochin/0sint от sentence-transformers/all-MiniLM-L6-v2 с контрастивной функцией потерь MultipleNegativesRankingLoss и трудными отрицательными примерами. Это плотная BERT-модель на 25,9 млн параметров; она принимает текстовые сообщения и создает эмбеддинги для сравнения по косинусному сходству. Максимальная длина контекста — 512 токенов. Модель предназначена для кластеризации сообщений по идентичности события, поиска похожих событий в архиве и семантического поиска по новостной ленте, особенно когда разные происшествия имеют похожие место, время и формулировки. По README, производственная версия используется в системе триажа 0sint; описаны также результаты проверки на отложенных парах событий. Модель специализируется на англоязычных сообщениях в стиле Telegram и не является универсальным энкодером сходства. Репозиторий распространяется по лицензии MIT.

Карточка модели amandabenson/acestep-transcriber-fork на Hugging Face совпадает с карточкой ACE-Step/acestep-transcriber, поэтому описание составлено по ней. ACE-Step Transcriber — мультиязычная модель транскрибации, используемая ACE-Step v1.5 для разметки обучающих данных. В карточке указана архитектура Qwen2.5-Omni; модель принимает аудио и формирует структурированный текст с распознанной речью или текстом песен, а также пометками частей композиции, например куплетов, припева и инструментальных фрагментов. Модель предназначена для распознавания речи и пения, извлечения текста песен, создания субтитров и анализа музыкальной структуры. Она поддерживает более 50 языков, включая китайский, японский, корейский, вьетнамский, тайский, индонезийский, малайский, филиппинский, хинди, бенгальский, тамильский и урду. Репозиторий содержит веса в формате Safetensors, используется библиотека Transformers. Лицензия — MIT.

assay-4b — модель принятия типизированных решений, разработанная проектом Assay на базе Qwen3-4B-Base. Она принимает текстовое состояние и именованные вопросы трёх типов: bool для ответа да или нет, choice для выбора из 2–255 описанных вариантов и score для оценки по 2–10 упорядоченным уровням. За один проход модель выдаёт распределение вероятностей по вариантам, уверенность и оценку наличия свидетельств; свободный текст не генерируется. Модель содержит 3,7 млрд параметров, использует плотную архитектуру Qwen3 и контекст до 32 768 токенов. Веса дообучены с помощью LoRA и объединены с базовой моделью; отдельный адаптер и голова оценки свидетельств также представлены в репозитории. Для bool и choice предусмотрена конформная калибровка с возможностью воздержаться от ответа. Модель обучена на английских данных и предназначена для типизированной классификации и структурированных решений, в том числе по ранее не встречавшимся задачам. По данным карточки, на наборах невиданных при обучении задач точность составила 0,803; показатели и калибровка могут меняться на других данных. Модель не предназначена для арифметики, подсчётов, сравнения дат или многошаговых рассуждений за один проход; при нерелевантном контексте точность снижается. Вероятности и пороги не гарантируют надёжность для каждого отдельного ответа, поэтому перед применением следует проверить калибровку на собственных размеченных данных. Лицензия — Apache-2.0.

A.X VE — визуальный энкодер на базе Vision Transformer, разработанный SK Telecom в рамках южнокорейского проекта суверенной базовой модели ИИ. Модель обучена с нуля как визуальная часть будущей мультимодальной модели A.X VLM: при обучении замороженный внутренний языковой декодер генерировал текст по визуальным токенам, а энкодер оптимизировался по цели предсказания следующего токена. Энкодер преобразует изображения в признаки отдельных патчей и предназначен для использования как визуальный модуль VLM вместе с языковой моделью. В README указаны 413 млн параметров и архитектура ViT: 27 слоёв, скрытый размер 1152, 16 голов внимания и патчи 16 × 16. Обучение включало задачи описания изображений, распознавания текста и документов, разбора содержимого и привязки объектов к областям изображения. Веса представлены в формате Safetensors, основная точность — bf16. Модель ориентирована на извлечение визуальных признаков, включая признаки, полезные для OCR, понимания документов и пространственной привязки. Она не генерирует текст самостоятельно: для решения пользовательских задач требуется языковой модуль. Признаки согласованы с пространством эмбеддингов декодера, использованного при обучении, поэтому при подключении другого языкового модуля может понадобиться дополнительная адаптация. Лицензия — Apache 2.0.

jsgao/bert-eli5c-retriever — модель извлечения признаков на основе BERT, представленная как Document Retriever для набора данных ELI5-Category. Для работы требуется дополнительный проекционный слой, описанный в связанном репозитории GitHub. Модель предназначена для получения текстовых представлений документов, которые можно использовать в сценариях поиска и извлечения документов. Она содержит 98,9 млн параметров и принимает последовательности длиной до 512 токенов. Доступны веса в форматах PyTorch и Safetensors; язык модели — английский. Лицензия в предоставленных данных не указана.

Legal BERTimbau — модель эмбеддингов предложений на основе BERTimbau Large, адаптированная авторами stjiris для португалоязычных юридических текстов. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска, сравнения сходства и кластеризации. Модель обучалась на юридических текстах примерно из 30 тысяч документов с использованием MLM, а затем адаптировалась для задачи семантического сходства на португальских наборах ASSIN, ASSIN2 и STS-B Multi-MT. Архитектура — BERT; число параметров составляет 433,2 млн, максимальный контекст — 512 токенов. Модель ориентирована на португальский язык и юридическую лексику. Она подходит для поиска похожих фрагментов и группировки юридических предложений, но не предназначена для генерации текста или самостоятельного юридического консультирования. В метаданных указаны форматы PyTorch и Safetensors; лицензия в предоставленных сведениях не описана.

aired/bge-base-financial-matryoshka — англоязычная модель Sentence Transformers, дообученная на 6 300 парах текстов финансовой тематики на базе BAAI/bge-base-en-v1.5. Она преобразует предложения и абзацы в плотные эмбеддинги размерностью 768 и поддерживает сравнение по косинусному сходству. Архитектура включает BERT, пулинг по CLS-токену и нормализацию; длина последовательности — до 512 токенов. Модель подходит для семантического поиска по финансовым текстам, подбора релевантных фрагментов для RAG, поиска перефразировок, кластеризации, классификации и оценки сходства предложений. Благодаря Matryoshka-обучению эмбеддинги можно сокращать до 512, 256, 128 или 64 измерений с некоторой потерей качества. Выпущена под лицензией Apache-2.0.

korruz/bge-base-financial-matryoshka — англоязычная модель Sentence Transformers, дообученная автором korruz на базе BAAI/bge-base-en-v1.5 для работы с финансовыми текстами. Она преобразует предложения и абзацы в плотные векторы для семантического поиска и сравнения текстов; также подходит для кластеризации, поиска перефразирований и классификации текстов. Модель построена на BERT с пулингом CLS-токена и нормализацией выходного вектора. Размер эмбеддинга — 768 измерений, максимальная длина входа — 512 токенов; сходство можно оценивать косинусной мерой. Matryoshka-обучение позволяет использовать сокращённые векторы размером 512, 256, 128 или 64 измерения с некоторым снижением качества поиска. В карточке приведены результаты оценки информационного поиска на наборах данных dim_768, dim_512, dim_256, dim_128 и dim_64. Модель предназначена прежде всего для английских финансовых текстов, включая поиск по финансовым документам и сопоставление вопросов с фрагментами документов. Лицензия — Apache-2.0. Контекст ограничен 512 токенами; данные оценки и обучения в карточке описаны лишь частично, поэтому приведённые метрики не гарантируют качество на других корпусах.