I.3Извлечение и структурирование данных

CBTW/PromptSegmentation-MiniLM-L6-v2 — модель классификации текста на базе SetFit, дообученная на sentence-transformers/all-MiniLM-L6-v2. Она сочетает энкодер предложений с классификационной головой LogisticRegression и предназначена для отнесения текста к одному из 12 классов, включая роли, инструкции и ответы. Модель использует эффективное обучение на небольшом числе примеров: контрастивное дообучение энкодера и обучение классификатора на полученных признаках. Модель содержит 25,9 млн параметров и принимает текстовые последовательности длиной до 512 токенов по метаданным; в README указана максимальная длина 256 токенов. Карточка описывает примеры обучающих текстов и классов, но не устанавливает поддерживаемые языки. Лицензия в предоставленных данных не приведена.

quinex-context-v0-248M — модель Juelich Systems Analysis, дообученная на базе FLAN-T5 для извлечения контекста измеряемых величин из текста. Она отвечает на последовательные вопросы о том, какое свойство выражает величина, к какому объекту относится измерение и какие у него есть уточнения: временная и пространственная область, источник, метод измерения и другие ограничения. Для предварительного обнаружения величин авторы рекомендуют использовать отдельные quantity identification models. Модель построена на архитектуре encoder-decoder T5; метаданные указывают 123,8 млн параметров и контекст 512 токенов, тогда как название и карточка модели указывают 248M. Она принимает текст и выдаёт текстовые ответы; заявленный язык — английский. В карточке приведена оценка micro F1 86,31 на описанном авторами тестовом наборе. Это специализированный экстрактор, а качество за пределами оценённого набора не установлено. Лицензия — Apache-2.0.

bark07/Qwen3-0.6B-JSON-SFT-GRPO — компактная плотная языковая модель семейства Qwen3, разработанная bark07 и дообученная на основе NotoriousH2/Qwen3-0.6B-JSON-SFT. В репозитории указано обучение с использованием Unsloth и TRL. Модель предназначена для генерации текста в диалоговом формате; базовая модель ориентирована на извлечение метаданных, поручений, решений и препятствий из корейских протоколов совещаний в JSON. Модель содержит 507,9 млн параметров, принимает текст и поддерживает контекст до 40 960 токенов. Доступна в формате safetensors, лицензия — Apache-2.0. Карточка не уточняет, насколько именно эта версия сохраняет специализацию базовой модели на корейских протоколах и структурированном JSON.

Это доработанная независимым автором модель llmfan46 на основе Qwen3-VL-32B-Instruct: в ней применён метод abliteration, чтобы заметно снизить частоту отказов. Это плотная мультимодальная модель с архитектурой Qwen3-VL и 32 млрд параметров, предназначенная для диалога по изображениям и видео, распознавания текста на изображениях и визуального рассуждения. Она также принимает текстовые запросы и генерирует текстовые ответы; базовая модель заявляет контекст до 256 тыс. токенов с возможностью расширения до 1 млн и поддержку OCR на 32 языках. В тестах автора доля отказов снизилась до 4 из 100 против 99 из 100 у исходной модели. Точность на PIQA близка к исходной (92,87% против 93,09%), а на MMLU ниже (79,87% против 82,44%), поэтому изменение ограничений сопровождается некоторой потерей результатов на этом тесте. Модель распространяется по лицензии Apache-2.0. README описывает возможности и характеристики базовой Qwen3-VL; эти сведения не следует считать отдельной независимой оценкой данной доработки.

deepset/roberta-base-squad2 — англоязычная модель RoBERTa, дообученная deepset на наборе SQuAD 2.0 для извлечения ответов из текста. Она получает вопрос и текстовый фрагмент и находит в нём ответ; также обучена распознавать вопросы, на которые в контексте нет ответа. Модель подходит для поиска ответов в документах и встраивания в системы вопросно-ответного поиска, например на базе Haystack. Модель построена на архитектуре RoBERTa и содержит 151,8 млн параметров. Максимальная длина контекста — 514 токенов. Обучение и оценка проводились на SQuAD 2.0. Модель работает с текстом на английском языке и выдаёт извлечённый из контекста текстовый ответ. Лицензия — CC BY 4.0. Модель предназначена для ответов, подтверждаемых переданным контекстом; она не генерирует развернутые ответы вне контекста, а качество на других языках и предметных областях карточкой не подтверждено.

Fannyjrd/roberta-bios — англоязычная модель классификации текста, разработанная на основе RoBERTa-base и дообученная для определения профессии по тексту биографии. Она принимает биографический текст и предсказывает метку профессии; обучение проводилось на исходной обучающей выборке LabHC/bias_in_bios. Модель использует архитектуру RoBERTa для классификации последовательностей, содержит 151,8 млн параметров и обрабатывает контекст длиной до 514 токенов. На исходной тестовой выборке BIOS указана точность 0,8689. Лицензия в предоставленных данных не указана.

Finnish-NLP/roberta-large-finnish — крупная предобученная языковая модель RoBERTa для финского языка, разработанная командой Finnish-NLP. Это двунаправленный трансформер с 454,1 млн параметров, обученный в PyTorch и JAX на корпусах финского веб-текста, Википедии и новостных и пользовательских текстах. Модель использует masked language modeling: по контексту восстанавливает замаскированные токены. Она чувствительна к регистру, а её контекст составляет около 512 токенов. Модель подходит для заполнения пропусков в финском тексте и как основа для дообучения классификаторов последовательностей и токенов, систем ответов на вопросы и извлечения текстовых признаков. В приведённых в карточке экспериментах дообученная модель показала высокие результаты на классификации финских новостей и парламентских текстов, хотя немного уступила финской модели FinBERT. Авторы предупреждают, что интернет-данные могут приводить к смещённым предсказаниям. Лицензия — Apache-2.0.

mlx-community/SmolVLM-Instruct-8bit — версия SmolVLM-Instruct, преобразованная сообществом mlx-community в формат MLX с 8-битным представлением весов с помощью mlx-vlm 0.1.2. Модель основана на HuggingFaceTB/SmolVLM-Instruct и использует плотную архитектуру Idefics3 для генерации текста по текстовому запросу и изображению. Она предназначена для диалога с изображениями: отвечает на вопросы о визуальном содержимом и помогает разбирать документы. Версия MLX предназначена для запуска через mlx-vlm; карточка содержит инструкцию установки библиотеки. Модель поддерживает английский язык и распространяется по лицензии Apache-2.0.

Это модель SpanBERT, разработанная Facebook Research и дообученная Manuel Romero на SQuAD 2.0 для ответов на вопросы по заданному отрывку текста. Она извлекает ответ из контекста или воздерживается от ответа, если в отрывке нет подтверждения. Модель предназначена для вопросов и ответов по документам и текстовым фрагментам на английском языке. Модель основана на BERT для извлечения ответных фрагментов; размер составляет 135,5 млн параметров, максимальный контекст — 512 токенов. В оценке на SQuAD 2.0 указаны EM 78,80 и F1 82,22. Доступны веса PyTorch, Flax и safetensors. Лицензия в предоставленных данных не указана.

TAAS — система анализа текстовых адресов для логистики, разработанная Cainiao AI. Модель основана на предварительно обученной географо-графовой модели G2PTL: она объединяет языковое представление текста с кодированием географических связей. В репозитории указана плотная архитектура TAAS с 144 млн параметров, контекстом до 2048 токенов и форматом PyTorch. Модель предназначена для задач восприятия адресов: дополнения и стандартизации адресов, извлечения сведений о доме, токенизации адресных сущностей и получения эмбеддингов. Также заявлены логистические сценарии: геолокация по тексту, оценка времени прибытия при заборе отправления и прогнозирование маршрутов забора и доставки. В README приведён пример китайского адреса, а метаданные указывают китайский язык. Лицензия — Apache-2.0. Карточка описывает загрузку модели через Transformers; для примера используется AutoModel и trust_remote_code. Модель может служить основой для дообученных вариантов под отдельные задачи. Метаданные указывают feature-extraction, а каталог также сообщает fill-mask; для основного назначения выбраны адресный анализ и получение представлений текста. Практические ограничения: конкретные метрики качества и подробности применения для каждой заявленной логистической задачи в карточке не приведены.

WebOrganizer/TopicClassifier-NoURL — англоязычный классификатор веб-страниц по содержанию их текста, разработанный WebOrganizer. Он распределяет страницы по 17 тематическим категориям, не используя URL, поэтому подходит для сортировки и тематической организации веб-контента по самому тексту. Модель основана на энкодере Alibaba-NLP/gte-base-en-v1.5 и дообучена для классификации последовательностей. В README указано около 140 млн параметров, а метаданные каталога — 136,7 млн; контекст составляет до 8192 токенов. Для обучения использованы наборы WebOrganizer с аннотациями, созданными моделями Llama 3.1 8B и Llama 3.1 405B FP8. Для ускоренного вывода авторы рекомендуют реализацию gte-base-en-v1.5 с unpadding и эффективным attention, для чего требуется xformers. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных материалах отсутствуют.

Glimpse — модель распознавания текста на изображениях строк, разработанная surfiniaburger для арабской и персидской письменности. Это дообученная на базе unsloth/PaddleOCR-VL компактная мультимодальная модель с архитектурой PaddleOCR-VL; карточка также описывает её как ERNIE-4.5-0.3B Vision-Language Model. В метаданных указаны 318,2 млн параметров и контекст 131 072 токена. Модель предназначена для OCR изображений с текстом справа налево, включая строки со сложными лигатурами и разными шрифтами. По данным карточки, после 500 шагов дообучения CER на отложенных RTL-строках составил 6,97% против примерно 59% у исходной модели. Использованы датасет Persian_Arabic_TextLine_Image_Ocr_Medium и QLoRA; заявленные показатели относятся к описанной оценке и не гарантируют качество на других данных. Лицензия — Apache-2.0. Модель рассчитана прежде всего на арабский и персидский языки; данных о поддержке других языков OCR в карточке нет.

USMED — модель эмбеддингов предложений на базе Sentence Transformers, разработанная Swapnil Vishwakarma путём дообучения sentence-transformers/multi-qa-MiniLM-L6-cos-v1. Модель преобразует предложения и абзацы в плотные векторы размерностью 384 для сравнения семантической близости; сходство оценивается косинусной мерой. Архитектура включает BertModel, усреднение токенных представлений и нормализацию. Максимальная длина входа — 512 токенов; модель содержит 25,9 млн параметров. Модель предназначена для семантического поиска, сопоставления медицинских товарных наименований и других текстов, поиска перефразировок, кластеризации и классификации текста. Обучающие пары включают названия медицинских изделий и их варианты, поэтому модель может быть полезна для поиска похожих наименований в медицинских каталогах. Карточка указывает библиотеку sentence-transformers и формат safetensors. Лицензия в предоставленных данных не указана.

VenkatManda/V2 — компактная модель на архитектуре BERT, дообученная разработчиком VenkatManda на VenkatManda/V1 для извлечения ответа на вопрос из предоставленного текста. Она рассчитана на сценарии вопросно-ответного поиска, включая контексты, в которых ответа нет; модель обучалась на SQuAD v2. Размер модели — 4,4 млн параметров, длина контекста — до 512 токенов. Весовые файлы представлены в формате safetensors. Модель распространяется по лицензии MIT. Карточка не содержит сведений о языковом охвате или подробных результатах оценки.

BatuhanECB подготовил VibeThinker-3B Finance-Reader SFT — дообученную и сжатую модель на 3 млрд параметров для чтения финансовых текстов и преобразования их в структурированные JSON-данные. Она принимает отдельные новости, фрагменты документов SEC, отчётности и регуляторных сообщений и извлекает смысл текста до того, как известен исход события: тип и значимость сообщения, его связь с рынком и подразумеваемое направление. Модель предназначена для массовой обработки финансовых документов в конвейерах анализа настроений и формирования признаков для последующих систем и панелей мониторинга. Модель дообучена на данных, дистиллированных от модели-учителя размером 35 млрд параметров, на базе WeOpenML/VibeThinker-3B. Репозиторий содержит исходные веса bf16 и варианты GGUF разных уровней квантования; заявлены запуск на потребительском GPU и CPU, а также выдача JSON по заданной схеме без направляемого декодирования. В метаданных указан английский язык. Лицензия в предоставленных сведениях не указана. По оценке авторов, модель близко воспроизводит способность учителя интерпретировать финансовые тексты, но не предназначена для предсказания доходности или торговых сигналов: на тесте доходности её результаты были на уровне случайного угадывания. На длинных документах качество снижается; для уменьшения усечения авторы рекомендуют контекст 8192 токена. Качество также ограничено метками модели-учителя; часть вариантов квантования, включая FP8, GPTQ-4bit и некоторые варианты ниже Q3 без imatrix, по данным README работает некорректно.

nguyenvulebinh/vi-mrc-large — модель для извлечения ответов из текста на основе XLM-RoBERTa, разработанная Binh Nguyen. Она дообучена для многоязычного поиска фрагмента ответа по вопросу и контексту, прежде всего на вьетнамском языке; английский также поддерживается. Обучение включало Squad 2.0, mailong25, VLSP MRC 2021 и MultiLingual Question Answering. Модель использует архитектуру XLM-RoBERTa для ответов на вопросы и содержит 658,7 млн параметров. Максимальная длина контекста — 514 токенов. В описанном автором эксперименте модель заняла первое место в задаче VLSP MRC 2021; README приводит метрики EM и F1 для публичного и закрытого тестовых наборов. Для более точного инференса автор предлагает вариант, который объединяет представления подслов в представления слов суммированием; стандартный интерфейс Hugging Face этот приём не использует. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Она предназначена для извлечения ответов из предоставленного контекста, а не для генерации свободных ответов; качество английской версии отдельно не оценено в карточке.

VV2 — компактная модель ответов на вопросы на базе BERT, разработанная VenkatManda. Она дообучена на наборе SQuAD v2 и предназначена для извлечения ответа из предоставленного контекста, включая распознавание случаев, когда контекст не содержит ответа. Модель содержит 4,4 млн параметров, принимает текст и имеет контекст длиной до 512 токенов. Веса опубликованы в формате safetensors. Лицензия MIT разрешает использование модели на условиях этой лицензии.

patrickvonplaten/wavlm-libri-clean-100h-base-plus — модель распознавания речи, разработанная на основе WavLM Base Plus от Microsoft и дообученная на чистой части датасета LibriSpeech для автоматического распознавания речи. Это аудиомодель с архитектурой WavLMForCTC и 113,3 млн параметров; репозиторий содержит веса PyTorch. Модель преобразует речь в текст и подходит для транскрибирования аудиозаписей, в частности речи из сценариев, похожих на LibriSpeech. В карточке приведены результаты оценки на тестовой выборке: loss 0,0819 и WER 0,0683. Сведения о поддерживаемых языках, ограничениях применения и лицензии в предоставленных источниках отсутствуют.

Werea-DocOCR-1B v2 — модель распознавания турецких корпоративных документов, разработанная Werea на основе LightOnOCR-2-1B-base и дообученная полным fine-tuning. Она преобразует изображение страницы в текст с сохранением порядка чтения и представляет таблицы в формате Markdown. Модель рассчитана на 12 типов документов, включая счета, банковские квитанции, договоры аренды, полисы, выписки и официальные письма, а также на цифровые изображения, сканы и фотографии с телефона. В заявленном тестировании на 72 страницах из той же синтетической распределённой выборки средний и медианный CER составили 0,15%. Данные обучения включали 12 960 синтетических страниц с вымышленными идентификаторами и недействительными контрольными суммами. Поскольку тестирование было выполнено на данных, близких к обучающим по распределению и шаблонам, результаты могут не отражать качество на реальных документах; для критических сценариев автор рекомендует проверку человеком. Лицензия модели — Apache-2.0.

Whisper Medium TR — дообученная модель emre на базе мультиязычной OpenAI Whisper Medium для распознавания турецкой речи в текст. Она использует трансформерную архитектуру Whisper и содержит 455,8 млн параметров; обучение проводилось на начальных 10% обучающей и валидационной частей турецкого Common Voice 11.0 от Mozilla Foundation. Модель предназначена для транскрибирования турецких аудиозаписей; в README для оценочного набора указана WER 18,51. Модель принимает аудио и выдаёт текст. В обучении использовался weight decay 0,1 для снижения переобучения. Лицензия — Apache-2.0.

intanm/xlmrlarge-idkmrc — модель XLM-RoBERTa Large, разработанная как дообученная версия FacebookAI/xlm-roberta-large для ответа на вопросы. Она предназначена для задач question answering и имеет около 658,7 млн параметров; архитектура — XLMRobertaForQuestionAnswering. Модель принимает текст вопроса и контекста и выдаёт ответ в текстовом виде. В карточке приведён результат на оценочном наборе: loss 1,1300. Название обучающего набора указано как None, а сведения о данных обучения, сценариях применения и ограничениях не раскрыты. Модель распространяется по лицензии MIT.

xlmr-multilingual-sentence-segmentation — модель Igor Sterner для автоматического разделения текста на предложения. Это дообученная XLM-RoBERTa-base с классификационной головой для разметки токенов; она обучалась на искажённой версии датасетов Universal Dependencies. Модель содержит 305,2 млн параметров, принимает текст с контекстом до 514 токенов и распространяется под лицензией MIT. Модель предназначена для определения границ предложений во многих языках, в том числе при сегментации текстов и машинных переводов. В README приведены результаты на Opus100 и Universal Dependencies; для первой оценки указаны precision 0,9664, recall 0,9677 и F1 0,9670 на также искажённом наборе. Автор предупреждает, что модель больше не поддерживается и рекомендует обновлённую версию. Результаты на искажённых данных следует интерпретировать с осторожностью.

alon-albalak/xlm-roberta-large-xquad — многоязычная модель для извлечения ответа из текста по заданному вопросу. Она основана на XLM-RoBERTa Large и дообучена для extractive question answering на датасете XQuAD; карточка сообщает об оценке на отложенной выборке XQuAD. Модель содержит 658,7 млн параметров, использует архитектуру XLM-RoBERTa для извлечения фрагмента ответа из контекста. Она подходит для поиска ответов в предоставленных текстах и для систем, где ответ должен опираться на исходный материал. В метаданных указана мультиязычная поддержка; максимальная длина контекста — 514 токенов. Доступны веса PyTorch и Safetensors. Лицензия в предоставленных данных не указана.

XLM-V Base — многоязычная языковая модель с архитектурой XLM-RoBERTa и примерно 806 млн параметров, разработанная авторами исследования XLM-V. Она обучена на 2,5 ТБ данных Common Crawl и использует словарь размером один миллион токенов, чтобы улучшить покрытие языков и создавать более короткие, содержательные токенизации. Модель предназначена для заполнения пропусков в тексте и может служить основой для задач понимания языка, включая вывод по естественному языку, ответы на вопросы и распознавание именованных сущностей. В исследовании XLM-V превзошла XLM-R на протестированных задачах, включая несколько задач для языков с ограниченными ресурсами. Репозиторий содержит веса PyTorch; контекст — до 514 токенов. Модель охватывает множество языков, в том числе английский, арабский, хинди, японский, корейский, французский, немецкий и испанский. Лицензия — MIT. Для оценки рисков и ограничений README отсылает к карточке XLM-R; результаты исследования не гарантируют качество на любых языках и прикладных задачах.

Модель ggoggam/xlnet-base-cased-squad-quoref — версия XLNet-Base, дообученная для ответов на вопросы на наборах SQuAD, SQuAD 2.0 и Quoref. XLNet совместно разработана Google и CMU; модель содержит 137,8 млн параметров и доступна в формате PyTorch. Она предназначена для извлечения ответов из контекста по заданному вопросу, в том числе для задач, где требуется учитывать связи между упоминаниями в тексте. В README приведена оценка на Quoref: exact match 73,66 и F1 78,00; сравнение показывает улучшение относительно указанной базовой линии XLNet. Карточка не сообщает лицензию и конкретный перечень поддерживаемых языков, поэтому эти характеристики не включены в описание. Результаты оценки относятся к Quoref и сами по себе не гарантируют аналогичного качества на других данных.

AiPixel Tag Creator 7B — языковая модель компании AiPixel для автоматической разметки материалов по их названию и краткому описанию. Она определяет технологии, целевые профессиональные группы, уровень и язык материала. Модель основана на плотной архитектуре Llama и содержит 6,6 млрд параметров. Она принимает текст и генерирует текстовую разметку; контекст составляет до 4096 токенов. В метаданных указана лицензия Llama 2. Карточка не описывает конкретные ограничения качества или поддерживаемые языки.

medical-ner-proj опубликовал модель распознавания медицинских именованных сущностей на базе ALBERT. Она предназначена для выделения сущностей в англоязычных клинических текстах, например сведений о заболеваниях, симптомах, лекарствах и показателях осмотра. Модель использует архитектуру ALBERT с классификатором токенов, содержит 136,3 млн параметров и принимает контекст до 512 токенов. Модель подходит для извлечения клинических фактов из медицинских записей и структурирования анамнеза или результатов осмотра. Репозиторий содержит веса PyTorch, библиотека для работы — Transformers. Лицензия OpenRAIL; README не описывает конкретные классы сущностей и метрики качества.

AMALIA-VL-DPO — мультимодальная модель для обработки изображений и текста с генерацией ответов на естественном языке. Её разработал консорциум португальских университетов и исследовательских центров при поддержке государственных программ Португалии; модель основана на AMALIA-VL-SFT и прошла этап дообучения DPO. Архитектура — Llava Next, веса опубликованы в формате Safetensors, модель предназначена для использования через Transformers. Модель рассчитана прежде всего на европейский португальский язык (pt-PT), также поддерживает английский. Она подходит для визуальных вопросов и инструкций, кратких ответов, извлечения текста с изображений, маркировки изображений и вопросов по документам. Лицензия — Apache-2.0. Модель может галлюцинировать, отражать предвзятости и выдавать вредный или небезопасный контент, несмотря на настройку безопасности. Фактические ответы следует сверять с источниками, а для RAG-сценариев использовать подходящую базу знаний; перед внедрением модель нужно оценить для конкретной задачи. Она не предназначена для самостоятельных решений с высокими последствиями без надзора специалиста и не рассчитана на языки и культурные контексты за пределами португальского и английского.

answer-finder.yuzu — модель ответов на вопросы, разработанная Sinequa. Она получает вопрос и текстовый фрагмент и предсказывает позиции начала и конца ответа в этом фрагменте; модель основана на архитектуре BERT для извлечения ответов, а не для генерации текста. В метаданных указано 205,1 млн параметров и контекст до 512 токенов; в README приведена оценка размера базовой модели в 110 млн параметров. Модель дообучена на bert-base-multilingual-cased и предназначена прежде всего для японского языка. На JSQuAD указана оценка F1 92,1 при оценивании через Hugging Face и 91,5 через Haystack. В README также приведены замеры скорости и потребления видеопамяти на GPU, а для работы в Sinequa требуется версия 11.10.0 или новее. Модель чувствительна к регистру и диакритическим знакам; базовую поддержку можно ожидать для языков предобучения исходного многоязычного BERT, но явно обучена и проверена она только для японского. Лицензия в предоставленных данных не указана.

Arabic Small Nougat — модель OCR, разработанная Mohamed Rashad для преобразования изображений страниц арабских книг в структурированный текст, в том числе в формате Markdown. Она использует архитектуру VisionEncoderDecoderModel на базе facebook/nougat-small и дообучена на наборе Fakhraddin/khatt и пользовательском наборе данных. Модель рассчитана на оцифровку арабской литературы и извлечение текста из печатных материалов; в карточке указаны арабский и английский языки. Максимальная длина контекста составляет 2048 токенов. Модель распространяется по лицензии GPL-3.0. При распознавании возможны повторы и ошибки в тексте, а также нерелевантные пути к изображениям в выводе. Длинные страницы могут транскрибироваться не полностью, поэтому результат следует проверять, особенно когда точность критична.