I.3Извлечение и структурирование данных

almanach/camembert-base-legacy — устаревший чекпойнт CamemBERT, языковой модели для французского языка на архитектуре RoBERTa. В репозитории указано, что эту версию следует заменить более новой; модель содержит 137,8 млн параметров и поддерживает контекст до 514 токенов. Для работы доступны веса PyTorch и Safetensors. Модель предназначена прежде всего для заполнения пропусков в тексте: она предсказывает подходящие французские слова на местах специальных масок. CamemBERT также можно использовать для получения контекстных векторных представлений текста и дообучать под задачи обработки французского языка. Карточка описывает семейство CamemBERT и приводит сведения о нескольких вариантах предобучения, но не уточняет источник данных именно этого чекпойнта. Лицензия в предоставленных данных не указана.

ChuckleNet Verified — модель классификации аудио, разработанная автором репозитория Hayasuki/chucklenet-verified для обнаружения и прогнозирования смеха в аудиозаписях. Она дообучена на базе microsoft/wavlm-base: замороженный WavLM извлекает признаки из окон аудио длительностью 25 мс, а дополнительная MLP-голова с признаками просодии выдаёт вероятность смеха для каждого окна. Размер MLP-головы — около 230 тысяч параметров. Модель обучена на 87 видео стендап-выступлений с проверенными человеком метками смеха. На обучающей выборке заявлен F1 0,975, а IoU-F1 на отдельной подборке из 118 видео с проверенными метками составляет 0,3302. Модель предназначена для поиска и временной локализации смеха в англоязычных стендап-записях; заявленные результаты указывают на заметный разрыв между обучающей и проверочной выборками. Для весов указана лицензия MIT.

ClinicalDistilBERT — языковая модель для клинических текстов, созданная дообучением BioDistilBERT-cased в режиме continual learning на клинических заметках MIMIC-III в течение трёх эпох. Она предназначена для предсказания замаскированных токенов и подстановки пропусков в медицинских текстах. Модель основана на DistilBERT: 6 слоёв трансформера, размер скрытого представления и эмбеддингов 768, словарь из 28 996 токенов и около 65 млн параметров; контекст — до 512 токенов. Доступна в формате PyTorch по лицензии MIT. Обучение на заметках MIMIC-III может ограничивать переносимость на другие клинические источники и стили документации.

a0a7 разработал модель распознавания рукописной стенографии Грегга на изображениях и преобразования её в читаемый текст. Модель предназначена для оцифровки отсканированных заметок, исторических стенографических документов и архивов, а также для учебных и исследовательских задач, связанных со стенографией. В README указана архитектура CNN-LSTM и обучение на образцах стенографии Грегга; метаданные подтверждают задачу image-to-text, библиотеку PyTorch и датасет a0a7/Gregg-1916. Модель ориентирована на английский язык и распространяется по лицензии MIT. Её применение специализировано на записи Грегга; качество распознавания зависит от изображения, лучшие результаты ожидаются на чётких изображениях с высоким контрастом.

mideind/IceBERT-PoS — модель Miðeind для разметки частей речи и атрибутов слов в исландском языке. Она принимает предварительно токенизированные списки слов и возвращает для них структурированные метки; также поддерживается формат IFD (Icelandic Frequency Dictionary), в том числе для оценки на MIM-GOLD и совместимости с традиционными исландскими POS-теггерами. Для предсказаний доступны методы подготовки входов и обработки батча. Модель основана на архитектуре IceBertPosForTokenClassification, содержит около 151,6 млн параметров и принимает последовательности длиной до 514 токенов. В метаданных указана библиотека Transformers и формат весов safetensors. Для контроля токенизации подаются списки слов, а очень длинные последовательности могут вызвать ошибку; усечение по умолчанию отключено. Лицензия в предоставленных данных не указана.

rita-cohere/iolai-tiny-aya-global-fmtpick-k3 — кандидат для публичного сабмита IOL-AI 2026 от rita-cohere. Это вариант Tiny Aya Global с теми же весами, что у rita-cohere/iolai-tiny-aya-global; отличие, согласно карточке, только в скрипте генерации и выбора ответа. Модель построена на архитектуре Cohere2ForCausalLM, содержит 3,3 млрд параметров и принимает текстовый контекст длиной до 8192 токенов. Сценарий рассчитан на решение задач с несколькими подпунктами: скрипт формирует рассуждение, черновой ответ и проверку, генерирует три варианта и выбирает ответ по соответствию числа предсказаний ожидаемому числу пунктов, используя дополнительные критерии формата. Это настройка процесса декодирования, а не изменение весов модели. Указаны Transformers и формат safetensors; лицензия — Apache-2.0. Карточка не приводит оценки качества или подтверждённый перечень поддерживаемых языков.

Lawformer — предобученная языковая модель для длинных юридических документов на китайском языке, разработанная командой THUNLP и представленная вместе с кодом и контрольными точками к исследовательской работе. Она построена на архитектуре Longformer и предназначена для обработки юридических текстов; в Hugging Face указана задача заполнения пропусков в тексте. Модель содержит 129,5 млн параметров, работает с контекстом до 4098 токенов и доступна в формате PyTorch. Модель можно использовать как основу для анализа китайских юридических документов и задач, где требуется учитывать длинный контекст. README показывает загрузку через Transformers и пример обработки китайского судебного запроса. Сведений о лицензии и конкретных условиях использования в предоставленных материалах нет.

LegalBert-pt FP — португалоязычная модель BERT для текстов юридической тематики, опубликованная Raquel Silveira и соавторами. Она продолжает предварительное обучение модели neuralmind/bert-base-portuguese-cased на корпусе из 1,5 млн юридических документов на бразильском португальском языке, собранных в десяти судах Бразилии. Вариант FP содержит 12 слоёв; метаданные указывают 136,1 млн параметров, контекст до 512 токенов и формат PyTorch. Модель предназначена для заполнения маскированных токенов и может служить основой для дообучения под юридические задачи. В README описаны эксперименты по распознаванию юридических сущностей и классификации судебных петиций; специализированная языковая модель показала преимущество перед общей в этих задачах. Для непосредственного применения в классификации или распознавании сущностей потребуется соответствующая настройка модели. Модель распространяется по лицензии OpenRAIL. Её специализация и обучающие данные ориентированы на юридические документы Бразилии, поэтому результаты на других языках, правовых системах и типах текстов могут отличаться.

Longformer-es-mental-base — испаноязычная языковая модель ELiRF, группы VRAIN при Политехническом университете Валенсии. Это Longformer с архитектурой masked language model и 151,8 млн параметров, дообученный на корпусе текстов о психическом здоровье. Модель обрабатывает последовательности до 4098 токенов и предназначена для анализа длинных пользовательских текстов, например историй сообщений, форумных обсуждений и публикаций в социальных сетях. Модель можно использовать как языковой энкодер или экстрактор признаков, а также дообучать для классификации на уровне пользователя или контекста, скрининга психических расстройств и раннего выявления рисков. Она адаптирована к неформальной испаноязычной речи о психологическом состоянии, однако сама по себе не является клиническим инструментом и не объясняет свои выводы. Обучающие данные — публикации Reddit, автоматически переведённые на испанский; это может вносить культурные и демографические смещения и ошибки перевода. Лицензия совпадает с лицензией базовой модели PlanTL-GOB-ES/longformer-base-4096-bne-es.

MARBERTv2 — арабоязычная модель семейства BERT от UBC NLP, описанная в статье ACL 2021 «ARBERT & MARBERT: Deep Bidirectional Transformers for Arabic». Это дальнейшее предобучение MARBERT на данных современного стандартного арабского языка и наборе AraNews: модель обучена на 29 млрд токенов и использует контекст до 512 токенов. Модель предназначена для восстановления скрытых токенов в арабском тексте. Её можно применять для заполнения пропусков и как основу для задач обработки арабского языка; авторы также сообщают о результатах на наборах вопросов и ответов, хотя отмечают, что результаты ARBERT и MARBERT в QA неконкурентны. В метаданных указаны 190 млн параметров и поддержка PyTorch и TensorFlow. Условия лицензии в доступных данных не приведены.

OpenMed-NER-OncologyDetect-ElectraMed-33M — модель OpenMed для распознавания и классификации биомедицинских сущностей в текстах об онкологии и генетике рака. Это дообученный трансформер архитектуры BERT с примерно 40 млн параметров; модель принимает текст и возвращает BIO-метки для токенов. Контекст ограничен 512 токенами, основной язык карточки — английский. Среди классов сущностей — гены и их продукты, опухоли, клетки, ткани, органы, химические вещества и аминокислоты. Модель обучена на корпусе BioNLP 2013 CG и предназначена для извлечения сущностей из научной литературы и медицинских текстов, например для поиска генов и биомаркеров, упомянутых в исследованиях рака. Карточка указывает F1 0,00, точность 0,01 и полноту 0,00; эти значения свидетельствуют о крайне слабом качестве на описанной оценке, несмотря на заявления README о готовности к производственному применению. Лицензия — Apache-2.0.

RuBioBERT — модель семейства BERT для предсказания замаскированных токенов. Репозиторий содержит веса в формате PyTorch; архитектура — BertForMaskedLM, размер — 205,5 млн параметров, максимальная длина контекста — 512 токенов. Модель можно использовать для восстановления пропусков в тексте и как основу для задач, где требуется языковое представление текста. Имя указывает на биомедицинскую специализацию, однако README не содержит описания обучения, датасетов или подтверждения области применения, поэтому специализация не установлена. Лицензия и ограничения применения в предоставленных данных не описаны.

stanfordnlp/stanza-is — модель Stanza для лингвистического анализа текстов на исландском языке, подготовленная проектом Stanza. Она предназначена для разметки токенов в составе инструментов анализа естественного языка; Stanza также предоставляет средства синтаксического анализа и распознавания сущностей, однако карточка этой модели подтверждает только задачу token-classification. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

google/tapas-medium-masklm — модель семейства TAPAS от Google для заполнения маскированных токенов в последовательностях, связанных с табличными данными. Она соответствует чекпойнту tapas_masklm_medium_reset из исходного репозитория и предназначена для использования с задачей fill-mask. Модель содержит 49,2 млн параметров, поддерживает контекст длиной до 512 токенов и доступна в форматах PyTorch и TensorFlow. В метаданных не указаны специальные прикладные области или языки. Лицензия в предоставленных данных не указана.

Trait2Vec — англоязычная модель Sentence Transformer, разработанная Juan Garcia, Soumyashree Kar, Jim Balhoff и Hilmar Lapp для Imageomics. Она дообучена на датасете Character Similarity Dataset от sentence-transformers/all-mpnet-base-v2 и кодирует текстовые описания биологических признаков организмов в плотные векторы. Косинусное сходство этих векторов качественно отражает семантическое сходство признаков и сохраняет часть ранжирования, заданного онтологической метрикой SimGIC. Модель подходит для получения векторных представлений признаков организмов, их семантического сравнения, поиска и группировки. Архитектура основана на MPNet и содержит 136,7 млн параметров; максимальная длина контекста — 514 токенов. Модель принимает текст на английском языке и выдаёт векторы для сравнения и анализа сходства. Лицензия MIT. Результаты наследуют смещения базовой модели, датасета, метрики сходства и использованной онтологии; полнота покрытия и определения признаков могут отличаться при выборе других метрик или онтологий. Оценка описана как качественная, поэтому в README нет оснований считать близость векторов универсальной мерой биологического сходства.

Vi-Legal-PhoBert — модель для вьетнамского юридического текста, разработанная NghiemAbe на основе vinai/phobert-base-v2. Это RoBERTa-модель с 162,4 млн параметров, дообученная продолжительным MLM-предобучением на юридическом корпусе в течение 154 600 шагов. Она предсказывает замаскированные токены и подходит для языкового моделирования и извлечения контекстных представлений в юридических текстах.

Модель классификации текста, дообученная с помощью AutoTrain на базе google-bert/bert-base-uncased. Она предназначена для отнесения текстовых последовательностей к классам; конкретная предметная область и состав классов в карточке не раскрыты. Модель использует архитектуру BERT для классификации последовательностей, содержит 136,7 млн параметров и поддерживает контекст до 512 токенов. Валидационные метрики составляют 0,5 для accuracy, micro-F1 и micro-recall; macro-F1 и weighted-F1 равны примерно 0,434. Эти результаты указывают на ограниченное качество классификации и требуют проверки на данных предполагаемого применения. Модель опубликована в формате Safetensors; сведения о лицензии в предоставленных данных отсутствуют.

BioDistilBERT-cased — языковая модель семейства DistilBERT, разработанная путём продолжительного обучения исходной DistilBERT-cased на корпусе PubMed. Она предназначена для восстановления скрытых токенов в биомедицинских текстах и может применяться для дополнения фраз и анализа контекста публикаций. Модель имеет 6 трансформерных слоёв, размер скрытого представления 768, словарь из 28 996 токенов и около 65 млн параметров; максимальная длина контекста — 512 токенов. Поддерживает регистр исходного текста и поставляется в формате PyTorch. Модель рассчитана на биомедицинские тексты, в частности научные публикации PubMed. Лицензия MIT допускает широкое использование. Карточка не сообщает результаты оценки качества или ограничения применения; выходы модели следует проверять в целевом контексте.

LEPTON (Classical Chinese Letter Prediction) — модель классификации последовательностей на основе BERT, разработанная Queenie Luo, Katherine Enright, Hongsu Wang, Peter Bol и группой CBDB. Она определяет, является ли предложение на классическом китайском языке заголовком письма: метка 1 означает заголовок, метка 0 — отсутствие заголовка. Модель основана на китайской BERT-модели, дополнительно дообученной на корпусе текстов классического китайского объёмом 3 ГБ, и использует архитектуру BertForSequenceClassification с линейным классификационным слоем. Размер — 129,5 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для бинарной классификации предложений, а не для генерации текста. Модель распространяется по лицензии CC BY-NC-SA 4.0, которая требует указания авторства, распространения производных работ на тех же условиях и запрещает коммерческое использование. В описании указана узкая специализация на распознавании заголовков писем на классическом китайском языке.

Aditya109 разработал экспериментальную модель Sentence Transformers на базе MPNet, дообученную от FremyCompany/BioLORD-2023 на парах и триплетах названий индийских лекарств. Она преобразует текст в плотные векторы размерности 768 и предназначена для семантического поиска и сравнения брендов лекарств по совпадению действующих веществ, а также для экспериментов с кластеризацией и поиском ближайших соседей. Модель принимает текст. В README указан максимальный размер последовательности 32 токена; метаданные указывают нативный контекст 514 токенов. Для сравнения векторов используется косинусное сходство. На приведённых отложенных наборах дообученная модель превзошла базовую BioLORD по указанным метрикам, однако результаты не подтверждают надёжность в реальном медицинском применении. Данные обучения получены из автоматически обработанного публичного каталога лекарств и не проверялись фармацевтами. Модель нельзя использовать для диагностики, назначения лечения и дозировок, проверки взаимодействий или автоматической замены лекарств. Перед коммерческим использованием следует проверить лицензию исходного набора данных; лицензия самой модели в предоставленных сведениях не указана.

manucos/finetuned__roberta-clinical-wl-es__augmented-ultrasounds — дообученная испаноязычная модель RoBERTa на базе plncmm/roberta-clinical-wl-es. Она предназначена для предсказания замаскированных слов в тексте, в том числе в клиническом контексте. Модель содержит 153,2 млн параметров, использует архитектуру RobertaForMaskedLM и поддерживает контекст до 514 токенов. Доступна в формате safetensors. README сообщает о дообучении на датасете, обозначенном как None, и приводит значение loss 0,6340 на оценочной выборке; дополнительные сведения о данных, назначении и ограничениях не раскрыты. Лицензия — Apache-2.0.

FLANG-Roberta — предварительно обученная языковая модель для финансового текста из семейства FLANG, разработанного SALT-NLP. Она основана на RoBERTa и дополнительно обучена на финансовом домене; при обучении маскирование с приоритетом отдавалось финансовым терминам и устойчивым выражениям, чтобы улучшить представления специализированной лексики. Модель содержит 162,4 млн параметров, использует архитектуру RobertaForMaskedLM и принимает текст, предсказывая замаскированные токены. Длина контекста составляет 130 токенов. Модель предназначена для заполнения пропусков в финансовых текстах и может служить основой для разработки систем понимания финансового языка. В описании семейства FLANG упомянуты задачи анализа тональности, классификации заголовков, ответов на вопросы, распознавания именованных сущностей и определения границ структурных единиц; это сценарии финансового бенчмарка FLUE, а не подтверждённые отдельные pipeline-задачи данного чекпойнта. Основной язык модели — английский. Доступные сведения не содержат условий лицензии, поэтому условия использования по ним установить нельзя.

Industrial-Instruction Qwen3-4B — языковая модель Parssky, полученная полным дообучением Qwen/Qwen3-4B-Instruct-2507 на данных о промышленном оборудовании Panasonic, созданных с помощью Claude Opus 4.6. Модель предназначена для ответов на технические вопросы по документации и для экспериментов с интеграцией свидетельств в системах RAG. Она поддерживает генерацию текста и диалоговый режим; размер — 3,7 млрд параметров, архитектура — плотная Qwen3, формат весов — Safetensors, длина контекста — до 262 144 токенов. В метаданных указан английский язык. На тесте из 1 000 вопросов по Panasonic вариант с RAG показал F1 72,66% и точность полного совпадения набора ответов 56,40%; показатель MMLU почти не изменился относительно базовой модели. Модель особенно подходит для вопросов, сформулированных близко к обучающим примерам: на перефразированных вопросах FailureSensorIQ точность составила 0%. Данные охватывают документацию одного производителя, поэтому перенос на другие марки и терминологию ограничен. Лицензия указана как other, конкретные условия использования в карточке не раскрыты.

oberbics/llama-3.1-8B-newspaper_argument_mining — дообученная Oberbics причинно-языковая модель семейства Llama 3.1 для извлечения аргументативных единиц и восстановления энтимем в исторических газетных текстах. Она построена на meta-llama/Llama-3.1-8B-Instruct и прошла двухэтапное обучение: SFT с LoRA/PEFT, затем постобучение методом GRPO. Модель выдаёт структурированные результаты в формате XML для исследований в цифровой гуманитаристике и анализа исторического дискурса. Модель рассчитана на тексты на итальянском, немецком, французском и английском языках; размер — около 7,5 млрд параметров, нативная длина контекста — 131 072 токена. Она ориентирована прежде всего на исторические газетные материалы начала XX века и обучалась на корпусе с разметкой, преимущественно на текстах 1908 года. Для сложных аргументативных структур результаты могут требовать проверки человеком, а качество на текстах, заметно отличающихся от обучающих данных, может снижаться. Условия использования определяются лицензией Llama 3.1 Community License.

MaterialsBERT — англоязычная доменная модель на базе PubMedBERT, дообученная автором pranav-s на корпусе из 2,4 миллиона аннотаций по материаловедению. Это uncased-модель семейства BERT с архитектурой BertForMaskedLM, примерно 136,7 млн параметров и контекстом до 512 токенов. Модель предназначена для извлечения признаков текста и заполнения пропусков в аннотациях по материаловедению. Её также можно дополнительно дообучать для классификации последовательностей, разметки токенов и ответов на вопросы в этой области; в опубликованном сравнении такие дообученные варианты превзошли базовые языковые модели на трёх из пяти наборов данных. Для практического применения нужны библиотека Transformers и PyTorch. Карточка указывает лицензию «other», не уточняя её условия; перед использованием следует проверить файлы репозитория с лицензией. Модель ориентирована на английский научный текст и требует дополнительной настройки для большинства прикладных задач.

Parakeet Medical DE — модель автоматического распознавания речи на немецком языке для медицинской тематики, разработанная Mediform. Она дообучена на наборе Mediform/medical_asr_de от nvidia/parakeet-tdt-0.6b-v3; опубликован чекпойнт эпохи 14 с лучшим показателем на валидации. По данным карточки, WER составляет 11,31% на тесте и 11,55% на валидации, а набор обучения включает 529 немецких медицинских терминов, в том числе названия лекарств, заболеваний, процедур, симптомов и частей тела. Модель принимает аудиоречь и выдаёт текстовую расшифровку. В README описана совместимость весов SafeTensors с mlx-audio-swift для локального вывода на устройствах Apple Silicon. Лицензия — Apache-2.0. Показатели качества приведены для конкретных тестовых данных и сами по себе не гарантируют такую же точность на других записях или в клиническом применении.

POET — модель разметки частей речи французского языка, разработанная Янисом Лабраком и Ричардом Дюфуром из университетов Авиньона и Нанта. Она использует CamemBERT с классификационной головой для последовательной разметки токенов и обучена на корпусе ANTILLES, созданном на основе UD_French-GSD. Модель присваивает словам и другим токенам одну из 60 расширенных меток, включающих грамматические и семантические признаки: род, число, наклонение, лицо, время и форму глагола. В отличие от исходных 17 частей речи, расширенная схема даёт более детальную лингвистическую разметку. Модель содержит 137,8 млн параметров и рассчитана на контекст до 514 токенов. Обучающие данные подавались без нормализации, поэтому модель чувствительна к регистру и пунктуации. Она предназначена для французского текста и не является универсальным анализатором для других языков. В метаданных указана лицензия Apache-2.0.

RoBERTa-small-japanese-aozora-char — компактная модель Koichi Yasuoka на архитектуре RoBERTa, предварительно обученная на текстах японской библиотеки 青空文庫 с посимвольным токенизатором. Она предназначена для заполнения пропусков в тексте и может служить основой для дообучения под задачи обработки японского языка, включая разметку частей речи и синтаксический анализ зависимостей. Модель содержит 12,6 млн параметров, принимает текстовые последовательности с контекстом до 128 токенов и выдаёт предсказания для замаскированных позиций. Доступны веса PyTorch; лицензия — CC BY-SA 4.0.

Tanuki-8B-vision — визуально-языковая модель проекта GENIAC Matsuo Lab, построенная на основе LLaVA 1.5. В качестве языковой модели используется Tanuki-8B phase1, а для кодирования изображений — google/siglip-so400m-patch14-384. Модель насчитывает 7,2 млрд параметров, имеет контекст 8192 токена и распространяется в формате safetensors по лицензии Apache-2.0. Модель предназначена для диалога и генерации текста по изображениям, включая ответы на вопросы о визуальном содержимом. Проект ориентирован на японский язык; разработчики создавали её экспериментально, используя синтетические данные для расширения доступного набора японских данных для коммерчески применимых VLM. Карточка упоминает оценку на лидерборде Heron VLM с помощью GPT-4, но не приводит численных результатов. Ожидаемое ограничение — качество может зависеть от японского языка и сценариев, представленных в обучающих данных; разработка проводилась как эксперимент участниками проекта, а не как основная цель проекта GENIAC.

Koichi Yasuoka подготовил японскую модель BERT base на основе tohoku-nlp/bert-base-japanese-char-v2, предварительно обученную на текстах японской Википедии. Вариант расширяет набор символьных эмбеддингов, включая все 常用漢字 и 人名用漢字, и использует BertTokenizerFast. Модель предназначена для предсказания пропущенных токенов в японском тексте и может служить основой для дообучения под разметку частей речи, синтаксический анализ зависимостей и другие задачи анализа японского языка. Архитектура — BertForMaskedLM, размер — 118,1 млн параметров, контекст — до 512 токенов; доступен формат PyTorch. Модель ориентирована на японский язык. Для использования и распространения указана лицензия CC BY-SA 4.0; для прикладных задач, кроме заполнения пропусков, потребуется дообучение.