I.3Извлечение и структурирование данных

Модель c-ho/2026-08-26-crf-classweights-clean — дообученная версия Davlan/bert-base-multilingual-cased-ner-hrl для классификации токенов. Архитектура основана на BERT и использует CRF-слой; модель содержит 205,1 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате safetensors. По метрикам и названиям классов в README модель предназначена для разметки текста тегами лингвистических терминов и явлений: среди категорий указаны морфологические, синтаксические, фонологические и семантические явления, а также термины и языковые ресурсы. На оценочном наборе указаны F1 0,7871, точность 0,7639 и полнота 0,8119; качество заметно различается между классами, включая F1 0 для Graphemicphenomenon. Данные обучения в карточке не описаны. Лицензия — AFL-3.0.

Koichi Yasuoka разработал эту модель на базе DeBERTa V2, дообучив KoichiYasuoka/deberta-base-japanese-aozora для определения синтаксической вершины слова в японском тексте. Задача оформлена как question answering: слово-кандидат задаётся в вопросе, а модель ищет его голову в контексте; README рекомендует использовать [MASK] в контексте, чтобы снять неоднозначность, если слово встречается несколько раз. Модель содержит 137,8 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Она предназначена для синтаксического анализа японского языка, в частности для выявления зависимостей в разбиении на длинные единицы слов. Модель распространяется в формате PyTorch по лицензии CC BY-SA 4.0.

Housy Gemma 3 4B Instruct — это экспериментальная модель издателя sraivante для команд по ведению домашнего запаса продуктов и предметов быта. Она дообучена методом supervised LoRA на основе unsloth/gemma-3-4b-it; в репозитории опубликованы объединённые веса в формате GGUF Q4_K_M для локального запуска через llama.cpp или Ollama. Это текстовая версия Gemma 3 без компонента обработки изображений. Модель предназначена для преобразования запросов на английском, хинди и хинглише в JSON с намерением, названием инструмента и аргументами: добавить предмет, увеличить или уменьшить количество либо удалить предмет. Также обучалась отвечать на вопросы о предметах быта и продуктах, однако точность фактических ответов не установлена. Обучение велось с контекстом 2 048 токенов; сохранённые метаданные GGUF указывают контекст базовой модели 131 072 токена, но длинный контекст не проверялся. Проверки подтвердили лишь базовые сценарии добавления, увеличения, уменьшения и удаления; для других запросов наблюдались ошибки и путаница команд. Модель не обращается к базе инвентаря и не выполняет действия: приложению необходимо проверять JSON, соответствие намерения инструменту, предметы, поля и количества. Распространяется по лицензии Gemma.

ODABert — дообученная модель Alex Miller на базе multilingual BERT для заполнения пропущенных токенов в текстах о проектах развития и гуманитарного финансирования. Она основана на BERT с архитектурой BertForMaskedLM и содержит 195,4 млн параметров; словарь расширен на 1 059 токенов по частотным словам из набора OECD DAC CRS. Контекст — до 512 токенов. Модель обучалась три эпохи на названиях и описаниях проектов из OECD DAC CRS. Её предполагаемый сценарий — экспериментальная адаптация языковой модели для последующего построения классификаторов по данным о проектах; сама модель выполняет задачу masked language modeling, а не классификацию. В оценке указана функция потерь 0,9961. Хотя базовая модель многоязычная и обучающие тексты включают другие языки, в данных преобладает английский. Лицензия — Apache-2.0.

oshizo разработала японскую GPT-2-модель на основе rinna/japanese-gpt-1b и дообучила её для извлечения ответов из контекста и уточнения ответа с помощью нового контекста. Модель обучена работать с двумя шаблонами промптов и предназначена для использования с gpt-index версии 0.2.5. Модель принимает текстовый контекст и вопрос и генерирует текстовый ответ, опираясь на предоставленный контекст, а не на предварительные знания. Она предназначена для японского языка; размер контекста составляет 1024 токена. Доступны веса PyTorch, лицензия — MIT. Модель не рассчитана на обычные задачи вопросов и ответов вне сценария gpt-index. Ее применение зависит от указанных шаблонов промптов, а README не сообщает результаты оценки качества.

chrullis разработал Qwen3-ASR-Radio 1.7B — дообученную модель семейства Qwen3-ASR для распознавания английской речи в искажённых авиационных радиопередачах VHF. Это плотная аудиотекстовая модель на архитектуре Qwen3ASRForConditionalGeneration, выпущенная в формате safetensors и доступная как объединённая полная модель на базе Qwen/Qwen3-ASR-1.7B. Модель предназначена для вспомогательной транскрибации переговоров авиадиспетчеров: получения общего смысла, поиска по записям и обнаружения ключевых слов или предупреждений с участием человека. В README сообщается о снижении WER на тестовых данных UWB-ATCC с 0,766 до 0,317 и на другой сети ATC ATCO2 с 0,609 до 0,327; точность на чистой речи LibriSpeech при этом сохранена. Модель принимает аудио и выдаёт текст; карточка указывает поддержку английского языка. Ошибки остаются частыми: WER около 32%, особенно для позывных и последовательностей цифр. Проверена только английская авиационная радиосвязь; морская, общественная и неанглоязычная связь не тестировались. Модель не предназначена для автономной дословной расшифровки или решений, связанных с безопасностью. Лицензия указана как other; поскольку модель производна от Qwen3-ASR и обучалась на исследовательских наборах UWB-ATCC и ATCOSIM, перед коммерческим распространением следует проверить условия лицензий базовой модели и данных.

Koichi Yasuoka разработал эту модель на основе KoichiYasuoka/roberta-base-thai-spm, дообучив её для определения синтаксических зависимостей в тайском языке. Модель использует архитектуру RoBERTa и формулирует задачу поиска вершины зависимости как вопросно-ответную: слово задаётся в question, а контекст предложения — в context. Для неоднозначного слова, встречающегося в предложении несколько раз, автор рекомендует отмечать нужное в context токеном [MASK]. Модель обучена на текстах тайской Википедии с разметкой Universal Dependencies и предназначена для разбора зависимостей, в частности обнаружения синтаксической вершины. Размер — 115,6 млн параметров, длина контекста — 512 токенов; опубликована в формате PyTorch под лицензией Apache-2.0. Карточка помечает её как question-answering, хотя прикладное назначение — синтаксический разбор; результат зависит от корректной разметки входных слов и контекста.

Исследовательский чекпойнт whr778 для извлечения событий и их аргументов на датасете RAMS. Это Stage B эксперимента по масштабированию mmBERT: модель whr778/scaling-mmbert-40k, предварительно разогретая на примерно 40 тысячах записей о структуре событий и аргументах, дообучена на RAMS по фиксированному рецепту mmbert-base-rams в течение 15 эпох. В слепом тесте на 871 документе строгая micro-F1 составила 0,115 для извлечения аргументов и 0,706 для определения триггеров событий. Модель предназначена для измерения влияния предварительного обучения голов mmBERT на извлечение аргументов событий RAMS; это одна точка экспериментальной кривой масштабирования, а не универсальный релиз. В README указана поддержка длинного контекста, однако его длина не приведена. Доступ к артефакту обозначен как частный; лицензия в предоставленных данных не указана.

Koichi Yasuoka разработал японскую BERT-модель на основе bert-base-japanese-char-extended и дообучил её для синтаксического разбора зависимостей: определения головного слова для длинных единиц слов. Задача оформлена как question-answering: слово задаётся в вопросе, а предложение — в контексте; для неоднозначного слова README рекомендует помечать его в контексте токеном [MASK]. Модель содержит 118,1 млн параметров, использует архитектуру BERT и принимает текст с контекстом до 512 токенов. Она предназначена для японского языка и обучалась на текстах японской Википедии с использованием UD_Japanese-GSDLUW. Лицензия — CC BY-SA 4.0. Карточка не приводит оценок качества или подробностей о применении за пределами описанной задачи синтаксического разбора.

plncmm/beto-clinical-wl-es — испаноязычная модель на основе BERT, дообученная на наборе данных чилийского листа ожидания. Она предназначена для предсказания скрытых слов в клинических текстах на испанском языке. Модель содержит 137,1 млн параметров, использует архитектуру BertForMaskedLM и принимает последовательности длиной до 512 токенов. Доступны веса в форматах PyTorch и Safetensors. Лицензия в предоставленных данных не указана.

Koichi Yasuoka разработал эту модель на базе KoichiYasuoka/deberta-base-thai для определения синтаксической зависимости head в предложениях на тайском языке. Модель использует архитектуру DeBERTa V2, содержит 115,6 млн параметров и принимает текстовый контекст и вопрос в формате задачи question answering; длина контекста — до 512 токенов. Модель предназначена для синтаксического разбора по Universal Dependencies: она помогает определить, какое слово является вершиной зависимости для заданного слова. Если слово встречается в контексте несколько раз, README рекомендует помечать нужное вхождение токеном [MASK], чтобы устранить неоднозначность. Модель опубликована в формате PyTorch под лицензией Apache-2.0.

Emender E97 1.3B CLI Agent — экспериментальная узкоспециализированная рекуррентная языковая модель, опубликованная spinozans. Это дообученный агент на базе плотной модели E97; он предназначен для одного протокола решения задач в командной строке: преобразует цель из репозитория в аргументы CLI, интерпретирует типизированное наблюдение и отправляет обоснованный ответ. Модель не предназначена для общего диалога или программирования. В карточке сообщается, что контрольная версия прошла 40 из 40 отложенных задач на реальных задачах Pi, включая подсчёт, извлечение JSON и чтение файлов. Результат зависит от конкретного системного промпта, схемы инструментов, правил остановки и рекуррентного кэша, а также изолированной среды Apptainer; обычная генерация текста не воспроизводит оценённое поведение агента. Веса доступны в формате safetensors, для загрузки указан Transformers с trust_remote_code. Лицензия обозначена как other; конкретные условия в предоставленных данных не раскрыты.

Это полноценно дообученная модель GPT-2-large от автора репозитория medelharchaoui для извлечения ответов из контекста в английских вопросно-ответных задачах формата SQuAD. Она основана на авторегрессионной decoder-only архитектуре GPT-2 с 774 млн параметров и принимает текстовый запрос в формате `answer question: {question: ... context: ...}\nanswer:`, после чего генерирует продолжение с ответом. Модель рассчитана прежде всего на сравнение decoder-only и encoder–decoder подходов, а не на применение как лучший QA-решатель. На подмножестве из 512 примеров валидационной части SQuAD при генерации с поиском по четырём лучам указаны F1 0,5041 и EM 0,3516. Карточка отмечает, что результаты существенно уступают сравниваемым моделям T5. Модель поддерживает английский язык, использует контекст до 1024 токенов и распространяется по лицензии MIT. Ограничение: она предназначена для английских extractive QA в стиле SQuAD; оценка проведена на подмножестве валидации, а не на официальном тестовом сервере.

MS-BERT — модель семейства BERT, разработанная исследователями отдела Data Science and Advanced Analytics больницы St. Michael’s Hospital в Торонто. Она основана на BLUE-BERT base, дополнительно предобученном на клинических записях неврологических осмотров пациентов с рассеянным склерозом. Репозиторий содержит модель для задачи заполнения пропусков в тексте (masked language modeling); архитектура — BertForMaskedLM, размер — 136,7 млн параметров, максимальный контекст — 512 токенов. Модель предназначена для работы с клиническими текстами о неврологических осмотрах, течении болезни и диагнозах при рассеянном склерозе, например для исследования и адаптации NLP-сценариев в этой области. Данные предварительно обезличивали: имена, даты, идентификаторы и другие сведения заменяли специальными токенами. Карточка не сообщает лицензию, поэтому условия использования по имеющимся сведениям определить нельзя. Авторы предупреждают, что результаты не предназначены для самостоятельной диагностики или принятия медицинских решений без проверки и надзора клинического специалиста.

Модель Nominalization Detector разработана в рамках проекта QANom и представляет собой BERT для классификации токенов, дообученный на задаче распознавания предикативных номинализаций. Она определяет, несёт ли существительное в контексте событийное, близкое к глагольному значение; классификация бинарная и применяется к кандидатам, предварительно извлечённым по частям речи и лексическим ресурсам. Модель предназначена для анализа английских предложений и может использоваться в лингвистических исследованиях и NLP-конвейерах, изучающих номинализации. Архитектура — BertForTokenClassification на базе bert-base-cased, около 135,5 млн параметров; максимальный контекст составляет 512 токенов. Для работы с полным сценарием обнаружения кандидатов README указывает пакет qanom. Модель дообучена на данных QANom, размеченных для этой задачи. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

Koichi Yasuoka разработал эту японскую BERT-модель на основе KoichiYasuoka/bert-large-japanese-char-extended и дообучил её на UD_Japanese-GSDLUW для синтаксического анализа: модель определяет головное слово для длинных единиц слов. Задача оформлена как извлечение ответа на вопрос: слово-кандидат задаётся в вопросе, а контекст содержит предложение; для неоднозначных повторяющихся слов в контексте можно использовать [MASK]. Модель содержит 409,1 млн параметров, использует архитектуру BERT и принимает текст с контекстом длиной до 512 токенов. Она предназначена для анализа японского текста, в частности для выявления зависимостей между словами. Доступны веса PyTorch; лицензия — CC BY-SA 4.0.

CNY-7B — исследовательский чекпойнт Allen-UQ, дообученный на базе Qwen2.5-7B-Instruct для выбора соседних узлов и классификации объектов в текстовых графах. Модель использует архитектуру Qwen2, содержит 7,1 млрд параметров и имеет контекстное окно 32 768 токенов. Она предназначена для многошагового обхода графа: получает описание целевого узла, варианты меток и краткие сведения о соседях, затем выбирает узлы для раскрытия их полного текста и формирует ответ. Обучение проводилось методом GRPO с on-policy self-distillation на смеси из восьми текстовых графов; доступны результаты нулевого дообучения на нескольких тестовых наборах. Модель рассчитана на графовые сценарии классификации узлов и отношений, а не на обычный диалог. Для использования её обученной стратегии требуется специальный многошаговый шаблон CNY и среда обхода графа; стандартный инструктивный запрос эту стратегию не задействует. Политика обхода обучена с ограниченным числом шагов и фиксированным форматом предварительного просмотра, а качество зависит от информативности текста целевого узла. Модель распространяется под лицензией Apache-2.0.

Koichi Yasuoka разработал эту модель на базе DeBERTa V2 для японского синтаксического анализа: она определяет головное слово для длинных единиц слов. Задача представлена в формате question answering; модель дообучена на данных UD_Japanese-GSDLUW, а предварительное обучение проводилось на текстах 青空文庫. Модель содержит 137,8 млн параметров, принимает текст и поддерживает контекст длиной до 512 токенов. Для неоднозначного слова, встречающегося в контексте несколько раз, README рекомендует помечать нужное вхождение токеном [MASK]. Модель распространяется по лицензии CC BY-SA 4.0.

german-financial-statements-bert — модель BERT, дообученная на немецкоязычных годовых финансовых отчётах компаний из Федерального вестника Германии. Она предназначена для работы с финансовой отчётностью и решает задачу заполнения маскированных токенов в тексте: по контексту предсказывает пропущенное слово или токен. Модель содержит 136,3 млн параметров, использует архитектуру BertForMaskedLM и принимает последовательности длиной до 512 токенов. Для обучения использовали 100 000 предложений из отчётности 5 500 документов: половина была отобрана случайно, а половина отфильтрована по упоминаниям финансовых сущностей и валют. На оценочном наборе указаны loss 1,2025, accuracy 0,7376 и perplexity 3,3285. Модель рассчитана на немецкий язык и финансовую лексику; лицензия — MIT. Карточка не описывает её как чат-модель или систему для самостоятельного финансового анализа.

Parti Base — компактная текстовая модель caid-technologies для преобразования описания аппаратной идеи на английском языке в структурированный план сборки. Она дообучена на Qwen/Qwen2.5-3B-Instruct, имеет архитектуру Qwen2 dense и 3,1 млрд параметров; контекст — до 32 768 токенов. Модель предназначена для генерации JSON с перечнем деталей, схемой соединений, последовательностью сборки, примерными источниками и стоимостью, а также базовой проверкой замысла; можно запросить как полный план, так и отдельный раздел. Модель лучше справляется с шагами сборки, базовой проверкой проекта и списками деталей. Она принимает только текст и не обрабатывает эскизы или изображения; для таких сценариев авторы указывают отдельную модель Parti Vision. Это ранний исследовательский релиз и небольшой чекпойнт: сложные проекты и схемы соединений могут быть менее надёжными, а выдачу необходимо проверять перед изготовлением. Лицензия — Apache-2.0.

Это исследовательский чекпойнт whr778 для извлечения аргументов событий из текста по схеме RAMS. Модель основана на mmBERT-base: её головы сначала обучались на примерно 100 000 записей о структуре событий и аргументах, после чего модель дообучили на RAMS по рецепту из 15 эпох с выбором чекпойнта по строгой метрике извлечения аргументов. Доступный формат весов — safetensors. Чекпойнт предназначен для измерения влияния предварительного обучения голов модели на качество последующего извлечения аргументов событий, а не для общего использования. На слепом тесте RAMS из 871 документа строгий micro-F1 составил 0,158 для аргументов и 0,732 для триггеров событий. README характеризует модель как одну точку исследовательской кривой масштабирования и указывает, что артефакт закрытый; условия лицензии не приведены.

stanfordnlp/stanza-la — модель из набора Stanza, разработанного Stanford NLP для лингвистического анализа латинского языка. Она принимает текст и выполняет разметку последовательности токенов; в экосистеме Stanza такие модели используются как часть анализа текста, от исходной строки до синтаксического разбора и распознавания сущностей. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не сообщает её размер и длину контекста. Для обработки латинского текста модель подходит как компонент NLP-конвейера; качество на конкретных жанрах и исторических вариантах языка отдельно не охарактеризовано.

Это дообученная модель распознавания речи на базе OpenAI Whisper large-v3, разработанная для транскрибации радиообмена в авиационном управлении воздушным движением. Обучение проводилось только на 20 000 синтетических реплик ATC с имитацией узкополосного VHF-шума; реальные аудиозаписи радиообмена в обучении не использовались. Модель принимает аудио и выдаёт текст, а указанная в примере настройка предназначена для распознавания английской речи. В оценке на трёх реальных европейских наборах данных модель показала WER 31,9% на airbus, 30,6% на atco2 и 41,1% на uwb; результаты лучше дообученной на реальных данных версии на airbus и сопоставимы на atco2. Показатели заметно различаются между наборами, поэтому качество зависит от условий и состава радиообмена. Модель распространяется по лицензии Apache-2.0.

Это англоязычная модель автоматического распознавания речи на базе OpenAI Whisper Medium EN, дообученная автором jacktol на данных авиационной радиосвязи. Она предназначена для транскрибирования коротких передач пилотов и диспетчеров, в том числе речи с различными акцентами, нестандартной фразеологией и помехами. Модель содержит около 455,8 млн параметров и принимает аудио, выдавая текст. В тестировании из карточки для неё указана WER 15,08%; автор отмечает улучшение относительно исходной модели на ATC-речи. Репозиторий создан 3 октября 2024 года и содержит веса в формате safetensors. Модель подходит для подготовки расшифровок переговоров в системах управления воздушным движением, анализа авиационной радиосвязи и исследовательских или учебных проектов. Она лицензирована по MIT. Автор пометил эту версию как устаревшую и сообщает о более новой модели с лучшим результатом на тестовом наборе.

Koichi Yasuoka разработал эту модель на архитектуре DeBERTa V2 для японского синтаксического анализа зависимостей. Она определяет головное слово для длинных единиц японского текста, формулируя задачу как поиск ответа на вопрос. Модель дообучена на базе KoichiYasuoka/deberta-large-japanese-unidic; при обучении использовались тексты 青空文庫 и данные UD_Japanese-GSDLUW. Размер модели — 435,4 млн параметров, контекст — до 512 токенов. Модель принимает текст с контекстом и вопросом, указывающим на слово, для которого нужно найти синтаксическую вершину. Если одно и то же слово встречается несколько раз, в README рекомендуется помечать нужное в контексте токеном [MASK], чтобы убрать неоднозначность. Модель ориентирована на японский язык и задачу dependency parsing; в карточке Hugging Face её pipeline указан как question-answering. Модель распространяется по лицензии CC BY-SA 4.0. Она специализирована на японских длинных единицах и синтаксических зависимостях, поэтому не предназначена для общего ответа на вопросы; контекст ограничен 512 токенами.

DLM-NL2JSON-4B — модель Data Science Lab., Ltd., дообученная на базе Qwen3-4B с объединённым LoRA-адаптером. Она преобразует запросы на корейском языке о государственных и экономических данных в однострочный JSON по фиксированным схемам аналитического сервиса Big Data Wave города Пусан. Модель рассчитана на извлечение параметров анализа населения, потоков населения и потребительских расходов; для работы нужны соответствующие системный промпт и специальный токен категории. Модель имеет плотную архитектуру Qwen3ForCausalLM, около 3,7 млрд параметров и контекст до 40 960 токенов. В тестировании авторов на 2 041 примере точность сопоставления полей составила 94,4% (96,8% с поправкой на отмеченный шум разметки). Выпущена под лицензией Apache-2.0. Применение ограничено заданными схемами и форматами промптов сервиса Пусана: модель не предназначена для произвольного преобразования текста в JSON или для общего диалога. По данным README, наиболее слабый результат показан на категории CPI; шум в обучающих данных также влияет на поле возрастных групп в запросах о потребительских расходах.

LumynaX Doc LayoutLMv3 Base — архивный эксперимент AbteeX AI Labs на базе microsoft/layoutlmv3-base, предназначенный для анализа текста и структуры документов. Согласно карточке, интеграция выполнена через маршрутизацию во время выполнения и не изменяет веса исходной модели. Базовая модель — мультимодальный Transformer для понимания текста, изображений и структуры документов; репозиторий содержит 151,8 млн параметров в форматах PyTorch и Safetensors и использует библиотеку Transformers. Метаданные указывают задачу text-generation, английский язык и контекст до 514 токенов. Модель может служить основой для экспериментов с извлечением и интерпретацией информации из документов, однако README характеризует выпуск как устаревший исследовательский артефакт, который больше не поддерживается и не рекомендуется для промышленного применения. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

Исследовательский чекпойнт whr778 для эксперимента по масштабированию данных и предварительной настройке экстракционных голов GLiNER2 на базе mmBERT. Энкодер jhu-clsp/mmBERT-base и новые головы from_encoder обучались пять эпох примерно на 10 000 многоязычных записей с плотной структурой событий и аргументов. RAMS и WikiEvents исключались из обучающих данных, чтобы избежать утечки в последующую оценку. Модель предназначена как заготовка для дальнейшего дообучения на извлечение событий и связанных аргументов; README приводит RAMS в качестве примера последующей настройки. Это не готовая модель для конкретной задачи или общего применения. Для энкодера указано окно обучения 2048 токенов. Качество ограничено разметкой исходных корпусов; модель не проходила бенчмаркинг как универсальный экстрактор. Лицензия в доступных данных не указана.

noeminaepli разработал модель разметки частей речи для швейцарского немецкого языка. Она классифицирует токены по тегам STTS и предназначена для морфосинтаксического анализа текстов на швейцарском немецком, например для подготовки корпусов и лингвистических исследований. Модель построена на архитектуре BERT и содержит 137,1 млн параметров; максимальная длина контекста — 512 токенов. Для использования доступны веса PyTorch и интерфейс Transformers. Лицензия — CC; конкретный вариант лицензии в предоставленных данных не уточнён.

CeLLaTe-tapt-bioformer16l-tokenizer-adapted_v2 — модель семейства BERT, разработанная Mardiyyah и дообученная на наборе данных Mardiyyah/TAPT_CeLLaTe2.0. Она предназначена для заполнения пропусков в тексте: модель предсказывает скрытые токены по окружающему контексту. Модель содержит 50,8 млн параметров, использует контекст до 1024 токенов и загружается через Transformers в формате Safetensors. В карточке приведены результаты оценки: loss 2,1972, accuracy 0,6595 и perplexity 8,9995. По названию базовой модели и обучающего набора можно предположить биомедицинскую специализацию, но README не описывает целевые сценарии и ограничения подробно. Поддерживаемый язык по метаданным — английский. Модель распространяется по лицензии Apache-2.0.