I.3Извлечение и структурирование данных

MultiTabQA — модель для ответов на вопросы по нескольким таблицам, предложенная Vaishali Pal, Andrew Yates, Evangelos Kanoulas и Maarten de Rijke. Это модель на основе архитектуры TAPEX и BART с 95,2 млн параметров: двунаправленный энкодер обрабатывает вход, а авторегрессионный декодер генерирует ответ в виде таблицы. Модель дообучена на датасете Spider для ответов на вопросы на естественном языке по нескольким таблицам и поддерживает операции UNION, INTERSECT, EXCEPT и JOIN. Модель предназначена для запросов к связанным таблицам, когда ответ требует объединения или сопоставления данных из нескольких источников. Заявленный родной размер контекста — 1024 токена; модель поддерживает английский язык. Веса доступны в форматах PyTorch и Safetensors. Лицензия — MIT. README указывает на работу с несколькими входными таблицами, однако не приводит подробностей о схеме их представления, оценках качества или ограничениях на размер таблиц и число операций. Модель рассчитана на табличные вопросы по сценарию датасета Spider; качество на иных данных карточка не характеризует.

NERGame — дообученная на базе Qwen/Qwen3-4B модель для извлечения упоминаний из пользовательского контента на китайском языке о разных видеоиграх. После LoRA-дообучения веса объединены с базовой моделью; это плотная авторегрессионная языковая модель на 3,7 млрд параметров, доступная в формате BF16 для загрузки через Transformers. Модель принимает текст и формирует JSON со списком семантических фрагментов и порядковым номером каждого точного, регистрозависимого вхождения. Она не определяет типы сущностей или событий и не должна извлекать фрагменты из контекста вне основного текста. В README приведены результаты офлайн-оценки исходного адаптера R27: F1 по совпадению фрагментов составил 76,41% на старом наборе old_dev, 66,08% на наборе seen_dev и 63,98% на unseen_test. Это не результаты полной переоценки объединённого релиза; часть разметки была автоматически получена и не проверена вручную. Охват всех игр, точность на длинных текстах, а также задержка и пропускная способность в целевой среде не подтверждены. Указанное для модели окно контекста — 40 960 токенов, но обучение и заявленные проверки не подтверждают качество извлечения на такой длине. Лицензия — Apache-2.0, унаследованная от базовой модели.

Palmyra 3B — англоязычная авторегрессионная языковая модель от Writer, построенная на архитектуре GPT-2 с декодером и обученная предсказывать следующий токен. Она предварительно обучена на пользовательском наборе данных Writer с целевой функцией причинного языкового моделирования; контекст составляет 2048 токенов. Репозиторий Writer/palmyra-3B предоставляет веса PyTorch и Safetensors и распространяется по лицензии Apache-2.0. Модель предназначена прежде всего для продолжения текста по подсказке. Её можно применять для разбора текста, простой классификации, исправления адресов и распознавания ключевых слов; дополнительный контекст может улучшать результаты. Модель устарела и больше не поддерживается Writer, поэтому разработчик не рекомендует использовать её в производственной среде или критически важных приложениях. Выводы могут быть фактически неверными, а нежелательное или оскорбительное содержание может появляться неожиданно. Результаты следует проверять и при необходимости фильтровать человеком; поддержка неанглийских языков ограничена следовыми данными в обучающем корпусе.

meldynamics разработала экспериментальную модель распознавания рукописных строк в польских метрических книгах XIX века: записях о крещениях, браках и смертях, преимущественно за 1800–1865 годы. Это дообученная методом дистилляции TrOCR-модель с архитектурой VisionEncoderDecoder: ViT-кодировщик и авторегрессионный декодер. Она принимает одно изображение строки за раз — RGB-обрезку, замаскированную по многоугольнику и приведённую к размеру 192×1024, — и выдаёт транскрипцию на польском языке. Модель предназначена для экспериментального распознавания архивных строк и генерации нечётких текстовых кандидатов с привязкой к исходному изображению и возможностью отказаться от ответа. Она не ищет строки на странице, не сегментирует документ, не распределяет текст по ячейкам и не проверяет факты. В оценке измерялось совпадение с автоматически созданными текстами учителя, а не точность относительно человеческой транскрипции; показатели CER составили 0,315 на валидации и 0,385 на тесте. Лицензия репозитория — Apache License 2.0, однако README предупреждает, что коммерческая чистота всей цепочки происхождения базовой модели не подтверждена; права на архивные изображения также не предоставляются.

ixa-ehu/roberta-eus-euscrawl-base-cased — базовая модель RoBERTa для баскского языка, представленная авторами исследования «Does corpus quality really matter for low-resource languages?». Модель содержит 151,7 млн параметров и обучена на корпусе EusCrawl, собранном с баскских сайтов: корпус включает около 12,5 млн документов и 423 млн токенов. Это регистрозависимая модель для заполнения пропусков в тексте (masked language modeling); она принимает текст и предсказывает скрытые в нём токены. Максимальная длина контекста — 514 токенов. Модель предназначена для исследований и создания систем обработки баскского текста. В статье её оценивали на классификации тем, анализе тональности, определении позиции, распознавании именованных сущностей и ответах на вопросы. Репозиторий содержит веса PyTorch. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

RelBERT на базе RoBERTa Large, дообученная разработчиками RelBERT на наборе relbert/semeval2012_relational_similarity. Модель предназначена для извлечения векторных представлений текста, полезных для задач понимания семантических отношений: решения аналогий, классификации лексических отношений и сопоставления отношений. Модель содержит 454,1 млн параметров, использует архитектуру RoBERTa и принимает последовательности длиной до 514 токенов. README приводит результаты на SAT, BATS, U2, U4, Google, BLESS, CogALexV, EVALution, K&H+ и ROOT09. Для использования предлагается библиотека relbert. В метаданных указана лицензия?

StructLM-7B-Mistral — языковая модель TIGER-Lab для задач grounding по структурированным знаниям. Она дообучена на базе Mistral 7B на наборе SKGInstruct-skg-only и предназначена для интерпретации структурированных данных, представленных в линейном текстовом формате: табличных данных, троек знаний и схем графов знаний. Модель использует архитектуру MistralForCausalLM с плотной конфигурацией, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она принимает инструкции и текстовое представление структурированных данных и генерирует текстовый ответ. Для запуска авторы указывают библиотеку Transformers; веса доступны в формате safetensors. Модель ориентирована на английский язык. Модель предназначена прежде всего для исследовательской работы и экспериментов с задачами структурированного grounding; возможное применение включает системы, которым нужно интерпретировать табличные данные или графы знаний. Авторы предупреждают, что качество в этой сложной области может быть недостаточным для непосредственного использования в чат-ботах и других приложениях. Лицензия — MIT.

Reza2kn/surya-ocr-2-persian-handwriting-369k — полно-параметрическая донастройка Surya OCR 2, разработанная Reza2kn на 369 тысячах страниц персидского рукописного текста. Это мультимодальная модель семейства Qwen3.5, принимающая изображение документа и выдающая его текстовую транскрипцию в порядке чтения. В README описаны обучение в течение одной эпохи и диагностические проверки на персидских рукописях и печатном тексте. На 69 страницах из обучающего набора модель снизила WER с 149,28% у исходной Surya OCR 2 до 2,89%, однако это измерение на данных обучения, а не оценка обобщения. Проверка на отдельной выборке печатного персидского текста показала существенное ухудшение: WER вырос до 168,39%. На наборе рукописных слов точное распознавание улучшилось, но выросло число многословных галлюцинаций, а суммарные WER и CER ухудшились. Модель распространяется по лицензии OpenRAIL; перед использованием стоит проверить её на целевых документах.

Модель Daniil-Domino/trocr-base-ru-dialectic — дообученная версия TrOCR для распознавания рукописных русских диалектологических текстов на карточках. Она построена на архитектуре VisionEncoderDecoderModel и предназначена для преобразования изображений рукописей в текст, в том числе записей со специальными знаками вроде ударений и апострофов. Модель обучали на почти 2456 изображениях диалектологических текстов, собранных в ходе экспедиций по деревням Архангельской области. По данным карточки, обучение длилось 10 эпох; на валидационной выборке CER составил 6,81%, WER — 27,20%, точность — 73,74%. Репозиторий содержит веса в формате safetensors. Модель подходит для оцифровки и последующей обработки рукописных карточек с диалектными записями. Её результаты могут требовать ручной проверки, особенно в случаях редкой лексики, специальных символов и почерков, отличающихся от обучающих данных. Лицензия — Apache-2.0.

Карточка модели demdecuong/vihealthbert-base-word на Hugging Face совпадает с карточкой demdecuong/vihealthbert-base-syllable, поэтому описание составлено по ней. ViHealthBERT Base Syllable — вьетнамская языковая модель для анализа медицинских текстов, разработанная Minh Phuc Nguyen, Vu Hoang Tran, Vu Hoang, Ta Duc Huy, Trung H. Bui и Steven Q. H. Truong. Это плотная модель архитектуры RoBERTa, представленная в PyTorch; метаданные указывают 162,4 млн параметров и контекст до 258 токенов. Вариант syllable использует слоговую токенизацию. Модель предназначена для извлечения признаков из вьетнамских медицинских текстов и служит базой для прикладных задач: распознавания именованных сущностей, устранения неоднозначности медицинских аббревиатур и суммаризации FAQ. README сообщает о сильных результатах на наборах COVID-19, ViMQ и acrDrAid. Для обработки текста авторы рекомендуют предварительную сегментацию слов инструментом RDRSegmenter из VnCoreNLP. Карточка не указывает лицензию. Для воспроизведения рекомендуемого препроцессинга требуется VnCoreNLP; результаты модели зависят от корректной сегментации и настройки под конкретную задачу. Модель представлена как исследовательский baseline для вьетнамского здравоохранения.

A2R-30B-A3B — дообученная мультимодальная модель PleasedPenguin на базе Qwen/Qwen3-Omni-30B-A3B-Instruct. Она отвечает на вопросы о говорящих в аудиозаписи, определяя, кто произносит реплики, а не только распознавая сказанное. Модель обучена методом GRPO на CASH-60K и предназначена для задач атрибуции говорящих и анализа многоголосых аудиозаписей. Модель использует архитектуру Qwen3 Omni MoE и загружается как объединённый чекпойнт через Transformers без отдельного шага подключения адаптера. Входная модальность — аудио, результат — текст; карточка указывает английский язык. Репозиторий распространяется под лицензией Apache 2.0. В README формат структурированного блока ответа описан частично, поэтому для разбора результата следует учитывать указанное в карточке требование анализировать последний блок.

CamemBERT-bio — французская биомедицинская языковая модель, разработанная Рианом Тушантом и Эриком Вильмонтом де ла Клергери. Это модель семейства CamemBERT с архитектурой CamembertForMaskedLM, полученная продолжением предобучения camembert-base на французском биомедицинском корпусе объёмом 413 млн слов: научных публикациях, инструкциях к лекарствам и клинических случаях. Модель содержит 137,8 млн параметров, принимает текст и поддерживает контекст до 514 токенов. Она предназначена для работы с французскими биомедицинскими текстами и может использоваться для заполнения пропусков в тексте. README также сообщает об улучшении среднего F1 на 2,54 пункта относительно camembert-base в пяти задачах распознавания биомедицинских именованных сущностей; для прикладного NER модель потребуется дообучить на соответствующей задаче. Доступна по лицензии MIT.

Koichi Yasuoka представляет CamemBERT-модель, предварительно обученную на тайских текстах и производную от PhayaThaiBERT с уточнённым токенизатором. Это плотная модель архитектуры CamemBERT с 304,7 млн параметров, предназначенная для задачи заполнения маски и дообучения для последующей обработки тайского текста. Модель может предсказывать замаскированные токены, а после дообучения — применяться, например, для разметки частей речи и синтаксического анализа зависимостей. Она принимает текстовые последовательности длиной до 512 токенов и выдаёт текстовые предсказания. Распространяется по лицензии Apache-2.0.

CoLLaVO — мультимодальная модель языка и зрения, представленная в работе «CoLLaVO: Crayon Large Language and Vision mOdel». Репозиторий содержит веса модели; архитектура основана на InternLM и имеет 7,4 млрд параметров. Для работы с изображениями модель принимает изображение и инструкцию, затем генерирует текстовый ответ. Указанный размер контекста — 32 768 токенов. Модель предназначена для сценариев, где нужно задавать вопросы об изображениях и получать ответы на естественном языке. Для запуска автор README отсылает к коду CoLLaVO на GitHub и описывает загрузку изображения, подготовку инструкции, предобработку, генерацию и декодирование. Лицензия — MIT. В карточке нет сведений о поддерживаемых языках или сравнительных оценках качества.

lizhuang144/flan-t5-large-VG-factual-sg — модель семейства T5, разработанная на основе Flan-T5 Large. Она предварительно обучена на наборе данных Visual Genome для сценовых графов, а затем дообучена на FACTUAL для разбора изображений в сценовые графы. Модель предназначена для преобразования текстового представления сцены в структурированное описание объектов и их отношений. В репозитории указаны веса PyTorch и safetensors; размер модели составляет около 385,2 млн параметров, контекст — до 512 токенов. Карточка не сообщает лицензию и подробно не описывает формат входных данных или ограничения качества. Для визуального разбора потребуется соответствующее представление сцены, однако детали его получения не приведены.

microsoft/git-base-textvqa — базовая версия модели GIT (GenerativeImage2Text), дообученная Microsoft на наборе TextVQA для ответов на вопросы по изображениям. Это декодер Transformer, который объединяет визуальные токены изображения, полученные CLIP, с текстовыми токенами и генерирует ответ по одному токену. Размер модели — 80,1 млн параметров; метаданные указывают контекст 1024 токена и форматы PyTorch и safetensors. Модель принимает изображение и текстовый вопрос, а на выходе формирует текстовый ответ на английском языке. Она предназначена прежде всего для визуальных вопросов, включая вопросы, требующие чтения текста на изображении; архитектуру GIT также можно применять для описания изображений и видео и текстовой классификации изображений. Чекпойнт обучался на 10 млн пар изображение–текст и затем дообучался на TextVQA. Модель разработана Microsoft и распространяется по лицензии MIT. Карточка не приводит результатов оценки, поэтому качество на конкретных данных следует проверять отдельно; описание фокусируется на ответах по изображениям, и перенос на другие задачи не гарантирован.

GreenTruth Claim Detector — англоязычный бинарный классификатор предложений, разработанный как текстовый этап системы GreenTruth для анализа экологических заявлений. Он помогает находить проверяемые заявления в корпоративных раскрытиях перед последующей проверкой по данным наблюдений Земли; классификация не оценивает истинность заявления и не определяет, вводит ли компания в заблуждение. Модель основана на RoBERTa, дообученной на ClimateBERT DistilRoBERTa для экологических текстов. Она содержит 95,4 млн параметров, принимает текст и выдаёт метку класса; максимальная длина на обучении составляла 256 токенов, а контекст модели — 514 токенов. Обучение проводилось три эпохи на наборе environmental_claims. Для сопоставимых моделей статья сообщает macro-F1 около 85%, но это не отдельная оценка данного чекпойнта. Модель предназначена для английских текстов публичной отчётности компаний. Возможен сдвиг качества на других типах текстов и в других областях; результат следует использовать для отбора заявлений на проверку, а не как вывод об их достоверности или намерениях компании. Лицензия CC BY-NC-SA 4.0 разрешает использование на условиях некоммерческого распространения с сохранением лицензии.

Guwen NER — модель распознавания именованных сущностей в классическом китайском языке. Карточка описывает её как NER-модель; метаданные указывают архитектуру RoBERTa для классификации токенов, 131,1 млн параметров и контекст до 514 токенов. Модель принимает китайский текст и присваивает метки его токенам, чтобы выделять именованные сущности в исторических и литературных текстах. Для более точного декодирования автор рекомендует вариант с CRF и отмечает проблемы декодирования стандартной модели классификации последовательностей; связанный код приведён в проекте Guwen Models. Модель распространяется по лицензии Apache-2.0.

LSG16K-Italian-Legal-BERT — версия итальянской модели ITALIAN-LEGAL-BERT, преобразованная с помощью LSG-конвертера: полное внимание в энкодере заменено механизмом Local-Sparse-Global. Модель содержит 137,9 млн параметров и рассчитана на последовательности длиной до 16 384 токенов; используются 7 глобальных токенов, локальные и разреженные блоки размером 128 токенов, а разреженные токены выбираются по норме. Опубликована dlicari и предназначена для языковой обработки итальянских юридических текстов. Основной сценарий — заполнение пропусков в тексте с помощью masked language modeling. Архитектура BERT также поддерживает задачи классификации текста и токенов, ответы на вопросы и multiple choice, однако карточка не описывает отдельную специализацию или качество для этих сценариев. Модель принимает текст и выдаёт текстовые предсказания. Лицензия — AFL-3.0.

Koichi Yasuoka подготовил компактную модель ModernBERT, предварительно обученную на японской Википедии и текстах библиотеки 青空文庫. Это плотный трансформер с архитектурой ModernBertForMaskedLM, содержащий 19,6 млн параметров и поддерживающий контекст до 8192 токенов. Модель предназначена для заполнения пропусков в тексте и как основа для дообучения под задачи обработки японского языка, например разметку частей речи и синтаксический анализ зависимостей. Модель принимает текст и предсказывает замаскированные фрагменты; её можно загрузить через Transformers как AutoModelForMaskedLM. Веса опубликованы в формате PyTorch. Лицензия Apache-2.0 разрешает использование и модификацию в соответствии с её условиями.

Indus — энкодерная трансформерная модель на базе RoBERTa, разработанная IBM Research совместно с NASA Science Mission Directorate (SMD) для научных текстов. Репозиторий nasa-impact/nasa-smd-ibm-v0.1 содержит версию с 151,8 млн параметров по метаданным Hugging Face; в README указано 125 млн, поэтому размер версии описан неодинаково. Модель использует masked language modeling и поддерживает заполнение пропусков в тексте; карточка также указывает сценарии информационного поиска, распознавания именованных сущностей и извлечения ответов на вопросы. Модель предназначена для поиска и анализа публикаций в областях науки о Земле, климата, биологии и других тем NASA SMD. Обучающие данные включают англоязычную Википедию, научные публикации AGU и AMS, материалы Astrophysics Data System, а также аннотации и статьи PubMed и PubMed Central. Архитектура RoBERTa, библиотека Transformers, контекст до 514 токенов; основной язык — английский. Карточка называет модель экспериментальной и приглашает сообщество оценивать её возможности. Лицензия репозитория — Apache-2.0. Это энкодерная модель: карточка не описывает генерацию свободного текста, а заявленные поисковые и извлекательные сценарии требуют подходящего прикладного конвейера.

OpenMed/OpenMed-ZeroShot-NER-Genome-Small-166M — модель OpenMed для распознавания упоминаний генов и белков в биомедицинских текстах. Она построена на архитектуре GLiNER и дообучена на корпусе BC2GM, содержащем аннотированные упоминания генов и белков в научных текстах. По карточке модели, размер составляет 166 млн параметров; формат весов — PyTorch. Модель принимает текст и возвращает найденные сущности с метками. Основные сценарии — извлечение генов и белков из научной литературы, геномная курация и поиск связей между генами, вариантами и заболеваниями. Архитектура GLiNER позволяет задавать типы сущностей при запросе, однако карточка описывает обучение на BC2GM и сообщает F1 0,71 для тестового набора; универсальное распознавание произвольных типов сущностей этими данными не подтверждено. Поддерживаемый язык по метаданным — английский. Лицензия Apache-2.0.

OpenMed-ZeroShot-NER-Protein-Small-166M — специализированная модель OpenMed для извлечения белковых сущностей из биомедицинских текстов. Она построена на архитектуре GLiNER и дообучена на корпусе FSU, посвящённом белкам, белковым взаимодействиям и молекулярной биологии. Размер модели по названию — 166 млн параметров; формат файлов — PyTorch. Модель выполняет распознавание именованных сущностей с нулевым обучением: пользователь задаёт типы сущностей, например белки, белковые комплексы, семейства и варианты, и получает их метки и фрагменты в тексте. Она предназначена для извлечения белковых сущностей из научной литературы и поддержки анализа взаимодействий белок–белок, сигнальных путей и системной биологии. В README приведён F1 0,75 на тестовых данных FSU; для редких или пользовательских типов сущностей предлагается экспериментировать с порогом обнаружения. Модель принимает текст и выдаёт размеченные сущности. В карточке заявлена поддержка английского языка. Распространяется по лицензии Apache-2.0. Показатель на FSU не гарантирует такую же точность на других корпусах и типах текста; обнаружение произвольных типов сущностей может требовать настройки порога.

Модель enesyila/ota-roberta-base-kadisicilleri разработана Enes Yılandiloğlu и дообучена на основе FacebookAI/xlm-roberta-base для заполнения пропусков в османско-турецких текстах. Она ориентирована на судебные и административные документы kadı sicilleri: обучающая выборка включает записи из Стамбула и Диярбакыра XVI–XX веков. Модель принимает текст с маскированными словами и предсказывает подходящие варианты; указанный размер — 305,2 млн параметров, длина контекста — 514 токенов. Модель подходит для восстановления и дополнения предложений, а также как основа для последующих задач разметки именованных сущностей, UD-аннотации, перевода и классификации. Эти downstream-задачи описаны в карточке как возможные направления применения, но основная задача модели — fill-mask. Транслитерация обучающих данных не соответствует системе IJMES: для лучшей совместимости рекомендуется использовать исходный формат написания, включая символы â, î, ô и û. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

pi-r2 — модель обнаружения объектов на газетных страницах времён Первой мировой войны. Разработчик дообучил DETR с backbone ResNet-50, шестью слоями энкодера и декодера и 100 запросами объектов на наборе biglam/loc_beyond_words. Модель выделяет на изображениях фотографии, иллюстрации, карты, комиксы и карикатуры, заголовки и рекламу. Модель предназначена для анализа исторических газетных страниц, в частности сканов коллекции Chronicling America Библиотеки Конгресса США за 1910–1920 годы. Изображения при обработке масштабируются так, чтобы длинная сторона не превышала 1200 пикселей. Репозиторий распространяется по лицензии Apache-2.0. Проверка на 32 изображениях валидационной выборки показала крайне низкие значения mAP, поэтому качество обнаружения по приведённой оценке ограничено. Данные несбалансированы: заголовки и реклама встречаются чаще редких классов; на плотных страницах среди максимум 100 рамок некоторые объекты могут быть пропущены. На современных документах и страницах вне обучающего домена точность может снижаться.

Policy-DistilBERT-7d — модель классификации предложений, разработанная Moritz Laurer. Она относит английский текст к одной из семи политических категорий: экономика, внешние отношения, общественные ценности, свобода и демократия, политическая система, благосостояние и качество жизни, социальные группы. Модель построена на DistilBERT и дообучена на 129 669 вручную размеченных предложениях из партийных манифестов на английском языке. Данные охватывают 164 манифеста 55 партий из восьми англоязычных стран, опубликованных в 1992–2019 годах. Максимальная длина контекста — 512 токенов. Модель подходит для тематической разметки политических манифестов и анализа политических приоритетов. На тестовой выборке указаны сбалансированная точность 0,745 и взвешенная F1-мера 0,773. Качество может снижаться на других жанрах, странах и периодах; результаты также наследуют ограничения категорий и возможные смещения разметки Manifesto Project. Условия лицензии в предоставленных данных не описаны.

syssec-utd/py39-pylingual-v1-segmenter — модель RoBERTa для классификации токенов, дообученная командой syssec-utd на базе syssec-utd/py39-pylingual-v1-mlm на датасете segmentation-py39-pylingual-v1-tokenized. Она предназначена для сегментации последовательностей py39-pylingual-v1 с присвоением меток токенам. В README приведены результаты оценки: F1 0,9869, точность 0,9912, полнота 0,9828 и accuracy 0,9952. Модель содержит 136,3 млн параметров, использует библиотеку Transformers и формат safetensors; максимальная длина контекста — 514 токенов. Лицензия и подробности разметки в доступной карточке не приведены.

Automated Motive Coder — модель классификации текста, разработанная на базе SetFit и дообученной intfloat/multilingual-e5-large. Она использует XLM-RoBERTa для построения текстовых представлений и классификатор OneVsRestClassifier с оценивателями SGDClassifier. Модель обучена методом few-shot learning: сначала контрастивно дообучается Sentence Transformer, затем на его признаках обучается классификационная голова. Модель относит рассказы PSE к четырём классам: достижение (ach), аффилиация (aff), власть (pow) и отсутствие этих мотивов (null). Она предназначена для автоматической разметки таких рассказов и анализа мотивов в текстовых данных. Поддерживает многоязычные входные тексты; максимальная длина последовательности — 512 токенов, размер модели — 658,7 млн параметров. Лицензия — MIT.

slm-125m-legal-dpo-v2 — языковая модель на 125,8 млн параметров, разработанная AbhishekAI. Это дообученная методом Direct Preference Optimization версия slm-125m-legal-sft-v2 на базе архитектуры Llama; модель предназначена для ответов на вопросы по предоставленным юридическим и финансовым отрывкам и для использования в retrieval-augmented generation (RAG). Она принимает текстовый запрос вместе с контекстом в формате чата и генерирует текстовый ответ. Контекст модели — 1024 токена, формат весов — safetensors. В описанной авторами оценке на 300 отложенных запросах DPO-версия улучшила среднюю оценку по сравнению со своей SFT-базой, особенно по критерию опоры на контекст. Это небольшой чекпойнт для демонстрации метода, а не надёжная экспертная система: без переданного отрывка модель может выдумывать сведения, цитаты и судебные решения, ошибаться в арифметике и иногда повторять фрагменты текста. Авторы также отмечают низкую абсолютную оценку и ограниченность оценки одним судьёй и одним набором запросов. Лицензия — Apache-2.0; модель не предназначена для юридических или финансовых консультаций.

Stanford de-identifier — модель Stanford AIMI для автоматического удаления персональных идентификаторов из радиологических и биомедицинских документов. Она предназначена для распознавания чувствительных фрагментов текста и их разметки по токенам, чтобы подготовить медицинские записи к обезличиванию. Модель построена на архитектуре BERT, содержит 136,7 млн параметров и принимает контекст длиной до 512 токенов. Она обучена на радиологических и биомедицинских документах; карточка называет эти веса рекомендуемыми среди доступных вариантов и указывает на целевую пригодность для производственного применения. Поддерживается английский язык. Модель распространяется под лицензией MIT. Карточка не приводит численных оценок качества или подробностей о схеме разметки, поэтому перед использованием в клинических или иных чувствительных процессах следует оценить полноту обнаружения идентификаторов на целевых данных.