I.3Извлечение и структурирование данных

ColQwen3.5-4.5B-v3 — модель визуального поиска по документам, разработанная автором репозитория athrael-soju на основе Qwen3.5-4B. Она кодирует изображения страниц и текстовые запросы в многовекторные представления и сопоставляет их с помощью позднего взаимодействия в стиле ColBERT; предназначена для построения поисковых систем по PDF и другим документам с графиками, таблицами и сложной вёрсткой. Модель содержит около 4,5 млрд параметров, использует архитектуру ColQwen3_5 и обученную проекционную голову размерности 320, веса представлены в BF16. В README заявлена поддержка пяти языков: английского, французского, немецкого, испанского и китайского. Обучение включало примерно 776 тысяч пар из наборов для визуального поиска по документам, в том числе финансовых документов и таблиц. Для запуска требуются transformers версии 5.2.0 или новее; при переходе со старой версии необходимо заново кодировать документы, поскольку представления отличаются. По результатам, приведённым в карточке, модель входила в число сильных моделей класса 4B на ViDoRe, но уступала более крупным моделям и некоторым сопоставимым решениям на части бенчмарков; особенно слабой областью названы задачи V2 по ESG и экономике. Репозиторий распространяется по лицензии Apache-2.0.

DeepSeek-VL-1.3b-chat — компактная модель для совместной обработки изображений и текста, разработанная командой DeepSeek. Это версия с инструкционной настройкой семейства DeepSeek-VL: визуальный энкодер SigLIP-L принимает изображения размером 384 × 384, а языковая часть основана на DeepSeek-LLM-1.3B. Базовая модель DeepSeek-VL обучалась на данных для зрения и языка; чат-версия предназначена для диалога по визуальному содержимому. Модель подходит для описания изображений и ответов на вопросы о них, а также для анализа логических схем, веб-страниц, формул и научных материалов. Она ориентирована на прикладные сценарии понимания визуальной информации, включая сложные сцены и задачи embodied intelligence. Архитектура — плотная мультимодальная причинная языковая модель; формат весов в репозитории — safetensors. Вход включает изображения и текст, выход — текст. В README не заявлен конкретный набор поддерживаемых естественных языков. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией и сопутствующими материалами репозитория перед внедрением.

BUT-FIT публикует предварительно обученную модель DiariZen для обнаружения речевой активности и диаризации говорящих в аудио. Компонент EEND построен на WavLM Large и слоях Conformer; модель обучалась на одноканальных записях с дальних микрофонов из набора публичных датасетов, включая AMI, AISHELL-4, AliMeeting, NOTSOFAR-1, MSDWild, DIHARD3, RAMC и VoxConverse. К модели применено структурное прореживание с разреженностью 80%: число параметров WavLM Large уменьшено с 316,6 млн до 63,3 млн, а вычислительная стоимость — с 17,8 до 3,8 млрд MAC на секунду. Модель рассчитана на записи, где одновременно перекрываются не более трёх говорящих; для случаев с четырьмя перекрывающимися голосами авторы рекомендуют новую версию репозитория. В README приведены результаты на AMI, AISHELL-4 и AliMeeting, где DiariZen показывает меньшие значения метрики, чем Pyannote v3.1. Лицензия CC BY-NC 4.0 разрешает использование на некоммерческих условиях.

tusbaki/distilbert-base-uncased-finetuned-squad — модель DistilBERT, дообученная на наборе SQuAD для поиска ответов на вопросы по предоставленному тексту. Она принимает вопрос и контекст и предсказывает ответный фрагмент; модель предназначена для извлечения ответов, а не для свободной генерации текста. Максимальная длина контекста составляет 512 токенов. Опубликованные веса представлены в формате PyTorch. Модель основана на distilbert-base-uncased и выпущена по лицензии Apache-2.0. README приводит значение loss 1.1966 на оценочном наборе, но не содержит подробностей о методике оценки и ограничениях. Обучение на SQuAD не подтверждает поддержку русского языка; модель рассчитана на англоязычные вопросы и контексты.

cmarkea представила DistilCamemBERT-QA — франкоязычную модель CamemBERT, дообученную для поиска ответа на вопрос в предоставленном тексте. Она обучена на наборах FQuAD v1.0 и Piaf и принимает вопрос вместе с контекстом, после чего выделяет в нём фрагмент с ответом. Модель содержит 81,2 млн параметров; для инференса доступны форматы PyTorch, TensorFlow и ONNX. Родительская модель — cmarkea/distilcamembert-base, а заявленная длина контекста — 514 токенов. Модель предназначена для франкоязычных систем вопросов и ответов, включая извлечение сведений из документов. Авторы сообщают примерно о двукратном сокращении времени инференса по сравнению с CamemBERT-вариантом на использованной ими конфигурации, но их оценка также показывает более низкие результаты exact match и F1. Лицензия CC BY-NC-SA 3.0 требует атрибуции и ограничивает коммерческое использование; производные материалы должны распространяться на тех же условиях.

ssmits/Falcon2-8B-Norwegian — текстовая авторегрессионная модель семейства Falcon, созданная слиянием предобученных языковых моделей через mergekit. В README среди объединённых моделей указана ssmits/Falcon2-5.5B-Norwegian; метаданные также связывают модель с этой базовой моделью. Модель предназначена для генерации текста и диалогового использования; каталог также указывает поддержку ответов на вопросы, классификации текста и разметки сущностей. В метаданных указаны 11,8 млрд параметров, контекст до 8192 токенов, архитектура FalconForCausalLM и формат safetensors. Название и базовая модель указывают на ориентацию на норвежский язык. Лицензия в доступных данных не приведена.

Модель eraldoluis/faquad-bert-base-portuguese-cased — BERTimbau Base, дообученная разработчиком на наборе FaQuAD для извлечения ответов на вопросы из текста. Она принимает вопрос и контекст на португальском языке и предсказывает фрагмент контекста в качестве ответа. Модель построена на архитектуре BERT и содержит 136,1 млн параметров; максимальная длина контекста составляет 512 токенов. Использовать её можно для поиска ответов в португалоязычных документах и текстах. Лицензия — Apache 2.0.

ljnlonoljpiljm/florence-2-base-nsfw-v2-mlx — версия Florence-2 Base, преобразованная в формат MLX из ljnlonoljpiljm/florence-2-base-nsfw-v2 с помощью mlx-vlm 0.1.13. Это плотная модель семейства Florence-2 с архитектурой Florence2ForConditionalGeneration. Она принимает изображения и текстовые запросы и предназначена для задач компьютерного зрения с генерацией текстового ответа; каталог также относит её к генерации текста. В README указано использование через mlx-vlm. В метаданных формат файлов обозначен как safetensors. Точные размер модели, контекст и поддерживаемые языки в предоставленных источниках не описаны. Метка not-for-all-audiences указывает на ограничение по аудитории, однако README не раскрывает характер такого контента. Лицензия в предоставленных данных не указана.

Gemma 3 270M Bhaskar Finetune — компактная текстовая модель на архитектуре Gemma 3, разработанная nagbhaskar55 путём полного дообучения Google Gemma 3 270M IT. Она предназначена для ответов на вопросы, опирающихся на переданный в запросе фрагмент текста, а также для суммаризации, извлечения сведений и переформулирования в юридическом и финансовом контекстах. Модель содержит 257 млн параметров, принимает текст и поддерживает контекст длиной до 32 768 токенов. Обучение проведено на 7 960 синтетических инструкционных примерах из материалов судебных дел США, документов SEC и образовательных текстов; в наборе есть ответы на вопросы по контексту, извлечение, суммаризация и переписывание. Карточка приводит снижение метрики bits per character относительно другой модели, дообученной на тех же данных, но эти результаты не гарантируют точность в реальном применении. Модель может выдавать фактически неверные числа и имена и упускать части составных вопросов. Она читает предоставленный фрагмент, но не является самостоятельной базой знаний; её ответы не заменяют юридическую или финансовую консультацию. Лицензия — Gemma Terms of Use с ограничениями на использование, которые необходимо передавать последующим пользователям.

historical_newspaper_ner — дообученная модель RoBERTa-large от Dell Research и Harvard для распознавания именованных сущностей в тексте исторических газет, включая текст с ошибками OCR. Она размечает людей (PER), организации (ORG), места (LOC) и прочие сущности (MISC); предназначена для запуска через Transformers pipeline для NER. Модель принимает текст и выдаёт метки для отдельных токенов. Она обучена на исторических англоязычных новостях из американских газет; длина контекста составляет 514 токенов, число параметров — около 454,1 млн. На тестовых данных общий F1 составил 86,5 при строгой оценке. Модель подходит для извлечения именованных сущностей из оцифрованной исторической прессы и подготовки новостных корпусов к дальнейшему анализу. Она может отражать предубеждения своего исторического периода, перенос на другие типы текстов может быть ограничен, а выход иногда требует постобработки из-за разметки отдельных частей слов. Лицензия — CC BY 2.0.

HPLT Bert for Japanese — одноязычная модель-кодировщик проекта HPLT, обученная на японских текстах из набора HPLT 1.2. Это masked language model на архитектуре LTG-BERT, модификации классического BERT. Модель содержит 12 слоёв, 12 attention heads, размер скрытого представления 768 и словарь из 32 768 токенов; для японского языка используется отдельный токенизатор. Контекстное окно составляет 512 токенов. Модель предназначена прежде всего для заполнения пропусков в тексте и может служить основой для задач классификации текста и токенов, ответов на вопросы и multiple choice. Это первая версия одноязычных энкодеров HPLT, выпущенная вместе с моделями для других крупных языков. Репозиторий распространяется под лицензией Apache-2.0. Для загрузки требуется пользовательская обёртка из modeling_ltgbert.py и параметр trust_remote_code=True.

InternVL3.5-38B-Flash — мультимодальная чат-модель OpenGVLab, созданная на основе InternVL3.5-38B. Это плотная архитектура InternVLChatModel с обработкой изображений и текста; репозиторий использует Transformers и формат safetensors. Модель дообучена на наборах OpenGVLab/MMPR-v1.2 и OpenGVLab/MMPR-Tiny и распространяется по лицензии Apache-2.0. Модель предназначена для диалогов с изображениями и текстом, визуальных вопросов и рассуждений по изображениям, включая задачи понимания диаграмм, документов и визуальных сцен. Семейство InternVL3.5 также заявляет поддержку взаимодействия с графическим интерфейсом и воплощённых агентов; README описывает динамическое распределение разрешения визуальных токенов и раздельное развёртывание зрительной и языковой частей для повышения эффективности. Для запуска 38-миллиардной версии README указывает необходимость двух GPU A100; эти аппаратные требования могут ограничивать локальное развёртывание.

islamassanov/Kimi-K3-Mixed-IQ2-GGUF — мультимодальная GGUF-квантизация базовой модели MoonshotAI/Kimi-K3, подготовленная пользователем islamassanov для запуска через llama.cpp. Модель предназначена для текстовых и визуально-текстовых задач, включая работу с изображениями и OCR. Для текстового режима vision projector можно не подключать. В основе лежит MoE-модель размером 2,8 трлн параметров с 896 маршрутизируемыми экспертами, из которых 16 активируются на каждом токене. Текстовые веса занимают около 793 GiB и распределены по 10 GGUF-файлам; экспертные матрицы используют смешанную квантизацию IQ2_XXS и IQ2_XS, а vision projector сохранён в BF16 и занимает около 862 MiB. Базовая архитектура поддерживает контекст до 1 млн токенов, однако фактически доступный размер контекста зависит от объёма памяти. По данным README, модель набрала 871/1000 на OCRBench, что составляет 97,9% от опубликованного результата базовой модели MoonshotAI. Ключевое преимущество — улучшенная точность восстановления весов при том же размере по сравнению со стандартным IQ2_XXS, но это не гарантирует прироста качества ответов. Главные ограничения — чрезвычайно высокие требования к дисковому пространству и памяти, а также необходимость использовать все 10 текстовых шардов. Распространение и использование регулируются лицензией Kimi K3; тип лицензии указан как other.

LFM2.5-Encoder-350M-PII-Detector — дообученная Liquid AI модель для обнаружения и классификации персональных данных в тексте. Она основана на двунаправленном энкодере LFM2.5-Encoder-350M с головой token classification и распознаёт 40 типов персональных данных в 16 языках, включая имена, идентификаторы, контактные и финансовые сведения. Модель предназначена для поиска чувствительных фрагментов в документах и их последующего удаления или маскирования, а также для других задач защиты конфиденциальности. В карточке приведены результаты сравнительных тестов на нескольких наборах данных; качество зависит от набора и принятой схемы разметки. Архитектура относится к семейству LFM2, число параметров по метаданным — 444,6 млн, длина контекста — до 128 000 токенов. Для загрузки требуется Transformers; README предупреждает, что загрузка использует пользовательский код через trust_remote_code=True. Модель принимает текст и выдаёт разметку токенов с типами сущностей. Лицензия указана как other, без уточнения условий в доступных данных; перед использованием следует проверить лицензионные условия репозитория.

Lfm2-MaleCNS-Titans-VL-3B-V2-PT — экспериментальная мультимодальная модель на базе LiquidAI/LFM2.5-VL-3B, дообученная автором карточки с MaleCNS-Titans и сохранением VAE-латентных представлений. Она принимает изображения и текст, сохраняя исходные языковую модель, визуальный модуль и проектор; дополнительные механизмы памяти подключены к визуальному входу и нескольким языковым слоям. Модель предназначена для визуальных запросов и задач, где нужно сохранять информацию между фрагментами или сессиями; README также описывает обновление памяти по наблюдениям и загрузку сохранённых данных из архива. Версия PT включает объединённые LoRA-веса и 536 обновлений в рамках двухчасового обучения; автор сообщает о последующих SFT-весах, сохранённых отдельно. Исходная длина контекста оставлена без изменений, а межфрагментная память управляется вызывающей программой и сессией. README указывает на обучение на материалах на традиционном китайском, отдельных математических и визуальных данных; метаданные также отмечают английский язык. Лицензия обозначена как other, конкретные условия следует смотреть в документах репозитория. Точность извлечения новой информации требует проверки на целевых задачах.

Это версия Llama 3.2 11B Vision Instruct, подготовленная Unsloth для дообучения и использования через библиотеку Transformers. В основе лежит мультимодальная авторегрессионная модель Meta с архитектурой mllama и плотной сетью на 11 млрд параметров; она принимает текст и изображения и генерирует текст в диалоговом режиме. Модель подходит для диалога по изображениям, ответов на вопросы о визуальном содержимом и описания изображений. Карточка Unsloth ориентирована на дообучение: она содержит ноутбук для Llama 3.2 Vision и описывает ускорение обучения и снижение расхода памяти. Метаданные указывают английский язык; в карточке базовой модели перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель распространяется по лицензии Llama 3.2 Community License, условия которой следует соблюдать при применении. Это статический чекпойнт; качество ответов может зависеть от изображения и формулировки запроса.

Это модель Longformer-base-4096, дообученная mrm8488 на наборе SQuAD v2 для ответов на вопросы по переданному тексту. Она предназначена для извлечения ответа из контекста и умеет возвращать пустой ответ, когда в контексте нет ответа на вопрос. Модель построена на архитектуре Longformer — варианте Transformer с локальным скользящим вниманием и настраиваемым глобальным вниманием. Она поддерживает последовательности длиной до 4098 токенов и содержит около 151,8 млн параметров. Базовый Longformer был инициализирован из RoBERTa и предварительно обучен на длинных документах; доступны веса PyTorch и TensorFlow. Основной язык карточки и набора SQuAD v2 — английский. Модель подходит для вопросов по длинным англоязычным документам, если нужный ответ содержится в предоставленном контексте. Она обучена на SQuAD v2, поэтому её качество на других типах текста и предметных областях может отличаться; это модель извлечения ответа, а не универсальный генератор ответов. Лицензия в предоставленных данных не указана.

Marlin — мультимодальная видеомодель на 2 млрд параметров, разработанная NemoStation на основе дообучения Qwen3.5-2B. Она предназначена для анализа видео: создаёт структурированные описания сцен и отдельных событий с временными отметками, а также находит в ролике временные интервалы, соответствующие запросу на естественном языке. Модель использует видеовозможности визуальной башни Qwen3.5-2B и обучена в два этапа: на размеченных видео и затем с оптимизацией предпочтений SimPO. По данным карточки, Marlin показывает высокие результаты на бенчмарках плотного описания видео и временной локализации. Для работы доступны режимы caption и find, а также стандартный интерфейс Transformers; заявлена совместимость с vLLM и swift-deploy и возможность запуска на одной потребительской видеокарте. Для загрузки требуется Transformers версии 5.7.0 или новее, PyTorch 2.11.0 или новее и зависимости для декодирования видео. Карточка указывает лицензию Apache-2.0. Возможность рассуждения по частям видео ограничена и не входит напрямую в методы caption и find; использование пользовательского кода модели требует включения trust_remote_code.

GroNLP разработала эту модель на основе mDeBERTa V3 для определения субъективности предложений в газетных статьях. Она классифицирует предложение как объективное (OBJ) или субъективное (SUBJ), то есть основанное на личных чувствах, вкусах или мнениях. Модель создана для задачи CheckThat! Lab 2023 по анализу новостных статей и заняла третье место в соревновании. Модель использует архитектуру DeBERTa V2 для классификации последовательностей, содержит 305,3 млн параметров и принимает текст длиной до 512 токенов. Для обучения применялись многоязычные данные, а для разработки — английские; карточка указывает английский как язык модели. В соревновании модель достигла macro F1 0,77 и F1 0,79 для класса субъективных предложений. Лицензия в предоставленных данных не указана.

badokorach/mobilebert-uncased-finetuned-agic-181223 — англоязычная модель MobileBERT, дообученная на основе csarron/mobilebert-uncased-squad-v2. Она предназначена для извлечения ответов на вопросы из предоставленного текста и использует архитектуру MobileBertForQuestionAnswering. Модель содержит 59,7 млн параметров и поддерживает контекст длиной до 512 токенов. Карточка сообщает о дообучении на неизвестном наборе данных и приводит результаты: потеря на обучении 0,0491, потеря на валидации 0,0 за 19 эпох. Эти значения сами по себе не позволяют оценить качество на новых данных. Модель опубликована под лицензией MIT.

csarron/mobilebert-uncased-squad-v2 — англоязычная модель ответов на вопросы, созданная дообучением MobileBERT на SQuAD 2.0. Архитектура MobileBERT использует узкие слои и bottleneck-структуры для снижения вычислительных затрат относительно BERT Large; в метаданных указано 59,7 млн параметров. Доступны форматы PyTorch, Safetensors и ONNX, контекст — до 512 токенов. Модель предназначена для извлечения ответа из предоставленного текста и умеет воздерживаться от ответа, если в контексте нет нужной информации, как предусмотрено SQuAD 2.0. В README приведены результаты на оценочной выборке SQuAD 2.0: Exact Match 75,2 и F1 78,8. Подходит для англоязычных систем вопрос-ответ по документам, но не предназначена для генерации развернутых ответов или универсального диалога. Лицензия — MIT.

AI Sweden разработала эту модель как продолжение предобучения answerdotai/ModernBERT-base на текстах Скандинавии. Это плотная encoder-only модель ModernBERT для заполнения пропусков в тексте и построения решений понимания текста. Модель содержит около 149 млн параметров, использует токенизатор, обученный с нуля, и сохраняет контекстное окно в 8192 токена с RoPE и локально-глобальным вниманием. Модель обучалась на скандинавских текстовых корпусах The Nordic Pile и SWEb примерно на 1,2 трлн дополнительных токенов. Она предназначена для заполнения пропусков, извлечения эмбеддингов и дообучения для задач NLP на шведском, норвежском, датском и исландском языках; также может служить заменой BERT-подобного энкодера. Лицензия — Apache-2.0. Это исследовательский артефакт. Веб-корпуса могут содержать шум, стереотипы и чувствительные материалы, а экстраполяция RoPE за пределы 8192 токенов не проверена и может ухудшить качество.

ModernGBERT 134M — немецкоязычная языковая модель-энкодер от LSX UniWue, построенная на архитектуре ModernBERT в стиле BERT. Она содержит 134,2 млн параметров, имеет 22 слоя и скрытый размер 768; длина контекста составляет до 8 192 токенов. Модель предварительно обучена на 470 млрд токенов немецкой части RedPajama V2. Модель предназначена для извлечения признаков из текста и может служить основой для задач понимания немецкого языка, получения эмбеддингов и дообучения, например для классификации токенов с помощью LoRA. В README указаны результаты на SuperGLEBer и German MTEB; для оценки эмбеддингов модели предварительно дообучались без разметки на немецкой части mMARCO. Репозиторий содержит веса PyTorch в формате Safetensors, модель поддерживается библиотекой Transformers версии 4.48.0 и новее. Лицензия обозначена в метаданных как other, поэтому конкретные условия использования следует сверить с карточкой репозитория. Модель рассчитана на немецкий язык; результаты и описание не подтверждают сопоставимое качество для других языков. Для эмбеддингов README приводит результаты после дополнительного дообучения, поэтому они не обязательно отражают качество исходного чекпойнта без адаптации.

facebook/muppet-roberta-large — англоязычная модель RoBERTa large от Facebook, дообученная по подходу MUPPET на нескольких задачах до тонкой настройки для целевых сценариев. Это плотная трансформерная модель с примерно 454,1 млн параметров, обученная предсказывать замаскированные токены; она принимает текст и предназначена прежде всего для заполнения пропусков и тонкой настройки для задач классификации последовательностей, разметки токенов и ответов на вопросы. Контекст модели составляет 514 токенов. README сообщает об улучшении результатов относительно RoBERTa-base на ряде задач GLUE и QA, особенно на небольших наборах данных. При этом данный чекпойнт не содержит классификационных и MRC-голов, использованных при предварительной настройке, поэтому результаты на некоторых наборах могут быть ниже опубликованных в статье. Модель не предназначена для генерации текста. Лицензия — MIT.

MuRIL — многоязычная модель Google на архитектуре BERT base, предварительно обученная с нуля для 17 индийских языков и их транслитерированных вариантов. Репозиторий содержит модель с MLM-слоем для предсказания замаскированных слов; доступны веса в форматах PyTorch, TensorFlow и Flax. Модель насчитывает около 264,8 млн параметров и принимает последовательности длиной до 512 токенов. MuRIL предназначена для языкового моделирования и последующей адаптации к задачам NLP для индийских языков: например, классификации, разметки последовательностей и извлечения ответов на вопросы. При обучении использовались тексты Википедии, Common Crawl и параллельные переводные и транслитерированные данные; такой подход помогает работать с распространённой в индийском контексте записью языков латиницей. Модель не рассчитана на хорошую работу с языками, не представленными в обучении. Лицензия — Apache 2.0.

OpenMed разработала эту специализированную модель для распознавания анатомических сущностей в биомедицинских текстах. Это дообученная модель семейства RoBERTa для классификации токенов: она находит упоминания анатомических структур и частей тела и размечает их тегами B-Anatomy и I-Anatomy. В README указана базовая архитектура distilroberta-base; метаданные сообщают о 95,2 млн параметров и контексте до 514 токенов. Модель предназначена для извлечения анатомических терминов из клинических записей, медицинской документации и научной литературы, а также для построения поисковых и аналитических систем в биомедицине. README приводит F1 0,85, точность 0,84, полноту 0,86 и accuracy 0,97 на ANATOMY, но не описывает протокол оценки. Поддерживается английский язык. Репозиторий использует формат Safetensors и лицензию Apache-2.0.

PaliGemma 2 3B PT 448 — предобученная мультимодальная модель Google для обработки изображений и текста. Она сочетает визуальный энкодер SigLIP с языковой моделью Gemma 2 и принимает изображения размером 448×448 пикселей вместе с текстовым запросом; на выходе генерирует текст. Модель поддерживает несколько языков, а входная и выходная последовательности текста рассчитаны на 512 токенов. Модель предназначена прежде всего для дообучения под конкретные задачи: описания изображений и коротких видео, визуальных вопросов и ответов, чтения текста на изображениях, обнаружения объектов и сегментации. Она также может служить основой для специализированных сценариев, например анализа снимков дистанционного зондирования или объяснения элементов интерфейса. Это базовая модель, не многотуровый чат-бот; её результаты без дообучения на прикладной задаче могут быть слабее, чем у моделей общего назначения. Возможны фактические ошибки и смещения. Доступна в формате bfloat16 для дообучения; лицензия — Gemma, применяются условия использования и политика запрещённых применений Gemma.

pii-layout-synth-v12 — дообученная на базе answerdotai/ModernBERT-base модель для классификации токенов. По названию репозитория предполагается, что она предназначена для разметки персональных данных с учётом их расположения в тексте или макете, однако карточка не описывает целевые метки и формат входных данных. Модель содержит 149 млн параметров, использует архитектуру ModernBERT и принимает контекст длиной до 8192 токенов. В карточке приведены результаты оценки: precision 0,9926, recall 0,9954, F1 0,9940 и accuracy 0,9988; датасет и методика оценки не раскрыты, поэтому эти показатели нельзя уверенно переносить на другие данные. Модель опубликована в формате safetensors для библиотеки Transformers и распространяется по лицензии Apache-2.0.

pko-t5-large — крупная корейская версия T5 v1.1, разработанная PAUST. Модель содержит около 403,9 млн параметров и обучена на корейских данных, включая Namuwiki, Википедию и корпус Modu. Для токенизации используется BBPE без токенов вне словаря, а предварительное обучение выполнено без учителя с задачей span corruption. Модель предназначена для дообучения под конкретные задачи преобразования текста: например, классификацию, извлечение сущностей, анализ отношений и ответы на вопросы. Для работы используется Transformers с T5TokenizerFast и T5ForConditionalGeneration. Модель ориентирована на корейский язык; карточка приводит результаты оценки вариантов семейства на задачах KLUE. Лицензия — CC BY 4.0. В README рекомендуется дообучать модель под целевую задачу; готовые показатели для pko-t5-large в предоставленных данных не приведены.

paust/pko-t5-small — компактная корейская модель семейства T5 v1.1, разработанная PAUST и обученная на корейских текстах. В обучении использовалась задача восстановления пропусков в тексте (span corruption) без учителя; для токенизации применён BBPE без OOV-токенов. Модель имеет архитектуру T5ForConditionalGeneration и около 55,1 млн параметров; доступна в формате PyTorch и используется через Transformers. Модель предназначена для последующего дообучения под конкретные задачи обработки корейского языка, включая классификацию, распознавание сущностей, анализ отношений, синтаксический разбор и ответы на вопросы. В карточке приведены результаты оценки дообученных вариантов на наборе KLUE; качество различается в зависимости от задачи. Лицензия — Creative Commons Attribution 4.0 (CC BY 4.0).