I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельintanm/mdeberta-idkmrc — модель на архитектуре DeBERTa V2, дообученная на базе microsoft/mdeberta-v3-base для ответов на вопросы по тексту. Репозиторий содержит веса PyTorch; модель насчитывает 306 млн параметров и рассчитана на контекст до 512 токенов. В метаданных указан датасет rifkiaputri/idk-mrc, а README сообщает значение loss 1,6436 на оценочной выборке, но не приводит подробностей методики оценки. Модель принимает текст вопроса и контекст и предназначена для извлечения ответа из текста. Базовая модель многоязычная, однако сведения о конкретных языках и качестве этой дообученной версии не приведены. Модель распространяется по лицензии MIT.
MemOCR-7B-i1-GGUF — это квантизированная версия мультимодальной модели MemOCR-7B, разработанной Meituan и подготовленной в формате GGUF пользователем mradermacher. Модель предназначена для работы с изображениями и текстом, включая визуальные вопросы и ответы, задачи распознавания текста на изображениях, а также сценарии memory-agent и обработки длинного контекста. В метаданных указан английский язык. Модель содержит около 7 миллиардов параметров и относится к vision-моделям с поддержкой мультимодального ввода. Доступны варианты квантизации i1-IQ и i1-Q с размером файлов примерно от 2,0 до 6,4 ГБ, а также файл imatrix для самостоятельного создания квантизированных вариантов. В README не указаны точная архитектура, максимальная длина контекста, перечень поддерживаемых языков помимо английского и результаты benchmark-тестов. Квантизация уменьшает требования к памяти, но варианты с более низким размером могут заметно уступать по качеству; рекомендуются i1-Q4_K_M как быстрый вариант и i1-Q4_K_S как компромисс размера, скорости и качества. Для обработки изображений могут потребоваться отдельные mmproj-файлы из статического репозитория. Модель распространяется по лицензии Apache-2.0. Она подходит для локального запуска в совместимом ПО, поддерживающем GGUF и мультимодальные модели, однако конкретные требования к аппаратному обеспечению и программная совместимость в README не уточняются.
MiniCPM-V 4.6 — компактная мультимодальная модель от команды OpenBMB для понимания изображений и видео, рассчитанная в том числе на запуск на мобильных устройствах. Она объединяет визуальный энкодер SigLIP2-400M с языковой моделью Qwen3.5-0.8B и использует смешанное сжатие визуальных токенов 4×/16×, позволяя выбирать баланс между скоростью и детализацией. Модель предназначена для диалога по одному или нескольким изображениям и видеороликам: она может отвечать на вопросы о визуальном содержимом, разбирать документы и распознавать текст на изображениях. README отмечает поддержку развёртывания на iOS, Android и HarmonyOS, а также интерфейс вызова инструментов и совместимость с несколькими фреймворками инференса. К заявленным сильным сторонам относятся низкая вычислительная нагрузка и высокая эффективность визуального кодирования. Качество может зависеть от выбранного режима сжатия и числа фрагментов изображения; для видео требуется декодирование, при этом README описывает возможные проблемы совместимости torchcodec с версиями CUDA. Репозиторий распространяется по лицензии Apache-2.0.
openbmb/MiniCPM-V-4.6-Thinking-BNB — это 4-битная NF4-квантизованная версия мультимодальной модели MiniCPM-V 4.6 Thinking, разработанная командой OpenBMB. Модель предназначена для эффективного понимания изображений и видео, включая сложные мультимодальные рассуждения, математические задачи и распознавание текста на изображениях с высокой нагрузкой на OCR. Она ориентирована в том числе на запуск на конечных устройствах и мобильных платформах: iOS, Android и HarmonyOS. Архитектура включает визуальный энкодер SigLIP2-400M и языковую модель Qwen3.5-0.8B, а также смешанное сжатие визуальных токенов 4x/16x. Вариант Thinking формирует явную цепочку рассуждений перед итоговым ответом, что повышает качество на сложных задачах. Поддерживаются изображения и видео, работа через Transformers, обработка нескольких изображений и использование Flash Attention 2 для ускорения и снижения потребления памяти. Точный размер контекстного окна и список поддерживаемых языков в предоставленных данных не указаны. К сильным сторонам относятся компактность, низкие требования к памяти благодаря 4-битной квантизации, пригодность для edge-сценариев и способность выполнять сложный визуальный анализ. Ограничения включают зависимость от совместимости программного окружения и видеодекодера с версией CUDA, а также потенциальные компромиссы в точности из-за квантизации; количественные результаты оценки в README не приведены. Модель распространяется по лицензии Apache-2.0.
MoAI-Privacy-Filter — модель распознавания сущностей, связанных с конфиденциальностью, разработанная BCCard путём полного дообучения openai/privacy-filter. Она размечает фрагменты текста на корейском и английском языках 29 типами сущностей, используя 117 классов BIOES для границ токенов. Модель предназначена для поиска персональных и других чувствительных данных в клиентских обращениях, документах, письмах и журналах до передачи текста внешним сервисам, а также для построения типизированных фрагментов, которые приложения могут маскировать, сохранять или направлять на проверку по собственным правилам. В карточке указаны результаты строгой micro F1: 0,9824 для корейского и 0,9708 для английского на отложенной валидации; на независимом Golden Set — 0,9732 и 0,9650 соответственно. Архитектура — смесь экспертов, модель рассчитана на контекст до 131 072 токенов, однако обучающие примеры ограничены 1024 токенами. Для корректного восстановления сущностей требуется декодирование BIOES с ограничениями переходов и сопоставление смещений токенов с исходным текстом. Модель только находит и классифицирует фрагменты, но не определяет, как их обрабатывать; метки PORT и ORGANIZATION также не являются персональными данными. Оценка проводилась на синтетических данных, поэтому качество на реальных текстах, OCR-ошибках, сленге и неизвестных форматах не установлено; другие языки и области не проверялись. Лицензия — Apache-2.0.
Moondream2-streaming — компактная плотная визуально-языковая модель семейства Moondream, опубликованная ThomasSimonini. Она предназначена для эффективного запуска на периферийных устройствах и отвечает на текстовые вопросы по изображениям, в том числе помогает читать документы и считать объекты. В карточке приведены результаты на VQAv2, GQA, TextVQA, DocVQA, TallyQA и POPE; репозиторий содержит варианты safetensors и GGUF F16. Модель принимает изображение вместе с текстовым запросом и выдаёт текстовый ответ. Для использования указан стек Transformers и einops. Версия модели обновляется, поэтому для воспроизводимости README рекомендует закреплять конкретный релиз. Лицензия — Apache-2.0.
Nemotron ColEmbed V2 — мультимодальная модель эмбеддингов NVIDIA для поиска по визуальным документам. Она дообучена на базе Qwen3-VL-4B-Instruct и использует трансформерную архитектуру с визуальным энкодером SigLIP-2, модулем объединения зрения и языка и языковой моделью. В модели около 4,8 млрд параметров. Модель принимает текстовые запросы и изображения страниц документов, включая таблицы, диаграммы и инфографику, и строит многовекторные представления в стиле ColBERT: для каждого токена выдаётся вектор размерности 2560. Она предназначена для поиска по документам и мультимодальных RAG-систем; в README указано третье место в бенчмарке ViDoRe V3 на момент публикации результатов. В README заявлена поддержка многоязычных данных и контекст до 10 240 токенов в проведённых оценках. Обработка изображений разбивает их на плитки, для описанной конфигурации используется до восьми плиток и миниатюра. Для запуска требуются Transformers версии 4.57.2 или выше и Flash Attention; модель оптимизирована для GPU NVIDIA. Лицензия CC-BY-NC-4.0 ограничивает использование некоммерческими и исследовательскими сценариями.
Nemotron ColEmbed V2 — мультимодальная модель позднего взаимодействия для поиска по визуальным документам, разработанная NVIDIA. Она дообучена на базе Qwen3-VL-8B-Instruct и объединяет несколько дообученных контрольных точек. Модель принимает текстовые запросы и изображения страниц документов, а выдаёт ColBERT-подобные многовекторные представления для поиска и ранжирования документов по запросу. Модель предназначена для мультимодальных RAG-систем, поиска по страницам с текстом, таблицами, графиками и инфографикой, а также для кросс-модального поиска. Архитектура — трансформер с визуальным энкодером SigLIP2-SO-400M, модулем объединения визуальных и языковых признаков и языковой частью; размер — около 8,8 млрд параметров. Для каждого входного токена формируется вектор размерности 4096. В README указана проверенная длина контекста до 10 240 токенов; модель поддерживает многоязычный поиск. В карточке сообщается о первом месте на ViDoRe V3 на момент публикации и улучшении семантического соответствия благодаря многоязычным синтетическим данным. Для запуска требуются Transformers версии 4.57.2 или новее и Flash Attention; модель ориентирована на GPU NVIDIA. Лицензия CC BY-NC 4.0 разрешает некоммерческое использование с соблюдением её условий.
Это конвертированная в формат MLX версия OpenAI Privacy Filter от OpenAI, подготовленная mlx-community. Модель выполняет классификацию токенов и размечает в тексте фрагменты с персональными данными: имена, адреса электронной почты, телефоны, URL, адреса, даты, номера счетов и секреты. Для разметки используются BIOES-метки по восьми категориям. Модель основана на разреженной архитектуре MoE с 1,5 млрд параметров и 50 млн активных параметров; метаданные каталога указывают 145,4 млн параметров. Контекст составляет до 131 072 токенов. Она предназначена для локальной фильтрации текста и маскирования обнаруженных PII. Репозиторий распространяется по лицензии Apache-2.0. Карточка описывает работу с MLX, поэтому применение ориентировано на экосистему Apple Silicon.
aule13/pii-guard-distilbert — дообученная мультиязычная модель DistilBERT для обнаружения персональных данных в русском тексте. Она выполняет разметку токенов в формате BIO и распознаёт 21 тип сущностей; автор README сообщает о F1 0,9938 на pii_benchmark. Модель предназначена для извлечения имён и других персональных данных при проверке текстов на наличие PII, в том числе в сценариях, связанных с требованиями 152-ФЗ. Её можно запускать локально через Transformers, чтобы обрабатывать данные внутри собственного периметра. Архитектура — DistilBERT для классификации токенов, максимальный контекст — 512 токенов; в метаданных указаны русский и английский языки. Репозиторий содержит веса в формате safetensors. Модель выпущена под лицензией MIT. Результат F1 приведён для pii_benchmark; README не уточняет состав и условия этого бенчмарка, поэтому показатель не гарантирует аналогичное качество на других данных. Для практического применения стоит проверять полноту обнаружения и точность разметки на целевых текстах.
OPI-PIB разработал Polish ModernBERT-512-large — крупный одноязычный польский энкодер на архитектуре ModernBERT с 474,5 млн параметров. Модель предварительно обучена для понимания польского языка; использует RoPE, слои GeGLU, предварительную нормализацию и чередование глобального и локального внимания. Контекст составляет 514 токенов, веса доступны в формате safetensors. Основная задача модели — предсказание замаскированных токенов. После дообучения энкодер можно адаптировать для классификации текстов и документов, разметки последовательностей, регрессии, семантического сходства, поиска и ранжирования. В оценке на польских NLU-задачах модель показала конкурентные результаты относительно других польских энкодеров; готовые результаты для конкретных прикладных задач потребуют адаптации. Модель обучена на большом польском корпусе, включая Common Crawl, и предназначена для создания решений обработки польского языка. Лицензия Apache-2.0.
FrameByFrame подготовили корейскую LoRA-дообученную версию OpenAI Privacy Filter для обнаружения фрагментов с персональными данными. Модель размечает текст по токенам, выдавая метки BIOES для девяти категорий, включая имена, адреса, телефоны, URL и электронную почту; предсказания можно преобразовать в символьные диапазоны для последующего маскирования. В карточке указаны архитектура sparse MoE, 145,4 млн параметров в репозитории и контекст 131 072 токена. Базовая модель описана как имеющая 1,5 млрд параметров и 50 млн активных параметров; LoRA применена только к проекциям внимания, основная модель заморожена. Модель предназначена прежде всего для корейского текста, также приведён пример для английского. На корейском тестовом наборе KDPII показаны улучшения F1 для телефонов, URL и электронной почты относительно базовой модели. Для загрузки требуются Transformers 5.x из исходного кода и trust_remote_code=True. Лицензия — Apache-2.0.
Qari-OCR-0.2.2.1-VL-2B-Instruct — мультимодальная модель для оптического распознавания арабского текста на изображениях страниц документов. Она разработана в рамках проекта NAMAA и является дообученной версией Qwen2-VL-2B-Instruct на арабском наборе данных OCR объёмом 50 000 записей. Модель предназначена прежде всего для извлечения текста со страниц документов и поддерживает арабский язык. Модель основана на архитектуре Qwen2-VL и относится к классу vision-language моделей с параметрами порядка 2 млрд. Она рассчитана на обработку изображений и генерацию текстового представления документа, включая арабские диакритические знаки ташкиль. В обучении использовались различные размеры шрифта, форматы страниц и набор арабских шрифтов, поэтому модель подходит для документов с разными шрифтами и макетами. Длина контекста и точный перечень поддерживаемых модальностей в README не указаны. Согласно приведённой оценке, модель показала WER 0,221, CER 0,059 и BLEU 0,597 на тестовом наборе, преимущественно содержащем тексты с диакритическими знаками. Ограничения включают возможное снижение качества на очень мелком или крупном тексте, редких шрифтах, сложных многоколоночных макетах, рукописном или декоративном письме, текстурированных фонах, размытых изображениях, а также на вертикально или диагонально ориентированном тексте. Модель распространяется по лицензии Apache-2.0.
RedHatAI/Qwen2.5-VL-7B-Instruct-FP8-Dynamic — квантованная версия мультимодальной модели Qwen2.5-VL-7B-Instruct, разработанная Neural Magic. Модель принимает изображения и текстовые запросы, а генерирует текстовые ответы. Она предназначена для визуально-текстовых задач: визуального вопросно-ответного взаимодействия, анализа документов, диаграмм и графиков, решения математических задач по изображениям, а также для ряда общих текстовых бенчмарков. Модель имеет архитектуру Qwen2.5-VL-7B-Instruct с заявленным размером 7B параметров. Для весов и активаций используется динамическая квантование FP8; при этом визуальная башня, мультимодальный проектор и lm_head не квантовались. Модель рассчитана на эффективный инференс через vLLM версии 0.5.2 и новее, поддерживает OpenAI-совместимое предоставление сервиса. В README явно указан английский язык, а максимальная длина контекста в примере развертывания составляет 4096 токенов. К сильным сторонам относятся снижение вычислительных и memory-затрат при сохранении качества исходной модели: на приведённых тестах средний результат на vision-задачах составил 76,50 против 75,95 у базовой модели. Ограничения включают зависимость от совместимого стека vLLM, необходимость мультимодальной инфраструктуры для работы с изображениями и отсутствие подробных сведений о поддерживаемых языках, фактическом размере контекста и результатах вне указанных оценок. Модель распространяется по лицензии Apache-2.0.
RedHatAI/Qwen2.5-VL-7B-Instruct-quantized.w8a8 — это квантованная версия мультимодальной модели Qwen/Qwen2.5-VL-7B-Instruct, разработанная Neural Magic. Модель принимает текст, изображения и видео, а генерирует текстовые ответы; она предназначена для задач визуального анализа и работы с текстом, включая ответы на вопросы по изображениям, анализ документов, графиков и визуальных материалов. Модель имеет архитектуру Qwen2.5-VL-7B-Instruct и использует 8-битное квантование весов и активаций по схеме W8A8, что снижает требования к ресурсам при инференсе. В README указана поддержка английского языка, однако полный набор языков не описан. Приведённый пример рассчитан на контекст до 4096 токенов и развёртывание через vLLM версии 0.5.2 или новее; также доступна совместимая с OpenAI схема сервинга через vLLM. К сильным сторонам относятся мультимодальность, оптимизация INT8 для эффективного инференса и готовность к использованию в vLLM. Ограничения включают возможные потери качества из-за квантования, а также отсутствие в предоставленных данных подробных результатов оценки, точных требований к оборудованию и исчерпывающего описания поддерживаемых языков. Модель распространяется по лицензии Apache-2.0.
litert-community/Qwen2-VL-2B — это квантизированная on-device-версия мультимодальной модели Qwen2-VL-2B-Instruct, разработанной командой Alibaba Qwen и преобразованной в формат LiteRT-LM для запуска на устройствах и настольных системах. Модель принимает изображения и текстовые запросы, а генерирует текстовые ответы; предназначена для локального анализа изображений, визуальных вопросов и ответов, описания сцен, подсчёта объектов, чтения документов и OCR. Архитектура включает vision encoder Qwen2-VL ViT с 32 слоями и размерностью 1280, адаптер PatchMerger и языковой декодер Qwen2-1.5B с 28 слоями, скрытым размером 1536 и GQA. Vision encoder использует фиксированный размер изображения 672×672 и формирует 576 визуальных токенов. Весовые параметры vision-части квантизированы до int8, декодера — до int4; размер файла составляет около 1,78 ГБ. Контекст KV-кэша — 4096 токенов. Поддерживаются одно или несколько изображений, а запуск возможен на macOS, Linux, Windows и совместимых мобильных устройствах через LiteRT-LM. Сильные стороны модели — локальная обработка без передачи изображений на сервер, хорошее описание сцен и ответы на общие вопросы, чтение текста в документах, подсчёт объектов и работа с таблицами. В описанных проверках она показывала точную транскрипцию синтетического документа и корректное визуальное заземление. Ограничение связано с тем, что runtime использует последовательные одномерные позиции вместо исходного M-RoPE: модель может правильно прочитать ячейки таблицы, но ошибиться при сравнении значений между строками и столбцами. Изображения принудительно приводятся к размеру 672×672, что также может ограничивать работу с мелкими деталями. Модель распространяется по лицензии Apache-2.0.
unsloth/Qwen2-VL-2B-Instruct-unsloth-bnb-4bit — мультимодальная instruction-tuned модель, основанная на Qwen/Qwen2-VL-2B-Instruct и подготовленная Unsloth. Она предназначена для обработки изображений, видео и текстовых инструкций: визуального вопросно-ответного взаимодействия, анализа документов и сцен, распознавания текста на изображениях, а также мультимодальных диалогов и сценариев, где требуется интерпретация визуальной среды. Модель совместима с библиотекой Transformers и имеет тип pipeline image-text-to-text. Ключевая особенность версии — динамическое 4-битное квантование Unsloth BnB: отдельные параметры не квантуются, чтобы сохранить качество при сопоставимом снижении потребления VRAM. Архитектура Qwen2-VL поддерживает изображения произвольного разрешения благодаря динамическому числу визуальных токенов, использует мультимодальные позиционные embeddings M-ROPE для текстовых, двумерных визуальных и трёхмерных видеоданных и рассчитана на понимание видео длительностью более 20 минут. Заявлена многоязычная работа с текстом внутри изображений, включая английский, китайский, европейские языки, японский, корейский, арабский и вьетнамский. Сильные стороны модели — компактный размер 2B, сниженные требования к видеопамяти, поддержка нескольких модальностей, динамическая обработка изображений и широкий спектр визуальных задач. Ограничения, включая точные значения контекстного окна, производительность и качество для отдельных языков и сценариев, в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0.
t-firefly/qwen3-vl-4b-rknn3-rk1828 — производная модель семейства Qwen3-VL, подготовленная для запуска на платформе Rockchip RK1828 через LlamaPi. В основе лежит Qwen3-VL-4B-Instruct от команды Qwen: плотная мультимодальная модель на 4 млрд параметров с архитектурой Qwen3VLForConditionalGeneration и интерфейсом диалоговой генерации. Репозиторий содержит веса в формате GGUF. Модель принимает текст и изображения и генерирует ответы на вопросы о визуальном содержимом. Она предназначена для визуального рассуждения, распознавания текста на изображениях, понимания пространственных отношений и анализа документов, а также для диалога с учётом текстового и визуального контекста. README указывает на запуск через LlamaPi на RK1828; метаданные также отмечают интерфейс вызова инструментов. Модель выпущена под лицензией Apache-2.0. В карточке производной модели не приведены отдельные сведения о контекстном окне и поддерживаемых языках; её возможности и языковое покрытие в значительной степени определяются базовой моделью Qwen3-VL-4B-Instruct.
RemBERT — мультиязычная языковая модель семейства BERT, представленная авторами статьи «Rethinking embedding coupling in pre-trained language models». Это чекпойнт для последующего дообучения под классификацию и другие задачи анализа текста. Модель содержит около 967,8 млн параметров, использует плотную архитектуру и рассчитана на контекст до 512 токенов; доступны веса PyTorch и TensorFlow. RemBERT предварительно обучена на многоязычных данных Википедии для 110 языков с задачей masked language modeling. В отличие от mBERT, входные и выходные эмбеддинги не связаны: входные эмбеддинги меньше, а выходные веса исключены из этого облегчённого чекпойнта, предназначенного для дообучения. В карточке указаны успешные применения для классификации, ответов на вопросы, распознавания именованных сущностей и разметки частей речи. Модель предназначена для общего анализа текста, а не для генерации. Для практических задач её нужно дообучить; контекст ограничен 512 токенами. Лицензия — Apache-2.0.
Sindhu/rembert-squad2 — модель RemBERT, дообученная разработчиком на наборе SQuAD 2.0 для ответа на вопросы по заданному контексту. Она предназначена для извлечения ответа из текста и обработки вопросов, в том числе когда контекст не содержит ответа. Модель содержит около 967,8 млн параметров, использует архитектуру RemBERT и принимает контекст длиной до 512 токенов. Карточка указывает мультиязычную ориентацию; формат весов — PyTorch. Лицензия в предоставленных данных не указана.
csarron/roberta-base-squad-v1 — модель на базе RoBERTa-base, дообученная Qingqing Cao на наборе SQuAD 1.1 для извлечения ответов из текста по заданному вопросу. Она принимает вопрос вместе с контекстом и возвращает найденный в контексте ответ; модель чувствительна к регистру английских букв. Архитектура — RobertaForQuestionAnswering, размер — 151,8 млн параметров, длина контекста — до 514 токенов. Доступны веса PyTorch, Flax и safetensors. Модель предназначена для англоязычных систем поиска ответов по документам и текстовым фрагментам. В карточке сообщаются результаты на SQuAD 1.1: Exact Match 83,0 и F1 90,4; эти показатели относятся к указанному набору и не гарантируют такую же точность на других данных. Лицензия — MIT.
RoPERT-base-cased — предварительно обученный англоязычный двунаправленный энкодер семейства MyBERT, разработанный авторами репозитория kd13/RoPERT-base-cased. Он использует цель masked language modeling (MLM): модель восстанавливает скрытые токены по контексту слева и справа. Архитектура включает 12 слоёв, скрытый размер 768 и 12 attention-голов; содержит около 107,2 млн параметров, использует WordPiece-токенизатор с регистрозависимым словарём google-bert/bert-base-cased и поддерживает контекст до 2048 токенов. По сравнению с исходным BERT-base, RoPERT использует rotary position embeddings (RoPE), SwiGLU и pre-layer normalization. Модель предназначена для предсказания маскированных токенов и как энкодер для дообучения на классификации текста и токенов, извлечении ответов на вопросы и задачах выбора ответа. Она не предназначена для генерации текста. Для загрузки требуется Transformers с trust_remote_code=True и PyTorch. Опубликованные веса имеют формат float32, лицензия — MIT. Модель обучалась на англоязычных данных из Wikipedia, веб-текстов и BookCorpus. Ограничения: она рассчитана только на английский язык, чувствительна к регистру и не принимает последовательности длиннее 2048 токенов без усечения или разбиения. В обучающих данных могут присутствовать общественные предубеждения и нежелательные закономерности.
RuModernBERT-small — компактный двунаправленный encoder-only Transformer семейства ModernBERT, разработанный DeepVK для работы с русским и английским текстом. Это модель masked language modeling: она предсказывает замаскированные токены и служит основой для задач понимания текста после дополнительной настройки. Модель содержит 34,4 млн параметров, имеет 12 слоёв, размер скрытого представления 384 и словарь из 50 368 токенов; длина контекста — до 8 192 токенов. Предобучение проводилось примерно на 2 трлн токенов русского, английского и кода из интернет-источников, книг, научных материалов и социальных сетей. Модель подходит как компактный энкодер для классификации, извлечения сущностей и других задач анализа текста; README приводит оценки на русскоязычных бенчмарках. В опубликованной ревизии patched-tokenizer исправлена токенизация шести распространённых русских строчных букв, что может быть полезно для NER; авторы сообщают, что на 20 задачах RuMTEB статистически значимых изменений качества не обнаружили. Лицензия — Apache-2.0.
mlx-community/SmolVLM-Instruct-bf16 — конверсия модели HuggingFaceTB/SmolVLM-Instruct в формат MLX, выполненная сообществом mlx-community с помощью mlx-vlm 0.1.2. Это компактная мультимодальная модель семейства Idefics3 для диалога по изображениям и текстовым запросам: она может описывать визуальное содержимое, отвечать на вопросы об изображениях и помогать разбирать документы. Модель принимает текст и изображения, выдаёт текст; в метаданных указан английский язык. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. README отсылает к исходной карточке HuggingFaceTB/SmolVLM-Instruct за подробностями о модели; сведения о размере и длине контекста в предоставленных данных отсутствуют.
Community-1 — конвейер диаризации речи от pyannote, предназначенный для определения, кто и когда говорит в аудиозаписи. Он принимает монофонический звук с частотой 16 кГц; стерео и многоканальные записи автоматически сводятся к моно, а звук с другой частотой дискретизации преобразуется в 16 кГц. Результат включает обычную диаризацию и эксклюзивную разметку говорящих, упрощающую сопоставление с временными метками транскрипции. Модель улучшает назначение и подсчёт говорящих по сравнению с предыдущей версией pyannote speaker-diarization-3.1. Она подходит для локальной обработки, включая автономный режим, и может выполняться на CPU или GPU через библиотеку pyannote.audio. При известном или ограниченном числе говорящих это число можно задать при обработке. Несмотря на тег automatic-speech-recognition в метаданных, README описывает именно диаризацию, а не распознавание слов; транскрипт модель не выдаёт. Модель распространяется по лицензии CC BY 4.0. Для загрузки из Hugging Face необходимо принять условия использования и создать токен доступа. README приводит результаты оценки на нескольких академических наборах данных, но не гарантирует такие же показатели на конкретных записях; качество может зависеть от акустических условий и перекрывающейся речи.
Stockmark-Nemotron-3-Nano-Omni-JapanDocReader — мультимодальная модель Stockmark Inc. для чтения японских документов, созданная дообучением NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning. Обучение включало смешанное supervised fine-tuning на структурированном разборе документов и визуальных вопросах и ответах, а затем DAPO для улучшения разбора документов. Архитектура относится к семейству NemotronH_Nano_Omni_Reasoning_V3; веса опубликованы в формате safetensors. Модель предназначена для извлечения структурированных данных из японских документов и ответов на вопросы по изображениям документов. Для структурированного разбора требуется использовать фиксированный японский промпт и заданную им JSON-схему; модель также сохраняет часть возможностей базовой модели для визуальных вопросов и ответов. В карточке приведён пример запуска через vLLM с максимальной длиной контекста 210 000 токенов. Модель работает с изображениями и текстом, а основной язык документов — японский; цепочки рассуждений при обучении использовали английский. Лицензия указана как other, поэтому условия использования следует проверять в карточке репозитория. К известным ограничениям относятся чувствительность точности разбора к точному формату промпта и возможное снижение качества при изменении режима рассуждений или языка рассуждений.
SUPlime — модель диаризации речи с открытыми весами от Re:WayAI для pyannote.audio 4.x. Она принимает монофоническую аудиозапись с частотой 16 кГц и определяет, кто и когда говорит, без необходимости заранее задавать число говорящих. Модель сегментации использует WavLM-Base+ с 114 млн параметров, четыре слоя Conformer и выходную powerset-голову; для эмбеддингов говорящих применяется WeSpeaker SimAM-ResNet34, а сегменты группируются агломеративной кластеризацией. Модель дообучена на обучающих выборках 11 публичных корпусов. В описанном сравнении SUPlime показала лучшие результаты среди двух вариантов семейства на наборе из 12 корпусов; для 8-корпусного бенчмарка лучше подходит SUPlime-L. Модель рассчитана на совещания, разговорную речь, дальнюю запись и аудио с несколькими участниками. Ограничения включают поддержку не более двух одновременных говорящих на кадр и четырёх говорящих в 10-секундном окне; телефонная речь 8 кГц находится вне обучающего домена. Английский и китайский доминируют в обучающих данных, а оценка справедливости по языкам и демографическим группам не проводилась. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.
TyBert — предварительно обученная текстовая модель семейства BERT, выпущенная Trendyol для турецкого языка. Она предназначена для получения признаковых представлений текста и может служить основой для задач понимания языка, включая классификацию текстов и распознавание именованных сущностей. Модель содержит 137,8 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате Safetensors для Transformers. В метаданных основной задачей указано извлечение признаков; также поддерживается заполнение маскированных токенов. Лицензия Apache-2.0.
Anonym-IA разработала V2 CamemBERT-NER-PII French — модель CamemBERT-base, дообученную для обнаружения персональных данных в документах на французском языке. Она предназначена для последующей анонимизации или псевдонимизации конфиденциальных документов, в частности юридических материалов и документов регулируемых профессий. Модель выполняет классификацию токенов и размечает категории PII, включая имена, адреса, номера социального страхования, IBAN, номера юридических дел, кадастровые ссылки и названия компаний; README заявляет более 70 категорий. Указан F1 0,933 на гибридном наборе данных примерно из 57 тысяч примеров. Базовая модель — almanach/camembert-base; размер модели в метаданных — 137,8 млн параметров, контекст — 2050 токенов. Для запуска описаны варианты ONNX FP32 и INT8, но основной формат репозитория — safetensors. Модель ориентирована на французские документы. Она выделяет сущности для последующей обработки, а не выполняет полную замену данных сама по себе. Заявленная оценка качества относится к описанному набору данных; результаты на других типах документов могут отличаться. Лицензия — MIT.
CaoHaiNam разработал модель эмбеддингов на базе BERT для стандартизации вьетнамских адресов. Она преобразует предложения и абзацы в плотные векторы размерностью 768, пригодные для сравнения семантической близости и поиска вариантов адреса, записанных по-разному. Модель обучалась с помощью Sentence-Transformers и функции MultipleNegativesRankingLoss с косинусным сходством. Архитектура — BERT, библиотека — PyTorch; общий размер составляет 498,1 млн параметров, максимальная длина контекста — 512 токенов. Основной сценарий — сопоставление и нормализация адресов на вьетнамском языке. Для использования нужны входные тексты; результатом служат векторы эмбеддингов. Лицензия и известные ограничения в предоставленных данных не описаны.