I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельradlab/pii-pl-v1.0 — модель распознавания именованных сущностей в польском тексте, разработанная Radlab на базе polish-roberta-8k и дообученная для выделения персональных данных. Она размечает токены по девяти категориям, включая контактные данные, и предназначена для конвейеров анонимизации и задач защиты данных. Модель использует архитектуру RoBERTa для классификации токенов, принимает текст и поддерживает контекст до 8194 токенов. В обучении использовалась обобщённая версия набора KPWr-NER; в README приведены метрики оценки, включая Macro F1 0,8430. Модель подходит для поиска персональных сущностей в польских документах перед их обезличиванием. Она также выделяет другие типы именованных сущностей, поэтому результаты требуют проверки на соответствие конкретной схеме анонимизации. Модель распространяется по лицензии Apache 2.0; для набора данных KPWr-NER указана лицензия CC-BY-3.0.
pplx-embed-context-v1.5-4B — контекстная модель эмбеддингов предложений размером 3,7 млрд параметров от seslami-pplx. Она предназначена для поиска по тексту и контекстного представления предложений; в README указано, что это замена версии v1.4-4B с той же архитектурой и кодом загрузки. Модель нацелена на улучшение разрешения парафраз, снижение влияния лексических отвлекающих совпадений и совместное извлечение терминов из глоссария. Модель использует плотную двунаправленную архитектуру PPLX Qwen3, работает через Transformers и принимает контекст до 32 768 токенов. Репозиторий содержит веса Safetensors. Лицензия — Apache-2.0.
Карточка модели EdgeAIMed/privacy-filter-multilingual на Hugging Face совпадает с карточкой OpenMed/privacy-filter-multilingual, поэтому описание составлено по ней. OpenMed разработала privacy-filter-multilingual — многоязычную модель для извлечения и разметки фрагментов с персональными данными в тексте. Это полноценно дообученная модель OpenAI Privacy Filter с архитектурой MoE и классификационной BIOES-разметкой токенов. Она распознаёт 54 категории PII, преобразованные в 217 меток BIOES, и предназначена для последующего маскирования или обезличивания текста. Модель рассчитана на арабский, бенгальский, китайский, нидерландский, английский, французский, немецкий, хинди, итальянский, японский, корейский, португальский, испанский, телугу, турецкий и вьетнамский языки. Она подходит для поиска персональных данных в документах и сообщениях, подготовки текста к передаче или хранению и интеграции в конвейеры защиты данных. Размер модели по метаданным — 145,4 млн параметров; нативный контекст — 131 072 токена. Качество распознавания неодинаково: авторы отмечают лучшие результаты для немецкого, испанского, французского, итальянского, хинди, телугу и английского; китайский, японский, корейский и некоторые языки с низким ресурсом остаются сложнее. Обучающие наборы синтетические, поэтому реальные медицинские, юридические и веб-тексты могут отличаться от обучающих примеров. Модель не предназначена специально для клинических медицинских данных и не заменяет проверку соответствия требованиям законодательства. Лицензия — Apache-2.0.
Pythia-Chat-Base-7B — диалоговая языковая модель, разработанная Together Computer в рамках OpenChatKit и дообученная на базе Pythia-7B от EleutherAI. Для настройки использовались более 40 млн инструкций, а затем небольшая выборка отзывов людей для адаптации ответов к предпочтениям пользователей. Модель имеет плотную архитектуру GPT-NeoX, около 8,8 млрд параметров и контекст до 2048 токенов; основной язык — английский. Модель предназначена для чат-ботов и диалоговых сценариев. Она подходит для ответов на вопросы по предоставленному контексту, суммаризации, извлечения информации и классификации; в задачах классификации и извлечения может помогать несколько примеров в запросе. По README, инференс в обычном режиме требует GPU с 24 ГБ памяти, а режим Int8 позволяет использовать GPU с 12 ГБ. Модель распространяется по лицензии Apache 2.0. Модель может галлюцинировать при ответах на фактические вопросы, повторять ответы и терять нить разговора при смене темы. Она слабо подходит для программирования, длинных творческих текстов и критически важных решений; результаты следует проверять.
Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.
Карточка модели Davedav/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.
Карточка модели News666520/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.
Карточка модели nosynx/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.
Карточка модели vy22215/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.
Qwen3.8-27B-abliterated-AWQ-MTP — квантизированная модель, опубликованная пользователем twolven на базе JonathanColetti/Qwen3.8-27B-Uncensored и исходной Qwen3.8-27B от Qwen. Модель использует AWQ-квантизацию W4A16 с размером группы 128, сохраняя модуль MTP для speculative decoding. Лицензия — Apache-2.0. Модель предназначена для генерации и понимания текста, диалоговых приложений, tool calling и обработки изображений с текстовыми запросами. Это vision-language model с гибридной архитектурой: 64 слоя, включая 48 слоёв linear attention на базе Qwen3_5GatedDeltaNet и 16 полноценных attention-слоёв. Зрительная башня содержит 27 слоёв и оставлена в формате bfloat16. Заявленный контекст — 262 144 токена; модуль MTP содержит один скрытый слой и также не квантизирован. Ключевые преимущества — заметно меньшее потребление памяти по сравнению с FP8-версией, поддержка изображений без дополнительного ухудшения со стороны квантизации vision tower и ускорение генерации при корректно работающем MTP. На конфигурации с двумя RTX 3090 автор получил медианную скорость около 84 токенов в секунду и подтвердил работу извлечения данных из длинного контекста, tool calling и распознавания содержимого изображений. Точность относительно исходной bfloat16-модели отдельно не оценивалась, поэтому степень потери качества из-за W4A16 неизвестна. Модель имеет ограничения: MTP требует правильной настройки и при некорректной загрузке может снизить производительность; абсолютные показатели скорости зависят от характера запросов. Не рекомендуется использовать greedy decoding с temperature 0, поскольку возможны зацикливание и повторение предложений. Следует применять repetition_penalty около 1.05 и ненулевую temperature. Термин «abliterated» означает удаление исходных механизмов отказа, поэтому поведение модели в отношении безопасных ограничений может отличаться от оригинальной Qwen3.8-27B.
PeterAM4/Qwen3-Embedding-0.6B-GGUF — набор GGUF-квантизаций модели Qwen3-Embedding-0.6B, разработанной Qwen и квантизированной PeterAM4 с помощью llama.cpp. Модель предназначена для построения эмбеддингов и подходит для RAG-систем, семантического поиска, извлечения документов и задач финансового NLP. Доступны варианты квантизации от 8-битных до 1-битных, включая версии с калибровкой importance matrix, ориентированной на финансовые и технические тексты. Базовая модель содержит 595 776 512 параметров, поддерживает контекст до 32 768 токенов, использует pooling по последнему токену и формирует эмбеддинги размерности 1024. Заявлена мультиязычная поддержка английского, китайского, японского, корейского, французского, немецкого, испанского, португальского, русского и арабского языков. Компактный размер квантизированных файлов позволяет запускать модель на периферийных устройствах, ноутбуках и серверах с ограниченными ресурсами. К сильным сторонам относятся низкое потребление памяти, потенциально малая задержка и сохранение качества при умеренной квантизации; по приведённому тестированию рекомендован вариант Q3_K_M-imat размером 331 МБ. Качество существенно зависит от выбранного формата: при чрезмерно агрессивной квантизации показатели perplexity заметно ухудшаются, а результаты тестов получены на ограниченном корпусе финансовых, математических и общих текстов и не гарантируют качество для всех задач. Модель распространяется по лицензии Apache 2.0.
QWQ-500M — дообученная модель prithivMLmods на базе Qwen2.5-0.5B-Instruct, предназначенная для генерации текста, диалогов и рассуждений при решении сложных задач. Она построена на плотной архитектуре Qwen2 и содержит 494 млн параметров; для работы используется библиотека Transformers, веса доступны в формате Safetensors, лицензия — Apache-2.0. Модель подходит для создания длинных ответов, пошаговых объяснений и структурированных данных, включая JSON и таблицы. В карточке заявлена поддержка более 29 языков; метаданные указывают английский. В README заявлено контекстное окно до 128 тысяч токенов и генерация до 8 тысяч токенов, тогда как метаданные указывают нативный контекст 32 768 токенов.
sba-extract-v4 — модель Koodo Technology LLC FZ, дообученная на базе Qwen2.5-3B для извлечения 16 финансовых полей из текстового представления налоговых деклараций США и формирования структурированного JSON для SBA Form 413. Она предназначена для автоматизации подготовки персональных финансовых отчётов в кредитных союзах и общественных банках, работающих с кредитованием малого бизнеса. Модель содержит 3,1 млрд параметров, использует архитектуру Qwen2, поддерживает контекст до 32 768 токенов и доступна в формате GGUF; в метаданных указана поддержка английского языка и лицензия MIT. В карточке заявлена точность 81% при точном совпадении всех полей и 100% после постобработки. Ошибки касаются полей с несколькими значениями: модель может извлечь только первое из них, поэтому для суммирования счетов или объектов недвижимости нужна постобработка. Модель работает с текстом или Markdown, а не с изображениями документов напрямую.
ricardo-filho/sbertimbau-large-quora-multitask — модель эмбеддингов предложений на базе архитектуры BERT, опубликованная пользователем ricardo-filho. Она преобразует предложения и абзацы в плотные векторы размерности 1024 для семантического поиска, сравнения сходства и кластеризации. В обучении использовались MultipleNegativesRankingLoss с косинусным сходством и OnlineContrastiveLoss; модель доступна в формате PyTorch и поддерживается библиотекой Sentence-Transformers. Модель подходит для поиска похожих вопросов и документов, группировки текстов по смыслу и построения семантического поиска. Контекст ограничен 512 токенами. По названию и базовой модели Sbertimbau она ориентирована на португальский язык; в предоставленной карточке не перечислены конкретные оценки качества. Лицензия в доступных данных не указана.
LibreYOLO/SenseNovaVision7b — зеркало весов SenseNova-Vision-7B-MoT от SenseTime для интеграции в уровень LibreVLM библиотеки LibreYOLO. Это единая мультимодальная модель компьютерного зрения на архитектуре Bagel-MoT: декодер Qwen2.5-7B MoT, визуальный модуль SigLIP и автоэнкодер FLUX. Один чекпойнт поддерживает обнаружение объектов, поиск точек и ключевых точек, OCR, оценку глубины, сегментацию и паноптическую сегментацию. Символьные результаты, например рамки, точки и распознанные слова, выдаются как структурированный текст; карты глубины и маски — как изображения, декодированные VAE. Модель можно использовать для анализа изображений через чат-интерфейс и генерацию. Веса и конфигурации в репозитории не изменены относительно исходной модели SenseTime; добавлены только карточка и уведомление. Лицензия весов CC BY-NC 4.0 разрешает некоммерческое использование. Для загрузки в LibreYOLO предусмотрено восстановление раскладки специальных токенов; другим средствам запуска может потребоваться такая же настройка или медленный токенизатор на основе vocab.json и merges.txt.
gubartz/st_scibert_pubmed_rct — модель Sentence-Transformers на архитектуре BERT, обученная для представления предложений и абзацев в виде плотных векторов размерности 768. Её можно использовать для семантического поиска и кластеризации текстов; размер модели составляет 137,1 млн параметров, максимальная длина контекста — 512 токенов. Модель обучалась с функцией потерь BatchAllTripletLoss. Для получения эмбеддингов её можно запускать через Sentence-Transformers или Transformers с подходящей операцией pooling. Она предназначена для текстовых входов и выдаёт векторы; формат весов в репозитории — PyTorch. Метаданные и README не сообщают лицензию или конкретные языки обучения, поэтому их нельзя уточнить.
TowerVision-9B — мультимодальная языковая модель с открытыми весами от проекта TowerVision, предназначенная для работы с изображениями и текстом. Версия содержит 9 млрд параметров и основана на Unbabel/Tower-Plus-9B, соединённой с визуальным энкодером SigLIP2-patch14-384 через мультимодальный адаптер. Модель поддерживает контекст до 8192 токенов и обрабатывает изображения вместе с текстовыми запросами, выдавая текст. Модель подходит для описания изображений, визуальных вопросов и ответов, суммаризации, анализа графиков и документов, а также мультиязычного перевода с учётом визуального и культурного контекста. В README перечислены европейские и азиатские языки, включая русский; метаданные также указывают поддержку 17 языков. Рекомендуемая точность для запуска — bfloat16. Модель поставляется в формате safetensors и использует библиотеку Transformers. Лицензия CC-BY-NC-SA-4.0 требует указания авторства, распространения производных материалов на тех же условиях и не разрешает коммерческое использование.
Hukyl разработала TrOCR-Large для распознавания рукописного украинского текста по изображениям отдельных строк. Модель построена на архитектуре VisionEncoderDecoderModel: энкодер ViT-L/16 принимает изображения с разрешением 384 пикселя, а декодер генерирует текст. Размер — около 558 млн параметров. Это дообучение Hukyl/trocr-large-uk-handwritten на реальных рукописях без синтетических данных; модель также подходит как начальная точка для дальнейшей настройки под конкретный почерк или область. Модель предназначена для распознавания заранее выделенных строк, например после обнаружения текста в скане или на странице. В проверке на данных, близких к обучающим, CER составил 0,0249, но на рукописных страницах набора Rukopys без дополнительной настройки CER вырос до 0,1838. Поэтому для архивных сканов и других отличающихся по распределению документов может потребоваться дообучение. Транскрипция может отличаться от оригинала регистром букв и пунктуацией. Лицензия модели — Apache-2.0; при распространении или использовании производных моделей необходимо сохранить атрибуцию набора UkrHandwritten по CC BY-SA 4.0.
UVDoc — модель PaddlePaddle для геометрической коррекции изображений документов. Она выправляет наклон, перспективные искажения и деформации страницы, чтобы улучшить качество последующего распознавания текста. Модель рассчитана на использование как этап предварительной обработки в системах OCR и конвейерах анализа документов, включая PP-StructureV3. В README приведён результат CER 0,179 на тестовом наборе DocUNet; это показатель из указанного бенчмарка, а не гарантия качества на других данных. Модель распространяется под лицензией Apache-2.0. Метаданные указывают языки en и zh; карточка описывает именно коррекцию изображений, а не самостоятельное распознавание текста.
UVDoc — модель семейства UVDoc от PaddlePaddle, предназначенная для геометрической коррекции изображений документов. Она преобразует искажённые снимки, исправляя деформацию, наклон и перспективу, чтобы улучшить точность последующего распознавания текста. В карточке указана оценка CER 0,179 на тестовом наборе DocUNet; подробности методики измерения не приведены. Модель распространяется в формате safetensors и рассчитана на обработку изображений с текстом. Метаданные указывают английский и китайский языки, библиотеку PaddleOCR и лицензию Apache-2.0. Размер модели и длина контекста не относятся к указанному сценарию и в доступных данных не описаны.
VibeVoice-ASR — модель Microsoft для распознавания речи и формирования структурированных расшифровок. Она принимает аудио и в одном проходе обрабатывает записи длительностью до 60 минут, указывая распознанный текст, временные метки и говорящих. Модель также поддерживает пользовательские ключевые слова для имён, терминов и другой специальной лексики. Модель рассчитана на многоязычную речь: README заявляет поддержку более 50 языков, автоматическое определение языка и переключение между языками в ходе записи. По данным карточки, модель построена на плотной архитектуре семейства VibeVoice, использует Transformers и хранит веса в формате safetensors. Указанная лицензия — MIT. Модель подходит для расшифровки длинных записей, где важны привязка реплик ко времени и разделение по говорящим. README заявляет обработку до 60 минут в пределах контекста 64K токенов; фактическое качество распознавания может зависеть от языка, акустики и предметной лексики.
VibeVoice-ASR-7B — мультимодальная модель распознавания речи семейства VibeVoice, представленная в карточке bezzam; код и исходный проект связаны с Microsoft. Она принимает аудио и создаёт структурированную транскрипцию с текстом, временными отметками и указанием говорящих, объединяя распознавание речи, диаризацию и таймкодирование. Модель рассчитана на длинные записи до 60 минут за один проход, поддерживает более 50 языков и переключение языков в речи. Можно передавать контекстные подсказки и пользовательские ключевые слова для имён и специализированных терминов. Модель реализована как плотная архитектура VibeVoice ASR для Transformers и распространяется в формате safetensors; в README заявлена обработка аудио с контекстом до 64K токенов. Для запуска карточка указывает на использование отдельного форка Transformers, поскольку поддержка ещё не объединена с основной библиотекой. Лицензия — MIT. В README приведены результаты оценки на нескольких наборах данных, однако они не гарантируют аналогичное качество на других языках, типах записи и акустических условиях.
Walnoot 8B Instruct — нидерландская языковая модель компании WAINUT, версия 1.0, построенная на базе Apertus-8B-2509. Модель дообучена на нидерландских текстах и инструкциях: карточка описывает продолженное предобучение, обучение следованию инструкциям и доработку с обратной связью. В метаданных указаны плотная архитектура ApertusForCausalLM, 10,3 млрд параметров, контекст до 65 536 токенов и поддержка чата. Модель предназначена для работы с нидерландскими деловыми и юридическими текстами: ответов на вопросы по переданному документу, извлечения сведений, классификации и подготовки стандартных текстов. Она также может составлять черновики кратких изложений, которые следует проверить. Это не поисковая система и не база фактов. Выпущена по лицензии Apache 2.0.
Это мультиязычная модель распознавания речи Whisper large-v3-turbo, подготовленная OpenVINO и сжатая до INT8 с помощью NNCF. Она преобразует аудио в текст и подходит для транскрибирования речи на множестве языков, включая русский и английский. В основе — Whisper large-v3-turbo, дообученная и прореженная версия Whisper large-v3 с четырьмя слоями декодера вместо 32. Это ускоряет распознавание, при этом возможно небольшое снижение качества. Модель поставляется в формате OpenVINO IR; для запуска требуются OpenVINO 2026.1.0 или новее и Optimum Intel 1.27.0 или новее. Модель распространяется по лицензии MIT. В README ограничения отсылают к карточке исходной модели; конкретные ограничения здесь не перечислены.
deepset/xlm-roberta-base-squad2 — мультиязычная модель для извлечения ответов на вопросы, разработанная deepset на базе xlm-roberta-base. Модель обучена на SQuAD 2.0 и предназначена для поиска точного фрагмента ответа в предоставленном тексте; она также может отказаться от ответа, если в тексте нет нужной информации. Модель использует архитектуру XLM-RoBERTa с 305,2 млн параметров и контекстом до 514 токенов. Подходит для систем вопросно-ответного поиска по документам, в том числе построенных на Haystack. В README приведены оценки на SQuAD 2.0, German MLQA и German XQuAD; на двух последних наборах проверялись вопросы и контексты на немецком языке. Модель принимает текст вопроса и контекста и возвращает текстовый ответ с его позицией во входном фрагменте. Лицензия — CC BY 4.0. Поскольку модель извлекает ответы из переданного текста, качество зависит от полноты и релевантности контекста; оценки на немецких наборах показывают ограниченное качество и не гарантируют результаты на других языках или доменах.
AraModernBERT Base V1.0 — модель NAMAA-Space для понимания арабского языка на архитектуре ModernBERT. Она обучена предсказывать замаскированные токены на 100 ГБ арабского текста; для токенизации используется словарь из 50 280 единиц, подготовленный для арабского языка с применением transtokenization при инициализации эмбеддингов. Модель содержит 148,9 млн параметров, 22 слоя, 12 голов внимания и поддерживает контекст до 8 192 токенов с локальным и глобальным вниманием. Основная задача модели — заполнение пропусков в тексте. Её представления также можно применять в поиске информации, RAG, сравнении документов, классификации текстов, анализе тональности и распознавании именованных сущностей. В карточке приведены результаты отдельных экспериментов на классификации SANAD и арабском NER; отдельная STS-версия, согласно README, планировалась к выпуску отдельно. Модель ориентирована прежде всего на современный стандартный арабский язык; качество может отличаться на диалектах, классических текстах и узкоспециализированной лексике, а обучающие данные могут содержать смещения. Лицензия — Apache-2.0.
m-ric/Aria_hf_2 — опубликованный на Hugging Face чекпойнт модели Aria, разработанной командой Rhymes.AI; репозиторий содержит веса в формате safetensors и использует архитектуру AriaForConditionalGeneration. Это мультимодальная модель типа mixture-of-experts, принимающая текст и изображения и генерирующая текст. Она подходит для диалога по изображениям, визуальных вопросов и ответов, описания изображений, а также задач понимания документов и диаграмм. В документации Aria указаны 3,9 млрд активируемых параметров на визуальный токен и 3,5 млрд на текстовый токен; текст обрабатывается MoE-декодером, а изображения — лёгким визуальным энкодером. Репозиторий m-ric/Aria_hf_2 не уточняет размер контекстного окна, поддерживаемые языки или лицензию, поэтому эти характеристики здесь не заявляются. Для загрузки через Transformers указано использование trust_remote_code.
mgrella/autonlp-bank-transaction-classification-5521155 — модель классификации банковских транзакций, обученная с помощью AutoNLP. Она решает задачу многоклассовой классификации текста и предназначена для присвоения транзакционным записям категорий по их текстовому описанию. Модель построена на архитектуре BERT для классификации последовательностей, содержит 137,1 млн параметров и принимает текст длиной до 512 токенов. В карточке указан итальянский язык. На валидации точность составила 0,822, а macro F1 — 0,571; разница между этими показателями указывает, что качество может заметно различаться между классами. Модель опубликована в формате PyTorch и Safetensors. Лицензия в предоставленных данных не указана.
Baseer OCR V1.0 — модель Абдельрахмана Тарека для распознавания арабских юридических документов. Она основана на Qwen2-VL-2B-Instruct и дообучена методом LoRA для извлечения текста из изображений договоров, судебных документов и официальных бумаг со сложной версткой. Модель обрабатывает печатный и рукописный арабский текст, многостолбцовые страницы, таблицы, печати и пометки. Результат может включать извлеченный текст, ключевые слова и сведения о теме документа в структурированном JSON; поддерживаются инструкции для настройки извлечения. Для обучения использовался пользовательский набор арабских юридических документов, изображения предварительно масштабировались до 512×512 пикселей. Модель доступна под лицензией Apache-2.0. README заявляет высокую точность на печатном арабском тексте, но не приводит численных результатов оценки; рекомендуемые требования к GPU — от 16 ГБ видеопамяти, хотя сообщается, что модель проверялась примерно на 8 ГБ.
CataLlama-v0.1-Instruct-DPO — авторегрессионная языковая модель на архитектуре Llama 3, разработанная Лаурентиу Петреа. Это финальный этап обучения CataLlama: модель дообучена методом DPO на наборе catallama/Catalan-DPO поверх CataLlama-v0.1-Instruct-SFT. Размер модели — 7,5 млрд параметров, контекст — 8192 токена; доступны веса в формате Safetensors. Модель предназначена для диалогового взаимодействия и выполнения инструкций на каталанском языке. Она поддерживает извлечение информации для RAG, распознавание именованных сущностей, перевод между английским и каталанским, краткое и развернутое суммирование, а также анализ тональности. Разработчик сообщает об улучшенной работе с каталанским после обучения примерно на 445 млн новых токенов в три этапа. Модель может быть полезна для приложений, которым требуется генерация и анализ текста на каталанском, однако README представляет её как демонстрацию методов адаптации LLM к новым языкам, а не как модель, ориентированную на рекорды бенчмарков. Лицензия — Llama 3 Community License; применяются её условия и Acceptable Use Policy.