I.3Извлечение и структурирование данных

vikp/column_detector — модель на базе LayoutLMv3, предназначенная для определения числа колонок на изображениях страниц PDF. Она используется в Marker для анализа структуры страницы и может помогать выбирать подходящую схему чтения при извлечении содержимого документа. Модель имеет 151,8 млн параметров, реализована на PyTorch и принимает входные данные длиной до 514 токенов. Модель относится к классификации текста по метке Hugging Face, а её архитектура — LayoutLMv3ForSequenceClassification. Для работы с изображениями страниц она использует информацию о макете документа. README не уточняет набор выходных классов, метрики качества и лицензию, поэтому их нельзя описать точнее.

Модель syarulzaffi/date2format — классификатор текста на базе DistilBERT, обученный с помощью AutoTrain как дообучение syarulzaffi/date2dateformat. Она предназначена для классификации текстового ввода в рамках задачи преобразования даты в нужный формат. В карточке приведены метрики валидации: точность составляет около 93,9%, а macro F1 — около 93,3%. Модель принимает текст и выдаёт метку класса; максимальная длина контекста — 512 токенов. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных сведениях не указана.

Модель somskat/distilbert-base-uncased-finetuned-ner — дообученная версия Jing1113/distilbert-base-uncased-finetuned-srl для классификации токенов. По названию репозитория она предназначена для распознавания именованных сущностей (NER). Модель построена на архитектуре DistilBERT и принимает текст; максимальная длина контекста — 512 токенов. В карточке приведены метрики на оценочном наборе: F1 0,8698, точность 0,8664, полнота 0,8732 и accuracy 0,9737. Данные обучения, набор меток и подробные сценарии применения не описаны. Модель распространяется по лицензии Apache-2.0.

DocumentFigureClassifier-v2.5 — модель классификации изображений, разработанная проектом Docling и основанная на Google EfficientNet-B0, дообученной на подмножестве датасета HuggingFace/finepdfs. Она относит изображения из документов к одной из 26 категорий, включая логотипы, фотографии, значки, чертежи, графики, таблицы, схемы, карты, подписи, штампы и QR-коды. Модель предназначена для анализа содержимого PDF и других документов: она помогает распознавать типы иллюстраций и направлять их на подходящую последующую обработку. В README приведена оценка на отложенной выборке finepdfs: точность составляет 0,907, сбалансированная точность — 0,688, а Macro F1 — 0,689. Модель доступна в форматах ONNX и safetensors и распространяется по лицензии MIT. Показатели по отдельным классам различаются, поэтому качество может быть ниже для редких или похожих категорий; модель обучалась на подмножестве finepdfs, и её результаты могут зависеть от состава входных документов. README не описывает требования к размеру входного изображения или полный процесс предобработки.

DRAGON-MISTRAL-0.3 — модель серии dRAGon, разработанная llmware и дообученная на базе Mistral 7B 0.3 для ответов по контексту в сценариях RAG. Она предназначена для вопросно-ответной работы со сложными деловыми, юридическими и нормативными документами, извлечения пар «ключ—значение» и краткого суммирования; целевой язык — английский. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Разработчик сообщает о настройке на фактологические ответы, сокращение галлюцинаций и краткие ответы для автоматизации рабочих процессов. В описанном тестовом запуске квантованной версии GGUF указаны 99,5 балла из 100 и отсутствие замеченных галлюцинаций, однако это результат одного запуска и не гарантирует такое же качество в других условиях. Модель может выдавать неточные или неполные ответы, поэтому результаты требуют проверки. Лицензия — Apache 2.0.

DRAGON-QWEN-7B — модель серии dRAGon от llmware, дообученная для ответов на вопросы по сложным деловым и юридическим документам. Она основана на Qwen2-7B-Base и использует архитектуру Qwen2 с плотной causal language model на 7,1 млрд параметров; принимает текст и генерирует текст. Модель предназначена для RAG-сценариев: ответов по предоставленному контексту, извлечения пар ключ-значение и краткого суммирования. В карточке заявлены английский язык и контекст до 131 072 токенов. Разработчик сообщает о настройке на фактические ответы, снижении галлюцинаций и пригодности к автоматизации рабочих процессов; в одном тестовом прогоне квантованной версии GGUF указаны 99 правильных ответов из 100. Это результат отдельного теста разработчика, а не гарантия качества в других условиях. Модель может выдавать неточные или неполные ответы, поэтому результаты требуют проверки. Лицензия — Apache 2.0.

EvanD/dutch-ner-xlm-conll2003 — переупакованная в формат PyTorch Hugging Face модель распознавания именованных сущностей на нидерландском языке. Автор сообщает, что это преобразованная копия flair/ner-dutch-large; архитектура XLM-RoBERTa с головой классификации токенов, около 658,7 млн параметров и контекстом до 514 токенов. Модель предназначена для разметки нидерландского текста именованными сущностями. Её можно применять для извлечения сущностей из документов, новостей и других текстовых материалов. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

EstBERT_NER — дообученная модель семейства BERT, разработанная на базе эстонской модели tartuNLP/EstBERT для распознавания именованных сущностей в эстонском тексте. Она размечает упоминания людей (PER), организаций (ORG) и мест (LOC), например в документах и новостях. Модель содержит 151,6 млн параметров, принимает текстовые последовательности длиной до 512 токенов и предназначена для задачи классификации токенов. Её можно использовать через pipeline Transformers для NER; результаты иногда требуют постобработки, поскольку модель может помечать как сущности отдельные части слов. Лицензия — CC BY 4.0.

Florence-2-DocLayNet-Fixed — визуальная модель, которую разработчик дообучил на базе microsoft/Florence-2-large-ft с использованием датасета DocLayNet-v1.1. Она предназначена для анализа макета документов: находит области вроде подписей, сносок и формул и возвращает их классы и ограничивающие рамки по изображению страницы. В README сообщается об улучшении mAP50-95 на 7% после переименования классов в короткие токены. На тестовом наборе DocLayNet модель достигла 70%, а на подмножестве научных статей — 87%; авторы отмечают, что рамки получаются аккуратнее, чем у сравниваемых YOLO-моделей. Вес опубликован для дальнейшего исследования. Модель принимает изображение и выдаёт текстовое представление предсказаний; репозиторий содержит веса safetensors. Лицензия — Apache-2.0.

gemma-4-E2B-it-GGUF — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google и представленная в формате GGUF пользователем prithivMLmods. Она предназначена для локального запуска на смартфонах, ноутбуках, Raspberry Pi, IoT-устройствах и потребительских GPU, включая сценарии с llama.cpp. Модель подходит для агентных рабочих процессов, OCR, включая многоязычный и рукописный текст, анализа документов и PDF, понимания интерфейсов и экранов, диаграмм и объектов, помощи в программировании, извлечения структурированных данных и задач, требующих рассуждений. Заявлены 2,3 млрд эффективных параметров и 5,1 млрд параметров всего, 35 слоёв, 512-токенное скользящее окно, контекст до 128K токенов и словарь из 262K элементов. Модель поддерживает текст, изображения с переменным соотношением сторон и разрешением, а также аудио; предусмотрены настраиваемые режимы рассуждений. Указан английский язык. Доступны варианты BF16, F16 и квантизации от Q2_K до Q8_0, а также отдельные multimodal projector-файлы, что позволяет выбирать между качеством, размером и требованиями к памяти. Сильные стороны модели — мультимодальность, большой контекст, локальное выполнение и низкие требования к ресурсам; заявлена оптимизация для чипов Qualcomm и MediaTek через Android AICore. Ограничения включают зависимость мультимодальных возможностей от совместимого projector-файла и программного обеспечения, а также отсутствие в README подробных результатов бенчмарков, сведений о поддерживаемых языках кроме английского и точных требований к аппаратному обеспечению. Модель распространяется по лицензии Apache-2.0.

GLiNER2 Arabic Multi-Task — это дообученная Fastino модель GLiNER2, разработанная для извлечения сущностей и анализа арабского текста. Она содержит 287 млн параметров, использует архитектуру BoundaryExtractor и энкодер mDeBERTa-v3. Модель основана на fastino/gliner2.5-multi-v1; все четыре выходные головы дообучены на арабских данных. Веса доступны в формате safetensors по лицензии CC BY-SA 4.0. Модель принимает текст и заданные пользователем названия задач, меток или полей схемы. Она извлекает сущности и связи, классифицирует текст по одной или нескольким меткам и формирует структурированные записи, значения которых должны быть фрагментами исходного текста. Арабские и английские схемы поддерживаются; настройка охватывает арабские сущности, диалект, сарказм, тональность и некоторые отношения. Предусмотрена обработка произвольных типов сущностей в zero-shot режиме, хотя качество таких запросов зависит от типа данных и схемы. Модель предназначена для аналитики арабских обращений клиентов, публикаций в социальных сетях и новостей, включая выявление персональных данных, разметку намерений и извлечение записей. На диалектных, саркастических и тональных метках возможен перекос к частым классам, а уверенность может быть высокой даже при ошибке. Для числовых сущностей рекомендуется использовать короткие списки типов; идентификаторы следует дополнительно проверять регулярными выражениями. При токенизации нужно удалять диакритические знаки и татвиль, а извлечённые значения и структурированные записи проверять на соответствие исходному тексту.

glinermediumnews-v2.1 — модель извлечения сущностей, разработанная Emergent Methods как дообучение GLiNER на новостных данных. Она предназначена для обнаружения в тексте сущностей заданных типов, включая организации, людей, местоположения, даты, числа и транспортные средства. Модель использует архитектуру на основе DeBERTa и поддерживает zero-shot извлечение сущностей; дообучение на разнообразных новостных примерах улучшило точность на 18 наборах тестов, по данным авторов, вплоть до 7,5% относительно базовой GLiNER. Модель рассчитана на извлечение сущностей из новостей и текстов широкого круга тематик, в том числе в сценариях с длинным контекстом и высокой пропускной способностью. README указывает английский как основной язык, а также упоминает тексты и переводы с испанского, португальского, немецкого, русского, французского, арабского, итальянского, украинского, норвежского, шведского и датского языков. Доступна по лицензии Apache 2.0. Данные для дообучения были синтетически созданы на основе новостных материалов AskNews: WizardLM 13B v1.2 использовалась для перевода и суммаризации, а Llama 3 70B Instruct — для извлечения сущностей при подготовке данных. Авторы отмечают сохраняющийся перекос в сторону западных языков и стран, а также возможное наследование смещений генераторов синтетических данных.

GLM-4.6V-Flash-GGUF — мультимодальная модель семейства GLM-V, разработанная Z.ai (zai-org) и представленная в формате GGUF компанией Unsloth. Это облегчённая версия GLM-4.6V с 9 млрд параметров, ориентированная на локальное развёртывание и приложения с низкой задержкой. Модель поддерживает китайский и английский языки, работает с текстом и изображениями, а также предназначена для обработки скриншотов, страниц документов, таблиц, графиков и других визуальных данных. Модель рассчитана на визуальное понимание, мультимодальное рассуждение, анализ длинных и сложных документов, распознавание структуры и содержимого изображений, а также на сценарии мультимодальных агентов. Она поддерживает контекст до 128K токенов, нативный Function Calling с передачей изображений и документов инструментам, интерливинг текстового и визуального контента, генерацию HTML/CSS по скриншотам интерфейсов и визуальное редактирование по инструкциям на естественном языке. К сильным сторонам относятся сочетание визуального восприятия, рассуждения и вызова инструментов, поддержка длинного мультимодального контекста и оптимизация для локального использования. Ограничения включают меньший размер и, вероятно, более ограниченные возможности по сравнению с облачной версией GLM-4.6V на 106 млрд параметров; конкретные требования к оборудованию и характеристики квантования для данного GGUF в README не указаны. Лицензия модели — MIT.

iKG-v1.0 (ICKG, Integrated Contextual Knowledge Graph Generator) — авторегрессионная языковая модель на архитектуре Transformer, разработанная Xiaohui Li для построения графов знаний по инструкциям и специализированным запросам. Модель дообучена на Vicuna-7B, основанной на LLaMA; метаданные указывают семейство LLaMA и размер 6,6 млрд параметров. Она генерирует графы знаний из текстовых инструкций, уделяя внимание качеству и соблюдению заданного формата. В карточке приведена предварительная оценка, в которой iKG показала результаты выше GPT-3.5 и исходной Vicuna-7B на задачах построения графов знаний и сопоставимые с GPT-4; подробностей методики оценки нет. Контекст модели — 2048 токенов. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

HashNuke/indic-ocr-mlx — конверсия IndicOCR от Bodhan AI / AI4Bharat для запуска на Apple Silicon через MLX-VLM. Это двухэтапная система разбора документов: IndicDocLayout находит блоки и определяет порядок чтения, затем IndicBlockOCR распознаёт их содержимое. Результат включает Markdown в порядке чтения и JSON по блокам; формулы могут передаваться в LaTeX, а таблицы — в HTML. Этап распознавания основан на дообученной Qwen3.5-0.8B, а этап разметки — на дообученной PP-DocLayoutV3 с 37 классами. Модель предназначена для OCR и структурированного извлечения текста из изображений страниц, включая документы с формулами и таблицами. Заявлена поддержка печатного текста на английском и 22 индийских языках; рукописный текст поддерживается на английском и 12 индийских языках, но не на всех языках печатного текста. Проверки описаны на отдельных примерах и не являются оценкой точности на широком наборе данных. Для запуска требуется версия MLX-VLM с поддержкой indic_ocr; веса не квантизированы. Лицензия указана как other, поэтому конкретные условия использования следует сверять с карточкой модели и лицензией исходного проекта.

InternVL2-26B — мультимодальная диалоговая модель с настройкой по инструкциям, разработанная командой OpenGVLab. Она объединяет визуальный энкодер InternViT-6B-448px-V1-5, MLP-проектор и языковую модель internlm2-chat-20b; заявленный размер — около 25,5 млрд параметров. Модель предназначена для диалога по изображениям и видео, а также для анализа документов, диаграмм, инфографики и текста на изображениях, решения научных и математических задач. Модель принимает текст и изображения; видео может обрабатываться через кадры. Она обучена на контекстном окне 8k и данных с длинными текстами, несколькими изображениями и видео. README заявляет конкурентные результаты на мультимодальных бенчмарках, включая задачи OCR и понимания документов. Метаданные отмечают поддержку многоязычного режима, но конкретные языки не перечислены. Репозиторий распространяется по лицензии MIT.

mychen76/invoice-and-receipts_donut_v1 — модель на основе Donut, дообученная для извлечения структурированных данных из изображений счетов и чеков. Она принимает изображение документа и формирует результат в виде JSON или XML, позволяя преобразовывать содержимое документа без отдельного OCR-движка. Модель предназначена для автоматизации обработки счетов и чеков, например для извлечения сведений о покупке и переноса их в структурированные системы. В метаданных указана архитектура vision-encoder-decoder и формат весов PyTorch/Safetensors. Модель опубликована под лицензией Apache-2.0. В README модель названа экспериментальной. Карточка не приводит сведения о размере модели, контекстном окне или поддерживаемых языках документов; качество извлечения на разных шаблонах и языках не описано.

Italian_NER_XXL_v2 — модель распознавания именованных сущностей в итальянском тексте, разработанная Michele Montebovi. Это модель на основе BERT с 137,9 млн параметров и контекстом до 512 токенов; она размечает токены и выделяет 52 категории сущностей, включая персональные данные, финансовые и юридические сведения, медицинские термины, технические идентификаторы, места и даты. В карточке заявлены точность 87,5% и F1 89,2%, а также улучшенное распознавание сложных контекстов и меньшее число ложных срабатываний по сравнению с предыдущей версией. Модель предназначена для обнаружения чувствительной информации, анонимизации документов и извлечения сущностей из юридических, финансовых и медицинских текстов. README приводит поддержку итальянского текста; метаданные также помечают английский язык, но подробные показатели для него не приведены. Весовые файлы доступны в формате safetensors. Лицензия — Apache-2.0.

Карточка модели DmitrySpartak/layoutlm-invoices на Hugging Face совпадает с карточкой impira/layoutlm-invoices, поэтому описание составлено по ней. Impira LayoutLM Invoices — дообученная мультимодальная модель семейства LayoutLM от команды Impira для ответов на вопросы по счетам-фактурам и другим документам. Модель содержит 151,8 млн параметров, использует архитектуру LayoutLMForQuestionAnswering и доступна в форматах PyTorch и Safetensors. Модель предназначена для извлечения ответов из документов с учётом их визуальной структуры и расположения текста. Её дообучали на закрытом наборе счетов-фактур, а также на SQuAD 2.0 и DocVQA для более общего понимания документов. Дополнительная классификационная голова позволяет предсказывать ответы из несмежных фрагментов текста, например корректно собирать адрес, разделённый другими элементами документа. Для использования разработчики рекомендуют DocQuery. Карточка указывает поддержку английского языка; метаданные задают контекст в 514 токенов. Модель распространяется по лицензии CC BY-NC-SA 4.0, которая предусматривает указание авторства, распространение производных работ на тех же условиях и ограничивает коммерческое использование.

Карточка модели faisalraza/layoutlm-invoices на Hugging Face совпадает с карточкой impira/layoutlm-invoices, поэтому описание составлено по ней. Impira LayoutLM Invoices — дообученная мультимодальная модель семейства LayoutLM от команды Impira для ответов на вопросы по счетам-фактурам и другим документам. Модель содержит 151,8 млн параметров, использует архитектуру LayoutLMForQuestionAnswering и доступна в форматах PyTorch и Safetensors. Модель предназначена для извлечения ответов из документов с учётом их визуальной структуры и расположения текста. Её дообучали на закрытом наборе счетов-фактур, а также на SQuAD 2.0 и DocVQA для более общего понимания документов. Дополнительная классификационная голова позволяет предсказывать ответы из несмежных фрагментов текста, например корректно собирать адрес, разделённый другими элементами документа. Для использования разработчики рекомендуют DocQuery. Карточка указывает поддержку английского языка; метаданные задают контекст в 514 токенов. Модель распространяется по лицензии CC BY-NC-SA 4.0, которая предусматривает указание авторства, распространение производных работ на тех же условиях и ограничивает коммерческое использование.

perlious-Savage/layoutlmv3-cord-extraction — модель Perlious-Savage для извлечения полей из изображений чеков. Она основана на LayoutLMv3-base от Microsoft и дообучена на датасете CORD-v2; архитектура LayoutLMv3 объединяет анализ текста, изображения и структуры документа. Модель с 151,8 млн параметров выполняет классификацию токенов и выделяет поля чека, размеченные 59 типами BIO, включая позиции меню, количество, цены, налоги, чаевые и суммы оплаты. Родной контекст — 514 токенов; карточка указывает английский язык. В README приведён entity-level F1 0,948 на тестовой выборке CORD-v2 из 100 документов, однако авторы отмечают, что оценка основана на одном запуске. Модель предназначена для извлечения данных из розничных чеков, а не для проверки KYC или регуляторного соответствия. Редкие категории извлекаются хуже; числа и разбор сумм рассчитаны на индонезийский формат, где точка обозначает разделитель тысяч. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

rajistics/layoutlmv3-finetuned-cord_500 — модель LayoutLMv3, дообученная на наборе cord-layoutlmv3 для классификации токенов в документах. Она объединяет текстовые данные с визуальной структурой страницы и предназначена для извлечения и разметки полей в документах, подобных квитанциям CORD. В README указаны результаты на оценочной выборке: F1 0,9541, точность 0,9610, precision 0,9509 и recall 0,9573. Модель содержит 151,8 млн параметров, принимает текст и изображение документа и выдаёт метки для токенов; нативный контекст — 514 токенов. Опубликована в формате PyTorch и распространяется по лицензии CC BY-NC-SA 4.0, предусматривающей некоммерческое использование и распространение производных работ на тех же условиях. Результаты относятся к оценочной выборке CORD; README не приводит подробностей о классах меток и качестве на других типах документов.

oussama/layoutlmv3-finetuned-invoice — модель Oussama, дообученная на microsoft/layoutlmv3-base на наборе SROIE для классификации токенов в документах-счетах. Архитектура LayoutLMv3ForTokenClassification объединяет текстовые и визуальные признаки документа; модель содержит 151,8 млн параметров и рассчитана на контекст до 514 токенов. Основной сценарий — извлечение и разметка полей из изображений чеков и счетов, представленных с распознанным текстом и координатами токенов. В README указаны идеальные метрики на оценочной выборке SROIE, однако сведений о размере и составе выборки или проверке на других типах документов нет. Весовые файлы доступны в форматах PyTorch и safetensors. Лицензия в предоставленных данных не указана.

LensVLM-9B — мультимодальная модель зрения и языка на 9 млрд параметров, разработанная Apple и дообученная на базе Qwen/Qwen3.5-9B. Она анализирует сжатые изображения с текстом и с помощью обученных инструментов выборочно раскрывает страницы в исходном разрешении, когда нужны дополнительные детали. Модель предназначена для извлечения и анализа текста из визуальных документов, особенно когда нужно находить релевантные страницы в большом наборе сжатых изображений и детально изучать только их. Архитектура — плотная Qwen3.5 для генерации текста с изображениями; репозиторий содержит веса Safetensors и рассчитан на Transformers. Метаданные относят модель к задаче image-text-to-text и указывают поддержку диалога и зрения. Модель выпущена по лицензии Apple AMLR. README не сообщает языки, длину контекста и количественные результаты оценки, поэтому их нельзя уточнить по доступным сведениям.

LFM2.5-1.2B-Thinking — текстовая модель общего назначения от Liquid AI, созданная для локального запуска на устройствах с ограниченными ресурсами. Это дообученная версия LFM2.5-1.2B-Base, основанная на гибридной архитектуре LFM2: 16 слоёв, включая блоки свёрток и GQA. В README указано 1,17 млрд параметров, а в метаданных Hugging Face — 1,5 млрд; заявленная длина контекста в README составляет 32 768 токенов, тогда как метаданные указывают 128 000 токенов. Эти значения расходятся, поэтому их следует сверить перед настройкой развёртывания. Модель предназначена для рассуждений общего назначения, агентных сценариев, извлечения данных и ответов по документам в RAG-системах. Она поддерживает вызов инструментов и рассчитана на английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Карточка описывает исходный чекпойнт в формате Safetensors и указывает поддержку Transformers и vLLM; семейство LFM2.5 также ориентировано на запуск на устройстве. README не рекомендует модель для задач, требующих обширных знаний, и программирования; дата отсечения знаний — середина 2024 года. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует проверять в карточке модели на Hugging Face.

Heretic-org/LFM-2.5-2.6B-heretic — текстовая чат-модель на 2,6 млрд параметров, созданная с помощью Heretic v1.4.0 как «децензурированная» версия LiquidAI/LFM2.5-2.6B. Это плотная причинная языковая модель семейства LFM2 с 30 слоями и контекстом до 131 072 токенов; модель работает с текстом и поддерживает многоязычный ввод и генерацию, включая русский, английский, арабский, китайский, французский, немецкий, хинди, индонезийский, итальянский, японский, корейский, польский, португальский, испанский, тайский и вьетнамский. Модель предназначена для диалогов, следования инструкциям, работы с инструментами, извлечения данных, RAG и сценариев с длинным контекстом, в том числе локального и периферийного развертывания. В README приведено сравнение с исходной моделью: 4 отказа из 100 запросов против 98 у оригинала при KL-дивергенции 0,0321; это указывает на снижение склонности к отказам, но не доказывает универсальное качество или безопасность. Разработчик исходной модели — Liquid AI; эту производную модель подготовил heretic-org. Указана лицензия «other», поэтому конкретные права и ограничения следует проверять в файлах репозитория и условиях исходной модели.

onnx-community/LFM2.5-350M-ONNX — ONNX Runtime-версия универсальной текстовой модели LFM2.5-350M, разработанной Liquid AI. Модель предназначена для кроссплатформенного развёртывания и аппаратно ускоренного вывода в облачных, периферийных и мобильных средах, включая локальные устройства с ограниченными ресурсами. Рекомендуемые сценарии — извлечение данных, структурированный вывод и использование инструментов с поддержкой function calling. Модель текстовая, содержит 350 млн параметров и имеет контекст до 32 768 токенов. Архитектура включает 16 слоёв: 10 блоков double-gated LIV convolution и 6 блоков GQA; размер словаря — 65 536 токенов. Она обучалась на 28 трлн токенов, поддерживает английский, арабский, китайский, французский, немецкий, японский, корейский, португальский и испанский языки. Заявлена работа менее чем с 1 ГБ памяти, а ONNX-формат облегчает переносимость между различными аппаратными платформами. Сильными сторонами являются малый размер, высокая скорость edge-инференса и удобство интеграции в разнообразные среды выполнения. Модель не рекомендуется для задач, требующих глубоких знаний, и программирования; дата отсечения знаний — середина 2024 года. Указана лицензия lfm1.0; дополнительные условия следует проверять в файле лицензии репозитория.

odunola/lfm-350m — это зеркальная публикация модели LFM2.5-350M от Liquid AI. Веса не изменены; в репозитории обновлён tokenizer_config.json, чтобы Transformers мог разбирать простые ответы ассистента и вызовы инструментов. Это плотная гибридная языковая модель LFM2 с 444,6 млн параметров по метаданным, 16 слоями и контекстом 128 000 токенов по метаданным. Она принимает и генерирует только текст; README описывает её как универсальную инструкционную модель для локального запуска и устройств с ограниченными ресурсами. Модель предназначена для извлечения данных, формирования структурированных ответов и вызова инструментов. Она поддерживает английский, арабский, китайский, французский, немецкий, японский, корейский, испанский и португальский языки. README указывает скорость до 313 токенов в секунду на AMD CPU и запуск менее чем с 1 ГБ памяти, однако эти показатели зависят от оборудования и условий измерения. Для работы доступны Transformers и другие среды вывода. Модель дообучена на LiquidAI/LFM2.5-350M-Base и выпущена под лицензией LFM Open License v1.0. README не рекомендует её для задач, требующих обширных знаний, и программирования; контрольная дата знаний — середина 2024 года.

kavg/LiLT-RE-JA — дообученная модель извлечения отношений из документов на основе nielsr/lilt-xlm-roberta-base. Она предназначена для выявления связей между сущностями в документном тексте с учётом структуры страницы; обучалась на датасете XFUND. Модель содержит 305,2 млн параметров, использует архитектуру LiLT совместно с XLM-RoBERTa и принимает контекст до 514 токенов. В README приведены результаты оценки на тестовой выборке: precision 0,4372, recall 0,6574 и F1 0,5252. Доступна в формате safetensors по лицензии MIT.

Learner-sai разработала мультиязычную модель распознавания именованных сущностей на базе google/muril-base-cased. Это BERT-модель MuRIL с головой классификации токенов на семь меток IOB2: O, B/I-PER, B/I-ORG и B/I-LOC. Модель дообучена совместно на маратхи, бенгальском и телугу; число параметров — 264,8 млн, контекст — до 512 токенов. Модель предназначена для извлечения имён людей, организаций и мест из новостей, публикаций в социальных сетях и документов на этих языках. Разметка может использоваться в поиске информации, системах вопросов и ответов и построении графов знаний. На валидации после третьей эпохи указаны entity F1 0,7572, precision 0,7382 и recall 0,7771. Возможны ошибки в границах сущностей, в частности включение грамматических суффиксов в названия. Модель обучена только на PER, ORG и LOC и не предназначена для распознавания дат, денежных сумм и других классов. Лицензия — Apache 2.0.