I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельTSFT-RAG Gemma-3-12B-IT — модель на базе Gemma-3-12B-IT, которую Sascha Frank разработал в рамках исследовательского проекта TSFT-RAG. Это полно-параметрическое дообучение с архитектурой Gemma3ForConditionalGeneration и 12 млрд параметров; модель предназначена для генерации ответов в системах поиска с дополненной генерацией (RAG), а не для универсального диалога. Она принимает текстовые запросы и контекст документов и формирует текстовые ответы, включая структурированный JSON. Модель обучалась отвечать по найденным источникам, выявлять вопросы без достаточных подтверждений, извлекать темы, ключевые сообщения и аргументы, а также генерировать цитаты. В оценке проекта улучшились общая агрегированная оценка и распознавание неподтверждённых вопросов относительно базовой модели, однако результат на grounded QA немного снизился. Основные ограничения: общее открытое общение не было целью оптимизации, оценка проводилась преимущественно на немецкоязычных наборах данных, мультимодальные возможности не оценивались. Для юридических, медицинских и других критически важных решений нужны проверка человеком и атрибуция источников. Лицензия — Gemma.
TSFT-RAG Gemma-3-4B-IT — полноразмерная дообученная модель на базе Google Gemma 3 4B IT, созданная независимым исследователем Sascha Frank в рамках проекта TSFT-RAG. Модель предназначена для RAG-сценариев: ответов на вопросы по найденным источникам, выявления вопросов без достаточной опоры на источники, извлечения информации и создания структурированных ответов, включая JSON. Это плотная модель семейства Gemma 3 с архитектурой Gemma3ForConditionalGeneration и примерно 4 млрд параметров. Она принимает текст и, как производная Gemma 3, поддерживает мультимодальный ввод изображений, хотя для этой версии мультимодальная оценка не проводилась. Карточка сообщает об оценке преимущественно на немецкоязычных наборах данных; сведений о длине контекста нет. В опубликованной оценке агрегированный результат вырос относительно базовой модели, особенно на выявлении неподдержанных вопросах, но качество grounded QA немного снизилось. Модель оптимизирована для RAG и не предназначена для общего диалога; в важных областях требуется проверка человеком. Лицензия — Gemma license.
knkarthick/Action_Items — модель классификации текста на базе DistilBERT, дообученная на пользовательском наборе данных для выявления пунктов действий. Она относит входной фрагмент текста к одному из двух классов: «не является пунктом действия» или «пункт действия». Модель подходит для автоматического выделения задач и обязательств из заметок, стенограмм и деловой переписки. Поддерживает английский язык, использует архитектуру DistilBertForSequenceClassification и контекст до 512 токенов. Опубликована в формате PyTorch под лицензией Apache-2.0. Карточка не приводит метрик качества или подробностей о составе обучающего набора, поэтому пригодность для конкретного корпуса следует проверять отдельно.
CataLlama-v0.1-Instruct-SFT — чат-модель на архитектуре Llama 3, разработанная Лаурентиу Петреа и дообученная методом SFT на наборе catallama/Catalan-Instruct. Это второй этап обучения CataLlama; модель получила около 445 млн новых токенов за три этапа обучения. Она предназначена прежде всего для работы с каталонским языком: извлечения сведений из документов, распознавания именованных сущностей, перевода между каталонским и английским, краткого и подробного пересказа, анализа тональности и диалогов по инструкциям. Модель имеет 7,5 млрд параметров, использует авторегрессионный трансформер и принимает текстовые запросы; длина контекста составляет 8192 токена. В карточке приведены результаты MMLU 55,28 и GSM8K 51,63, а также validation loss 0,8528 после двух эпох; автор отмечает, что модель создана для демонстрации адаптации LLM к новым языкам, а не для лидерства в бенчмарках. Лицензия — Llama 3 Community License. README содержит ограничение на использование не на английском языке, хотя модель специально дообучена для каталонского; перед применением следует учитывать условия лицензии и политики использования Llama 3.
Microsoft DiT Large — трансформерный энкодер для классификации изображений документов. Модель предварительно обучена на 42 млн изображений документов IIT-CDIP и дообучена на RVL-CDIP: 400 тыс. изображений в оттенках серого, распределённых по 16 классам. Архитектура DiT идентична BEiT; модель содержит 411 млн параметров. Основное применение этой версии — классификация сканов и изображений документов. Энкодер также может извлекать векторные представления документов, а предварительно обученная архитектура подходит для дальнейшей настройки на распознавание структуры страниц и обнаружение таблиц. Изображения разбиваются на патчи размером 16×16. Модель принимает изображения и выдаёт классовые предсказания; для использования требуется совместимый код инференса, например Transformers с PyTorch. В карточке не приведены сведения о лицензии, поэтому условия использования по доступным данным определить нельзя.
Florence-2-large — модель компьютерного зрения и обработки изображений с текстовыми запросами, размещённая в сообществе Florence Community как преобразованный чекпойнт Microsoft Florence. Это продолженное предварительное обучение Florence-2-large с контекстом 4k; автор карточки предупреждает, что для продолжения использовали лишь 0,1 млрд примеров и модель могла обучиться недостаточно хорошо. Архитектура — последовательность-последовательность, размер исходной Florence-2-large составляет 0,77 млрд параметров; чекпойнт представлен в safetensors и рассчитан на Transformers. Модель выполняет по текстовой инструкции генерацию подписей к изображениям, обнаружение объектов, описание областей, привязку фраз к областям, предложения регионов и OCR, в том числе с координатами распознанного текста. Она подходит для анализа изображений, извлечения текста и локализации объектов в сценариях zero-shot или после дообучения. Карточка не подтверждает конкретный набор поддерживаемых языков. Лицензия — MIT.
Florence-2-large-ft — преобразованный для Transformers чекпойнт модели Florence от Microsoft, дообученный для набора задач компьютерного зрения. Модель использует плотную архитектуру Florence-2 с генерацией последовательностей по текстовым запросам; размер исходной Florence-2-large составляет 0,77 млрд параметров. Она принимает изображение и текстовый запрос, а в ответ может создавать подписи и описания, распознавать текст, находить объекты и области изображения, связывать фразы с областями и предлагать регионы. Модель предназначена для универсального анализа изображений, включая создание подписей, OCR и визуальные вопросы и ответы. В карточке указано, что этот вариант продолжает предобучение Florence-2-large на 0,1 млрд примеров; автор предупреждает, что такое обучение могло оказаться недостаточным. Для OCR в этой версии используется символ перевода строки между строками. Контекст — 4 тысячи токенов. Репозиторий содержит веса Safetensors и распространяется по лицензии MIT.
Marianodo/labels-per-job-title-fine-tune — модель sentence-transformers на базе MPNet, разработанная Marianodo для сопоставления предложений и абзацев с названиями должностей и метками. Она преобразует текст в плотные векторы размерности 768 и предназначена для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров и поддерживает контекст до 514 токенов. В README указано, что модель обучалась с функцией потерь BatchHardSoftMarginTripletLoss. Её можно применять для поиска похожих формулировок должностей, группировки названий вакансий и подбора меток по текстовому описанию. Данные о языке обучения или использования в карточке не приведены. Модель поставляется в формате PyTorch. Лицензия в предоставленных метаданных и README не указана.
bunnycore/Llama-3.1-8B-TitanFusion — объединённая языковая модель семейства Llama, созданная с помощью mergekit методом DARE TIES. Базой слияния служила bunnycore/LLama-3.1-8B-Matrix; также в объединение вошли akjindal53244/Llama-3.1-Storm-8B, bunnycore/HyperLlama-3.1-8B, DreadPoor/Heart_Stolen-8B-Model_Stock и refuelai/Llama-3-Refueled. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors. Она предназначена для генерации текста; заявленная длина контекста — 131072 токена. В составе объединения есть англоязычная инструктивная модель Refuel AI, предназначенная для генерации текста, классификации, извлечения атрибутов и разрешения сущностей. Карточка не сообщает о специализированных областях применения или ограничениях качества. Лицензия в предоставленных данных не указана.
LLM-jp-4-VL 9B beta — зрительно-языковая модель, разработанная исследовательской группой LLM-jp. Она дообучена на основе llm-jp/llm-jp-4-8b-instruct и объединяет языковую модель на 8,6 млрд параметров, визуальный энкодер SigLIP2 SO400M на 0,4 млрд параметров и лёгкий двухслойный MLP-проектор. Архитектура вдохновлена InternVL3.0; для обработки изображений высокого разрешения применяется динамическое разбиение на фрагменты. Модель предназначена для диалога с изображениями и ответов на визуальные вопросы, включая анализ диаграмм, документов, слайдов и сцен. Обучение использовало англоязычный набор FineVision и японский мультимодальный набор Jagle. В README сообщается о результатах на уровне Qwen3-VL-8B-Instruct в среднем по десяти японским задачам; это не гарантирует такого же качества на других данных. Модель доступна по лицензии Apache-2.0.
MegaBeam-Mistral-7B-512k — компактная языковая модель на 7,1 млрд параметров, представленная в работе «Scaling Context, Not Parameters: Training a Compact 7B Language Model for Efficient Long-Context Processing». Она дообучена на Mistral-7B-Instruct-v0.2 и предназначена для генерации текста и диалогов с длинными документами и контекстом до 524 288 токенов. Модель использует плотную архитектуру MistralForCausalLM и распространяется в формате Safetensors. Модель подходит для поиска фактов в объёмных текстах, многошаговых вопросов и ответов, суммирования и других сценариев, где требуется учитывать длинный контекст. В README приведены результаты оценок на NIAH, RULER и InfiniteBench; они указывают на сильное извлечение информации в некоторых тестах, но качество различается между задачами и не гарантирует результат на пользовательских данных. Для эффективного запуска длинного контекста требуются совместимые инструменты обслуживания модели и значительные вычислительные ресурсы. Лицензия — Apache-2.0.
Muse Spark 1.1 — мультимодальная модель рассуждения от Meta, предназначенная для агентных задач. Она принимает текст, изображения, видео, аудио и PDF-документы и формирует текстовые ответы. Для модели заявлено контекстное окно в 1 млн токенов, что позволяет работать с длинными документами и мультимодальными материалами. Данных о лицензии и дополнительных ограничениях в предоставленных источниках нет.
nl-lokaal-middel — разработанная LokaalHub модель распознавания персональных данных в нидерландском тексте. Это RoBERTa-модель для классификации токенов, дообученная на базе DTAI-KULeuven/robbert-2023-dutch-base; метаданные указывают 151,6 млн параметров, а README приводит оценки от 110 до 117 млн. Модель использует схему из 14 объединённых категорий PII для типичных задач редактирования и псевдонимизации, а также обучена распознавать дополнительные типы сущностей. Модель рассчитана на поиск имени, BSN, IBAN, адреса, телефона, электронной почты и других идентификаторов в нидерландских документах, а также на роль учителя для дистилляции компактных вариантов. В README сообщается F1 0,8435 на валидации датасета ai4privacy PII 300k; контекст модели составляет 514 токенов. В карточке описаны ограничения по языку, охвату категорий, соглашениям о границах сущностей и смещению синтетических данных; для критически важных процессов рекомендуется сочетать модель с правилами. Лицензия — Apache-2.0.
Hermes-4.3-36B-GGUF — это GGUF-квантизированная версия языковой модели Hermes-4.3-36B, разработанной NousResearch и подготовленной квантизатором bartowski с использованием llama.cpp и imatrix-калибровки. Модель предназначена для генерации текста и диалоговых сценариев, включая ассистирование, рассуждения, ролевое взаимодействие, работу с JSON и структурированными ответами, function calling и использование инструментов. Модель содержит 36 млрд параметров и поддерживает текстовый ввод и вывод. В карточке заявлен английский язык; контекстное окно и точная архитектура не указаны. Доступны варианты от BF16 до различных уровней квантизации, включая Q8_0, Q6_K, Q5_K, Q4_K и более компактные форматы. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но сильнее снижают качество ответов. Модель совместима с llama.cpp, LM Studio и другими проектами на базе llama.cpp. Рекомендуемые варианты позволяют выбирать баланс между качеством и потреблением памяти, однако крупные файлы требуют значительных аппаратных ресурсов. Лицензия — Apache-2.0.
NVIDIA Nemotron 3 Nano Omni — мультимодальная большая языковая модель, разработанная NVIDIA в рамках семейства Nemotron. Эта версия распространяется в формате GGUF и предназначена для понимания видео, аудио, изображений и текста с применением в корпоративных системах: вопросно-ответных сервисах, суммаризации, транскрипции, анализе документов и интеллектуальной автоматизации графического интерфейса. Модель использует гибридную архитектуру Mamba2-Transformer с Mixture of Experts (MoE), включает языковую модель Nemotron 3 Nano LLM 30B A3B, визуальный энкодер CRADIO v4-H и речевой энкодер Parakeet. Общее число параметров — около 31 млрд (30B A3B). Поддерживаются видео MP4 длительностью до 2 минут, аудиофайлы WAV и MP3 длительностью до 1 часа, изображения JPEG и PNG, а также текст. Заявлена максимальная длина контекста до 256 тысяч токенов. Хотя в метаданных перечислены английский, французский, испанский, итальянский, немецкий, японский и китайский языки, в описании входных данных явно указана поддержка только английского языка. Модель подходит для анализа видеозаписей и речи, поиска и суммаризации медиаконтента, обработки контрактов и финансовых документов, OCR, GUI-автоматизации и агентных сценариев. Она поддерживает JSON-вывод, вызов инструментов, рассуждения и временные метки слов при транскрипции. Основные ограничения — ориентация на NVIDIA GPU и Linux, а также заявленная поддержка только аппаратуры NVIDIA и английского языка. Для работы указаны vLLM, NeMo, Megatron и NeMo-RL. Использование регулируется NVIDIA Open Model Agreement; в README также указана возможность коммерческого применения.
Penguin-VL-8B — компактная зрительно-языковая модель Tencent, построенная на базе Qwen3-8B и разработанная для обработки изображений, документов и видео вместе с текстом. Модель содержит около 7,6 млрд параметров и использует архитектуру PenguinVLQwen3ForCausalLM: визуальный энкодер, инициализированный текстовой моделью Qwen3-0.6B, лёгкий MLP-проектор и языковую основу Qwen3. Для понимания видео применяется сжатие токенов с учётом временной избыточности кадров. Модель предназначена для диалоговых запросов по визуальному содержимому: ответов на вопросы по изображениям и видео, OCR, анализа диаграмм и документов, а также мультимодальных рассуждений. В README сообщается о конкурентных результатах на тестах для изображений, документов, OCR, математики и видео; контекст составляет 40 960 токенов. Метаданные указывают английский язык, библиотеку Transformers и лицензию Apache-2.0. Хотя README описывает визуальные и видеовозможности, pipeline_tag и каталог классифицируют репозиторий как text-generation. Не следует считать приведённые результаты гарантией качества на произвольных данных; README не уточняет ограничения по разрешению, длительности видео и аппаратным требованиям.
PP-OCRv5_mobile_det — мобильная модель обнаружения текстовых областей из серии PP-OCRv5_det, разработанная командой PaddleOCR. Она находит текст на изображениях, включая рукописный, вертикальный, повернутый и изогнутый текст, и рассчитана на работу со сложной разметкой, разным размером надписей и трудным фоном. Модель подходит для анализа документов, распознавания текста на номерных знаках и поиска надписей в сценах. В карточке приведены метрики обнаружения для китайского, английского и японского текста, включая рукописные, искажённые и художественные надписи; среднее значение указанных метрик — 0,770. Это детектор текстовых областей: README не описывает распознавание содержания найденного текста. Модель представлена в формате safetensors и предназначена для использования с библиотекой PaddleOCR. Лицензия — Apache-2.0.
Qwen2.5-7B-Instruct-fp8-dynamic — динамически квантованная версия инструкционной языковой модели Qwen2.5 от Qwen, размещённая llmcompressor-quants. Это плотная авторегрессионная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и примерно 7,1 млрд параметров; метаданные указывают формат safetensors. Модель предназначена для диалогов и генерации текста по инструкциям, в том числе для ответов на вопросы, следования заданным ролям и формирования структурированных ответов, например JSON. Модель поддерживает русский, английский, китайский и другие языки. Заявленный в метаданных контекст составляет 32 768 токенов; в README описана настройка YaRN для обработки более длинных входов, потенциально влияющая на качество на коротких текстах. В README также отмечены сильные стороны семейства в следовании инструкциям, генерации длинных текстов и работе со структурированными данными. Лицензия — Apache-2.0. Квантование FP8 может снизить требования к памяти по сравнению с полной точностью, однако сведения о конкретной скорости и качестве этой сборки не приведены.
Qwen2-VL-2B-Instruct — мультимодальная модель с визуальным энкодером и плотной архитектурой Qwen2-VL, разработанная командой Qwen. Это версия с настройкой для следования инструкциям, основанная на Qwen/Qwen2-VL-2B. Модель принимает изображения и текстовые запросы и формирует текстовые ответы; поддерживает динамическое разрешение изображений, а механизм M-ROPE учитывает текстовые, визуальные и видеопозиции. В метаданных указаны 1,5 млрд параметров и контекст длиной 32 768 токенов. Модель предназначена для визуальных вопросов и ответов, анализа изображений и документов, а также понимания видеоклипов, включая клипы длительностью более 20 минут. Она также может служить основой для систем, которые действуют по текстовым инструкциям, опираясь на визуальную обстановку. Модель поддерживает английский и китайский языки, а также распознавание текста на изображениях на многих других языках. Репозиторий содержит веса в формате safetensors, использовать их можно на базе Transformers; лицензия — Apache-2.0. В README отмечены ограничения: модель не понимает аудио в видео, может ошибаться при подсчёте объектов и пространственных рассуждениях, а также испытывает трудности со сложными многошаговыми инструкциями. Данные изображений обновлены до июня 2023 года; распознавание конкретных людей и объектов интеллектуальной собственности ограничено.
Qwen3.8-27B-heretic-ara-fp8 — мультимодальная модель на базе Qwen3.8-27B, разработанная Qwen Team и преобразованная в производный checkpoint проектом Heretic с использованием метода Arbitrary-Rank Ablation (ARA). FP8-квантизацию, проверку и публикацию выполнил magiccodingman. Квантизация не включает дополнительное дообучение, слияние моделей или новую abliteration; поведение унаследовано от upstream-модели heretic-org/Qwen3.8-27B. Модель предназначена для работы с текстом и изображениями, а конфигурация репозитория также содержит процессор для изображений и видео. Она может применяться в задачах программирования, математики, науки, генерации структурированных данных, SQL, многоязычного текста, работы с инструментами и инженерии вывода. Точный набор поддерживаемых языков, архитектурные детали, размер контекста и результаты исходных бенчмарков в данном README не приведены. Модель содержит около 27 миллиардов параметров; веса представлены в формате FP8 E4M3 с блочной гранулярностью масштабирования 128×128, а объём тензорных данных составляет около 30,87 ГБ. К сильным сторонам относятся существенное снижение размера весов по сравнению с BF16 и близость поведения к исходной BF16-модели: при проверке средняя дивергенция KL составила 0,00315279, а совпадение наиболее вероятного токена — 96,5517%. Однако поддержка нативных FP8-ядер и FP8 KV-cache зависит от ускорителя, backend и версии программного обеспечения; при отсутствии совместимой реализации веса могут быть деквантизированы. Модель наследует ограничения исходного checkpoint и намеренно сниженное поведение отказа, поэтому требует самостоятельной проверки, защитных мер и контроля безопасности. Лицензия — Apache License 2.0; применяются также уведомления и атрибуции upstream-компонентов.
USER-base — модель sentence-transformers, разработанная DeepVK для получения эмбеддингов предложений и абзацев на русском языке. Она основана на DeBERTa v1 base, содержит 151,8 млн параметров и преобразует текст в плотные векторы размерности 768; максимальная длина контекста — 512 токенов. Модель предназначена для семантического поиска, оценки сходства, кластеризации, поиска перефразировок и использования эмбеддингов как признаков классификации. Модель дообучена на русскоязычных парах текстов, включая данные ru-HNP и ru-WANLI, а также обучающие выборки ряда задач NLI, поиска и суммаризации. Для асимметричного поиска рекомендуется добавлять к запросу префикс «query: », а к документу — «passage: »; для симметричных задач и эмбеддингов-признаков используется «query: ». В опубликованных сравнениях USER-base показывает конкурентные результаты среди моделей сопоставимого размера, но уступает некоторым более крупным моделям в задачах поиска. Другие языки не оценивались. Лицензия — Apache-2.0.
Это многоязычная модель классификации текстов по жанру, разработанная Classla и дообученная на вручную размеченном наборе X-GENRE. Она основана на XLM-RoBERTa-base с архитектурой XLMRobertaForSequenceClassification и содержит около 305,2 млн параметров. Модель присваивает тексту жанровую метку, например «Информация/объяснение», «Инструкция» или «Юридический текст», и предназначена для автоматической разметки больших коллекций документов. Модель рассчитана на тексты на языках, поддерживаемых XLM-RoBERTa-base; в карточке среди языков указаны, в частности, арабский, болгарский, бенгальский, немецкий, английский, испанский, французский, японский, корейский и хинди. Размер контекста — 514 токенов. Авторы сообщают о результатах на тестах внутри и вне обучающего набора и о сравнении с другими подходами, включая zero-shot модели GPT. Для длинных документов и языков с ограниченным покрытием качество может быть ниже; классификация предназначена для жанровой разметки, а не для определения темы или проверки фактов. Модель распространяется по лицензии CC BY-SA 4.0.
Yi-9B-200K — базовая языковая модель, разработанная компанией 01.AI и обученная с нуля. Это плотная авторегрессионная модель семейства Yi на архитектуре Transformer, совместимой с реализацией Llama; веса Llama в обучении не использовались. Модель содержит 8,6 млрд параметров и поддерживает контекст до 262 144 токенов. Модель предназначена для генерации текста, понимания языка, ответов на вопросы, чтения и рассуждений. Семейство Yi рассчитано прежде всего на английский и китайский языки и обучено на многоязычном корпусе. Эта карточка описывает базовую модель, а не диалоговую настройку, поэтому качество ответов в чате может требовать дополнительного дообучения или инструкции в промпте. Модель распространяется в формате safetensors по лицензии Apache 2.0. Длинный контекст и относительно компактный размер семейства позволяют применять её для анализа больших текстовых фрагментов, однако фактические требования к памяти и скорость зависят от оборудования и настроек инференса.
Arabic-English-handwritten-OCR-v3 — мультимодальная модель Sherif1313 для распознавания рукописного текста по изображениям. Она дообучена на Qwen/Qwen2.5-VL-3B-Instruct на специализированных примерах и предназначена для извлечения арабского и английского текста, включая связное письмо, из заметок, документов и рукописей. Метаданные указывают 3,1 млрд параметров, архитектуру Qwen2.5-VL и контекст 128 000 токенов; модель принимает изображения и выдаёт текст. Автор заявляет средний показатель CER 1,78% и скорость около 0,32 секунды на изображение, однако README не приводит достаточно подробностей о протоколе оценки, чтобы независимо подтвердить эти результаты. Указаны сценарии оцифровки архивов, учебных работ, форм и записей. Лучше всего модель работает с чётким стандартным почерком; качество может снижаться на изображениях низкого разрешения, при тенях, сложной разметке и сильно нестандартном почерке. Для оптимальных результатов README рекомендует разрешение не ниже 200 DPI. Лицензия — Apache-2.0.
A-Vision — русскоязычная визуально-языковая модель, разработанная Авито и адаптированная для анализа изображений объявлений и других визуальных задач. Она дообучена на базе Qwen/Qwen2.5-VL-7B-Instruct; архитектура — Qwen2.5-VL, размер по метаданным — 6,6 млрд параметров, контекст — до 128 000 токенов. Модель принимает изображения вместе с текстовыми запросами и генерирует текстовые ответы. A-Vision предназначена для описания фотографий, ответов на вопросы по изображению, сопоставления фотографии с текстовым описанием, распознавания брендов и надписей, а также извлечения визуальных признаков. Среди продуктовых сценариев Авито — создание описаний и ключевых слов для объявлений, подготовка объявления по фото, OCR и инструменты разметки и модерации. Модель обучали на русскоязычном мультимодальном корпусе, локализованных наборах данных и парах «изображение — вопрос — ответ»; README сообщает об ускорении обработки русскоязычных примеров и улучшении качества на русских и доменных тестах. Модель поддерживает русский и английский языки, но её адаптация ориентирована прежде всего на русский; README отмечает возможное снижение результатов на части англоязычных тестов. Заявлены безопасные ответы после этапа DPO. Репозиторий распространяется по лицензии Apache-2.0.
BGE-M3 Bangla Cross-Script Fine-tuned — дообученная Md Nahid Hasan модель BAAI/bge-m3 для семантического поиска по текстам на бенгальском языке и сопоставления разных вариантов записи. Модель на архитектуре XLM-RoBERTa содержит 658,7 млн параметров, принимает текст и формирует эмбеддинги для поиска и сравнения сходства предложений. В карточке указано контекстное окно 8194 токена; используется библиотека sentence-transformers. Модель рассчитана на сопоставление текста на бенгальском письме, романизированного Banglish, смешанного бенгальско-английского текста, разговорных и содержащих опечатки запросов, а также английского текста с тем же смыслом. Подходит для поиска по FAQ и документам, межскриптового извлечения информации, подготовки контекста для RAG, кластеризации и дедупликации. В приведённых результатах дообученная версия улучшает кросс-скриптовое сходство относительно базовой BGE-M3. Ограничения: обучение преимущественно ориентировано на домены Бангладеш; модель не оптимизирована для длинных документов, а сходство формального и разговорного бенгальского несколько снизилось. Лицензия — MIT.
Code Formula Model — модель семейства SAM-OPT с 152,3 млн параметров, предназначенная для извлечения текста из изображений фрагментов кода и математических формул. На вход подаётся изображение с разрешением 120 DPI; для кода модель определяет язык программирования и восстанавливает текст с сохранением отступов, а для формул выдаёт соответствующий код LaTeX. Метаданные указывают контекстное окно 4096 токенов и формат весов Safetensors. Модель подходит для переноса кода и формул из изображений в редактируемый текст, например из скриншотов или документов. Карточка не сообщает о поддерживаемых естественных языках, поэтому языковая поддержка в каталоге не перечисляется. Лицензия — MIT. Ограничение по входному качеству, указанное в карточке: изображения рассчитаны на 120 DPI.
Florence-2-base-ft — конвертированный для Transformers чекпойнт модели Florence от Microsoft, дообученный на наборе задач компьютерного зрения. Это плотная encoder-decoder модель семейства Florence-2 с архитектурой последовательность-в-последовательность и размером 0,23 млрд параметров. Она принимает изображения и текстовые запросы, позволяя одной моделью выполнять описание изображений, обнаружение объектов, генерацию описаний областей, локализацию фраз, OCR и визуальные вопросы и ответы. Модель предназначена для универсального анализа изображений через prompt-запросы, включая сценарии, где нужно получить текстовое описание, распознать надписи или найти и описать объекты и области. В карточке для этого чекпойнта указано продолжение предобучения Florence-2-large с контекстом 4K, но также отмечено, что использовалось лишь 0,1 млрд примеров и модель могла быть обучена недостаточно хорошо; для OCR изменён разделитель строк. Эти сведения расходятся с таблицей README, где Florence-2-base-ft указан как дообученный вариант размером 0,23 млрд параметров, поэтому характеристики обучения именно этого репозитория описаны в карточке неоднозначно. Файлы доступны в формате safetensors, библиотека — Transformers; лицензия MIT.
German-RAG-MISTRAL-7B-v3.0-ORPO-HESSIAN-AI — авторегрессионная языковая модель на архитектуре Transformer Mistral, разработанная командой Avemio AI при поддержке Hessian AI. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Модель дообучена методом ORPO на немецкоязычных и англоязычных данных для сценариев Retrieval-Augmented Generation (RAG). Она предназначена для ответов на вопросы по найденным документам и контексту, извлечения релевантной информации, суммаризации и рассуждений. В README приведены результаты тестирования на наборах для извлечения, ответов на вопросы, суммаризации и сложных рассуждений; это результаты авторской оценки, а не гарантия качества для конкретных данных. Модель может выдавать неверные факты, поэтому ответы следует проверять. Без дополнительной фильтрации она может генерировать вредный или чувствительный контент. Лицензия модели и кода — Apache 2.0.
German-RAG-MISTRAL-7B-v3.0-SFT-HESSIAN-AI — авторегрессионная языковая модель на архитектуре Transformer, разработанная командой Avemio AI при поддержке Hessian AI. Это SFT-дообучение модели German-RAG-MISTRAL-7B-v3.0-CPT-HESSIAN-AI для сценариев генерации с контекстом, полученным через поиск. Модель рассчитана прежде всего на немецкоязычные бизнес-сценарии: ответы на вопросы по найденным документам, извлечение релевантной информации, суммаризацию и рассуждения, в том числе о временных связях. Поддерживает немецкий и английский языки. Размер — 7,1 млрд параметров, длина контекста — до 32 768 токенов. В обучающих примерах также предусмотрен формат для интеграции с контекстом и ссылками на источники. Модель выдаёт текст и может генерировать недостоверные ответы; факты следует проверять. В README также отмечены риски предвзятых и вредоносных ответов при отсутствии фильтрации безопасности. Модель и код доступны по лицензии Apache 2.0.