I.1Поиск и навигация по информации

HHEM-2.1-Open — модель Vectara для выявления фактической несогласованности текста с предоставленным контекстом, в частности для контроля ответов LLM в RAG-системах и агентных приложениях. Она принимает пару текстов: свидетельство или предпосылку и проверяемую гипотезу. Модель оценивает, насколько гипотеза подтверждается свидетельством: оценка от 0 до 1, где 0 означает отсутствие подтверждения, а 1 — полную поддержку. Проверка асимметрична: перестановка текстов может изменить результат. Модель построена на базе google/flan-t5-base и дообучена для классификации последовательностей; в Transformers доступны оценка пары или метки «hallucinated» и «consistent». Карточка заявляет неограниченную длину контекста относительно лимита HHEM-1.0 в 512 токенов, но предупреждает о наследуемом ограничении длины входа T5-base. Модель рассчитана на английский язык; сведения о поддержке других языков для этой открытой версии не приводятся. Лицензия — Apache-2.0.

Idefics3-8B-Llama3 — мультимодальная модель Hugging Face, принимающая текст и одно или несколько изображений в произвольном чередовании и формирующая текстовые ответы. Визуальная часть использует SigLIP SO400M, а языковая основана на Meta-Llama-3.1-8B-Instruct. Модель относится к семейству Idefics3 и доступна в формате safetensors через Transformers. Модель предназначена для ответов на вопросы по изображениям, описания визуального содержимого, распознавания текста и анализа документов, а также визуальных рассуждений. Она может работать и с текстом без изображений; генерировать изображения не умеет. В README указан английский как язык модели. Для кодирования изображения 364×364 используются 169 визуальных токенов; большие изображения делятся на фрагменты и кодируются отдельно. Модель улучшает результаты Idefics2 на приведённых в карточке тестах, особенно на задачах понимания документов. Постобучение включало supervised fine-tuning без RLHF, поэтому ответы могут быть краткими и иногда требуют уточнения запроса. Результаты могут содержать фактические ошибки; модель не предназначена для критически важных решений и сценариев, где необходимы достоверные выводы. Лицензия — Apache 2.0.

Ling-3.0-Tiny-NVFP4-GGUF — квантизированная в формат GGUF версия модели inclusionAI/Ling-3.0-tiny, опубликованная WhiskyAKM. Это компактная гибридная MoE-модель с архитектурой hybrid-linear: в ней чередуются Kimi Delta Attention и Multi-Head Latent Attention, а блок FFN использует 128 маршрутизируемых экспертов. Всего модель содержит 7,9 млрд параметров, из которых на каждом токене активны 1,3 млрд; контекстное окно — 256 тысяч токенов. Модель предназначена для диалогов, рассуждений и вызова инструментов, включая локальный запуск через llama.cpp. Она поддерживает английский и китайский языки, а режим рассуждений можно включать и отключать. Представлен файл с квантизацией NVFP4, рассчитанной на ускорение на оборудовании NVIDIA с поддержкой FP4. Лицензия — MIT. Качество и скорость могут зависеть от аппаратного ускорения и используемой конфигурации llama.cpp.

Llama-3-SauerkrautLM-8b-Instruct — разговорная языковая модель, совместно разработанная VAGO Solutions и Hyperspace.ai на основе Meta-Llama-3-8B-Instruct. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, настроенная для инструкций и выровненная с помощью DPO. Она принимает текстовые запросы и генерирует текст; заявлены немецкий и английский языки. Контекст модели — до 8192 токенов. Модель предназначена для диалогов с ассистентом, ответов на вопросы и немецкоязычных сценариев, включая оценённые авторами задачи RAG. В README приведены результаты бенчмарков, но они не гарантируют качество в конкретном применении. Авторы предупреждают, что модель может выдавать неподходящий или неотфильтрованный контент и не гарантируют стабильно корректное поведение. В репозитории указана лицензия other, а README связывает лицензию с Meta-Llama; перед использованием следует проверить применимые условия лицензирования.

Карточка модели Yukang/LongAlpaca-70B на Hugging Face совпадает с карточкой Yukang/LongAlpaca-13B, поэтому описание составлено по ней. LongAlpaca-13B — языковая модель на архитектуре Llama, выпущенная командой LongLoRA. Модель содержит 12,9 млрд параметров и дообучена с учителем на наборе LongAlpaca-12k, который включает длинные и короткие вопросы и ответы. Она предназначена для следования инструкциям и ответов на вопросы по длинным текстам, например разделам книг и научным статьям. В README для LongAlpaca-13B указано окно контекста 32 768 токенов; метаданные этой конкретной карточки указывают native context в 4 096 токенов. Поэтому заявленную возможность работы с длинным контекстом следует учитывать с оглядкой на конфигурацию и фактическую поддержку весов. Модель принимает текст и генерирует текст; сведения о поддерживаемых естественных языках не приведены. Для использования весов требуется принять лицензию и политику допустимого использования Meta.

LongRAG_Llama3.1-8B-Instruct — плотная причинно-языковая модель семейства Llama, дообученная Bui1dMySea на базе meta-llama/Llama-3.1-8B-Instruct с использованием набора LRGinstruction. Модель предназначена для диалогового взаимодействия и генерации текста; заявленная длина контекста составляет 131072 токена, размер — около 7,5 млрд параметров. В карточке приведён результат оценки на тестовом наборе: loss 0,6885. Подробности о предназначении набора данных, методике оценки и ограничениях не раскрыты. Репозиторий содержит веса в формате Safetensors и использует библиотеку Transformers. Лицензия указана как other, поэтому конкретные условия использования следует уточнить в репозитории модели и базовой модели.

lt-wikidata-comp-es — модель семейства LinkTransformer, разработанная исследователями Harvard для сопоставления записей и сущностей. Она дообучена на базе hiiamsid/sentence_similarity_spanish_es на псевдонимах компаний из Wikidata и предназначена для кластеризации, дедупликации, связывания и объединения записей. Модель также подходит для оценки сходства предложений и семантического поиска на испанском языке. В основе — BERT с Sentence Transformers: среднее объединение токенных представлений формирует плотный вектор размерности 768. Модель имеет 137,1 млн параметров и принимает последовательности длиной до 512 токенов. Лицензия в доступных материалах не указана.

Rahvusarhiiv разработал экспериментальную модель для суммаризации текстов на латышском языке, дообучив mBART-50 `facebook/mbart-large-50-many-to-many-mmt`. Это последовательная модель типа encoder-decoder на базе MBART; репозиторий содержит веса Safetensors. Её применяют для краткого пересказа новостей, юридических и административных материалов, энциклопедических текстов и академических публикаций, в том числе в пакетной обработке и retrieval-assisted сценариях с проверкой результата. Вторая версия обучена на 30 000 примерах, преимущественно на латышских новостях, с меньшими долями юридических и академических текстов. В сравнительных оценках она улучшила результаты на двух новостных наборах и точность опоры на исходный текст, но стала короче пересказывать энциклопедические материалы. Метаданные указывают контекст до 1024 токенов; в карточке для рекомендуемой генерации приведены 768 входных токенов и до 512 новых токенов. Лицензия обозначена как `other`. Модель может галлюцинировать или обобщать детали, особенно для длинных и недостаточно конкретных входов; имена, числа, даты и юридические ссылки нужно сверять с источником. Она может пропускать второстепенные сведения, а гарантированного управления длиной резюме нет. Для публикации и решений с существенными последствиями необходима проверка человеком.

Otter-cross-mmbert — мультиязычная модель для распознавания именованных сущностей, разработанная автором whoisjones. Она принимает текст и список типов сущностей на естественном языке, например «person» или «chemical compound», и возвращает символьные диапазоны найденных фрагментов. Фиксированный набор меток и отдельное дообучение под новые типы не требуются. Модель использует архитектуру cross-encoder на базе энкодера jhu-clsp/mmBERT-base с добавленным токеном [LABEL]. Типы сущностей добавляются к тексту в префиксе и обрабатываются вместе с ним. Максимальная длина последовательности — 1024 токена, максимальная длина фрагмента — 30 токенов. Порог обнаружения по умолчанию равен 0,5; его можно менять для баланса точности и полноты. Подходит для извлечения сущностей с задаваемыми пользователем категориями в многоязычных текстах, в том числе при работе с типами из конкретной предметной области. Cross-encoder повторно кодирует текст для каждого набора меток, поэтому он может быть дороже bi-encoder при обработке больших корпусов. Длинный список меток уменьшает доступную длину текста; для предметной области может понадобиться калибровка порога. Модель распространяется по лицензии Apache-2.0.

all-MiniLM-L6-v2 — модель для сравнения предложений, экспортированная в формате ExecuTorch для библиотеки React Native ExecuTorch. Репозиторий software-mansion содержит готовые к запуску на устройстве программы .pte; исходная модель опубликована проектом sentence-transformers. Она предназначена для задач семантического сравнения текстов, включая оценку сходства предложений и построение локальных приложений с текстовыми embedding-представлениями. В репозитории доступны варианты для бэкендов Core ML, Vulkan и XNNPACK. Варианты Core ML и Vulkan используют точность fp16, а XNNPACK — fp32; размеры файлов составляют примерно 43–44 МБ для fp16 и 86,2 МБ для fp32. Для работы используются файлы tokenizer.json и tokenizer_config.json. Модель рассчитана на выполнение на устройстве, однако README не указывает поддерживаемые языки, размер контекста, точный размер архитектуры и другие характеристики качества. Файлы опубликованы для ExecuTorch v1.4.1; обратная совместимость со старыми версиями не гарантируется. Лицензия — Apache-2.0.

TextAttack дообучила RoBERTa-base для классификации пар предложений на датасете MRPC из набора GLUE. Модель содержит 151,8 млн параметров и принимает текстовые пары; максимальная длина контекста по метаданным — 514 токенов. При дообучении использовались 5 эпох, размер пакета 16, скорость обучения 3e-05 и максимальная длина последовательности 256 токенов. Модель предназначена для определения, выражают ли два предложения одинаковый смысл. В карточке указана точность 0,912 на оценочной выборке, достигнутая после двух эпох обучения. Доступны веса PyTorch и Flax; лицензия в предоставленных данных не указана.

Модель viktor-shcher/sberbank-rubert-base-collection3 — дообученная версия ruBert-base для распознавания именованных сущностей в русском тексте. Она использует архитектуру BERT и решает задачу классификации токенов, размечая сущности в последовательности. Модель обучена на датасете collection3; размер составляет 205,5 млн параметров, контекст — до 512 токенов. На валидационной выборке указаны precision 0,9380, recall 0,9594, F1 0,9486 и accuracy 0,9860. Модель подходит для извлечения именованных сущностей из русскоязычных текстов. Распространяется по лицензии Apache-2.0.

Модель tomaarsen/span-marker-mbert-base-multinerd — модель для распознавания именованных сущностей (NER), разработанная на базе SpanMarker и обученная на датасете MultiNERD. В качестве кодировщика используется bert-base-multilingual-cased; модель дообучена для классификации фрагментов текста и выделения сущностей.

Nous-Yarn-Llama-2-70b-32k — языковая модель от NousResearch, основанная на Llama 2 70B и дополнительно обученная на данных для длинного контекста. Авторы применили метод YaRN и провели 400 шагов дополнительного предобучения. Модель предназначена для генерации текста и работы с длинными документами; в README заявлено окно контекста до 32 тыс. токенов. В метаданных указаны архитектура LlamaForCausalLM, плотная модель с 68,7 млрд параметров, библиотека Transformers и формат PyTorch. В сравнительных тестах авторы сообщают о сохранении результатов на коротком контексте и показателях perplexity для контекстов до 32 тыс. токенов. В метаданных указана длина контекста 8192 токена, что расходится с заявленными в README 32 тыс.; фактическую поддержку максимальной длины следует проверять в используемой конфигурации. Модель рассчитана на английский язык. Лицензия — Apache 2.0.

YAYI-UIE — плотная авторегрессионная языковая модель семейства YAYI UIE, разработанная командой YAYI и опубликованная wenge-research. Модель содержит 13,3 млрд параметров и дообучена инструктивно на миллионах искусственно созданных высококачественных примеров для унифицированного извлечения информации: распознавания именованных сущностей, извлечения отношений и извлечения событий. Модель предназначена для преобразования текста в структурированные результаты, например JSON с сущностями, отношениями или аргументами событий. В карточке описаны сценарии из общих и специализированных областей, включая финансы, биологию, медицину, бизнес, транспорт, промышленность и науку. README приводит примеры оценки на китайских и английских наборах данных; основной акцент модели — китайский язык. Указаны ограничения: извлечённые сведения могут содержать фактические ошибки, модель слабо распознаёт вредоносные инструкции, а качество на длинных текстах уровня абзаца требует улучшения. Лицензия в метаданных и карточке — Apache-2.0, однако README отдельно требует использовать модель и производные только в исследовательских целях и запрещает коммерческое и вредоносное применение.

Модель MatinAsgarov/applied-nlp-ner-stage3-distilbert — дообученная для распознавания именованных сущностей версия DistilBERT, разработанная в рамках проекта applied-NLP NER. Она выполняет токенную классификацию по схеме BIO и размечает сущности восьми типов: людей, организации, места, даты и время, продукты, произведения искусства, профессии и суммы. Модель принимает текст на английском языке; её контекст ограничен 512 токенами. Веса представлены в формате safetensors, размер модели — около 65,2 млн параметров. На тестовой выборке из 119 записей получен общий F1 0,686; лучшие результаты показаны для сущностей типа PERSON, а PRODUCT и WORKOFART распознаются слабее. Вне обучающего распределения встречаются обрезание многословных сущностей, ложные срабатывания на отдельные стоп-слова и путаница между организациями, местами и продуктами. Лицензия в метаданных указана как unknown.

Kuiyen/bert-finetuned-ner — модель Kuiyen для распознавания именованных сущностей. Она дообучена на базе BERT base cased на наборе CoNLL-2003 и использует архитектуру BertForTokenClassification. Модель принимает текст и присваивает метки отдельным токенам, выделяя сущности в последовательности; максимальная длина контекста составляет 512 токенов. В репозитории указано 135,5 млн параметров. На оценочном наборе CoNLL-2003 модель показала F1 0,94, точность 0,9313, полноту 0,9488 и accuracy 0,9862. Эти результаты относятся к указанному набору данных и не гарантируют такого же качества на других текстах и предметных областях. Лицензия — Apache-2.0.

Context aware splitter 1.1b — дообученная модель на базе TinyLlama/TinyLlama-1.1B-intermediate-step-955k-token-2T, разработанная для контекстно-зависимого разделения текста. Она предназначена для подготовки текстовых фрагментов для систем поиска с дополненной генерацией (RAG), где важно учитывать смысл и контекст при выборе границ фрагментов. Модель построена на архитектуре Llama и содержит около 1 млрд параметров; максимальная длина контекста — 8192 токена. Поддерживается английский язык. В README указано значение loss 0,0598 на оценочном наборе, но методика оценки и характеристики обучающих данных подробно не описаны. Модель распространяется по лицензии Apache-2.0.

DS RAG Embedder v1 — англоязычная модель эмбеддингов Digvijay Waghela для поиска документации по Data Science и машинному обучению в RAG-системах. Она дообучена на базе BAAI/bge-small-en-v1.5 на более чем 600 фрагментах материалов о метриках, утечках данных, кросс-валидации, дисбалансе классов, MLOps, RAG, глубоком обучении, развёртывании и планировании экспериментов. Модель построена на архитектуре BERT, содержит около 40 млн параметров, создаёт векторы размерности 384 и обрабатывает последовательности длиной до 512 токенов. Модель предназначена для семантического поиска по документации, ноутбукам и инструкциям команд по работе с данными; её также можно сочетать с BM25 для гибридного поиска. Для запросов требуется префикс «Represent this Data Science question for retrieving relevant documentation: », который автоматически добавляет метод encode_queries() из описанного в README пакета. В приведённом бенчмарке DS RAG Eval v1 модель показала Recall@1 0,851 и Recall@5 1,000; эти результаты относятся к указанному набору оценки. Доступна по лицензии Apache-2.0. README не рекомендует применять её для общего веб-поиска, а также в юридических и медицинских сценариях без отдельной оценки или для полностью автоматизированных решений с высокими ставками.

Карточка модели NVEagle/Eagle-X5-13B на Hugging Face совпадает с карточкой NVEagle/Eagle-X5-13B-Chat, поэтому описание составлено по ней. Eagle-X5-13B-Chat — мультимодальная языковая модель семейства Eagle, разработанного NVIDIA. Это плотная Transformer-модель архитектуры EagleLlamaForCausalLM с 12,9 млрд параметров, предназначенная для диалога и анализа изображений вместе с текстом. Контекст модели составляет 4096 токенов. Модель использует комбинацию визуальных энкодеров CLIP+X и рассчитана на обработку изображений высокого разрешения, включая задачи распознавания текста и понимания документов. Она принимает изображения и текст, а выдаёт текст; авторы отмечают сильные результаты на мультимодальных тестах, особенно в задачах, чувствительных к разрешению. Основные сценарии применения — исследование мультимодальных LLM и создание чат-ботов. Модель опубликована под лицензией CC BY-NC-SA 4.0, которая ограничивает коммерческое использование. README не уточняет языковой охват и подробные ограничения качества; перед применением в конкретной отрасли следует оценить пригодность модели для этого сценария.

Eagle-X5-13B-Chat — мультимодальная языковая модель семейства Eagle, разработанного NVIDIA. Это плотная Transformer-модель архитектуры EagleLlamaForCausalLM с 12,9 млрд параметров, предназначенная для диалога и анализа изображений вместе с текстом. Контекст модели составляет 4096 токенов. Модель использует комбинацию визуальных энкодеров CLIP+X и рассчитана на обработку изображений высокого разрешения, включая задачи распознавания текста и понимания документов. Она принимает изображения и текст, а выдаёт текст; авторы отмечают сильные результаты на мультимодальных тестах, особенно в задачах, чувствительных к разрешению. Основные сценарии применения — исследование мультимодальных LLM и создание чат-ботов. Модель опубликована под лицензией CC BY-NC-SA 4.0, которая ограничивает коммерческое использование. README не уточняет языковой охват и подробные ограничения качества; перед применением в конкретной отрасли следует оценить пригодность модели для этого сценария.

Модель autoevaluate/entity-extraction — версия distilbert-base-uncased, дообученная для классификации токенов на наборе данных CoNLL-2003. Она предназначена для извлечения именованных сущностей из текста, например распознавания имён людей, организаций и географических названий. Модель построена на архитектуре DistilBERT, принимает текст с контекстом до 512 токенов и выдаёт метки для токенов. В README приведены результаты оценки на тестовой выборке: F1 0,8972, точность 0,9775, полнота 0,9085. Карточка не описывает ограничения и не уточняет применимость за пределами CoNLL-2003; качество на других жанрах и языках может отличаться. Базовая модель uncased и обучающие данные указывают на английский язык. Лицензия — Apache-2.0.

Functionary Small v3.2 — языковая модель команды MeetKai для диалогов с вызовом функций и инструментов. Она основана на Meta Llama 3.1 8B Instruct; в репозитории указана плотная архитектура Llama с 7,5 млрд параметров и контекстом до 131 072 токенов. Веса представлены в формате safetensors. Модель подходит для чат-сценариев, где нужно выбирать подходящий инструмент, формировать вызовы по описаниям функций в JSON Schema, запускать несколько функций параллельно или последовательно и использовать их результаты для ответа. Она также может продолжать обычный диалог без вызова инструментов и поддерживает сценарии с интерпретатором кода. Для разбора сырых ответов в структуру с полями роли, содержимого и вызовов инструментов предусмотрен пользовательский код; авторы также рекомендуют запуск через совместимый с OpenAI сервер vLLM. Лицензия — MIT. Карточка описывает интерфейс вызова инструментов, но не приводит языковых оценок или сравнительных результатов; фактическое качество зависит от формата промпта и корректной обработки вызовов инструментов.

JevEmbed-Qwen3-Embedding-4B — текстовая модель эмбеддингов, разработанная HIT-TMG и дообученная на базе Qwen/Qwen3-Embedding-4B для принятия решений JevEmbed Choice, Score и Noul. Модель представлена как Sentence Transformers; LoRA-адаптер объединён с весами в самостоятельную модель, а также доступен отдельно. Она формирует нормализованные эмбеддинги размерностью 2 560 с pooling по последнему токену. Базовая архитектура Qwen3, число параметров — 3,7 млрд, родной контекст — 40 960 токенов. Модель предназначена для использования в JevEmbed: она помогает выбирать ответ, оценивать его и принимать решение Noul по запросу. В тесте на 66 482 вопросах JevEmbed-Data итоговый LoRA-чекпойнт показал точность 85,86% по жёстким меткам в целом и 90,31% для Choice; результаты получены с усечением входа до 1 024 токенов и настройками JevEmbed. Также её можно загружать через SentenceTransformer для получения эмбеддингов. Лицензия весов — Apache 2.0. Лицензии исходных данных для обучения различаются. В конфигурации JevEmbed входы усекаются до 1 024 токенов, поэтому длинные запросы могут терять информацию; приведённые метрики относятся к тестовому набору JevEmbed-Data и не гарантируют аналогичных результатов на других задачах.

LettuceDetect от KRLabsOrg — модель на базе EuroBERT-210M для выявления галлюцинаций в ответах на испанском языке в системах RAG. Она получает контекст и ответ и выполняет токенную классификацию: отмечает фрагменты ответа, которые не подтверждаются контекстом, чтобы затем собрать их в объяснимые spans. Модель содержит 211,7 млн параметров, поддерживает контекст до 8192 токенов и дообучена на испанской версии датасета RAGTruth. На переведённом наборе RAGTruth-ES авторы сообщают F1 71,38%; модель показывает более высокий recall, чем сравниваемый prompt-based подход GPT-4.1-mini, и работает примерно втрое быстрее варианта EuroBERT-610M. Это оценка на конкретном тестовом наборе и не гарантирует такую же точность на других данных. Лицензия — MIT. README также предупреждает о несовместимости загружаемого удалённого кода EuroBERT с Transformers 5.x.

llm-jp-3-172b-instruct3 — диалоговая большая языковая модель, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии при частичной поддержке GENIAC. Это версия instruct3 семейства llm-jp-3, дообученная на инструкциях и дополнительно согласованная методом Direct Preference Optimization (DPO). Модель предназначена для генерации ответов в диалоге, следования инструкциям, извлечения и формулирования информации, написания текстов и решения задач на рассуждение. В README приведены оценки на японском MT Bench, включая результаты для письма, естественных наук, извлечения информации и диалога. Это плотная Transformer-модель архитектуры Llama с 171,2 млрд параметров; контекст составляет 4096 токенов. Репозиторий содержит веса в формате safetensors для Transformers. Модель в первую очередь ориентирована на японский язык; метаданные также отмечают английский. Разработчики предупреждают, что семейство находится на ранней стадии исследований и разработок и не было полностью настроено для соответствия человеческим намерениям и требованиям безопасности. Лицензия указана как «other», поэтому условия использования следует уточнять в материалах репозитория.

lt-wikidata-comp-en — англоязычная модель LinkTransformer, разработанная исследователями Harvard. Это дообученная модель Sentence Transformers на базе multi-qa-mpnet-base-dot-v1, с архитектурой MPNet и 136,7 млн параметров. Она кодирует предложения и абзацы в плотные векторы размерности 768; максимальная длина последовательности составляет 512 токенов. Модель предназначена прежде всего для сопоставления записей и сущностей по названиям и их вариантам, обучена на алиасах компаний из Wikidata. В LinkTransformer её можно применять для связывания записей, дедупликации, кластеризации и агрегации; также она подходит для семантического поиска и других задач сходства предложений в Sentence Transformers. Репозиторий содержит веса в формате safetensors. Карточка не приводит результатов количественной оценки качества, поэтому качество на данных, отличающихся от алиасов компаний из Wikidata, следует проверять отдельно. Лицензия в предоставленных данных не указана.

Модель NYTK/named-entity-recognition-nerkor-hubert-hungarian — венгерская модель распознавания именованных сущностей, разработанная NYTK. Она основана на SZTAKI-HLT/hubert-base-cc и дообучена на наборе NYTK-NerKor. Модель размечает текст по категориям PER (люди), LOC (места), MISC (прочие сущности) и ORG (организации). Модель предназначена для извлечения имен людей, географических названий и организаций из венгерского текста, например из новостей и документов. Архитектура — BERT для классификации токенов; в метаданных указан размер 137,8 млн параметров и контекст до 512 токенов. В карточке модели приведён максимальный размер последовательности 128 токенов и F-score 90,18%. Модель распространяется по лицензии Apache-2.0. Указанный в карточке предел последовательности в 128 токенов требует разбивать более длинные тексты на фрагменты перед обработкой.

cnmoro/Qwen0.5b-RagSemanticChunker — это дообученная модель Qwen2.5-0.5B-Instruct, предназначенная для семантического разбиения длинного текста на фрагменты для сценариев RAG. В примере README текст на португальском языке разделён специальным маркером «段», который отмечает границы смысловых фрагментов. Модель построена на архитектуре Qwen2 с плотной причинно-языковой архитектурой Qwen2ForCausalLM и содержит 494 млн параметров. Она принимает и генерирует текст, поддерживает английский и португальский языки и имеет контекст длиной до 32 768 токенов. Метаданные также указывают поддержку диалогового режима и интерфейса вызова инструментов. Модель подходит для подготовки текстовых корпусов к поиску и ответам по документам с использованием RAG. README не сообщает результаты оценок качества или подробные инструкции по формату входа. Модель распространяется по лицензии MIT.

Jean-Baptiste разработал эту модель распознавания именованных сущностей на английском языке: она основана на RoBERTa-large и дообучена на датасете CoNLL-2003. Модель размечает токены текста категориями PER (имена людей), ORG (организации), LOC (места), MISC (прочие сущности) и O (токены вне сущностей); префиксы B- и I- в исходной схеме CoNLL-2003 объединены. Модель рассчитана на извлечение сущностей из английских текстов, в том числе писем, чатов и неформальных обсуждений. В README сообщается, что на данных такого типа она лучше распознавала сущности, начинающиеся со строчной буквы. На проверочной выборке CoNLL-2003 указана общая F1-оценка 0,9753; на частном наборе писем и чатов показатели ниже, особенно для организаций. Архитектура — RobertaForTokenClassification, размер — 454,1 млн параметров, длина контекста — 514 токенов. Доступны версии в форматах PyTorch, TensorFlow и ONNX, включая веса Safetensors. Лицензия — MIT.