I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейSTAR-QA — дообученная модель Sentence Transformers на базе sentence-transformers/all-mpnet-base-v2, предназначенная для поиска ответов в документах по аудиту, управлению рисками, комплаенсу и связанным нормативным материалам. Она кодирует текстовые фрагменты в плотные векторы размерности 768 для семантического поиска и кластеризации, в том числе как компонент конвейера RAG. Модель обучена на примерно 18 тысячах пар «вопрос — ответ», сформированных из двухпредложных фрагментов документов с помощью LLM; при дообучении применялась MultipleNegativesRankingLoss. В README приведено сравнение с базовой моделью на отложенной выборке STAR-QA, где STAR-QA показала более высокие значения Precision@3, Recall@3 и MRR@10. Архитектура MPNet содержит 136,7 млн параметров, максимальный контекст — 514 токенов. Модель подходит для поиска релевантных фрагментов по запросам и группировки похожих текстов в профильных корпусах. Она создаёт эмбеддинги, а не готовые ответы; качество за пределами описанных областей и оценки на выборке STAR-QA не подтверждены. Лицензия — Apache-2.0.
Volare — языковая модель Moxoff, созданная на основе Gemma-7B с дообучением методом SFT и настройками LoRA. Это плотная causal language model семейства Gemma с 8,2 млрд параметров; репозиторий содержит веса в формате Safetensors. Модель предназначена для генерации текста с учётом контекста, в частности для сценариев Retrieval-Augmented Generation (RAG), где ответы опираются на предоставленный контекст. Среди использованных данных указаны публичный датасет SQuAD-it и внутренние наборы разработчиков. Модель поддерживает итальянский и английский языки, а максимальная длина контекста составляет 8192 токена. В README приведены результаты оценки на наборах Open Ita LLM Leaderboard. Лицензия — MIT. Модель не проходила выравнивание предпочтений с помощью RLHF и не имеет встроенной фильтрации ответов; она может выдавать проблемный контент, особенно при соответствующих запросах.
Модель badokorach/afriqa_afroxlmr_eng_280124 — дообученная версия badokorach/afriqa_afroxlmr_squad_v2_060124 для ответов на вопросы. Она построена на архитектуре XLM-RoBERTa, содержит 305,2 млн параметров и принимает контекст длиной до 514 токенов. Модель предназначена для извлечения ответов из предоставленного текста; карточка указывает английский язык в названии, но не описывает обучающие данные и подробные результаты оценки. Модель распространяется под лицензией MIT в формате TensorFlow. README приводит значения потерь на обучении и валидации, однако без описания датасета и методики оценки их нельзя использовать для надёжного вывода о качестве модели.
Это модель XLM-RoBERTa для извлечения ответов на вопросы из текста на языке луганда. Она создана как дообученная версия masakhane/afriqa_afroxlmr_squad_v2 и содержит около 305,2 млн параметров. Модель принимает вопрос и текстовый контекст и возвращает ответ, найденный в контексте; базовая модель обучена для задачи question answering на африканских языках. Модель подходит для систем вопросов и ответов по текстам на луганда, например для поиска сведений в документах или информационных материалах. В README указана оценка на наборе проверки после четырёх эпох, однако сам набор данных неизвестен, а описания обучения и ограничений отсутствуют. Контекст модели — до 514 токенов. Репозиторий содержит формат TensorFlow; лицензия — MIT.
Khaaaleed5/arabert-qa — дообученная модель для извлечения ответов на вопросы из арабского текста. Она основана на AraBERTv0.2-base и использует архитектуру BERT с головой предсказания начальной и конечной позиции ответа в контексте. Модель содержит 162,4 млн параметров, принимает вопрос и фрагмент текста на современном литературном арабском языке; длина контекста — до 512 токенов. Модель предназначена для поиска фактического ответа в предоставленном отрывке, в том числе как компонент арабской RAG-системы. Она может быть полезна для учебных демонстраций и исследований арабского NLP. Обучена на наборе данных abdoelsayed/ArabicaQA и распространяется по лицензии MIT. Модель извлекает ответ только из контекста: она не генерирует сведения, отсутствующие в тексте, и сама по себе не выполняет поиск по открытым источникам. Для медицинских, юридических и финансовых решений её ответы требуют проверки человеком.
Sajjad Ayoubi bert-base-fa-qa — модель для извлечения ответов на вопросы из предоставленного текста. Она основана на архитектуре BERT и предназначена для задачи question-answering; число параметров — 190 млн, контекст — до 512 токенов. В README приведены варианты использования через Transformers Pipeline или вручную с PyTorch и TensorFlow; ручной подход позволяет обрабатывать случаи, когда ответ в тексте отсутствует, тогда как Pipeline не поддерживает такой ответ. Модель рассчитана на персидский язык, что отражено в названии репозитория; карточка показывает форматы PyTorch, TensorFlow и Flax. Для запуска README указывает зависимости Transformers и SentencePiece. Лицензия в предоставленных данных не указана.
Эта модель BETO разработана командой BETO и дообучена Manuel Romero на испанской версии SQuAD 2.0 для ответов на вопросы по заданному контексту. В основе лежит dccuchile/bert-base-spanish-wwm-cased — испанский BERT Base с Whole Word Masking; модель содержит 137,1 млн параметров и рассчитана на контекст до 512 токенов. Модель принимает текст с контекстом и вопросом и извлекает ответ из контекста, включая возможность определить, что ответа в нём нет. В README приведены результаты на тестовом наборе SQuAD-es-v2.0: Exact Match 76,5 и F1 86,1. Она предназначена прежде всего для испаноязычных сценариев вопросно-ответного поиска и не является универсальной разговорной моделью. Доступны веса PyTorch и Flax. Лицензия в предоставленных данных не указана.
textattack/bert-base-uncased-QNLI — модель классификации текста, опубликованная TextAttack. Это BERT base uncased, дообученный для распознавания текстового следования на задаче QNLI: по паре из вопроса и текста модель определяет, содержит ли текст ответ на вопрос. Модель имеет архитектуру BertForSequenceClassification, около 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для классификации пар вопрос–токенизированный текст на метки «ответ есть» и «ответа нет», а также для экспериментов и проверки методов на задаче QNLI. Английский язык следует из uncased-версии BERT и набора QNLI. Это не генеративная модель: она выдаёт метку класса и оценку, а не формулирует ответ. В репозитории доступны веса PyTorch и Flax. Карточка Hugging Face не приводит лицензию, поэтому условия использования по имеющимся источникам установить нельзя.
CoLMLM-360M-FW — языковая модель с 361,8 млн параметров из семейства Llama, основанная на SmolLM2 и обученная на FineWeb-Edu. Она предназначена для генерации текста с обращением к внешнему поисковому индексу: в специальных позициях модель формирует непрерывный запрос из скрытого состояния, чтобы получить содержание факта из индекса во время вывода, а не хранить его в параметрах. Для работы требуется совместимый опубликованный индекс; сведения о лицензии в доступных данных отсутствуют. Модель использует Transformers и формат safetensors, контекст — до 8192 токенов. Карточка описывает исследовательскую систему Co-LMLM, но не приводит результатов качества или подробных ограничений.
Модель Gholamreza/distilbert-fa-zwnj-base-finetuned-pquad — версия DistilBERT, дообученная на наборе данных PQuAD для ответов на вопросы по предоставленному тексту. Она принимает вопрос и контекст и предсказывает ответный фрагмент. Модель предназначена для систем поиска ответов на вопросы на персидском языке; в README приведены результаты на тестовой и валидационной выборках PQuAD: F1 около 80,2 и 78,9 соответственно. Модель основана на HooshvareLab/distilbert-fa-zwnj-base, использует архитектуру DistilBertForQuestionAnswering и поддерживает контекст длиной до 512 токенов. Доступна в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Показатели оценки отражают результаты на PQuAD и не гарантируют такую же точность на других данных. Карточка не уточняет ограничения и предполагаемые сценарии применения сверх ответа на вопросы по контексту.
anablasi/finqa_model — модель на архитектуре RoBERTa, опубликованная пользователем anablasi на Hugging Face. Она предназначена для ответа на вопросы по предоставленному текстовому контексту; название репозитория указывает на финансовую тематику, однако карточка модели отсутствует, поэтому специализированное обучение на финансовых данных не подтверждено. Модель содержит 151,8 млн параметров и поддерживает контекст длиной до 514 токенов. Модель принимает вопрос и контекст и извлекает из него ответ. Доступные сведения не позволяют надёжно установить поддерживаемые языки, базовую модель, лицензию или специфические ограничения качества; поэтому эти характеристики не уточняются.
HealthMate-AI — энкодер предложений на базе sentence-transformers/all-MiniLM-L6-v2, созданный для проекта медицинского RAG-чатбота и дообученный на медицинских текстах. Модель объединяет усреднённые веса трёх чекпойнтов, полученных при трёхкратной кросс-валидации, и преобразует предложения и абзацы в плотные векторы размерностью 384. Она содержит 25,9 млн параметров, использует архитектуру BERT/MiniLM и поддерживает контекст до 512 токенов. Модель предназначена для вычисления семантического сходства и поиска по медицинским документам. Однако оценка на нескольких задачах поиска показала результаты значительно ниже базовой модели all-MiniLM-L6-v2; автор не рекомендует использовать её для retrieval. Обучающие данные взяты из защищённой авторским правом медицинской энциклопедии, а код обучения и разбиения данных недоступны, поэтому заявленный результат на внутрикorpusной задаче нельзя воспроизвести. Модель распространяется по лицензии Apache-2.0; она не заменяет профессиональную медицинскую консультацию.
Korean Document QA Enhanced — корейская экстрактивная модель для ответов на вопросы по документам, созданная дообучением model_10000 на новых 10 000 вопросах KorQuAD v1.0. Она находит ответный фрагмент в тексте документа и подходит для поиска фактов в корейских материалах. Модель построена на архитектуре BERT, содержит 137,8 млн параметров и принимает контекст длиной до 512 токенов. На указанной выборке KorQuAD dev модель получила EM 0,822, символьный F1 0,9256 и точное совпадение границ ответа 0,800. Она предназначена прежде всего для вопросов и контекста на корейском языке. Обучение не включало примеры вопросов без ответа; на небольшой самодельной проверке предупреждение об отсутствии ответа было верным в 80% случаев. Описаны случаи коротких ошибочных ответов при высокой уверенности на реальных PDF, а также пропуски при вопросах на корейском по английскому контексту. Лицензия — CC BY-SA 4.0.
Mankei-326M-Embedder — компактная модель эмбеддингов немецкого текста от keyvan-ai для семантического поиска и извлечения релевантных фрагментов в RAG-системах, развёрнутых локально. Модель содержит 326,4 млн параметров, основана на плотной архитектуре Llama и выдаёт векторные представления текста. Для запросов требуется префикс «query: », для фрагментов — «passage: »; используется pooling по последнему токену. Контекст — до 2048 токенов. Модель обучена контрастивным методом с LoRA на немецкой базовой модели Mankei и датасете GermanDPR с жёсткими отрицательными примерами. В описанных zero-shot тестах она показала высокие результаты на немецких юридических документах вне обучающего домена; на вопросах по Wikipedia уступила более крупным универсальным моделям. Компактный размер и возможность работы на CPU подходят для локального поиска по большим коллекциям документов. Лицензия — Apache-2.0.
csarron/mobilebert-uncased-squad-v2 — англоязычная модель ответов на вопросы, созданная дообучением MobileBERT на SQuAD 2.0. Архитектура MobileBERT использует узкие слои и bottleneck-структуры для снижения вычислительных затрат относительно BERT Large; в метаданных указано 59,7 млн параметров. Доступны форматы PyTorch, Safetensors и ONNX, контекст — до 512 токенов. Модель предназначена для извлечения ответа из предоставленного текста и умеет воздерживаться от ответа, если в контексте нет нужной информации, как предусмотрено SQuAD 2.0. В README приведены результаты на оценочной выборке SQuAD 2.0: Exact Match 75,2 и F1 78,8. Подходит для англоязычных систем вопрос-ответ по документам, но не предназначена для генерации развернутых ответов или универсального диалога. Лицензия — MIT.
QAFineTunedArabert — дообученная модель gp-tar4 для извлечения ответов на вопросы из арабского текста. Она основана на aubmindlab/bert-base-arabert и использует архитектуру BERT с головой BertForQuestionAnswering; в модели 162,4 млн параметров, формат весов — safetensors, максимальный контекст — 512 токенов. В метаданных указан датасет ARCD, однако README описывает обучающий датасет как неизвестный, поэтому состав обучения нельзя установить однозначно. Модель подходит для систем вопросов и ответов по арабским текстам, например для поиска ответа в предоставленном контексте. В README приведено значение loss 2,8357 на оценочном наборе, но отсутствуют подробности о методике оценки и практическом качестве. Лицензия в предоставленных данных не указана.
thatdramebaazguy разработал модель ответов на вопросы на основе RoBERTa Base, дообученной для задачи SQuADv1. Модель принимает вопрос и текстовый фрагмент и извлекает из него ответ; она предназначена для чтения на английском языке и сценариев, где ответ содержится в предоставленном контексте. Модель содержит 151,8 млн параметров и имеет контекстное окно до 514 токенов. В README приведены оценки на SQuADv1: exact match 83,6 и F1 91,2; на MoviesQA указаны exact match 51,6 и F1 68,3. Доступны варианты весов для PyTorch, TensorFlow и Flax. Лицензия — CC BY 4.0.
Z-Jafari/roberta-fa-zwnj-base-finetuned-DS_Q_NoH — дообученная персидская RoBERTa-модель для ответов на вопросы по тексту. Она основана на HooshvareLab/roberta-fa-zwnj-base и содержит около 145,5 млн параметров; доступные веса представлены в формате safetensors. Контекст модели — до 514 токенов. Модель можно применять для извлечения ответа на вопрос из предоставленного текста. В README приведены результаты оценки: exact match 58,7 и F1 около 64,0. Датасет обучения и подробные сценарии использования в карточке не описаны. Лицензия — Apache-2.0.
SauerkrautLM-ColMinistral3-3b-v0.1 — экспериментальная мультимодальная модель VAGOsolutions для визуального поиска по документам. Она основана на Ministral и использует визуальный энкодер Pixtral; модель обучена для извлечения документов и представления страниц в виде многовекторных эмбеддингов размерности 128 с поздним взаимодействием в стиле ColBERT. Параметры модели — 3 млрд. Модель принимает изображения страниц и текстовые запросы, чтобы находить релевантные документы с учётом структуры макета, таблиц, форм и графиков. Заявлена поддержка английского, немецкого, французского, испанского, итальянского и португальского языков. В README приведены результаты на ViDoRe и MTEB; авторы отмечают, что модель уступает более новым вариантам для retrieval и рекомендуют её для экспериментов, а не для производственного развёртывания. Лицензия — Apache-2.0.
Splinter-base — предварительно обученная модель семейства Splinter, представленная авторами исследования Few-Shot Question Answering by Pretraining Span Selection. Она предназначена для извлечения ответов из текста и сценариев вопросно-ответной системы с небольшим количеством примеров. Модель обучалась на текстах Wikipedia и BookCorpus с помощью задачи Recurring Span Selection, которая имитирует выбор фрагмента текста в ответ на вопрос. Архитектура — плотная трансформерная модель SplinterForQuestionAnswering с 135,5 млн параметров и контекстом до 512 токенов; модель чувствительна к регистру и рассчитана на английский язык. В этой версии веса слоя Question-Aware Span Selection (QASS) не включены: при загрузке слой инициализируется случайно. Для использования с предварительно обученными весами QASS в README указан вариант tau/splinter-base-qass. Лицензия — Apache-2.0.
TableMind — языковая модель Qwen2.5-1.5B-Instruct, дообученная Samandar1105 методом QLoRA на 6 956 примерах из WikiTableQuestions для ответов на вопросы по таблицам. Она принимает вопрос и содержимое таблицы или документа, предоставленные при запросе, и формирует ответ, опираясь на эти данные. Предназначена для использования с поисковым слоем RAG, который находит и передаёт нужные материалы; модель сама не содержит знаний о пользовательских таблицах. Модель имеет плотную архитектуру Qwen2ForCausalLM, 1,5 млрд параметров и контекст до 32 768 токенов. В карточке указана поддержка английского языка и лицензия Apache-2.0. Для числовой точности на больших таблицах рекомендуется связка с выполнением кода и RAG; модель не предназначена для ответов на общие вопросы, не связанные с переданной таблицей.
WangchanBERTa-QA-thaiqa_squad — модель для ответов на вопросы по предоставленному тексту, разработанная на основе wangchanberta-base-att-spm-uncased и дообученная на наборе данных thaiqa_squad. Она использует архитектуру CamemBERT и содержит 132,5 млн параметров. Модель предназначена для извлечения ответа из контекста на тайском языке, например для систем вопросов и ответов по статьям или документам. Принимает вопрос и текстовый контекст, выдаёт текстовый ответ; максимальная длина контекста — 512 токенов. В README описана очистка данных от HTML-тегов и знаков пунктуации. Модель опубликована в формате PyTorch. Сведения о лицензии в предоставленных данных отсутствуют.
Z-Jafari/bert-fa-base-uncased-finetuned-DS_Q_NoH — дообученная на неизвестном наборе данных модель BERT для ответов на вопросы. Она основана на HooshvareLab/bert-fa-base-uncased, содержит около 190 млн параметров и принимает текст с контекстом и вопросом, возвращая ответ, извлечённый из контекста. Модель рассчитана на персидский язык; максимальная длина контекста — 512 токенов. В карточке приведены результаты оценки: exact match 74,0 и F1 77,75. Модель использует библиотеку Transformers и опубликована в формате safetensors. Лицензия — Apache-2.0. Назначение и состав обучающего набора данных не раскрыты, поэтому результаты не гарантируют качество на других типах текстов.
Это модель ответов на вопросы на основе BERT Large с некейсовой токенизацией и whole-word masking. Она дообучена на базе bert-large-uncased-whole-word-masking-finetuned-squad на наборе SQuAD v2 и предназначена для извлечения ответа из предоставленного текста, в том числе для обработки вопросов без ответа в контексте. В README приведена оценка loss 0,3855 на наборе оценки. Модель содержит 433,9 млн параметров, использует архитектуру BertForQuestionAnswering и работает с контекстом до 512 токенов. Она рассчитана на английский язык; специализированная версия ориентирована на вопросы по исламской тематике, однако подробности обучающих данных и отраслевые ограничения в карточке не раскрыты. Доступна в формате PyTorch под лицензией Apache-2.0.
Lzvick выпустил ранний LoRA-чекпойнт на базе BAAI/bge-m3 для плотного поиска по научной литературе об информационном поиске: BM25, DPR, ColBERT, RAG, MS MARCO и BEIR. Модель основана на архитектуре XLM-RoBERTa, содержит 658,7 млн параметров и принимает текстовые запросы и документы для получения векторных представлений; в примере использования также включено получение разреженных представлений. Контекст составляет до 8194 токенов. Дообучение выполнено методом LoRA за короткий запуск примерно на 51 шаге. На 109 отложенных примерах средний отрыв косинусного сходства положительных пар от отрицательных немного выше базовой модели, однако полноценной оценки retrieval-метриками nDCG, Recall или MRR не проводилось. Веса опубликованы в слитом виде, поэтому для загрузки не требуется PEFT. Лицензия — MIT.
Модель mrm8488/electra-small-finetuned-squadv2 создана Мануэлем Ромеро как дообученная версия ELECTRA small discriminator для ответов на вопросы по текстовому фрагменту. Она получает вопрос и контекст и извлекает из него ответ; если контекст не подтверждает ответ, модель может воздержаться от ответа, как предусмотрено форматом SQuAD 2.0. Модель использует архитектуру ELECTRA для вопросно-ответной задачи, содержит 20,4 млн параметров и рассчитана на контекст до 512 токенов. В README приведены результаты на тестовой выборке SQuAD 2.0: EM 69,71 и F1 73,44. Модель предназначена прежде всего для англоязычных текстов и доступна в формате PyTorch. Лицензия — Apache-2.0. Показатели получены на SQuAD 2.0 и не гарантируют такую же точность на других типах текстов; модель ограничена коротким контекстом и английским языком.
Guillaume Tell — франкоязычная языковая модель, разработанная Etalab (Service du Datalab) при Межведомственном управлении цифровых технологий Франции. Это дообученная версия OpenHermes-2.5-Mistral-7B на архитектуре Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации ответов на вопросы о французской административной сфере по предоставленным источникам: она синтезирует информацию и добавляет ссылки для проверки. Такой сценарий можно встроить в систему RAG. Модель рассчитана прежде всего на сотрудников французских государственных учреждений, которым нужно находить и формулировать справочную информацию об административных процедурах. Она поддерживает диалог, но ограничена ответами на французском языке и вопросами в рамках французского административного контекста; сложные случаи ей не подходят. Ответы могут содержать ошибки или упускать важные сведения, поэтому их следует проверять. Лицензия — Apache-2.0.
Это модель mcsabai, представляющая собой HuBERT base в версии cased, дообученную для ответов на вопросы на венгерском языке. Она использует архитектуру BERT и принимает вопрос вместе с текстом-контекстом, чтобы извлечь из него ответ; при настройке handle_impossible_answer может воздерживаться от ответа, если контекст его не подтверждает. Модель содержит 137,8 млн параметров и рассчитана на контекст длиной до 512 токенов. Модель предназначена для извлечения ответов из предоставленного текста, например для вопросно-ответных систем по документам на венгерском языке. Дообучение выполнено на венгерской версии SQuADv2, созданной машинным переводом датасета с помощью Google Translate API; это может ограничивать качество формулировок и ответов. Доступны веса в форматах PyTorch и TensorFlow. Лицензия в предоставленных данных не указана.
Guillaume Tell — французская языковая модель Etalab, разработанная для инструмента ALBERT межведомственной системы французской государственной службы. Это плотная causal language model семейства Llama 3, дообученная на базе Meta-Llama-3-8B-Instruct; размер по метаданным — 7,5 млрд параметров, контекст — 8192 токена. Модель принимает вопрос и подборку источников, обычно пять документов, и формирует ответ на французском языке с привязкой к источникам и специальной разметкой цитат. Модель предназначена для помощи государственным служащим в поиске и изложении сведений о французской администрации, например при разборе административных процедур. Она рассчитана на ответы первого уровня и на проверку ответов перед передачей пользователям государственных услуг. Лицензия — Apache-2.0. Модель не предназначена для сложных административных вопросов или тем за пределами французской администрации. Она отвечает только по-французски, а её ответы могут содержать ошибки или пропуски; применение предполагает проверку специалистом, знакомым с административными процедурами.
LongLLaMA-3Bv1.1 — базовая, не настроенная на следование инструкциям языковая модель размером 3,3 млрд параметров, разработанная командой LongLLaMA на основе OpenLLaMA-3Bv2. Модель дообучена методом Focused Transformer (FoT): три слоя внимания используют кэш памяти, чтобы расширять обрабатываемый контекст. В обычной реализации контекст ограничен 2048 токенами; с механизмом памяти авторы показывают экстраполяцию до 256 тыс. токенов на задаче поиска ключевой фразы. Модель предназначена для генерации продолжений текста и экспериментов с длинным контекстом, включая извлечение сведений из протяжённых входных текстов. В README также отмечены результаты на классификации вопросов TREC и ответах на вопросы WebQS. Это базовая модель, поэтому для диалога и выполнения инструкций может потребоваться дополнительная настройка. Веса распространяются по лицензии Apache 2.0.