I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейQwen3-8B TMax AENV v39b, итерация 219 — контрольная точка модели Willamazon1 после обучения с подкреплением для многоходовой работы агентом в асинхронных средах. Политика основана на willamazon1/qwen3-8b-tmax-sft-v3-iter353, которая, в свою очередь, дообучена на Qwen/Qwen3-8B. Используется плотная архитектура Qwen3ForCausalLM с 7,6 млрд параметров; модель работает с текстом и поддерживает контекст до 40 960 токенов. Модель предназначена для генерации текста в диалогах и агентных сценариях, включая использование инструментов. В коллекции опубликованы контрольные точки разных итераций обучения, что позволяет сравнивать изменения в ходе обучения. Доступны веса safetensors в bfloat16; оптимизатор в публикацию не включён. Модель загружена через Transformers и проверена выборочной генерацией. Лицензия — Apache-2.0.
Jina Reader-LM 0.5B — компактная языковая модель, разработанная Jina AI для преобразования HTML-страниц в Markdown. Она обучена на отобранных парах HTML и соответствующего Markdown и принимает исходный HTML без дополнительной инструкции в запросе. Модель предназначена для извлечения и преобразования содержимого веб-страниц, например при подготовке страниц сайтов к чтению и дальнейшей обработке. Модель построена на архитектуре Qwen2 с плотной причинно-следственной языковой моделью и содержит 494 млн параметров. Она работает через Transformers, принимает текст и генерирует текст; заявленная длина контекста — 256 тысяч токенов. В метаданных указана поддержка многоязычного режима, но конкретные языки не перечислены. Модель специализируется на преобразовании веб-содержимого, поэтому её не следует считать универсальным средством для любых задач генерации текста. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но ограничивает коммерческое применение.
SigLIP 2 So400m — модель семейства SigLIP 2, разработанная Google. Это плотный визуальный энкодер, обученный на датасете WebLI; вариант So400m использует патчи размером 16 пикселей и входное разрешение 256 пикселей. Модель сопоставляет изображения и текст, поддерживает классификацию изображений по произвольным текстовым меткам без дообучения и поиск изображений по тексту или текста по изображению. Модель подходит для извлечения визуальных признаков и встраивания в мультимодальные языковые модели, а также для задач локализации и получения плотных визуальных представлений. В README не приведены сведения о числе параметров, контекстном окне или языковом охвате. Репозиторий распространяется по лицензии Apache-2.0.
Многоязычная модель распознавания именованных сущностей на базе SpanMarker и энкодера xlm-roberta-base. Её разработчик обучил модель на наборе данных MultiNERD; она размечает сущности в тексте, включая людей, организации и места. В README приведены результаты оценки: F1 91,31 по всем языкам, 94,55 для английского и 93,77 для немецкого. Модель предназначена для извлечения сущностей из многоязычных текстов. Автор предупреждает о существенных ограничениях токенизации и рекомендует вместо неё более новую tomaarsen/span-marker-mbert-base-multinerd. Лицензия CC-BY-NC-SA-4.0 разрешает использование на условиях указания авторства и распространения производных материалов на тех же условиях, но некоммерчески.
ZurichNLP/swissbert-ner — модель ZurichNLP для распознавания именованных сущностей, дообученная на наборе WikiNEuRal. Она выполняет токеновую классификацию и выделяет сущности в немецком, французском и итальянском текстах; для ретороманского языка Grischun заявлена работа в режиме zero-shot. Модель построена на архитектуре X-MOD, содержит 151,8 млн параметров и поддерживает контекст до 514 токенов. Модель подходит для автоматической разметки имен людей, организаций и других сущностей в многоязычных текстах на языках Швейцарии. В README показано применение через pipeline Transformers с простой агрегацией меток. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
timm/ViT-SO400M-16-SigLIP2-384 — визуально-языковая модель семейства SigLIP 2, обученная на наборе WebLI и подготовленная для использования в библиотеке OpenCLIP. Репозиторий содержит конверсию исходных контрольных точек JAX из Big Vision; веса доступны в форматах PyTorch и Safetensors, лицензия — Apache-2.0. Модель сопоставляет изображения с текстовыми описаниями и предназначена для классификации изображений без дообучения: пользователь задаёт варианты классов текстом, а модель оценивает их соответствие изображению. Подходит для поиска по изображениям и семантической сортировки по текстовым запросам. В карточке также упомянута многоязычная направленность семейства SigLIP 2, но конкретный перечень поддерживаемых языков и размер контекста не приведены.
ZAYA1-VL-8B — открытая vision-language модель Zyphra для диалога и ответов на вопросы по изображениям. Она использует ZAYA1-8B как текстовый декодер и визуальный энкодер Qwen2.5-VL; архитектура включает специализированные LoRA-параметры для обработки зрительных токенов и двунаправленное внимание к токенам изображения. В карточке указано 3 млрд параметров, контекст до 32 768 токенов и поддержка изображений и текста. Модель предназначена для анализа изображений, диаграмм и документов, а также визуальных вопросов и ответов. В README приведены результаты на наборах AI2D, ChartQA и DocVQA. Для запуска требуется форк Transformers с веткой zaya1-vl и дополнительные зависимости, включая qwen-vl-utils и flash_attn. Модель распространяется по лицензии Apache 2.0.
AltCLIP-m18 — мультиязычная модель сопоставления изображений и текста, разработанная командой FlagAI. Это CLIP-подобная архитектура AltCLIP: она кодирует изображения и текст в общее пространство признаков, что позволяет сравнивать их и классифицировать изображения по текстовым описаниям без отдельного обучения на целевых классах. В метаданных Hugging Face указан сценарий zero-shot-классификации изображений; в README также приведены результаты классификации и поиска по изображениям и текстам. Модель поддерживает 18 языков: английский, китайский, японский, тайский, корейский, хинди, украинский, арабский, турецкий, вьетнамский, польский, нидерландский, португальский, итальянский, испанский, немецкий, французский и русский. Разработчики также указывают, что модель может служить текстово-графической основой для AltDiffusion-m18. Код открыт на FlagAI, веса доступны через ModelHub; лицензия самих весов в предоставленной карточке не определена. Условия использования датасетов не следует трактовать как лицензию модели.
EpistemeAI/Audiogemma-3N-finetune — это дообученная разговорная мультимодальная модель на архитектуре Gemma 3n, основанная на unsloth/gemma-3n-e4b-it-unsloth-bnb-4bit. Она принимает изображения и текст и формирует текстовые ответы; карточка также описывает семейство Gemma 3n как способное работать с аудио и видео, но для этой версии такие входы отдельно не подтверждены. Gemma 3n использует выборочную активацию параметров для экономии ресурсов и рассчитана на эффективную работу на устройствах с ограниченными ресурсами. Модель подходит для диалоговых приложений, извлечения и пересказа информации с изображений, создания текстов и суммаризации. В метаданных указан английский язык и датасет kadirnar/Emilia-DE-B000000; README сообщает о многоязычном обучении семейства Gemma 3n на более чем 140 разговорных языках, но не подтверждает поддержку каждого языка именно этой донастройкой. Лицензия — Apache-2.0. Возможны фактические ошибки, предвзятость и затруднения с тонкими языковыми нюансами или сложными открытыми задачами; ответы требуют проверки, особенно в приложениях с высокими требованиями к точности.
akdeniz27/bert-base-turkish-cased-ner — модель распознавания именованных сущностей, созданная дообучением dbmdz/bert-base-turkish-cased на проверенной версии набора данных для турецкого NER. Она использует архитектуру BERT с классификационной головой для разметки токенов и предназначена для извлечения из турецкого текста имён людей, организаций и мест. Модель подходит для анализа новостей, документов и других текстов, где требуется находить и группировать такие сущности. Модель содержит 137,8 млн параметров и обрабатывает последовательности длиной до 512 токенов. Репозиторий включает варианты PyTorch, ONNX и safetensors. Лицензия — MIT. Описание не приводит метрик качества; предсказания требуют последующей группировки токенов в сущности, например с помощью параметра aggregation_strategy.
savasy/bert-base-turkish-ner-cased — модель на основе BERT, дообученная для распознавания именованных сущностей в турецком тексте. Автор описывает её как простую в использовании NER-модель на базе transfer learning; в README также приведены результаты оценки на двух наборах данных: F1 около 0,925 и 0,953 соответственно. Архитектура — BertForTokenClassification, размер — 137,8 млн параметров, максимальная длина контекста — 512 токенов. Модель принимает текст и возвращает метки для токенов. Она предназначена для извлечения сущностей из турецких текстов. В README указана базовая модель dbmdz/bert-base-turkish-cased. Репозиторий содержит веса в форматах PyTorch, Safetensors и Flax. Лицензия в предоставленных данных не указана.
bertin-project/bertin-base-ner-conll2002-es — испаноязычная модель для распознавания именованных сущностей, разработанная командой проекта BERTIN. Это модель RoBERTa-base с головой классификации токенов, дообученная на наборе CoNLL2002-es; базовая модель Bertin Gaussian 512 обучалась с нуля на испанских текстах. Модель принимает текст и присваивает метки его токенам, чтобы выделять сущности в задачах NER. Контекст модели составляет 514 токенов, число параметров — 151,8 млн. Модель подходит для извлечения имен и других размечаемых сущностей из испаноязычных текстов, например для подготовки корпуса или автоматической индексации документов. Она опубликована в форматах PyTorch и Safetensors. Лицензия — CC BY 4.0; при использовании необходимо соблюдать её условия.
Data2Vec-Text base — англоязычная предварительно обученная трансформерная модель от команды Facebook, обученная по self-supervised objective семейства data2vec. Она преобразует текст в контекстные векторные представления и предназначена прежде всего для дообучения под задачи, использующие целое предложение или его фрагменты, например классификацию последовательностей и токенов, а также ответы на вопросы. Для генерации текста карточка рекомендует использовать авторегрессионные модели. Модель содержит 151,8 млн параметров, принимает текст с учетом регистра и рассчитана на контекст до 514 токенов. В метаданных указаны английский язык и PyTorch; среди обучающих данных названы BookCorpus и Wikipedia. Лицензия — MIT. Data2Vec использует Transformer и предсказывает контекстные латентные представления замаскированного входа. Карточка указывает, что модель рассчитана на дообучение для конкретных задач, поэтому качество непосредственно в прикладных сценариях зависит от выбранного дообучения.
Это модель распознавания именованных сущностей для немецкого языка, предназначенная для использования с библиотекой Flair и PyTorch. Она размечает в тексте сущности восьми классов; в карточке приведены примеры PER (имена людей), LOC (места) и ORG (организации). Заявленная оценка F1 — 95,6. Модель подходит для извлечения имен людей, мест и организаций из немецких текстов. Карточка указывает лицензию Flukes NC 1.0: использование разрешено только в некоммерческих целях; для коммерческого применения, включая использование предсказаний в продукте или услуге, требуется отдельная лицензия.
Карточка модели unsloth/gemma-3n-E4B на Hugging Face совпадает с карточкой unsloth/gemma-3n-E2B-it, поэтому описание составлено по ней. unsloth/gemma-3n-E2B-it — дообученная Unsloth версия диалоговой модели Google Gemma 3n E2B-it. Это плотная мультимодальная архитектура Gemma3n, однако карточка этой версии сообщает о поддержке только текстового ввода. Модель предназначена для диалога и генерации текста; её можно использовать для ответов на вопросы и ведения беседы. Заявленная длина контекста Gemma 3n — до 32 тыс. токенов. В метаданных указаны английский язык и библиотека Transformers. Модель распространяется по лицензии Gemma; перед использованием следует учитывать её условия. Карточка не приводит отдельные сведения о качестве этой версии.
Hviske v5 — модель распознавания датской речи, разработанная Syvai. Это плотная encoder-decoder архитектура Conformer с 2 млрд параметров, обученная примерно на 3,5 млн аудиозаписей общей длительностью около 16 тысяч часов из семи датских наборов данных. Модель принимает аудио и преобразует речь в текст; её основное назначение — транскрибация датской речи. В README приведены результаты оценки на парламентских записях, вещательных материалах и других датских речевых данных. Например, WER составил 6,4% на ftspeech и 5,7% на nota в указанной выборке. Для семейства уже доступна более новая версия v5.3, рекомендованная автором и показывающая лучшие результаты на тесте CoRal v3; v5 сохранена для воспроизводимости. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
Megatron-BERT-large Swedish 165k for zero-shot classification — шведская модель для классификации текста без заранее заданного набора классов. Её разработала KBLab на основе Megatron-BERT-large-165k: модель дообучили на задачах QNLI, а затем MNLI. Архитектура — плотный Megatron-BERT для классификации последовательностей, размер — 468,3 млн параметров. Модель предназначена для присвоения тексту меток из пользовательского списка категорий через pipeline zero-shot classification в Hugging Face Transformers. Это подходит, например, для сортировки шведских текстов по темам или проверки их соответствия заданным утверждениям. Поддерживается шведский язык; максимальная длина контекста — 512 токенов. Репозиторий содержит веса PyTorch и Safetensors. Сведения о лицензии в предоставленных материалах отсутствуют.
MiniLMv2-L6-H384-distilled-from-BERT-Large — компактная encoder-only Transformer-модель семейства BERT, опубликованная пользователем nreimers (Nils Reimers) на Hugging Face и обученная методом MiniLMv2 с дистилляцией знаний из BERT-Large. Модель предназначена прежде всего для задач понимания естественного языка и запуска masked-language modeling: восстановления замаскированных токенов, а также последующей донастройки для классификации, извлечения ответов и других NLU-задач. Архитектура включает 6 Transformer-слоёв, размер скрытого состояния 384 и 12 attention heads; объём модели составляет примерно 23 млн параметров, размер файла весов — около 46,4 МБ. Это текстовая, англоязычная BERT-подобная модель с контекстом до 512 токенов и словарём BERT. В карточке Hugging Face она классифицирована как Fill-Mask и поддерживает Transformers и PyTorch. Сильные стороны модели — существенно меньший размер и более быстрая инференсная обработка по сравнению с BERT-Large при сохранении полезных представлений для широкого спектра NLU-задач; в исследовании MiniLMv2 дистилляция основана на переносе отношений multi-head self-attention. Ограничения: модель не является генеративной, не предназначена для диалога или свободной генерации текста, имеет ограничение длины входа и требует task-specific fine-tuning для прикладных задач. Лицензия непосредственно в доступной карточке модели не указана.
Monolingual-Hindi-NER-Model — модель распознавания именованных сущностей на хинди, разработанная Sankalp-Bahad. Она создана дообучением XLM-RoBERTa Base и предназначена для токенной классификации в задачах NER: выделения сущностей в тексте с присвоением меток токенам. Модель содержит 305,2 млн параметров, построена на архитектуре XLM-RoBERTa и принимает текстовый контекст длиной до 514 токенов. Модель подходит для разметки сущностей в текстах на хинди и интеграции NER в NLP-конвейеры. Репозиторий использует формат safetensors; лицензия — CC BY 4.0.
RainbowPiBubbles/Nathanael-Embedding-8M — компактная энкодер-свободная модель зрения и языка на базе SupraLabs/SupraCMA-8M. Она предназначена для извлечения признаков из текста и изображений: принимает токены текста, пиксели изображения и признак наличия изображения, а выдаёт представления в скрытом пространстве языковой модели. Визуальные представления дистиллированы с использованием эмбеддингов SigLIP-2; вместо отдельного тяжёлого визуального энкодера используются математические патчи, отображающие визуальные токены в целевое представление. Модель доступна в форматах SafeTensors и ONNX: FP32 рассчитан на CPU и WASM, а FP16 — на ускорение через WebGPU или WebGL. Граф ONNX включает масштабирование и нормализацию изображений, что подходит для интеграции в браузерные и терминальные приложения. Лицензия — MIT. Карточка не описывает конкретные сценарии генерации ответов по изображениям, поэтому модель следует рассматривать прежде всего как средство извлечения признаков, а не как полноценный чат-интерфейс.
NbAiLab разработала эту модель на основе предварительно обученного норвежского NB-BERT Base и дообучила её для задачи MultiNLI на машинно переведённой на норвежский язык версии набора данных. Модель использует архитектуру BERT для классификации последовательностей и позволяет присваивать текстам категории, заданные пользователем, без отдельного обучения на этих категориях: названия классов преобразуются в гипотезы, например «Этот текст о спорте». Для лучших результатов рекомендуется формулировать шаблон гипотезы по-норвежски. Модель предназначена для классификации норвежских текстов по произвольному набору тем или других категорий. Она принимает текст и выдаёт оценки соответствия заданным классам. Контекст ограничен 512 токенами; доступны веса в форматах PyTorch, Flax и Safetensors. Лицензия — CC BY 4.0. Качество зависит от формулировок гипотез и названий классов; обучение на машинно переведённом MNLI может влиять на результаты.
Модель djagatiya/ner-roberta-base-ontonotesv5-englishv4 разработана как дообученная версия RoBERTa-base для распознавания именованных сущностей. Она размечает токены английского текста и объединяет их в сущности; модель обучена на наборе conll2012_ontonotesv5 версии english-v4. Архитектура — RobertaForTokenClassification, размер — 151,8 млн параметров, контекст — до 514 токенов. Модель подходит для извлечения сущностей из документов и текста, например имён людей, организаций и других категорий OntoNotes. В README указаны precision 88,88, recall 90,69 и F1 89,78. Модель предназначена для английского языка; качество на других языках и вне обучающего распределения не подтверждено. Файлы доступны в форматах PyTorch и Safetensors. Сведения о лицензии в предоставленных данных отсутствуют.
RexBERT-large — разработанная Rahul Bajaj encoder-only модель семейства ModernBERT, обученная предсказывать скрытые токены и адаптированная к текстам электронной торговли. Она предназначена для поиска и извлечения товаров, классификации, понимания запросов и построения эмбеддингов; для этих сценариев её можно дообучать или использовать как основу для специализированных компонентов. Модель содержит около 394,7 млн параметров, принимает текст, поддерживает контекст до 7 999 токенов и рассчитана на английский язык. Обучение включало общее предобучение, расширение контекста и специализацию на более чем 350 млрд токенов электронной торговли. Модель подходит для поиска по названиям и описаниям товаров, извлечения бренда и характеристик, категоризации и ранжирования. Она не предназначена для генерации длинных текстов; решения о ценах, соблюдении требований и безопасности товаров требуют проверки человеком. Лицензия — Apache-2.0.
Модель uer/roberta-base-finetuned-cluener2020-chinese — китайская модель распознавания именованных сущностей, дообученная командой UER-py на обучающей части набора CLUENER2020. Она основана на архитектуре BERT и содержит 129,5 млн параметров; принимает текстовые последовательности длиной до 512 токенов и относит токены к меткам сущностей. Подходит для извлечения имен людей, организаций, мест и других сущностей из китайского текста. Модель предназначена для разметки текста и может использоваться как готовая модель классификации токенов либо дообучаться дальше. В карточке также указана поддержка дообучения через TencentPretrain. Доступны версии весов PyTorch, TensorFlow и Flax. Лицензия в предоставленных данных не указана.
RoPERT-base-cased — предварительно обученный англоязычный двунаправленный энкодер семейства MyBERT, разработанный авторами репозитория kd13/RoPERT-base-cased. Он использует цель masked language modeling (MLM): модель восстанавливает скрытые токены по контексту слева и справа. Архитектура включает 12 слоёв, скрытый размер 768 и 12 attention-голов; содержит около 107,2 млн параметров, использует WordPiece-токенизатор с регистрозависимым словарём google-bert/bert-base-cased и поддерживает контекст до 2048 токенов. По сравнению с исходным BERT-base, RoPERT использует rotary position embeddings (RoPE), SwiGLU и pre-layer normalization. Модель предназначена для предсказания маскированных токенов и как энкодер для дообучения на классификации текста и токенов, извлечении ответов на вопросы и задачах выбора ответа. Она не предназначена для генерации текста. Для загрузки требуется Transformers с trust_remote_code=True и PyTorch. Опубликованные веса имеют формат float32, лицензия — MIT. Модель обучалась на англоязычных данных из Wikipedia, веб-текстов и BookCorpus. Ограничения: она рассчитана только на английский язык, чувствительна к регистру и не принимает последовательности длиннее 2048 токенов без усечения или разбиения. В обучающих данных могут присутствовать общественные предубеждения и нежелательные закономерности.
0xKitkat/semantic-chunker-modernbert-base — англоязычная модель 0xKitkat для семантического разбиения документов на фрагменты в RAG-пайплайнах. Это дообученная на структуре разделов Wikipedia модель ModernBERT-base с архитектурой token classification и 149 млн параметров. Она оценивает вероятность границы темы после каждого предложения; контекст модели — до 8192 токенов, обучение проводилось с контекстом 2048 токенов. Доступны веса в форматах Safetensors и ONNX. Модель предназначена для длинных статей, отчётов, руководств и транскриптов, где смена темы может происходить внутри документа. В тестах она хорошо распознаёт границы предложений, но более точные границы не обеспечили стабильного улучшения качества поиска по сравнению с разбиением фиксированного размера. Особенно полезно проверять её на собственном корпусе и настраивать минимальную длину фрагмента. Модель обучена на англоязычном энциклопедическом тексте; разговорные расшифровки, код и таблицы отличаются от обучающего распределения. Для коротких документов семантическое разбиение может ухудшить поиск и работать существенно медленнее фиксированного разделителя. Лицензия — Apache-2.0.
SigLIP 2 So400m — модель семейства SigLIP 2, разработанная Google. Это визуальный энкодер, обученный на WebLI и предназначенный для сопоставления изображений с текстовыми описаниями. Модель поддерживает классификацию изображений по произвольным текстовым меткам без отдельного обучения и поиск изображений по тексту или текста по изображению; её также можно использовать как визуальную часть мультимодальных систем и в других задачах компьютерного зрения. Модель принимает изображения и текстовые описания, кодирует их для сравнения и выдаёт оценки соответствия. Архитектура SigLIP, вариант So400m; доступные веса представлены в формате safetensors и используются через Transformers. В README отмечены улучшенное семантическое понимание, локализация и плотные визуальные признаки. Лицензия — Apache-2.0. Размер модели и длина контекста в предоставленных данных не указаны.
SlavicNLP разработала базовую модель распознавания именованных сущностей, обученную на кросс-тематическом разбиении корпуса SlavicNER. Модель построена на архитектуре XLM-RoBERTa и предназначена для разметки сущностей в тексте на славянских языках. Модель содержит 658,7 млн параметров, работает с контекстом до 514 токенов и доступна в формате Safetensors для библиотеки Transformers. Поддерживаются польский, русский, украинский, болгарский, чешский и словенский языки. Лицензия Apache-2.0 разрешает использование и распространение на её условиях.
asahi417 выпустил модель XLM-RoBERTa, дообученную для распознавания именованных сущностей (NER) на наборе OntoNotes 5. Она присваивает метки токенам текста, чтобы выделять в нём сущности, например имена людей, организаций и географические названия. Модель подходит для извлечения сущностей из текста в конвейерах обработки естественного языка. Модель имеет архитектуру XLM-RoBERTa для классификации токенов, содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Доступны веса в формате PyTorch. README отсылает к репозиторию TNER за дополнительными сведениями. Лицензия в предоставленных данных не указана.
Это многоязычная модель классификации текстов по жанру, разработанная Classla и дообученная на вручную размеченном наборе X-GENRE. Она основана на XLM-RoBERTa-base с архитектурой XLMRobertaForSequenceClassification и содержит около 305,2 млн параметров. Модель присваивает тексту жанровую метку, например «Информация/объяснение», «Инструкция» или «Юридический текст», и предназначена для автоматической разметки больших коллекций документов. Модель рассчитана на тексты на языках, поддерживаемых XLM-RoBERTa-base; в карточке среди языков указаны, в частности, арабский, болгарский, бенгальский, немецкий, английский, испанский, французский, японский, корейский и хинди. Размер контекста — 514 токенов. Авторы сообщают о результатах на тестах внутри и вне обучающего набора и о сравнении с другими подходами, включая zero-shot модели GPT. Для длинных документов и языков с ограниченным покрытием качество может быть ниже; классификация предназначена для жанровой разметки, а не для определения темы или проверки фактов. Модель распространяется по лицензии CC BY-SA 4.0.