I.1Поиск и навигация по информации
В разделе собраны самостоятельные задачи, где AI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
13 467 моделейmulti-modal-embed-small — компактная мультимодальная модель эмбеддингов из семейства MoM (Mixture of Models), объединяющая представления текста, изображений и аудио в общем семантическом пространстве. По карточке модель насчитывает около 120 млн параметров и использует текстовый энкодер MiniLM-L6-v2, визуальный энкодер SigLIP-base-patch16-512, аудиоэнкодер Whisper-tiny и двухслойный трансформер для слияния представлений. Модель предназначена для поиска и сравнения объектов между модальностями: например, поиска изображения по тексту или текста по аудио. Эмбеддинги имеют размерность 384; Matryoshka Representation Learning позволяет сокращать её до 32, 64, 128 или 256 измерений, а 2DMSE поддерживает адаптивные вычисления. Изображения обрабатываются при разрешении 512×512, аудио — длительностью до 30 секунд с частотой 16 кГц. Поддерживается только английский язык; генерация не является назначением модели. В README приведены результаты поиска по изображениям на COCO и аудио на LibriSpeech, однако они сами по себе не гарантируют аналогичное качество на других данных. Репозиторий содержит веса SafeTensors; метаданные также указывают ONNX-формат и библиотеку Transformers. Лицензия — Apache-2.0.
Sindhu/muril-large-squad2 — модель на базе BERT, дообученная на Google MuRIL Large для задачи question answering по датасету SQuAD 2.0. Она предназначена для извлечения ответа из предоставленного текста по заданному вопросу, в том числе для обработки вопросов без ответа в контексте. Модель содержит 604,7 млн параметров, работает с контекстом до 512 токенов и доступна в форматах PyTorch и Safetensors через Transformers. Модель рассчитана на английский и индийские языки, на которых обучалась MuRIL; README предупреждает, что на других языках качество не ожидается хорошим. Это не универсальная диалоговая модель: для ответа ей нужен текстовый контекст. Лицензия в предоставленных данных не указана.
MyAwesomeModel — модель на базе архитектуры BERT, опубликованная в экосистеме Hugging Face и предназначенная для извлечения признаков из текста. Она интегрируется с библиотекой Transformers и распространяется по лицензии MIT. Основной заявленный сценарий — преобразование текстовых данных в векторные представления для последующего семантического поиска, классификации, кластеризации и других задач машинного обучения. В README также заявлены возможности рассуждения, программирования, ответов на вопросы, суммаризации, диалога и function calling, однако метаданные модели указывают pipeline-задачу feature-extraction, поэтому эти дополнительные возможности не подтверждены как основной режим использования. Сильной стороной модели является совместимость с Transformers и PyTorch, а также использование распространённой архитектуры BERT для получения текстовых эмбеддингов. Размер модели, поддерживаемые естественные языки, длина контекста и сведения о разработчике в предоставленных данных не указаны.
NeoAraBERT_MSA — арабская модель для получения текстовых эмбеддингов на архитектуре NeoBERT, разработанная совместно подразделением U4RASD Арабского центра исследований и политических исследований и Американским университетом Бейрута. Чекпойнт дообучен на базе U4RASD/NeoAraBERT и предназначен для современного литературного арабского языка (MSA). Модель содержит 314,2 млн параметров и распространяется в формате safetensors для Transformers. Её можно применять для извлечения признаков текста, поиска семантически близких фраз и других задач понимания арабского текста. Авторы сообщают о сравнении семейства NeoAraBERT с арабскими моделями на 23 задачах; результаты относятся к семейству и не гарантируют качество на каждом отдельном сценарии этого чекпойнта. Лицензия — CC BY-SA 4.0.
nixiesearch/nixie-suggest-small-v1 — модель Sentence Transformers от Nixiesearch для поиска и сопоставления коротких пользовательских запросов с их полными вариантами. Она построена на E5-small-v2 и дообучена на синтетических примерах, имитирующих ввод подсказок: неполных слов, пропусков, перестановок и повторов букв, а также замен клавишами рядом на клавиатуре. Модель кодирует текст в плотные векторы размерности 384 и подходит для семантического поиска, подбора подсказок, кластеризации и оценки сходства. Архитектура — BERT; размер — около 40 млн параметров, контекст — до 512 токенов. Обучающие данные основаны на частотных английских словах и n-граммах. Модель асимметрична: для короткого неполного запроса используется префикс «query: », а для полного запроса или текста-кандидата — «passage: ». Модель рассчитана прежде всего на английские слова и короткие поисковые запросы с опечатками; качество на других языках README не подтверждает. Доступны веса PyTorch и ONNX. Условия лицензии в предоставленных данных не описаны.
blackmlengineer/occucoder-en-tall-v0 — текстовая Sentence Transformer-модель на архитектуре BERT, обученная разработчиком blackmlengineer для поиска и сопоставления предложений. Она преобразует предложения и абзацы в плотные векторы размерности 256; сходство между ними можно оценивать косинусной мерой. Модель использует mean pooling и предназначена для текстового retrieval и сравнения семантически связанных формулировок. Модель обучена на 991 580 примерах с парами положительных и отрицательных соответствий с использованием MultipleNegativesRankingLoss. Максимальная длина входа — 32 токена. В примерах обучающего набора встречаются названия профессий и смежные категории, поэтому модель подходит для поиска похожих наименований в этой области. Лицензия в предоставленных данных не указана.
Prompsit разработала эту модель для оценки того, является ли одна английская фраза перефразированием другой. Это модель классификации последовательностей на архитектуре BERT, дообученная на базе bert-base-uncased; в репозитории доступны веса PyTorch и Safetensors. Модель рассчитана на пары фраз, а не на длинные тексты или предложения с пунктуацией, и поддерживает контекст до 512 токенов. В README сообщается о проверке на 16 500 размеченных человеком парах фраз. Сведения о лицензии в предоставленных материалах отсутствуют.
google/pix2struct-ocrvqa-base — модель Google семейства Pix2Struct для визуальных вопросов и ответов. Это архитектура кодировщик изображений — декодер текста, дообученная для задачи visual question answering; она принимает изображение и вопрос и формирует текстовый ответ. Модель построена на Pix2StructForConditionalGeneration и использует PyTorch. Pix2Struct предварительно обучали преобразовывать замаскированные снимки веб-страниц в упрощённый HTML; такой подход объединяет сигналы распознавания текста, языкового моделирования и описания изображений. Вариативное разрешение входа помогает обрабатывать визуально насыщенные материалы. Карточка указывает языковую поддержку английского, французского, румынского и немецкого. Лицензия — Apache-2.0.
Yuji Yamaki Kokubun и Fanny Raciely Gomez Williams разработали эту модель для Dominican News Question Answering Challenge в рамках курса ICC-344-T. Это испаноязычная модель извлечения ответов: она получает вопрос и контекст новости и возвращает фрагмент, явно присутствующий в контексте. Модель основана на BERT/BETO и дообучена на базовой модели Lisibonny/modelo_qa_beto_squad_es_pdqa; метаданные указывают 137,1 млн параметров и контекст до 512 токенов. Модель обучалась на 45 примерах новостей, а для выбора варианта использовалась проверочная выборка из 15 вопросов. На ней указаны Exact Match 66,7 и F1 76,6. Модель подходит для поиска ответа на вопрос в заданном испаноязычном новостном тексте, например для извлечения упомянутых лиц, дат, событий и других фактов. Она не предназначена для генерации ответа из внешних знаний и не проверяет достоверность новости. Среди известных ошибок — обрезание границ ответа, выбор нерелевантного фрагмента и неточная обработка списков сущностей; малый размер обучающей и проверочной выборок ограничивает надёжность оценок. Лицензия — MIT.
MMOPD/Qwen3-4B-OT3-tau — плотная языковая модель семейства Qwen3 с 3,7 млрд параметров, разработанная MMOPD. Это дообученная версия MMOPD/Qwen3-4B-OT3-2ep: к модели рассуждений добавили supervised fine-tuning на 33 531 траектории Tau2 из inclusionAI/AReaL-tau2-data. Модель сохраняет исходный шаблон чата и режим рассуждений, рассчитана на многошаговое взаимодействие с инструментами и вызовы инструментов в диалоге. Контекст составляет до 32 768 токенов; вход и выход — текст.
shigureui/Qwen3-VL-Embedding-2B-FP8 — мультимодальная embedding-модель на базе Qwen/Qwen3-VL-Embedding-2B, сжатая в формат FP8 с помощью llmcompressor. Модель предназначена для преобразования текстов, изображений и их сочетаний в векторные представления, которые можно использовать для оценки семантического сходства, поиска и сопоставления мультимодального контента. Для запуска поддерживается vLLM в режиме pooling. Известно, что модель имеет размер 2B параметров в базовой версии и поддерживает контекст до 20 480 токенов в приведённой конфигурации vLLM. В примерах показано сравнение текстовых описаний с изображением, а также совместная обработка изображения и текста. Сжатие в FP8 заявлено как способ ускорения работы как минимум на 50%, однако подробные результаты бенчмарков и условия измерений не приведены. Поддерживаемые языки, точная архитектура и дополнительные ограничения по модальностям в README не указаны. Модель распространяется по лицензии MIT. README не содержит сведений о качестве на конкретных наборах данных, устойчивости результатов, требованиях к аппаратному обеспечению или ограничениях применения, поэтому эти характеристики требуют отдельной проверки.
RankVideo — мультимодальная модель для повторного ранжирования результатов текстового поиска по видео, разработанная авторами работы RANKVIDEO: Reasoning Reranking for Text-to-Video Retrieval. Она дообучена на основе Qwen/Qwen3-VL-8B-Instruct и анализирует пары «запрос — видео», чтобы оценить релевантность ролика запросу с учётом его содержания. Модель предназначена для улучшения выдачи в системах поиска видео по текстовому описанию: она принимает текстовый запрос и видео, а затем выдаёт оценку релевантности. Архитектура — плотная Qwen3-VL с 8 млрд параметров; карточка указывает английский язык и библиотеку Transformers. Обучение проводилось на MultiVENT 2.0 и RankVideo-Dataset. RankVideo распространяется по лицензии MIT. Она специализирована на ранжировании пар «текст — видео»; карточка не описывает качество на разных наборах данных и языках, поэтому результаты могут зависеть от предметной области и формата поиска.
RoBERTa Amharic Text Embedding Medium — модель Sentence Transformers от rasyosef, дообученная на наборе amharic-passage-retrieval-dataset на базе rasyosef/roberta-medium-amharic. Она преобразует предложения и абзацы на амхарском языке в плотные векторы размерностью 512 для поиска по смыслу и сравнения текстов. Архитектура включает XLM-RoBERTa, усредняющий пулинг токенов и нормализацию; базовая модель содержит 49,9 млн параметров, максимальная длина последовательности — 512 токенов. Сходство векторов оценивается косинусной мерой. Модель подходит для семантического поиска и извлечения релевантных пассажей, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текстов на амхарском языке. В README приведены результаты оценки поиска на обучающем корпусе, но они не гарантируют качество на других данных. Модель распространяется по лицензии Apache-2.0.
TimKond/S-BioLinkBert-MedQuAD — модель эмбеддингов предложений на архитектуре BERT, опубликованная пользователем TimKond. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации; также подходит для сравнения смысловой близости текстов. Обучение выполнено с использованием Sentence-Transformers и функции потерь SoftmaxLoss. Модель содержит 135,4 млн параметров и принимает последовательности длиной до 512 токенов. Название указывает на связь с биомедицинской тематикой и MedQuAD, однако карточка не описывает конкретные данные или целевые языки обучения. Для использования с Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов; более простой вариант — библиотека Sentence-Transformers. Репозиторий содержит веса PyTorch и safetensors. Лицензия в предоставленных данных не указана.
SciRus-tiny — компактная модель MLSA Lab Института ИИ МГУ для получения эмбеддингов научных текстов на русском и английском языках. Она использует архитектуру RoBERTa и содержит 25,5 млн параметров; для обработки текста указан контекст до 2050 токенов. Модель обучена на данных eLibrary с применением контрастивного обучения. Она предназначена для представления научных текстов в виде векторов и оценки сходства предложений; в README сообщается о высоких результатах на бенчмарке ruSciBench. Лицензия — MIT.
cafierom создал дообученную модель SentenceTransformer на базе google/embeddinggemma-300m. Она преобразует предложения и абзацы в плотные текстовые векторы размерности 768; сходство между ними можно оценивать косинусной мерой. Модель рассчитана на семантическое сравнение текстов, поиск, поиск перефразировок, классификацию и кластеризацию. Модель использует текстовую архитектуру Gemma 3, содержит 302,8 млн параметров и распространяется в формате Safetensors. В метаданных указан контекст до 2048 токенов, а в README — максимальная длина последовательности 128 токенов; на практике ориентируйтесь на ограничение SentenceTransformer в карточке. Обучающие и оценочные примеры представлены парами текстов с метками, однако приведённые образцы выглядят как строки химических структур, поэтому качество на обычном естественном языке из этих данных не подтверждается. Лицензия в предоставленных сведениях не указана.
Akshat131/splade-multi-static-pruned-v2 — разреженная модель семейства SPLADE для семантического поиска по технической документации и корпусам кода. Это дообученная и дистиллированная версия SPLADE-v3-doc от Naver с укороченным до трёх слоёв BERT-энкодером; в README указано 45,75 млн параметров, тогда как метаданные каталога указывают 51,8 млн. Модель формирует взвешенные разреженные представления документов для поиска через статический инвертированный индекс. Для запросов предусмотрена статическая таблица весов токенов, поэтому их обработка не требует нейронного прохода во время поиска. Модель предназначена прежде всего для поиска по документации библиотек и техническим текстам. В README приведены результаты на корпусах NumPy, Pandas и PyBind11, а также на SciFact из BEIR. Метаданные указывают поддержку английского языка и контекст до 512 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Для практического использования потребуется совместимый процесс подготовки индекса и обработки документов; README описывает статическую обработку запросов, но не приводит подробности интеграции.
sentence-transformers/stsb-roberta-large — модель для получения эмбеддингов предложений и абзацев, обученная командой Sentence Transformers. Она основана на архитектуре RoBERTa с 454,1 млн параметров и отображает текст в плотные векторы размерности 1024; доступна через библиотеку Sentence Transformers и в форматах PyTorch, TensorFlow, Flax, ONNX и OpenVINO. Модель подходит для семантического поиска, сравнения текстов и кластеризации; заявленная длина контекста — 514 токенов. В карточке модель помечена как устаревшая: авторы предупреждают о низком качестве эмбеддингов и рекомендуют выбрать другую модель для новых проектов. Лицензия — Apache-2.0.
tifilBERT-Base — турецкий энкодер предложений и экстрактор признаков, разработанный Şuayp Talha Kocabay в AI-клубе TÜBİTAK Science High School (TFLai). Это дообученная версия jhu-clsp/mmBERT-small на архитектуре ModernBERT с 140,5 млн параметров; модель предназначена прежде всего для получения семантических представлений предложений и оценки их сходства. Карточка сообщает о языковой адаптации и контрастивном выравнивании, а метаданные указывают контекст до 8192 токенов. Для обучения и оценки использовались, в частности, турецкие данные NLI и набор OPUS-100; автор приводит результаты на задачах классификации, NLI и QA. Модель рассчитана главным образом на короткие и средние турецкие тексты и может служить основой для дообучения под классификацию, распознавание сущностей и другие NLP-задачи. Контрастивное обучение усиливает семантическое сходство, но может ухудшать оценку грамматической приемлемости. README указывает практический предел около 512 токенов и предупреждает о возможных предвзятостях данных из Википедии, новостей и интернета; это расходится с контекстом 8192 токена в метаданных. Лицензия модели — MIT.
Карточка модели nhatminh/vietnamese_bi_encoder на Hugging Face совпадает с карточкой bkai-foundation-models/vietnamese-bi-encoder, поэтому описание составлено по ней. Вьетнамская модель для сопоставления предложений и абзацев, разработанная BKAI Foundation Models. Она преобразует текст в плотные векторы размерностью 768 и предназначена для семантического поиска, ранжирования похожих текстов и кластеризации. В основе лежит PhoBERT-base-v2, дообученная на объединённых данных MS MARCO и SQuAD v2, переведённых на вьетнамский язык, а также на 80% обучающей выборки соревнования Legal Text Retrieval Zalo 2021. Модель построена на архитектуре RoBERTa и содержит 162,4 млн параметров; максимальная длина контекста — 258 токенов. Для работы с вьетнамским текстом в Hugging Face Widget предусмотрена сегментация слов перед токенизацией. В README приведены результаты на оставшихся 20% выборки Legal Text Retrieval Zalo 2021, включая Acc@1 73,28 и MRR@10 80,73 для обученной модели. Модель принимает текст и возвращает векторные представления, которые можно использовать для поиска и кластеризации. Она обучалась на вьетнамских данных, включая юридические тексты, поэтому результаты на других языках и в иных областях могут быть хуже. Лицензия — Apache-2.0.
sentence-transformers/xlm-r-100langs-bert-base-nli-mean-tokens — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 на основе XLM-RoBERTa и предназначена для поиска по смыслу и кластеризации текстов. Модель содержит 305,2 млн параметров, принимает текст с контекстом до 514 токенов и выдаёт эмбеддинги; поддерживает 100 языков. Модель распространяется по лицензии Apache-2.0. В карточке она помечена как устаревшая: авторы предупреждают о низком качестве эмбеддингов и рекомендуют использовать более новые модели Sentence-Transformers.
jaimevera1107/all-MiniLM-L6-v2-similarity-es — испаноязычная модель Sentence Transformers, дообученная на датасете Similarity Sentences Spanish для получения векторных представлений предложений и абзацев. Она основана на архитектуре BERT, содержит 25,9 млн параметров и формирует плотные векторы размерностью 768; заявленная длина контекста — 512 токенов. Модель подходит для семантического поиска, сравнения сходства предложений и кластеризации испаноязычных текстов. В README приведены результаты оценки Spearman Correlation 80,1% и R² 70,67% для строки «Roberta Fine tuned», поэтому эти числа нельзя уверенно приписать именно данной модели. Для работы доступны веса PyTorch и библиотека Sentence Transformers. Модель распространяется по лицензии MIT. Её обучение и заявленные языковые возможности ориентированы на испанский; результаты на других языках не подтверждены.
yahyaabd разработал yahyaabd/allstats-search-mini-v1-1-mnrl-sts — модель Sentence Transformers на архитектуре BERT, дообученную на датасете BPS-STS-dataset-v1 для сравнения смысловой близости текстов. Она кодирует предложения и абзацы в плотные векторы размерности 384; для оценки сходства используется косинусная мера. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. Модель принимает текст, а на выходе выдаёт векторы; максимальная длина последовательности в README — 128 токенов, тогда как метаданные указывают нативный контекст 512 токенов. Обучение и примеры в карточке сосредоточены на текстах о статистике и целях устойчивого развития Индонезии; приведённые оценки на STS-наборах показывают корреляцию Спирмена 0,8363 и 0,8631. Лицензия в предоставленных данных не указана.
AbderrahmanSkiredj1/Arabic_text_embedding_for_sts — модель Sentence Transformers, разработанная Abderrahman Skiredj. Это дообученная BERT-модель для получения плотных векторных представлений арабских предложений и абзацев и оценки их семантического сходства. Её можно применять для семантического поиска, поиска перефразировок, кластеризации и классификации текста. Модель содержит 162,4 млн параметров, использует mean pooling и выдаёт эмбеддинги размерностью 768; для сравнения текстов предусмотрено косинусное сходство. Максимальная длина входа — 512 токенов. Модель обучена на датасете с парами и тройками арабских текстов, включающем данные Quora, STS, Alue, Holy Quran и Aranli. Модель предназначена прежде всего для работы с арабским языком; качество для других языков не заявлено. Лицензия в предоставленных данных не указана.
Banglish Embed MiniLM Small — модель эмбеддингов для поиска семантически соответствующих предложений на бенгальском письме и романизированном бенгальском (Banglish). Она дообучена автором sifat-febo на sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 и предназначена для двустороннего поиска совпадений между двумя письменностями, включая сценарии с переключением между ними. Модель построена на архитектуре BERT и содержит 124,3 млн параметров. Она принимает текст и формирует эмбеддинги для семантического сравнения; заявленная длина контекста — 112 токенов. По README, модель занимает около 0,47 ГБ и рассчитана на работу на CPU без подключения к интернету после установки. В описанном тесте на 2000 парах она находила соответствие примерно в 98,6–98,8% случаев. Модель подходит для поиска бенгальских фраз по Banglish-запросам и наоборот, но её назначение ограничено сопоставлением семантически сходных предложений: она не предназначена для суммаризации, ответов на вопросы или произвольного ранжирования. Текст длиннее примерно 70 слов обрезается. Лицензия — Apache-2.0.
Joseeangel разработал эту модель для извлечения ответов из текста в формате SQuAD v1.1. Это BERT Base Uncased с 136,7 млн параметров, полностью дообученный на подвыборке SQuAD; модель выдаёт оценки начальной и конечной позиций ответа в контексте. Она предназначена для английских вопросов по абзацу, в котором ответ заведомо присутствует. В README приведены результаты на отложенной тестовой выборке: F1 82,14 и exact match 72,77. Модель работает с текстом и английским языком. Контекст ограничен 512 токенами по метаданным; при обработке длинных контекстов README описывает разбиение на перекрывающиеся окна длиной до 384 subwords. Модель всегда возвращает наиболее подходящий фрагмент и не умеет отказаться от ответа, поэтому её не следует применять без проверки человеком там, где ошибка может повлечь серьёзные последствия. Лицензия модели — Apache-2.0.
KayaTechAI/BGE-M3-0.56B-Fine-Tuned-Telecom-Technical-Documents-Retrieval-Embedding-Generalization-Baseline — модель Sentence Transformer, разработанная KayaTechAI путём дообучения BAAI/bge-m3 на наборе пар запросов и релевантных технических текстов из телекоммуникационной области. Она кодирует предложения и абзацы в плотные векторы размерностью 1024 и предназначена прежде всего для семантического поиска и оценки сходства текстов, включая поиск по технической документации телекоммуникаций. Модель построена на XLM-RoBERTa с пулингом CLS-токена и нормализацией эмбеддингов; максимальная длина входа — 8194 токена по метаданным. README указывает английский язык. Обучение с MatryoshkaLoss позволяет использовать усечённые векторы меньшей размерности, а в карточке приведены результаты поиска для размерностей от 64 до 1024. Модель распространяется по лицензии Apache-2.0.
anhdt84/bge_m3_multiplenegativesrankingloss — модель эмбеддингов на основе BAAI/bge-m3, дообученная для банковской тематики. Она предназначена для семантического поиска и извлечения релевантных текстов, а также сравнения сходства предложений; в примере карточки запрос о требованиях для открытия кредитной карты кодируется в вектор для поиска. Модель построена на архитектуре XLM-RoBERTa, содержит 658,7 млн параметров и поддерживает контекст до 8194 токенов. Для работы используется Sentence-Transformers; файлы модели представлены в формате safetensors. Карточка демонстрирует применение на вьетнамском языке, а базовая BGE-M3 описана как многоязычная модель. Лицензия — Apache-2.0. Качество на других банковских задачах и языках, а также ограничения дообучения в карточке не описаны.
CAG-13b — языковая модель Ruotong Pan и соавторов с генерацией, учитывающей достоверность источников. Модель дообучена на LLaMA2-13B и предназначена для ответов на вопросы с использованием контекста, в том числе документов, полученных через RAG. Модель оценивает достоверность сведений в контексте, чтобы сохранять устойчивость к зашумлённым или вводящим в заблуждение документам. Среди сценариев применения авторы называют ответы с учётом персонализированных оценок доверия и разрешение конфликтов между источниками знаний; модель оценивали на открытых и чувствительных ко времени вопросах, а также на вопросах по материалам с дезинформацией. Это плотная причинная архитектура LLaMA с 12,9 млрд параметров и контекстом до 4096 токенов; вход и выход — текст. В карточке указаны английский язык и лицензия MIT. Модель не является специализированной поисковой системой или гарантией проверки фактов: качество ответов зависит от контекста и заданных оценок достоверности.
CamemBERT-L4 — облегчённая версия предварительно обученной языковой модели CamemBERT, созданная удалением верхних слоёв исходного чекпойнта. В метаданных указаны архитектура CamemBERT, 62,3 млн параметров и контекст до 514 токенов; модель распространяется в форматах PyTorch и safetensors по лицензии MIT. Модель предназначена прежде всего для дообучения под задачи, где нужно учитывать целое предложение: классификации текста, извлечения ответа на вопрос и семантического поиска. Её также можно использовать для извлечения признаков и masked language modeling. README не рекомендует её для генерации текста и советует для этого авторегрессионные модели. Язык модели — французский; сравнительно с исходной CamemBERT-base удаление слоёв уменьшает размер модели, но характеристики качества для конкретных задач зависят от последующего дообучения.