I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельQwen3-VL-8B-Instruct-Unredacted-MAX — мультимодальная модель на 8 млрд параметров от prithivMLmods, дообученная на Qwen/Qwen3-VL-8B-Instruct. Это плотная vision-language-модель Qwen3-VL для диалога и задач, где нужно совместно анализировать изображения и текст; она поддерживает переменное разрешение изображений и выдаёт текстовые ответы, подписи и структурированные описания. Модель подходит для генерации подписей к изображениям, подготовки наборов данных, визуального рассуждения, тестирования устойчивости VLM и прототипирования систем с анализом изображений. В карточке отмечены улучшения упаковки, стабильности инференса и совместимости с современными версиями Transformers. Качество зависит от чёткости изображения, формулировки запроса и параметров генерации; на сложных сценах рассуждения могут быть неполными или непоследовательными, а качество меняется в зависимости от предметной области. Для инференса может потребоваться от умеренного до большого объёма VRAM, особенно при высоком разрешении. Лицензия — Apache-2.0.
Ruri v3 70M — модель текстовых эмбеддингов для японского языка, разработанная cl-nagoya на основе предварительно обученной cl-nagoya/ruri-v3-pt-70m. Это Sentence Transformer с архитектурой ModernBERT: 70 млн параметров, 13 слоёв и выходными векторами размерности 384. Модель принимает последовательности длиной до 8192 токенов и использует токенизатор SentencePiece, которому не требуется внешняя сегментация японского текста. Модель предназначена для семантического поиска, оценки сходства предложений, классификации, кластеризации и ранжирования японских текстов. В JMTEB она показывает средний результат 75,48; сходство вычисляется по косинусной мере. Указанная лицензия — Apache 2.0. Для практического использования описана поддержка Transformers версии 4.48.0 или выше и Sentence Transformers.
SA-BERT-V1 — дообученная командой Omartificial-Intelligence-Space модель эмбеддингов предложений для арабского языка, ориентированная на саудовский диалект. Она основана на MARBERTv2 и использует BERT-энкодер с mean pooling: 12 слоёв, размер скрытого состояния и эмбеддинга 768. Модель принимает текст и преобразует предложения в векторы; заявленные сценарии — семантическое сходство, кластеризация, поиск и классификация. Для дообучения использовано более 500 тысяч предложений на саудовском диалекте, включая хиджазский и надждийский варианты. В README приведена оценка на отложенной выборке из 1280 предложений по 44 категориям; она описывает сходство эмбеддингов внутри и между категориями, но не устанавливает качество для всех задач и наборов данных. Контекст составляет 512 токенов. Модель распространяется по лицензии Apache 2.0.
SauerkrautLM-ColLFM2-450M-v0.1 — компактная модель визуального поиска по документам от VAGO Solutions. Это дообученная версия LiquidAI/LFM2-VL-450M с архитектурой ColLFM2 и 450 млн параметров, предназначенная для сопоставления текстовых запросов со страницами документов по их визуальному содержимому. Модель преобразует запросы и изображения документов в многовекторные представления для поиска с поздним взаимодействием. Такой подход помогает учитывать структуру страниц, таблицы, графики и формы без отдельного этапа OCR. В карточке приведены результаты на наборах ViDoRe и MTEB, включая многоязычные задания. Заявлена поддержка английского, немецкого, французского, испанского, итальянского и португальского языков. Для загрузки авторы предлагают пакет sauerkrautlm-colpali и примеры использования с sentence-transformers. В репозитории указана лицензия other; её конкретные условия следует проверить перед использованием. Модель рассчитана на поиск релевантных страниц по текстовым запросам, а не на генерацию ответов или текста.
akhooli/sbert-nli-500k-triplets-MB — модель Sentence Transformers на архитектуре ModernBERT, разработанная на основе akhooli/ModernBERT-ar-base-tiny и дообученная на 550 тысячах арабских NLI-триплетов. Она преобразует предложения и абзацы на арабском языке в плотные векторы размерностью 768 для сравнения по косинусному сходству; максимальная длина последовательности составляет 8192 токена. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации текста. Обучение на парах запрос–положительный пример–отрицательный пример помогает сопоставлять запросы с релевантными фрагментами. Лицензия — Apache-2.0. Модель ориентирована на арабский язык; качество на других языках карточкой не подтверждено. Она выдаёт эмбеддинги, а не готовые ответы или метки классов, поэтому для классификации требуется отдельная модель или последующая обработка векторов.
Карточка модели mitra-mir/setfit-model-Misinformation-on-Media-Traditional-Social на Hugging Face совпадает с карточкой mitra-mir/setfit-model-Misinformation-on-Global-Support, поэтому описание составлено по ней. Это модель Sentence-Transformers на архитектуре MPNet, разработанная автором репозитория mitra-mir. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации текстов. В метаданных указано 136,7 млн параметров и контекст до 514 токенов; модель распространяется в формате PyTorch. Название репозитория указывает на тему дезинформации о глобальной поддержке, однако README не описывает специализированные функции или результаты классификации по этой теме. Модель подходит для получения текстовых эмбеддингов и поиска семантически близких фрагментов. Для использования описан интерфейс библиотеки Sentence-Transformers. Лицензия в предоставленных данных не указана.
thomaskim1130/stella_en_400M_v5-FinanceRAG — дообученная модель Sentence Transformers на базе stella_en_400M_v5, подготовленная для получения векторных представлений предложений и абзацев. Она кодирует текст в плотные векторы размерностью 1024 и использует косинусное сходство для сравнения. В метаданных указаны 433,9 млн параметров и контекст до 8192 токенов; в README для модели указана максимальная длина последовательности 512 токенов. Модель подходит для семантического поиска и сопоставления текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Название FinanceRAG предполагает применение в поиске по финансовым материалам, однако README не описывает отдельную финансовую специализацию или конкретную оценку на финансовом наборе данных. Обучение проведено на 2256 парах предложений с использованием MultipleNegativesRankingLoss. Лицензия в предоставленных данных не указана.
Карточка модели tokyotech-llm/Swallow-13b-instruct-v0.1 на Hugging Face совпадает с карточкой tokyotech-llm/Swallow-7b-instruct-v0.1, поэтому описание составлено по ней. Swallow-7b-instruct-v0.1 — диалоговая языковая модель TokyoTech-LLM на архитектуре Llama 2 с 6,7 млрд параметров. Она прошла дополнительное предварительное обучение преимущественно на японских текстах, а версия instruct — supervised fine-tuning для следования инструкциям. Токенизатор с расширенным японским словарём эффективнее представляет японский текст. Модель принимает текст и генерирует текст; заявленный контекст — 4096 токенов. Модель предназначена для диалогов и выполнения текстовых инструкций на японском и английском языках: написания текстов, ролевых диалогов, ответов на вопросы, рассуждений и извлечения информации. В README опубликованы оценки на японском MT-Bench и сравнение с другими моделями, однако они не гарантируют качества для каждого сценария. Выпуск v0.1 обозначен как предварительная версия; разработчики предупреждают, что модель ещё не настроена на соответствие человеческим намерениям и требованиям безопасности. Лицензия — Llama 2 Community License (llama2).
jonaskoenig/topic_classification_04 — дообученная модель Microsoft XtremeDistil на базе microsoft/xtremedistil-l6-h256-uncased для классификации текста по категориям. Это компактная BERT-модель с 14,1 млн параметров, принимающая текстовые последовательности длиной до 512 токенов. Карточка сообщает о дообучении на неизвестном наборе данных; в оценке указана разреженная категориальная точность 0,7237 на девятой эпохе. Базовая модель предназначена для английского текста, поэтому модель подходит для тематической классификации англоязычных текстов, но качество на других языках не подтверждено. Лицензия — MIT.
TrustSQL-8B — дообученная модель AIJian на основе Qwen3-8B для преобразования запросов на естественном языке в SQL при работе с ранее неизвестными схемами баз данных. Она построена на архитектуре Qwen3ForCausalLM, содержит 7,6 млрд параметров по метаданным и поддерживает контекст до 40 960 токенов. Модель обучали в два этапа: начальное дообучение с учителем и оптимизация Phase-Aware GRPO с многошаговым взаимодействием с инструментами по протоколу Explore → Propose → Generate → Confirm. Модель предназначена для использования в цикле агента с доступом к инструментам: она исследует схему, формирует и уточняет SQL-запрос. В README приведены результаты на BIRD-Dev, Spider-Test и Spider-DK для сценария неизвестной схемы. Базовая модель Qwen3-8B — многоязычная, однако языки, на которых TrustSQL-8B проверена для Text-to-SQL, отдельно не перечислены. Модель распространяется под лицензией Apache-2.0. README указывает, что обучение и оценка проводились на бенчмарках с SQLite; для работы требуется доступная и безопасная среда получения метаданных и выполнения запросов. Сгенерированный SQL следует проверять, а доступ к базе по умолчанию ограничивать режимом чтения.
Jealk/TTC-L2V-supervised-2 — модель эмбеддингов предложений, разработанная Jesper Alkestrup из The Tech Collective. Она дообучена методом LLM2Vec на базе AI-Sweden-Models/Llama-3-8B-instruct и использует двунаправленный энкодер Llama с инструкционно-ориентированным mean pooling. Модель предназначена для преобразования датских, шведских и норвежских текстов в векторы для поиска и сравнения предложений; карточка также указывает поддержку извлечения признаков и кластеризации текста. Модель содержит 7,5 млрд параметров, работает с контекстом до 8192 токенов и доступна в формате safetensors через библиотеку sentence-transformers. Для загрузки требуется разрешить trust_remote_code, поскольку репозиторий содержит пользовательские модули энкодера и pooling. Указанная лицензия — MIT. Полная версия в bfloat16 требует около 14 ГБ памяти; варианты с 8- и 4-битной квантизацией требуют примерно 8 и 5 ГБ соответственно, но качество квантизированных вариантов не оценивалось.
Карточка модели SirZQ/VeraRetouch_llava_Qwen2 на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.
doan2506/vietnamese-bi-encoder-finetuned — модель Sentence Transformers, дообученная автором на основе bkai-foundation-models/vietnamese-bi-encoder. Она использует архитектуру RoBERTa с усредняющим pooling и преобразует текстовые предложения и абзацы во встроенные векторы размерности 768; число параметров — 162,4 млн. Векторы подходят для семантического поиска и извлечения релевантных текстов, а сходство можно оценивать косинусной мерой. Модель предназначена для поиска по текстам на вьетнамском языке. В README приведена оценка на задаче информационного поиска и указано обучение на 3360 примерах с anchor, positive и negative. Максимальная длина последовательности составляет 258 токенов по метаданным. Лицензия в предоставленных данных не указана.
dangvantuan/vietnamese-embedding — модель эмбеддингов предложений для вьетнамского языка, разработанная на основе PhoBERT с архитектурой RoBERTa. Она преобразует текст векторы размерности 768 и предназначена для семантического поиска, сравнения сходства предложений и кластеризации текстов. Модель построена на Sentence Transformers: использует среднее объединение токенных представлений и поддерживает последовательности до 512 токенов согласно README; метаданные каталога указывают контекст 258 токенов. Веса содержат 162,4 млн параметров. Обучение включало SimCSE с контрастивным обучением, а также дообучение на наборах XNLI-vn и STSB-vn. В карточке приведены результаты оценки корреляции на наборах семантического сходства для вьетнамского языка. Модель подходит для поиска семантически близких фраз и группировки вьетнамских текстов по смыслу. Она принимает текст и возвращает векторные представления; результаты для других языков карточкой не подтверждены. Распространяется по лицензии Apache-2.0.
skydheere/wav2vec2-large-mms-1b-somalia — модель распознавания речи на основе wav2vec2-large, дообученная на facebook/mms-1b-all с использованием набора данных xtreme_s. Она принимает аудио и преобразует речь в текст; репозиторий указывает архитектуру Wav2Vec2ForCTC и размер около 1,3 млрд параметров. На оценочной выборке приведены loss 0,5553 и WER 0,4330. Карточка не описывает поддерживаемый язык и условия применения подробнее. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.
WebExplorer-8B — агентная языковая модель на 7,6 млрд параметров, разработанная командой HKUST-NLP на основе Qwen3-8B и дообученная с помощью supervised fine-tuning и обучения с подкреплением по алгоритму GRPO. Она предназначена для сложного поиска информации в интернете: модель выполняет многошаговые запросы, использует инструменты поиска и просмотра веб-страниц, анализирует найденные сведения и формирует ответы. Модель поддерживает контекст до 131 072 токенов и до 100 последовательных вызовов инструментов. В карточке заявлены результаты на наборах BrowseComp, GAIA, WebWalkerQA, FRAMES, XBench-DS и HLE. Интерфейс модели рассчитан на диалог и вызов инструментов; метаданные указывают поддержку английского языка, а README также приводит результаты для китайских запросов. Модель распространяется под лицензией Apache-2.0. Результаты бенчмарков получены с оценкой LLM-as-Judge и могут зависеть от среды выполнения и настройки инструментов.
Whisper Large V3 Russian Podlodka — модель распознавания русской речи, дообученная авторами репозитория на базе Whisper Large V3. Она предназначена для транскрибации длинных аудиозаписей, в частности лекций и интервью, и используется как финальный компонент системы Pisets для подготовки расшифровок. В описанной системе распознавание дополняют сегментация речи с помощью Wav2Vec2 и фильтрация неречевых фрагментов с помощью Audio Spectrogram Transformer. Модель построена на архитектуре Whisper, содержит около 905,2 млн параметров и работает с аудио на входе, выдавая текст. В карточке перечислены обучающие наборы Taiga Speech v2, Podlodka Speech и RuLibriSpeech. Модель опубликована в форматах PyTorch и Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Карточка не приводит численных результатов оценки качества, поэтому преимущество модели для конкретных условий записи по ней количественно оценить нельзя.
WikiMedical_sent_biobert_multi — многоязычная модель nuvocare на базе XLM-RoBERTa, предназначенная для получения плотных векторных представлений предложений и абзацев размерностью 768. Её обучали воспроизводить эмбеддинги модели nuvocare/WikiMedical_sent_biobert: XLM-RoBERTa-base выступала ученической моделью, а исходная WikiMedical — учительской. В метаданных указано 305,2 млн параметров и контекст до 514 токенов. Модель подходит для семантического поиска, сравнения сходства, кластеризации и межъязыкового сопоставления текстов. Обучение использовало датасет TED2020 на английском, испанском, французском, немецком, итальянском, каталанском, польском, русском и нидерландском языках; приведённые в карточке оценки охватывают часть этих языков. Данные о лицензии в предоставленных источниках отсутствуют.
Jiva/xlm-roberta-large-it-mnli — модель классификации текста, разработанная Jiva на основе XLM-RoBERTa large и дообученная на задаче вывода по естественному языку (NLI) на итальянском переводе корпуса MNLI. Она предназначена прежде всего для классификации итальянских текстов без заранее заданного набора классов: пользователь передаёт текст и варианты меток, а модель оценивает их соответствие. Модель можно использовать через zero-shot-classification pipeline Transformers; метки и текст могут быть на разных языках, хотя шаблон гипотезы рекомендуется переводить на итальянский для повышения качества. Архитектура — XLM-RoBERTa для классификации последовательностей, около 658,7 млн параметров, максимальный контекст — 514 токенов. Обучение выполнено на переводе MNLI, а в обновлённой версии использован полный обучающий набор после удаления примерно 1000 неудачно переведённых пар. Карточка приводит точность 84,75 и 85,39 на двух вариантах итальянской оценки; модель также может работать с другими языками благодаря многоязычной предобученной базе, но основное назначение — итальянская классификация. Для классификации только на английском автор рекомендует bart-large-mnli или его дистиллированный вариант. Лицензия — MIT.
rasyosef/bert-amharic-text-embedding-medium — модель Sentence Transformers, дообученная разработчиком на базе rasyosef/bert-medium-amharic на наборе amharic-passage-retrieval-dataset. Она кодирует предложения и абзацы на амхарском языке в плотные векторы размерностью 512 для поиска по смыслу и сравнения текстов. Архитектура включает BERT, усреднение токенных представлений и нормализацию векторов; максимальная длина входа — 512 токенов, сходство оценивается косинусной мерой. Модель подходит для семантического поиска и извлечения релевантных фрагментов, оценки сходства предложений, поиска перефразировок, кластеризации и классификации амхарских текстов. В README приведены результаты оценки информационного поиска, включая cosine_accuracy@1 0,6025 для 512 измерений. Модель принимает текст и выдаёт векторные представления; генерацию текста она не выполняет. Распространяется по лицензии Apache-2.0.
DIACDE/bertimbaularge_tjgo_diacde_sts — Sentence Transformer, дообученный Дирекцией искусственного интеллекта, науки о данных и статистики суда штата Гояс (TJGO) на базе neuralmind/bert-large-portuguese-cased. Модель кодирует предложения и абзацы в плотные векторы размерности 1024; архитектура включает BERT Large и усреднение токенных представлений. Максимальная длина последовательности — 512 токенов, сходство можно оценивать косинусной мерой. Модель предназначена для поиска семантически близких португалоязычных текстов, оценки сходства предложений, поиска перефразировок, кластеризации и извлечения признаков для классификации. Карточка приводит результаты оценки на наборе sts-dev: корреляция Спирмена составляет 0,6928 для косинусного сходства; качество зависит от данных и метрики. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
Boterham 0.5B — компактная преимущественно нидерландоязычная языковая модель от ToetsChecker Research. Это decoder-only Transformer с 488,2 млн параметров; экспорт использует реализацию Qwen3ForCausalLM, но веса и токенизатор обучены с нуля, поэтому модель не является производной от Qwen. Контекстное окно — 2 048 токенов. Модель принимает текст и предназначена прежде всего для работы с предоставленными фрагментами и документами: извлечения ответов, суммаризации и воздержания от ответа, если нужной информации в тексте нет. Также обучалась арифметике, классификации, переводу между нидерландским и английским языками и коротким диалогам. Модель подходит для экспериментов с NLP на нидерландском языке, документных помощников и сценариев RAG. Лицензия — Apache-2.0. Это небольшая экспериментальная модель с ограниченными общими знаниями; она может ошибаться или выдумывать сведения. Контекст короткий, а открытый диалог и творческая генерация получили меньше внимания при обучении. Фактические утверждения следует проверять по источникам; опубликованных результатов EuroEval пока нет.
bp500-base100k_voxpopuli — модель автоматического распознавания речи на базе Wav2Vec 2.0, дообученная для бразильского варианта португальского языка. В карточке указано, что исходное обучение выполнялось с fairseq, а опубликованная версия представляет собой конвертированную модель. Число параметров — 113,3 млн; формат весов — PyTorch. Модель предназначена для преобразования аудиозаписей на бразильском португальском в текст. Для обучения использовались объединённые данные CETUC, Common Voice, LaPS BM, Multilingual Librispeech, TEDx, SID и VoxForge; README приводит результаты WER на тестовых выборках этих корпусов, которые различаются между наборами и не всегда улучшаются при использовании 4-граммной языковой модели. Лицензия репозитория — Apache-2.0. Карточка показывает демонстрационные примеры и оценки, поэтому результаты на других типах аудио могут отличаться.
ColD-Fusion — текстовая модель на базе RoBERTa, разработанная IBM Research и дообученная на смеси из 35 датасетов. Она предназначена прежде всего как универсальная отправная точка для дообучения под новые задачи классификации текста; также из неё можно извлекать векторные представления текста. Архитектура — RoBERTa с 151,8 млн параметров, контекст — до 514 токенов. Модель принимает текст и формирует представления или классификационные оценки; в метаданных Hugging Face основная задача указана как text-classification, язык карточки — английский. ColD-Fusion показывает сильные результаты на наборе разнообразных задач, включая анализ тональности, определение тематики, распознавание текстовых отношений и классификацию эмоций. В README сообщается, что при оценке на 36 датасетах средний балл составил 78,47 против 76,22 у RoBERTa-base. Лицензия — MIT. Для прикладной задачи рекомендуется дообучить модель на соответствующих данных; оценки из README не гарантируют аналогичного качества на других доменах.
Moritz Laurer дообучил DeBERTa-v3-xsmall для классификации без заранее заданного набора классов: пользователь задаёт текстовые метки, а модель оценивает соответствие им входного текста. Модель предназначена для быстрого zero-shot анализа, в том числе на периферийных устройствах и в браузере через transformers.js. Основа — microsoft/deberta-v3-xsmall. В README указаны 22 млн параметров основной части модели, 128 млн параметров словаря и размер файла 142 МБ; метаданные указывают 77,5 млн параметров. Модель принимает текст, поддерживает английский язык и имеет контекст 512 токенов. Доступны форматы PyTorch, safetensors и ONNX. Модель компактнее и эффективнее более крупных вариантов семейства, но, согласно README, показывает более низкое качество. Отдельная zero-shot оценка для этой версии не проводилась; приведены результаты стандартной точности на наборах данных, использованных при обучении. Лицензия — MIT.
DistilBart-MNLI-12-3 — дистиллированная модель семейства BART, разработанная Valhalla на основе bart-large-mnli. Она предназначена для классификации текста по заданным пользователем категориям без отдельного обучения на этих категориях: модель оценивает соответствие текста гипотезам, сформулированным для меток классов. Модель содержит 252,8 млн параметров и принимает последовательности длиной до 1024 токенов. При создании были взяты чередующиеся слои bart-large-mnli, после чего модель дополнительно обучили на тех же данных MNLI. По данным карточки, точность составляет 88,1% на matched и 88,19% на mismatched части оценки MNLI; исходная модель показывает 89,9% и 90,01% соответственно. Репозиторий содержит веса PyTorch и Flax. Метаданные не указывают лицензию; модель ориентирована на английский язык, что следует из обучения и оценки на MNLI.
ssmits/Falcon2-8B-Czech — чешская текстовая модель семейства Falcon, созданная слиянием предварительно обученных языковых моделей с помощью mergekit и метода passthrough. В качестве исходной модели указана ssmits/Falcon2-5.5B-Czech; архитектура — плотная причинная модель FalconForCausalLM, файлы опубликованы в формате safetensors. По метаданным, модель содержит 11,8 млрд параметров и поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста и диалогового взаимодействия на чешском языке; каталог также относит к поддерживаемым задачам ответы на вопросы и классификацию текста и токенов. Она распространяется по лицензии Apache-2.0. Карточка не приводит результатов оценки качества, поэтому практическую точность для конкретных сценариев следует проверять отдельно.
facebook/fasttext-de-vectors — предварительно обученные векторные представления немецких слов на основе fastText, разработанного Facebook. Модель предназначена для получения векторов слов и использования их в задачах извлечения признаков, классификации текста и определения языка. fastText работает на обычных многоядерных процессорах; обучение и применение не требуют специализированного оборудования. Векторы размерности 300 обучены методом CBOW с весами позиций, символьными n-граммами длины 5, окном 5 и 10 отрицательными примерами. Обучающие данные взяты из Common Crawl и Википедии. Лицензия — CC BY-SA 3.0. Модель может наследовать смещения обучающих данных; сходство векторов не гарантирует семантической эквивалентности.
facebook/fasttext-pt-vectors — готовые векторные представления слов на португальском языке для библиотеки fastText, разработанной Facebook. Модель предназначена для извлечения признаков из текста, языковой идентификации и использования в качестве входных представлений для классификаторов и других NLP-систем. Векторы обучены методом CBOW с позиционными весами на текстах Common Crawl и Википедии. Размерность представлений — 300; используются символьные n-граммы длиной 5, окно контекста 5 и 10 отрицательных примеров. fastText работает на обычных многоядерных процессорах и подходит для прототипирования и применения в продуктивных системах. Модель выдает векторы слов, а не готовые ответы или метки классов. В README отмечен риск смещённых предсказаний; косинусное сходство между векторами можно использовать для оценки семантической близости. Лицензия — CC-BY-SA-3.0.
RishuD7/finetune_base_bge_pretrained_v4 — модель на основе архитектуры BERT от пользователя Hugging Face RishuD7. Она предназначена для извлечения признаков из текста, в частности получения контекстных векторных представлений, пригодных для последующей обработки или поиска. В метаданных указаны 136,7 млн параметров, контекст до 512 токенов и формат PyTorch. Карточка Hugging Face не содержит описания обучения, рекомендуемых сценариев, языков или лицензии. Поэтому нельзя подтвердить, на каких данных и для каких языков модель дообучена; название репозитория само по себе не устанавливает базовую модель или лицензионные условия.