II.8Инженерия данных и аналитика

Morph V3 Large — модель Morph для точного применения сложных изменений к коду. Она предназначена для преобразования исходного кода по инструкции, когда нужно внести правки в существующий фрагмент программы. В README заявлены скорость около 4 500 токенов в секунду и точность 98% для точных преобразований; это заявления разработчика, для которых карточка не приводит методику измерения. Модель ожидает запрос в формате «инструкция, затем исходный код». Сведения об архитектуре, размере, поддерживаемых языках программирования и лицензии в доступных данных отсутствуют, поэтому условия использования определить нельзя.

MOSS-Transcribe-preview-2B — англоязычная модель распознавания речи в текст, разработанная OpenMOSS Team. Она принимает аудио и предназначена для транскрибации английской речи, в том числе для исследовательских и оценочных сценариев. Модель построена на языковой основе Qwen3-1.7B-base и аудиокодировщике Qwen3-Omni-MoE; gated-MLP-адаптер передаёт аудиопризнаки в пространство эмбеддингов языковой модели. По README, модель содержит около 2,4 млрд параметров, тогда как метаданные Hugging Face указывают 10,1 млрд. Контекст составляет 32 768 токенов. Модель обучалась на открытых англоязычных корпусах распознавания речи и дообучалась с reinforcement learning на обучающих разбиениях Open ASR Leaderboard. В README приведены результаты оценки на нескольких наборах данных; TED-LIUM в этой оценке не использовался. Ограничения включают возможное снижение качества на других языках, при сильных акцентах, шуме, перекрывающейся речи, записи на расстоянии и узкоспециальной терминологии; результаты для важных решений следует проверять вручную. Распространяется по лицензии Apache-2.0.

NexusRaven-V2-13B — языковая модель Nexusflow, дообученная на базе CodeLlama-13B-Instruct для вызова функций. Модель содержит 12,9 млрд параметров, использует архитектуру Llama и принимает текстовые запросы с описаниями Python-функций, чтобы сформировать вызов нужной функции. Модель предназначена для одиночных, вложенных и параллельных вызовов функций, в том числе для составных сценариев и функций, не встречавшихся при обучении. Она может объяснять выбор вызовов; эту генерацию можно отключить. Контекст — до 16 384 токенов. Карточка заявляет коммерчески разрешительное использование, однако в метаданных лицензия указана как «other», поэтому условия следует сверить с лицензией репозитория. При большом числе доступных функций окно контекста может перегружаться; README рекомендует подключать retriever. Модель может генерировать ошибочные вызовы и неточные объяснения, поэтому результаты требуют проверки и защитных ограничений.

Noirci — модель распознавания именованных сущностей, разработанная 5000.dev для обнаружения персональных данных во французской деловой переписке перед отправкой текста в LLM. Она дообучена на CamemBERT и предназначена для выделения сущностей, которые затем можно псевдонимизировать. В репозитории есть веса safetensors в float32 и экспорт ONNX с квантованием int8; ONNX-версия размером 186 МБ работает на CPU. Контекст модели — 514 токенов. Модель рассчитана на французские рабочие документы и служит одним слоем конвейера, где также используются регулярные выражения с проверкой контрольных сумм, справочники и распространение разметки на весь документ. В README приведены оценки утечки и избыточного маскирования на реальной французской корреспонденции; результаты относятся к полному конвейеру lite2, а не только к модели. Указана лицензия MIT. Модель поддерживает только французский язык. В README отмечены утечки сущностей и избыточное маскирование примерно на 8–15%; для надёжной псевдонимизации нужны дополнительные компоненты конвейера. Она не предназначена для определения названий потребительских платформ как персональных данных.

Gensyn open-1b-sft — англоязычная авторегрессионная языковая модель с архитектурой decoder-only Transformer семейства open1b. Модель содержит 1,3 млрд параметров по метаданным (в README указано 1,61 млрд, из них 1,08 млрд без эмбеддингов), использует контекст до 4096 токенов и предназначена для диалоговой генерации текста, включая код и STEM-тематику. Для общения следует применять встроенный шаблон чата. Это supervised fine-tuning модели Gensyn/open-1b-midtrained-93B на наборе allenai/tulu-3-sft-olmo-2-mixture-0225. По описанию разработчика, предпочтительная оптимизация через RLHF или DPO не проводилась. Семейство open-1b сопровождается данными и артефактами для проверки воспроизводимости обучения; эта версия демонстрирует дообучение проверяемого базового чекпойнта. Модель подойдёт для прототипирования англоязычного чат-ассистента, генерации кода и STEM-текста, а также экспериментов с воспроизводимым обучением. Разработчик характеризует её как легко настроенного ассистента, не предназначенного для производственного чата. Лицензия — Apache 2.0.

Pixel-Linguist-II-Midtrain-Only — визуальный энкодер из статьи EMNLP «On the Design Fundamentals of Pixel Text Representation Learning». Модель разработана для получения эмбеддингов текста и изображений одной башней: текст перед подачей преобразуют в RGB-изображение, поэтому при инференсе токенизатор текста не используется. Архитектура основана на vision tower Qwen2.5-VL и представляет собой ViT с обработкой изображений в исходном разрешении; размер модели — 676,6 млн параметров. Соседние визуальные токены объединяются слоем pooling 2×2, затем эмбеддинги патчей усредняются и нормализуются по L2-норме. Это абляционный чекпойнт, обученный только по Stage 2: на 26 млн многоязычных семантических текстовых пар и 26 млн пар изображение–текст из LAION-2B, без предварительного Stage 1 на многоязычной Википедии. Модель предназначена для визуального семантического поиска и сопоставления текста с изображениями, включая поиск по документам; текст необходимо самостоятельно отрисовать в изображение. В статье показаны результаты на Visual STS и ViDoRe: модель особенно сильна в поиске по документам, но добавление Stage 1 улучшает кросс-языковое и многоязычное выравнивание. Репозиторий распространяется под лицензией Apache-2.0.

khazarai/Qwen3-4B-Qwen3.6-plus-Reasoning-Distilled-GGUF — текстовая генеративная модель в формате GGUF, разработанная khazarai на базе Qwen3-4B-Thinking-2507. Модель создана методом reasoning distillation: её дообучили с помощью QLoRA и Unsloth на данных khazarai/qwen3.6-plus-high-reasoning-500x, чтобы перенести способности более крупной модели Qwen3.6-plus к рассуждению на компактную модель размером 4B параметров. В карточке указана поддержка английского языка и задача text-generation. Модель предназначена для сложных задач, требующих последовательного анализа, включая решение алгоритмических и графовых задач, разбор ограничений, формулирование алгоритмов, оценку сложности и подготовку псевдокода. По сравнению с базовой моделью она ориентирована на более структурированные, concise и профессиональные ответы с разделением на анализ проблемы, интуицию, алгоритм и оценку сложности. На указанном Multi-Domain-Reasoning-Benchmark из 100 вопросов дистиллированная модель получила 75,64 балла против 73,73 у Qwen/Qwen3-4B-Thinking-2507, однако эти результаты представлены разработчиком и не заменяют независимую оценку. Доступны варианты квантования Q4_K_1 размером около 2,3 ГБ, Q6_K около 3,3 ГБ, Q8_0 около 4,2 ГБ и bf16 около 8 ГБ; выбор варианта влияет на требования к памяти, скорость и качество. Обучение выполнялось на последовательностях длиной до 6500 токенов, но отдельный размер контекстного окна в карточке не указан. Сильные стороны модели — компактность, структурированность рассуждений и снижение избыточных самокоррекций; ограничения — специализация на английском языке, отсутствие заявленных мультимодальных возможностей и возможная зависимость качества от выбранного квантования. Лицензия — Apache-2.0.

Карточка модели miaosiyu-ai-2026/roberta-base на Hugging Face совпадает с карточкой FacebookAI/roberta-base, поэтому описание составлено по ней. RoBERTa base — предварительно обученная языковая модель FacebookAI на архитектуре Transformer-энкодера, содержащая 151,8 млн параметров. Она обучена на англоязычных текстах методом masked language modeling: восстанавливает скрытые токены в контексте, используя информацию как слева, так и справа. Модель чувствительна к регистру и принимает последовательности длиной до 514 токенов. Модель подходит для заполнения пропусков в английском тексте и как основа для дообучения под задачи классификации последовательностей и токенов, а также ответа на вопросы. Для свободной генерации текста она не предназначена. Обучающие данные включают BookCorpus, Wikipedia, CC-News, OpenWebText и Stories; их интернет-содержимое может приводить к предвзятым предсказаниям. Лицензия — MIT.

Segment Anything Model (SAM) ViT-B — модель сегментации изображений, разработанная Meta AI и опубликованная в рамках проекта Segment Anything. Она выделяет объекты по подсказкам в виде точек, ограничивающих рамок или масок, а также может автоматически генерировать маски для объектов на изображении без предварительной настройки под конкретный набор классов. Модель состоит из визуального ViT-энкодера, энкодера подсказок и трансформерного декодера масок. Обучение проводилось на наборе из 11 млн изображений и 1,1 млрд масок; модель демонстрирует перенос на новые распределения изображений в режиме zero-shot. Входом служит изображение с визуальными подсказками либо изображение для автоматической генерации масок, результатом — маски сегментации. Текстовые подсказки официальной реализацией не поддерживаются. Модель подходит для интерактивной разметки изображений, подготовки масок для обучающих данных и автоматической сегментации объектов. Репозиторий предоставляет веса в форматах PyTorch, Safetensors и TensorFlow. Лицензия — Apache-2.0.

SbertPuncCase — русскоязычная модель восстановления пунктуации и регистра, разработанная Альмирой Муртазиной и Александром Абугалиевым. Она предназначена для обработки расшифровок речи и принимает текст в нижнем регистре, предсказывая для токенов знаки препинания и варианты регистра. Модель построена на базе ai-forever/sbert_large_nlu_ru и использует архитектуру BERT для классификации токенов. Она предсказывает 12 классов, сочетая варианты пунктуации и регистра. Размер модели — 525,7 млн параметров, длина контекста — до 512 токенов. Обучающие данные включали текстовые расшифровки интервью. Модель подходит для постобработки русского текста после распознавания речи. Она рассчитана на русский язык и не предназначена для работы с исходным текстом, где значимы прописные буквы. Лицензия — Apache-2.0.

SloVlo-v1 — модель эмбеддингов для семантического поиска на словенском языке, разработанная в проекте SloVlo. Она предназначена для поиска документов по смыслу, в том числе когда формулировка запроса отличается от текста документа. Модель обучена и оценена на slovlo-dataset-v1; README приводит результаты поиска по тестовой выборке в метрике MRR@k. Модель основана на multilingual-e5-base и использует архитектуру XLM-RoBERTa с 12 слоями и размерностью эмбеддингов 768. Репозиторий использует Sentence Transformers, веса представлены в формате safetensors; длина контекста — 514 токенов. Лицензия — MIT.

SPLADE — англоязычный разреженный кодировщик текста семейства BERT, разработанный на базе Luyu/co-condenser-marco и дообученный с помощью Sentence Transformers на данных MS MARCO. Он преобразует запросы и документы в разреженные векторы размерности 30 522, которые можно сопоставлять скалярным произведением для семантического поиска и разреженного поиска информации. Модель использует BertForMaskedLM и пулинг SPLADE с максимизацией и ReLU. Максимальная длина входной последовательности — 512 токенов. Она подходит для построения поисковых систем и извлечения релевантных документов; в карточке приведены оценки на наборах NanoMSMARCO, NanoNFCorpus и NanoNQ. Модель принимает текст и выдаёт разреженные векторные представления. Поддерживаемый язык — английский. Лицензия — Apache-2.0. Результаты в карточке относятся к указанным компактным оценочным наборам и сами по себе не гарантируют качество на других корпусах.

SPLADE Sparse Encoder — англоязычная модель на базе BERT, дообученная авторами репозитория tomaarsen от Luyu/co-condenser-marco на датасете MS MARCO с помощью Sentence Transformers. Она преобразует предложения и абзацы в разреженные векторы размерности 30 522 и предназначена для семантического поиска и разреженного извлечения документов; релевантность оценивается скалярным произведением векторов. Модель принимает последовательности длиной до 512 токенов и использует BertForMaskedLM с max pooling и активацией ReLU. Модель подходит для поиска документов по запросам и ранжирования кандидатов в англоязычных поисковых системах. В README приведены оценки на наборах NanoMSMARCO, NanoNFCorpus и NanoNQ. Модель распространяется по лицензии Apache-2.0. Она ориентирована на английский язык и разреженный поиск; результаты зависят от корпуса и поисковой настройки.

ctaguchi/ssc-bxk-model — модель автоматического распознавания речи, разработанная дообучением facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст; в карточке не уточняются поддерживаемые языки и формат входного аудио. На оценочном наборе указаны значения Loss 1,4388, CER 0,2469 и WER 0,8253. Датасет, сценарии применения и дополнительные ограничения в карточке не описаны. Модель распространяется под лицензией Apache-2.0.

SUPlime — модель диаризации речи с открытыми весами от Re:WayAI для pyannote.audio 4.x. Она принимает монофоническую аудиозапись с частотой 16 кГц и определяет, кто и когда говорит, без необходимости заранее задавать число говорящих. Модель сегментации использует WavLM-Base+ с 114 млн параметров, четыре слоя Conformer и выходную powerset-голову; для эмбеддингов говорящих применяется WeSpeaker SimAM-ResNet34, а сегменты группируются агломеративной кластеризацией. Модель дообучена на обучающих выборках 11 публичных корпусов. В описанном сравнении SUPlime показала лучшие результаты среди двух вариантов семейства на наборе из 12 корпусов; для 8-корпусного бенчмарка лучше подходит SUPlime-L. Модель рассчитана на совещания, разговорную речь, дальнюю запись и аудио с несколькими участниками. Ограничения включают поддержку не более двух одновременных говорящих на кадр и четырёх говорящих в 10-секундном окне; телефонная речь 8 кГц находится вне обучающего домена. Английский и китайский доминируют в обучающих данных, а оценка справедливости по языкам и демографическим группам не проводилась. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

TabPFN-3.5 — трансформерная модель Prior Labs для прогнозирования по структурированным табличным данным. Она использует обучение в контексте: анализирует примеры из таблицы и выполняет предсказание за один проход. Один чекпойнт предназначен для классификации и регрессии; для этой версии в метаданных указана задача классификации. Доступны также ускоренный вариант TabPFN-3.5-Fast и экспериментальный вариант для многоклассовой классификации. Модель рассчитана на таблицы, в том числе со строковыми и датированными столбцами; в README указан лимит в 20 000 признаков. Она обучена на синтетических табличных задачах и не предназначена для неструктурированных данных, например изображений. Для применения к задачам с высокими последствиями следует проверять размеченные данные на смещения. Веса опубликованы по лицензии tabpfn-3-5-license-v1.0. Она разрешает исследования, ограниченную внутреннюю оценку и бенчмаркинг, но запрещает коммерческое и производственное использование; для таких сценариев Prior Labs предлагает отдельную коммерческую лицензию.

Trendyol LLM-8B-T1 — диалоговая языковая модель Trendyol с 7,6 млрд параметров, дообученная на базе Qwen3-8B на турецких данных электронной торговли. Она предназначена прежде всего для рассуждений на турецком языке, сохраняя возможности английского, и поддерживает режимы `/think` с явным рассуждением и `/no_think` с кратким ответом. Модель подходит для следования инструкциям, суммаризации и перефразирования, задач с кодом, классификации отзывов и извлечения атрибутов товаров для каталогов. Архитектура — плотная Qwen3 для генерации текста; метаданные указывают контекст до 40 960 токенов. Модель специализируется на лексике электронной торговли, включая моду, электронику, отзывы и товарные каталоги. Она может выдавать ошибочную или вводящую в заблуждение информацию, а работа с разговорной речью, сленгом и языками помимо турецкого и английского может быть менее надёжной. README отмечает риск предвзятых или вредоносных ответов и ограниченную проверку в реальных сценариях. Лицензия Apache-2.0 допускает коммерческое и исследовательское использование.

VisualQuality-R1-7B — мультимодальная модель для оценки визуального качества изображений, разработанная авторами проекта VisualQuality-R1 и дообученная на Qwen/Qwen2.5-VL-7B-Instruct с применением RL2R. Модель анализирует изображение и может сформировать описание его качества с рассуждением или выдать числовую оценку от 1 до 5; для быстрой работы в режиме reward/evaluation README рекомендует нерассуждающий режим с одним выходным токеном. Модель основана на плотной архитектуре Qwen2.5-VL, содержит 7,1 млрд параметров и поддерживает контекст до 128 000 токенов. Репозиторий использует формат safetensors. В метаданных указан английский язык; основное назначение — безэталонная оценка качества изображений (NR-IQA). Модель распространяется по лицензии MIT.

timm/vit_small_patch8_224.dino — небольшая модель Vision Transformer (ViT), представленная в библиотеке timm и обученная методом самообучения DINO на ImageNet-1k. Она предназначена для извлечения признаков и эмбеддингов изображений, а также может служить основой для классификации изображений. Модель содержит 21,7 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Её можно применять для получения визуальных признаков в системах поиска по изображениям, кластеризации и последующей классификации. Репозиторий содержит веса PyTorch и SafeTensors; лицензия — Apache-2.0. Ограничение: входной размер изображения в карточке указан как 224 × 224 пикселя; описание не сообщает о поддержке других разрешений или мультимодального ввода.

WestSeverus-7B-DPO-v2 — языковая модель семейства WestLake, разработанная PetroGPT и дообученная методом DPO на основе WestSeverus-7B. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Она принимает текст и формирует текстовые ответы; для диалога использует шаблон ChatML. Модель предназначена для генерации ответов и справочной помощи в базовой математике, химии, физике и программировании. В карточке приведены результаты тестов на общих языковых и программных бенчмарках, однако они не гарантируют точность ответов в практических задачах. Веса доступны в формате safetensors, лицензия — Apache-2.0.

quinnb/whisper-Large-v3-hindi — дообученная модель семейства Whisper Large v3 для автоматического распознавания речи на хинди. Она принимает аудио и выдаёт распознанный текст. Модель содержит около 905,2 млн параметров и использует архитектуру WhisperForConditionalGeneration; в репозитории представлены веса safetensors. Для дообучения использован набор Common Voice 17.0. Модель предназначена для транскрибирования речи на хинди, в том числе записей, похожих на материал Common Voice. Она распространяется по лицензии Apache-2.0. README не содержит сведений о точности или оценке качества, поэтому нельзя судить о её надёжности на других типах аудио.

Модель wrice/whisper-tiny-grpo-4bddbd7-cv22-tiny-klbeta02 — компактная модель распознавания речи на архитектуре Whisper, дообученная автором с помощью GRPO и смешанной функции вознаграждения на основе ошибок слов и символов. Она предназначена для преобразования аудиозаписей в текст; обучающие данные взяты из Common Voice для 77 языковых локалей, а язык каждого аудиофрагмента при обучении задавался по локали. В README приведены результаты валидации на срезе Common Voice: общий WER 0,656 и CER 0,270 после нормализации текста. Модель можно использовать для транскрибации аудиофайлов через Transformers pipeline. Это экспериментальный proof of concept, а не настроенная для производства система; фактическое качество зависит от предметной области, акцента, языка и качества аудио. Модель распространяется по лицензии MIT.

taidng/wikiser-bert-base — модель BERT для распознавания сущностей в текстах о программном обеспечении. Она дообучена на корпусе WikiSER, включающем 1,7 млн предложений из Википедии, с применением саморегуляризации для устойчивости к ошибочной разметке и различным вариантам именования. Модель выполняет разметку токенов по 12 типам сущностей: алгоритмы, приложения, архитектуры, структуры данных, устройства, названия ошибок, общие понятия, языки программирования, библиотеки, лицензии, операционные системы и протоколы. Она основана на bert-base-cased, содержит 135,5 млн параметров и обрабатывает контекст длиной до 512 токенов. Для запуска используются Transformers, PyTorch и веса Safetensors. Модель предназначена для извлечения и классификации упоминаний программных сущностей в технических текстах. Карточка не описывает её точность и не приводит готового кода или ссылки на статью. Лицензия — Apache-2.0.

XtremeDistil-L12-H384-Uncased — компактная текстовая модель семейства BERT, созданная Microsoft на основе методов дистилляции XtremeDistil и MiniLM. В метаданных указано около 40 млн параметров, контекст до 512 токенов и поддержка PyTorch и TensorFlow. Карточка описывает задачно-независимую дистиллированную модель, предназначенную для переноса на различные задачи обработки текста; метаданные классифицируют её как модель классификации текста. Модель подходит для классификации текстов и как компактная основа для прикладных NLP-сценариев на английском языке. В README приведены результаты на наборах GLUE и SQuAD-v2, однако таблица в карточке отображается неполно, а описание размеров относится к другому чекпойнту L6-H384 и содержит расхождения с идентификатором модели и размером из метаданных. Лицензия MIT.

AEGIS Personal PII NER — модель YATAV-ENT для обнаружения персональных данных в тексте перед отправкой в сервисы ИИ. Она выполняет разметку токенов в формате BIO и выделяет 18 типов данных, включая имена, адреса, телефоны, электронную почту, номера документов, банковских карт и счетов, IP-адреса и пароли. Модель построена на многоязычной архитектуре BERT, содержит 205,1 млн параметров и рассчитана на контекст до 512 токенов. Модель предназначена для защиты приватности в браузерных сценариях: README описывает INT8-квантизованную версию в формате ONNX с запуском через onnxruntime-web для анализа текста в реальном времени. Карточка приводит результаты версии v2: F1 по сущностям 0,9234, корейский F1 0,9632 и английский F1 0,9119. Указаны корейский и английский языки; по отдельным типам PII остаются ошибки, в частности для банковских счетов, адресов и названий компаний. Модель основана на bert-base-multilingual-cased и дообучена для распознавания PII на англоязычных и корейских данных. Лицензия — Apache-2.0. Для практического применения результаты стоит проверять, особенно при обнаружении адресов, номеров счетов и других чувствительных полей.

Arcee-Agent — языковая модель на 7,1 млрд параметров, разработанная Arcee AI для вызова функций и работы с инструментами. Она основана на Qwen2-7B и использует плотную архитектуру Qwen2ForCausalLM; для обучения применялся Spectrum, вычислительные ресурсы предоставила CrusoeAI. Модель предназначена для диалоговых агентов, маршрутизации запросов к инструментам и многошаговой автоматизации. Она может формировать вызовы API и баз данных, а также вести самостоятельный диалог. Поддерживает форматы Glaive FC v2, Salesforce и Agent-FLAN; в README отмечена наилучшая работа с форматом VLLM OpenAI FC. Контекст — до 131 072 токенов. Карточка указывает английский, немецкий и арабский языки. Модель распространяется под лицензией Apache-2.0. В README заявлены скорость и эффективность, однако не приведены независимые оценки качества. Как и другие языковые модели, она может ошибаться; выполнение её вызовов инструментов зависит от внешней инфраструктуры и настроек приложения.

Arch-Agent-32B — дообученная Katanemo языковая модель на архитектуре Qwen2, предназначенная для вызова функций и агентных сценариев. Она помогает выбирать инструменты, планировать последовательность вызовов и выполнять многошаговые задачи с учётом контекста предыдущих ходов и результатов работы инструментов. Модель содержит 32 млрд параметров, принимает текст и генерирует текст; в карточке указана длина контекста 32 768 токенов. README сообщает об оценке на Berkeley Function-Calling Leaderboard и описывает адаптивное планирование, координацию инструментов и восстановление после ошибок. Для извлечения вызовов функций рекомендуется использовать формат промпта разработчика; в README для оценки упоминается контекст 64K с масштабированием YaRN, но это не совпадает с указанной в метаданных нативной длиной контекста. Модель основана на Qwen/Qwen2.5-Coder-32B-Instruct. Лицензия указана как other, поэтому условия её использования следует сверить с карточкой репозитория и лицензией базовой модели перед внедрением. Метаданные указывают английский язык.

lucasresck/bert-base-cased-ag-news — модель BERT, дообученная автором репозитория на наборе данных AG News для классификации новостных текстов. К выходу токена [CLS] добавлен линейный классификационный слой; в README сообщается о точности 0,945 на тестовой выборке. Модель предназначена для отнесения текста к категориям AG News. Она принимает текст и выдаёт метки классификации; архитектура BertForSequenceClassification содержит 135,5 млн параметров и поддерживает контекст до 512 токенов. Карточка указывает английский язык и формат PyTorch. Модель распространяется по лицензии MIT. В README отмечено, что предвзятость модели не оценивалась, а унаследованные от предобученного BERT смещения могут проявляться и после дообучения.

lyeonii/bert-mini — преобразованная в PyTorch версия компактной англоязычной модели BERT-Mini без учёта регистра, первоначально выпущенной Google Research. Это плотный энкодер BERT примерно на 12 млн параметров с контекстом до 512 токенов; он выдаёт векторные представления текста и подходит для извлечения признаков в NLP-системах. В карточке приведены результаты оценки на задаче MRPC, но модель не описана как специально дообученная для неё. Модель принимает текст на английском языке и формирует контекстные представления токенов. Весами можно пользоваться на условиях лицензии MIT. Это конверсия исходных весов TensorFlow в формат PyTorch.

biencoder-mMiniLMv2-L6-mmarcoFR — плотный двунаправленный энкодер предложений, разработанный Antoine Louis для семантического поиска на французском языке. Он преобразует запросы и passages в векторы размерности 384; косинусное сходство между ними служит оценкой релевантности. Модель основана на nreimers/mMiniLMv2-L6-H384-distilled-from-XLMR-Large и дообучена на французской части mMARCO с трудными отрицательными примерами, полученными от плотных поисковых моделей. Модель подходит для поиска фрагментов текста по запросу и ранжирования кандидатов в крупном корпусе. В README описана оценка на 6 980 запросах и 8,8 млн passages; максимальная длина последовательности при обучении составляла 128 токенов. В метаданных указаны архитектура XLM-RoBERTa, 110,2 млн параметров и контекст 514 токенов. Лицензия — MIT. Модель рассчитана на французский язык и выдаёт векторные представления текста, а не готовые ответы. Её специализация на mMARCO-fr может ограничивать качество на других языках и задачах; README не приводит численных результатов оценки.