I.3Извлечение и структурирование данных

CARE-OPD QZBC 4B — текстовая модель на основе Qwen3.5-4B, адаптированная авторами CARE-OPD для генерации структурированных ответов, опирающихся на предоставленные доказательства. Она принимает сообщения чата с Evidence Packet и формирует ответ в заданной структуре. Чекпойнт содержит объединённые веса LoRA и работает как самостоятельная модель Transformers с архитектурой Qwen3_5ForCausalLM; в метаданных указано 3,4 млрд параметров, а в README — около 4,206 млрд. Контекст — до 262 144 токенов. Модель предназначена для исследований генерации ответов с опорой на источники, воспроизведения контракта оценки QZBC и контролируемого изучения поведения при отсутствии, противоречивости или ненадёжности доказательств. Она принимает и выдаёт текст; для работы с клиническими сценариями необходимы внешняя проверка ответов, контроль источников и человеческий надзор. Оценка 80,51% относится к конкретному возмущённому тесту QZBC и не подтверждает клиническую точность или общее превосходство. Обработка противоречий остаётся слабым местом, а проверка вне обучающего распределения, на разных языках и демографических группах ограничена. Это не медицинское устройство и не средство автономной диагностики, назначения лечения, дозирования, сортировки или экстренного реагирования. Лицензия — Apache-2.0.

Chinese BabyLM First Model — базовый чекпойнт BertForMaskedLM для китайского языка, опубликованный в пространстве проекта Chinese BabyLM. Модель содержит 90,8 млн параметров; архитектура включает 8 слоёв, 12 голов внимания, скрытый размер 768 и словарь из 19 907 токенов. Максимальная длина входа — 512 токенов, веса сохранены в формате safetensors. Модель предназначена для заполнения замаскированных фрагментов китайского текста, продолжения предобучения и использования как начального энкодера для дообучения на классификацию или распознавание текстовых отношений. Это базовый MLM-чекпойнт, а не готовый классификатор: для целевой классификации требуется обучить отдельную голову. В карточке приведены локальные результаты по ZhoBLiMP и задачам AFQMC, OCNLI, TNEWS и CLUEWSC2020; авторы отмечают, что это не официальная заявка на таблицу лидеров. Лицензия обозначена как other, конкретные условия использования в предоставленных данных не раскрыты.

ChineseBERT-large — крупная модель семейства BERT от команды ShannonAI, представленная в работе ACL 2021. При предобучении она объединяет обычные эмбеддинги китайских иероглифов с признаками их визуального начертания в разных шрифтах и произношения в пиньине, после чего подаёт объединённое представление в BERT. Такой подход предназначен для улучшения понимания контекста по форме китайских символов и различения омографов с разным произношением. В репозитории указаны веса PyTorch класса GlyceBertForMaskedLM с 426,4 млн параметров и контекстом до 512 токенов. Модель подходит как основа для заполнения пропусков и других задач понимания китайского текста с последующей адаптацией. README не сообщает условия лицензии, поэтому их нельзя уточнить по доступным данным.

ClinicDx V1 — мультимодальная модель поддержки клинических решений, разработанная на основе google/medgemma-4b-it. Это дообученная и объединённая с базовыми весами Gemma 3 модель с 4,3 млрд параметров; репозиторий также содержит компоненты аудиотракта для голосового ввода и GGUF-квантизацию Q8_0. Система рассчитана на автономное развертывание через llama.cpp на потребительском оборудовании. Модель формирует структурированные клинические оценки по описанию пациента: определяет срочность, обобщает клинические данные, предлагает дифференциальные диагнозы и дальнейшие действия, выделяет риски и готовит краткую сводку. В связке с базой из 27 860 фрагментов клинических рекомендаций WHO и MSF использует поиск по источникам и может включать цитаты в ответы. Голосовой сценарий реализуется отдельными компонентами MedASR и аудиопроектором; основная модель также наследует от MedGemma визуальный модуль, однако README указывает, что он не используется в сценариях CDS и Scribe. Модель ориентирована на клиническую поддержку и извлечение наблюдений из голосового ввода, прежде всего в контексте клинических рекомендаций. Карточка описывает английский язык. Модель не заменяет профессиональное клиническое решение; качество зависит от контекста и найденных источников. Лицензия — Gemma.

mrzenin/Decka-4B — мультимодальная модель семейства Qwen3.5, дообученная mrzenin для диалоговых сценариев с текстом и изображениями. Она принимает текстовые запросы и изображения и генерирует текст, поэтому подходит для вопросов по изображениям и визуального диалога. В метаданных указаны архитектура Qwen3_5ForConditionalGeneration, плотная структура и формат safetensors; модель обучалась с использованием Unsloth и библиотеки Hugging Face TRL. Карточка указывает лицензию Apache-2.0. Модель ориентирована на английский язык. Опубликованные сведения не описывают её точный размер, длину контекста или результаты оценки качества.

Echo-SmolTools-114M-Intent-CLF-Gen — экспериментальная модель классификации намерений на архитектуре Echo-DSRN, разработанная Ethicalabs. Она оценивает варианты меток через суммирование логарифмов вероятностей их токенов и выбирает метку с наибольшей оценкой; отдельная линейная классификационная голова не обучалась. Модель предназначена для классификации 60 намерений из набора Amazon MASSIVE и заявлена для 51 языка. Основана на ethicalabs/Echo-DSRN-114M-v0.1.2 и адаптере ethicalabs/Echo-SmolTools-114M-Intent-PEFT; в метаданных указано 49,9 млн параметров, контекст 2048 токенов и формат safetensors. Модель принимает текст и выдаёт метку класса. Карточка требует trust_remote_code=True для загрузки пользовательской архитектуры. Авторы ограничивают применение академической оценкой и исследованиями и прямо предостерегают от коммерческого, корпоративного и критически важного развёртывания. Сведения о лицензии в предоставленных данных отсутствуют.

E.T. Chat Phi-3 Mini Stage 2-3 — мультимодальная модель Ye Liu для диалога по видео и временной привязки событий. Архитектура включает визуальный энкодер, компрессор кадров и языковую модель; в этом чекпойнте используется плотная архитектура ETChatPhi3ForCausalLM на 3,7 млрд параметров с контекстом 4096 токенов. Модель принимает видео и текстовые запросы и формирует текстовые ответы; специальный токен запускает сопоставление эмбеддингов кадров для предсказания временных отметок. Чекпойнт обучен на смеси данных этапов 2 и 3, включая ET-Instruct-164K, VideoChatGPT и LLaVA-1.5-Instruct. Смешанное обучение улучшает общие диалоговые способности, но может несколько ухудшать точность временной привязки по сравнению с вариантами, оптимизированными для grounding. Основной язык — английский. Лицензия — BSD-3-Clause.

G1-7B — языковая модель серии G1 от PKU-ML для решения задач на графах и рассуждений о связях между объектами. Она основана на Qwen2.5-7B-Instruct и дообучена с помощью supervised fine-tuning и обучения с подкреплением по алгоритму GRPO на бенчмарках Erdos и Erdos-CoT. Модель использует плотную причинную архитектуру Qwen2 и содержит 7,1 млрд параметров по метаданным. Контекст составляет 32 768 токенов, генерация — до 8 192 токенов. Она предназначена для диалоговой генерации текста и, по данным карточки, особенно хорошо справляется с рассуждениями на графах, включая задачи, которых не было в обучении; авторы также сообщают о сохранении общих способностей к рассуждению. Для запуска рекомендуется актуальная версия Transformers: версии ниже 4.37.0 могут не распознавать архитектуру qwen2. Модель распространяется по лицензии Apache-2.0.

GemmaWiki-Gemma-4-26b-a4b — независимый неофициальный проект Calplus, дообученный на базе Google Gemma 4 26B-A4B и её instruction-tuned версии. Модель предназначена для автоматизированного редактирования фанатских вики по книгам: на основе главы и, если имеется, текущей страницы сущности она создаёт новую страницу, обновляет существующую или классифицирует ситуацию как не требующую изменений. Модель работает с англоязычными текстами. Это смесь экспертов (MoE) с базовым размером 26B параметров, адаптированная с помощью LoRA r=32 только для attention-проекций q_proj, k_proj, v_proj и o_proj. Доступны два варианта: на основе обычной предварительно обученной модели Gemma 4 и на основе instruction-tuned checkpoint; для обоих вариантов предоставлены PEFT-адаптеры и GGUF-квантизации размером от 16,8 ГБ для Q4_K_M до 50,5 ГБ для F16. Модель ориентирована на сценарии последовательного редактирования страниц по мере появления новых глав и использует только сведения, доступные к соответствующему моменту. По заявленным результатам версия v1 пригодна для пилотного использования и хорошо показывает себя на оценке внутри распределения обучающих данных. Основное ограничение — на очень известных книжных сериях модель может опираться на предобученные знания базовой модели вместо строгой привязки к предоставленной главе. При длинных генерациях возможны циклы повторения или потоки символов при жадном декодировании, поэтому рекомендуется использовать sampling с repetition penalty. Проект распространяется по лицензии Apache-2.0.

Krasovskiy/kwtopic-pairs — дообученный кросс-энкодер на базе sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 для определения, следует ли размещать два поисковых запроса на одной странице сайта. Модель сравнивает пару запросов и выдаёт оценку от 0 до 1, где высокое значение означает, что запросы относятся к одной странице. Это специализированный компонент пайплайна кластеризации ключевых слов, а не универсальный реранкер. Модель разработана для SEO-задач: проверки запросов внутри групп и на границах соседних групп. Обучена на 25 797 размеченных человеком парах из шести ниш, преимущественно на русском и украинском, с частью запросов на английском. Архитектура — BERT-кросс-энкодер для классификации последовательностей; в метаданных указано 124,3 млн параметров и контекст до 512 токенов, а в README описан режим обучения с обрезкой входа до 64 токенов. В тесте автор сообщает F1 83,4% против 77,4% у базовых эмбеддингов с подобранным порогом. Модель лучше всего подходит для разделения запросов с общей лексикой, но разным поисковым намерением. Она может ошибочно объединять запросы, различающиеся только числом, географией или брендом, и хуже работает с вложенными названиями. Перед применением такие переменные следует обрабатывать отдельно; для ниш, не представленных в обучении, качество нужно проверять на собственной разметке. Лицензия — Apache-2.0.

Legal-BERTimbau-base — модель семейства BERT, разработанная Rufimelo для работы с юридическими текстами на бразильском португальском языке. Это дообученная версия BERTimbau Base: её дополнительно обучали на корпусе из 30 000 юридических документов, чтобы адаптировать представления модели к правовой тематике. Модель содержит 136,1 млн параметров, использует архитектуру BERT с 12 слоями и поддерживает контекст до 512 токенов. Основная задача по метаданным — предсказание скрытых токенов (fill-mask); README также показывает получение эмбеддингов. Репозиторий содержит веса PyTorch. Модель подходит для анализа и представления бразильских юридических текстов, а также для языковых задач, построенных на предсказании замаскированных слов. Лицензия — MIT. Результаты могут быть менее надёжными вне юридического домена и бразильского португальского языка.

QuantFactory/Llama-3-8B-Web-GGUF — квантизированная версия модели McGill-NLP/Llama-3-8B-Web, созданная с использованием llama.cpp. Базовая модель — Meta-Llama-3-8B-Instruct, дообученная исследовательской командой McGill-NLP на наборе WebLINX. Модель предназначена для создания человекоориентированных агентов, способных взаимодействовать с веб-сайтами через диалог и выполнять навигационные действия. Модель ориентирована на сценарии веб-браузинга, включая выбор ссылок и элементов интерфейса, ввод текста, отправку форм и формирование согласованных ответов пользователю. Обучение проводилось на 24 тысячах отобранных примеров из более чем 100 тысяч взаимодействий WebLINX, охватывающих 150 сайтов и задачи бронирования, покупок, написания текстов, поиска знаний и работы с таблицами. Указан английский язык. Архитектура Llama с 8B параметров и поддержка мультимодальных входов или размер контекста в README не описаны. На тестах WebLINX модель показала общий результат 28,8% на доменно-отложенных разбиениях; в README также приведено преимущество над GPT-4V в сценарии zero-shot по этому бенчмарку. Сильной стороной является специализация на диалоговом управлении веб-навигацией, однако качество может зависеть от сайтов и сценариев, представленных в данных, а обобщение на миллионы невиденных сайтов прямо обозначено как открытая проблема. Модель распространяется по лицензии llama3; конкретные условия квантизированного релиза дополнительно не указаны.

ME²-BERT — англоязычная модель классификации текста для предсказания моральных оснований. Её разработали как целостный подход, дообучающий предварительно обученную BERT-модель и объединяющий сведения о событиях и эмоциях для построения представлений текста, значимых для анализа морали. Базовая модель — google-bert/bert-base-uncased; архитектура представлена классом ME2BertModel, веса сохранены в формате safetensors. Модель предназначена для анализа моральных ценностей Care, Harm, Fairness, Cheating, Loyalty, Betrayal, Authority, Subversion, Purity и Degradation в англоязычных текстах. При обучении использовались абзацы новостных статей из набора E2MoCase с разметкой моральных ценностей, эмоций и событий. Авторы сообщают об улучшении результатов по сравнению с существующими методами, особенно в сценариях переноса между областями. Модель распространяется по лицензии MIT.

MedGemma-27B-Text-IT-FP8-Dynamic — производная версия модели Google MedGemma-27B-Text-IT, подготовленная пользователем или организацией ig1. Это текстовая instruction-tuned модель для медицинской и биомедицинской обработки естественного языка, предназначенная для запуска с высокой пропускной способностью. Модель основана на decoder-only Transformer с примерно 27 миллиардами параметров и работает только с текстом. Она рассчитана на выполнение медицинских и биомедицинских инструкций, суммирование клинических текстов, использование в системах медицинского RAG, а также исследовательскую и вспомогательную работу по поддержке принятия решений. Языки и размер контекстного окна в представленном описании не указаны. Веса сжаты методом FP8 Dynamic с использованием llmcompressor: квантизированы линейные слои, а lm_head исключён для сохранения стабильности выходов. Такой подход снижает потребление VRAM и может повысить скорость инференса; модель совместима с vLLM и ориентирована на современные GPU NVIDIA. Веса уже квантизированы, поэтому повторно применять runtime-квантизацию не следует. Модель предназначена для исследовательских и прикладных сценариев, однако README не содержит сведений о результатах бенчмарков, точности, ограничениях безопасности или поддерживаемых языках. Лицензия указана как other, без дополнительных условий или пояснений, поэтому перед использованием необходимо проверить лицензионные требования исходной модели и этого производного варианта.

CMB-ClimateModernBERT/Merge_DARE_D05_LRD — англоязычный masked language model семейства ModernBERT, разработанный в рамках проекта ClimateModernBERT. Это объединённый чекпойнт DARE-TIES на базе answerdotai/ModernBERT-base, дообученный на климатических академических текстах, синтетических материалах и климатически релевантных веб-текстах; модель содержит 149 млн параметров и поддерживает контекст до 8192 токенов. Модель предназначена для исследований в области NLP по климатической тематике и может служить энкодером текста или основой для дообучения классификаторов, многометочных моделей и поиска по корпоративной отчётности, документам по климатической политике, научным публикациям и новостям. В девяти климатических NLP-бенчмарках авторы сообщают средний F1 74,7; это результат оценки с дообучением на бенчмарках, а не гарантия качества для произвольных задач. Модель принимает текст и предсказывает замаскированные токены; она не является чат- или инструкционной системой и не даёт калиброванных гарантий фактической точности. Оценка сосредоточена на уровне предложений и фрагментов, поэтому возможности длинного контекста проверены не полностью. Лицензия в предоставленных данных не указана.

patentClassificationLongFormer2 — дообученная модель классификации текста на основе allenai/longformer-large-4096. Она предназначена для отнесения длинных текстов к классам; название указывает на классификацию патентов, однако карточка не описывает набор классов и конкретный сценарий применения. Модель содержит около 454,1 млн параметров и рассчитана на контекст до 4098 токенов. В README приведены результаты на оценочной выборке: accuracy 0,6915 и F1 0,6830. Данные обучения обозначены как None, поэтому состав обучающей выборки и переносимость результатов на другие тексты установить нельзя. Модель распространяется в формате PyTorch; лицензия в предоставленных данных не указана.

Koichi Yasuoka разработал RoBERTa-модель, предварительно обученную на текстах японской цифровой библиотеки «Аодзора Бунко» с токенизатором Japanese-LUW-Tokenizer. Это плотная модель архитектуры RoBERTa для masked language modeling: она предсказывает пропущенные токены в японском тексте и может служить основой для дообучения под последующие задачи, включая разметку частей речи и синтаксический анализ зависимостей. Модель содержит 305,5 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате PyTorch. Модель подходит для восстановления пропусков в японских предложениях и как начальная точка для создания японских NLP-систем с дообучением. Карточка не сообщает оценки качества или результаты для конкретных downstream-задач. Лицензия — CC BY-SA 4.0.

Модель KoichiYasuoka — RoBERTa, дообученная на текстах на классическом китайском языке для сегментации предложений. Она размечает токены тегами B и E, обозначающими начало и конец предложения; односимвольное предложение получает тег S. Модель построена на базе KoichiYasuoka/roberta-classical-chinese-base-char и содержит 133,5 млн параметров. Она принимает текст и выдаёт метки токенов; длина контекста составляет 514 токенов. Модель подходит для разделения классических китайских текстов на предложения перед последующим анализом или обработкой. Распространяется по лицензии Apache-2.0.

Superlinear-Exp-v0.1 — экспериментальная языковая модель от Concavity AI, созданная на основе гибридной NVIDIA Nemotron-3-Nano-30B-A3B. В ней используется модифицированная архитектура Superlinear Multi-Step Attention: механизм выбирает подходящие фрагменты контекста с помощью обучаемой маршрутизации и выполняет внимание внутри выбранных фрагментов. Для варианта N=2 заявлена асимптотика O(L^(3/2)) для поиска и обработки фрагментов, что позволяет исследовать работу с последовательностями длиной в миллионы токенов. Модель предназначена для экспериментов с длинным контекстом, извлечения сведений из больших последовательностей и оценки эффективности архитектуры. Карточка приводит результаты проверки на задаче Needle In A Haystack и измерения скорости на GPU NVIDIA B200, но не заявляет всестороннюю оценку качества. Для запуска требуются CUDA-расширения и загрузка удалённого кода через trust_remote_code=True. Модель распространяется по NVIDIA Open Model License Agreement с условиями NVIDIA Trustworthy AI.

Swin-DistilBERTimbau — модель для создания подписей к изображениям на бразильском португальском языке. Она разработана на базе Swin Transformer в качестве визуального энкодера и DistilBERTimbau в качестве текстового декодера и дообучена на португалоязычной версии Flickr30K, переведённой с помощью Google Translator API. Модель принимает изображение и генерирует текстовое описание; обучение и оценка проводились при разрешении 224 × 224 пикселя и максимальной длине последовательности 512 токенов. Модель предназначена для автоматического описания фотографий и экспериментов с генерацией подписей к изображениям на португальском языке. В README приведены результаты на тестовой части Flickr30K Portuguese по метрикам CIDEr-D, BLEU@4, ROUGE-L, METEOR и BERTScore. Репозиторий предоставляет веса в формате safetensors и использует библиотеку Transformers. Лицензия — MIT. Описания ограничены областью и характером обучающих данных Flickr30K и могут быть ненадёжны для изображений, существенно отличающихся от фотографий этого датасета. Португальские подписи обучались на машинном переводе, что может влиять на их качество и естественность.

ParisNeo разработала модель классификации текста на базе TinyBERT для распознавания аргументов, связанных со скептицизмом по отношению к изменению климата. Модель дообучена на huawei-noah/TinyBERT_General_4L_312D и предсказывает одну из семи категорий: нерелевантность, отрицание факта изменения климата, отрицание влияния человека, преуменьшение последствий, необходимость ископаемого топлива, ненадёжность науки и предвзятость сторонников климатической повестки. Карточка также упоминает возражения против решений, но не приводит их отдельной меткой в указанном сопоставлении классов. Модель принимает текст и выдаёт метку класса. Используются архитектура BERT и классификационная голова; размер составляет 15,6 млн параметров, контекст — до 512 токенов по метаданным. Для обучения применялись взвешенная функция потерь и данные Frugal AI Challenge; README указывает ограничение предобработки до 128 токенов. Доступны веса Safetensors и формат ONNX. Валидационные метрики в карточке расходятся: заявленная точность 99,92% не согласуется с таблицей и сводкой, где указана точность около 0,83, поэтому результаты следует проверять на целевых данных. Лицензия — Apache-2.0.

TinyLLaVA-OpenELM-450M-SigLIP-0.89B — компактная мультимодальная модель семейства TinyLLaVA, созданная командой TinyLLaVA с помощью кодовой базы TinyLLaVA Factory. В её состав входят языковая модель OpenELM-450M-Instruct и визуальный энкодер siglip-so400m-patch14-384; для обучения использован набор данных LLaVA. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Модель принимает изображения и текстовые запросы и формирует текстовые ответы. Она предназначена для вопросов по изображениям и визуального понимания, в том числе для сценариев, похожих на GQA, TextVQA, ScienceQA и VQAv2. В README приведены результаты оценки на этих и других бенчмарках; они показывают возможности модели, но не гарантируют точность в конкретном приложении. Как компактная модель, она может уступать более крупным мультимодальным системам; сведения о поддерживаемых языках и длине контекста в предоставленных источниках отсутствуют.

bosy001/whisper-small-medical — дообученная версия мультиязычной модели OpenAI Whisper Small для распознавания речи. Модель использует архитектуру WhisperForConditionalGeneration и принимает аудио, выдавая текстовую транскрипцию; карточка относит её к задаче automatic-speech-recognition и позиционирует как медицинскую. В README приведены результаты оценки: loss 0,3082, WER 4,7165, CER 3,1422 и Wacc 95,2835. Сведения о наборе данных, языках обучения, контексте и конкретных медицинских сценариях не раскрыты, поэтому результаты нельзя переносить на другие данные без проверки. Модель опубликована в формате safetensors под лицензией Apache-2.0.

liserman/xlm-roberta-base-parliament-adaptation — модель на базе XLM-RoBERTa, опубликованная пользователем liserman и предназначенная для заполнения пропусков в тексте. Она адаптирована для парламентского контекста, поэтому может использоваться как основа для анализа и восстановления фрагментов текстов парламентских выступлений и документов. Модель содержит около 305,2 млн параметров, работает в библиотеке Transformers и поддерживает контекст длиной до 514 токенов. Основная модальность — текст; задача модели задаётся через pipeline fill-mask. Архитектура XLM-RoBERTa ориентирована на многоязычную обработку текста, однако конкретный набор поддерживаемых языков в предоставленных данных не указан. Модель подходит для восстановления замаскированных слов, адаптации downstream-моделей к парламентской лексике и подготовки признаков для классификации или поиска по политическим документам. README не содержит сведений о разработчике, лицензии, датасете обучения, результатах оценки и дополнительных ограничениях, поэтому условия коммерческого и иного использования следует проверять отдельно на странице модели.

Это англоязычная модель многоклассовой классификации текстов на основе BERT, обученная Julien Simon с помощью AutoNLP на наборе данных juliensimon/autonlp-data-song-lyrics. Она предназначена для отнесения текстов песенных строк к категориям и принимает текст длиной до 512 токенов, возвращая метки классов. В репозитории указаны 136,7 млн параметров и веса в форматах PyTorch и Safetensors. На валидации модель показала accuracy 0,668 и macro F1 0,538, поэтому качество распознавания может различаться между классами. Доступ к модели демонстрируется через API Hugging Face. Лицензия в предоставленных данных не указана.

nlpaueb/bert-base-uncased-eurlex — англоязычная доменная модель LEGAL-BERT, разработанная группой обработки естественного языка Афинского университета экономики и бизнеса. Это вариант BERT, предварительно обученный на законодательстве Европейского союза из EUR-Lex и предназначенный для юридических NLP-исследований и приложений в области вычислительного права и юридических технологий. Модель подходит для предсказания скрытых слов в юридических текстах и как основа для адаптации к прикладным задачам анализа законодательства ЕС. Архитектура BERT, около 136,7 млн параметров, контекст до 512 токенов; доступны веса PyTorch, TensorFlow и Flax. Обучающий корпус включает документы законодательства ЕС; карточка также описывает более широкий набор англоязычных юридических корпусов для семейства LEGAL-BERT. Специализация на юридическом языке может быть полезна для текстов права ЕС, но модель не является генеративным чат-ассистентом и требует оценки на конкретной задаче. Лицензия — CC BY-SA 4.0.

Hygros-LCA разработала дообученную на базе BAAI/bge-m3 модель Sentence-Transformers для поиска строительных материалов по метаданным элементов IFC в рабочих процессах KBOB и оценки жизненного цикла (LCA). Она преобразует текстовые запросы в эмбеддинги размерностью 1024 для семантического поиска и ранжирования кандидатов по каталогу материалов; сходство оценивается косинусной мерой. Максимальная длина последовательности в README — 128 токенов, хотя метаданные указывают нативный контекст 8194 токена. Модель предназначена для извлечения кандидатов по данным зданий и инфраструктуры, семантического поиска по каталогам материалов и предварительного отбора перед ручной проверкой. В оценке на 389 запросах Hit@1 составил 97,43% для обычных запросов, 88,43% при опечатках и 75,32% при пропущенных атрибутах; отсутствие семантически важных полей заметно ухудшает ранжирование. Для окончательного назначения материала нужны проверка человеком и учёт проекта, стандартов и местных норм. Модель не предназначена для автономных юридических, закупочных или критичных для безопасности решений и не заменяет экологические декларации. Лицензия — MIT.

Koichi Yasuoka разработал эту модель DeBERTa V2, предварительно обученную на японских текстах из «Аозора Бунко» — цифровой библиотеки японской литературы. Это языковая модель с 137,8 млн параметров для заполнения пропусков в тексте; она рассчитана на входной контекст до 512 токенов и распространяется в формате PyTorch. Модель можно дообучать для задач разметки частей речи, синтаксического анализа зависимостей и других прикладных задач обработки японского языка. Для запуска в Transformers используются AutoTokenizer и AutoModelForMaskedLM. Лицензия — CC BY-SA 4.0. Предварительное обучение на литературном корпусе может влиять на работу с современными текстами и специализированной лексикой. Карточка не приводит оценок качества на бенчмарках.

fermi-1024 — разреженная модель поиска по документам в ядерной энергетике, разработанная Atomic Canyon. Она кодирует запросы и документы в разреженные векторы, координаты которых соответствуют токенам словаря, а значения отражают их важность. Модель дообучена на базе fermi-bert-1024 с использованием LSR; для обучения применялись MS MARCO Passage Dataset и учительская модель ms-marco-MiniLM-L-6-v2. Модель рассчитана на поиск релевантных фрагментов в документации ядерной отрасли и учитывает специализированную лексику: например, «NRC» токенизируется как единое слово. Контекст составляет 1024 токена. Помимо оценки на ядерных текстах, модель проверялась на MS MARCO и части набора BEIR; разработчики отмечают сильные результаты в работе с отраслевыми терминами. Карточка Hugging Face указывает задачу fill-mask, однако описание и обучение модели посвящены разреженному поиску и расширению документов. Лицензия — Apache 2.0. Результаты оценки зависят от использованных авторами инструментов и наборов данных; для разреженных эмбеддингов разработчики отмечают недостаток стандартизированных средств оценки.

FinTwitBERT — англоязычная модель Stephan Akkerman, дообученная на базе FinBERT на корпусе финансовых твитов о фондовом рынке и криптовалютах. Она использует архитектуру BERT с 137 млн параметров и контекстом до 512 токенов; дополнительные маски @USER и [URL] помогают обрабатывать характерные элементы твитов. Основная задача опубликованной модели — заполнение пропусков в тексте (masked language modeling), что позволяет адаптировать её к финансовой лексике и стилю общения в Twitter/X. Модель подходит для анализа и подготовки финансовых публикаций, включая исследование тональности и рыночных тенденций. Для готовой классификации тональности авторы отдельно упоминают FinTwitBERT-sentiment; данный чекпойнт сам по себе имеет pipeline-тег fill-mask. Доступна по лицензии MIT.