I.2Синтез, понимание и проверка знаний

Карточка модели ponkyky/ultravox-v0_7-glm-4_6 на Hugging Face совпадает с карточкой fixie-ai/ultravox-v0_7-glm-4_6, поэтому описание составлено по ней. Ultravox v0.7 GLM 4.6 — мультимодальная речевая языковая модель от Ultravox.ai. Она объединяет языковую модель GLM 4.6 с речевым энкодером whisper-large-v3-turbo: принимает речь и текстовый контекст, после чего формирует текстовый ответ. Модель предназначена для распознавания речи, понимания аудио, ответов на вопросы по аудиозаписям и перевода речи. В README сообщается о тестировании на BigBenchAudio, VoiceBench, CoVoST 2 и LibriSpeech; в частности, приведены результаты для аудио-рассуждений, речевого перевода и распознавания. Метаданные указывают архитектуру Ultravox и формат safetensors. Версия v0.7 построена на GLM 4.6; README также описывает обучение на смеси наборов для ASR, речевого перевода и аудио с шумом. Модель принимает аудио вместе с текстом, например текстовую системную инструкцию и голосовое сообщение, и выдаёт текст. В карточке заявлена поддержка многозадачных сценариев работы с речью, однако точные ограничения по языкам и размеру контекста не приведены. Лицензия — MIT. README указывает, что использование собственных системных инструкций учитывалось при оценке; результаты тестов сами по себе не гарантируют качество на других данных.

Voxtral-Mini-3B-2507-gguf — это квантизированная GGUF-версия мультимодальной аудиотекстовой модели Voxtral Mini 1.0 (3B), разработанной Mistral и подготовленной для transcribe.cpp сообществом handy-computer. Модель предназначена для автономного распознавания речи, перевода речи и анализа аудио без подключения к облачным сервисам. Она поддерживает английский, французский, немецкий, испанский, итальянский, португальский, нидерландский и хинди, а также автоматическое определение языка, ответы на вопросы по аудио и создание структурированных резюме. Архитектура сочетает двунаправленный аудиоэнкодер Whisper-large-v3, проектор с группировкой по четыре аудиокадра и причинную языковую модель Ministral-3B с 30 слоями, GQA 32/8, NEOX RoPE и SwiGLU. Контекст составляет 32 тысячи токенов: модель рассчитана на обработку аудиозаписей длительностью до 30 минут при транскрибации и до 40 минут при понимании аудио. Доступны варианты BF16, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 2,98 до 9,38 ГБ. На LibriSpeech test-clean заявлена точность WER от 1,87% до 1,94% в зависимости от варианта. К сильным сторонам относятся офлайн-работа, мультиязычность, поддержка перевода и единая модель для распознавания и понимания аудио. Ограничения реализации transcribe.cpp: потоковая обработка и временные метки не поддерживаются, вход должен быть монофоническим WAV с частотой 16 кГц, а декодирование выполняется жадным методом. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

winter-frost-2 — дообученная языковая модель, созданная INEZA AIME BRUNO на основе Qwen/Qwen2.5-7B-Instruct. Это объединённый чекпойнт: веса LoRA уже включены в веса базовой модели, поэтому отдельная загрузка адаптера не требуется. Модель имеет плотную архитектуру Qwen2 и около 7,1 млрд параметров; она доступна в формате safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для диалогов, генерации текста и кода, а также структурированных ответов. Дообучение методом QLoRA проведено на примерно 690 примерах: общих инструкциях, примерах кода на Python и примерах, связанных с идентичностью модели. Оно может закреплять узкие поведенческие особенности, например ответ о создателе, но не ожидается, что оно заметно улучшит общие способности к рассуждению, программированию или знания по сравнению с базовой моделью. В README приведены способы запуска в Google Colab и локально; для быстрой работы на GPU рекомендуется не менее 16 ГБ видеопамяти, также возможен медленный запуск на CPU. Лицензия в предоставленных данных не описана.

Xmodel-LM — плотная причинная языковая модель на 1,1 млрд параметров, созданная XiaoduoAI и обученная с нуля примерно на 2 трлн токенов китайского и английского текста. Модель построена на архитектуре XmodelForCausalLM, работает с текстом и имеет контекст до 32 768 токенов. Она предназначена для генерации китайского и английского текста, диалогов, ответов на вопросы и рекламных текстов, а также для адаптации под прикладные задачи. Компактный размер подходит для сценариев, где важны скорость и развёртывание на устройствах с ограниченными ресурсами. В README приведены сравнительные результаты на нескольких тестах рассуждения; арифметика и программирование названы слабыми сторонами. Модель доступна по лицензии Apache-2.0. Она не прошла выравнивание с помощью RLHF, поэтому может выдавать предвзятый или вредоносный текст; перед применением в продуктивных сценариях рекомендуется модерация. Знания ограничены данными предобучения примерно до марта 2024 года, доступа к интернету нет, а доля китайских токенов составляла около 15%, поэтому для китайских специализированных текстов она уступает моделям, обученным преимущественно на китайском языке.

羽人-百川7B 是 Pleisto 基于 baichuan-inc/baichuan-7B 开发的多模одальная языковая модель с плотной архитектурой LlamaForCausalLM, дообученная с помощью многозадачного обучения с учителем. В модели 6,7 млрд параметров, она принимает текст и изображения, а её контекст составляет 4096 токенов. Модель предназначена для многоходового диалога, ответов на вопросы по изображениям и открытому домену, ролевого общения, генерации и понимания текста. В карточке также показаны примеры ответов на китайском и переводов на китайский с английского; метаданные указывают английский и китайский языки. Лицензия в предоставленных источниках не указана.

Zenith_4B — чат-модель с архитектурой Llama, созданная с участием нескольких участников Anthracite. Это производная Minitron примерно на 3,9 млрд параметров: модель прошла восстановление весов и дообучение на 100 млн токенов качественных инструкций. Она предназначена для работы в роли общего ассистента и для ролевых диалогов, с улучшенным следованием инструкциям. В README указано обучение с контекстом 8 тыс. токенов; метаданные указывают нативное окно контекста 131 072 токена. Модель принимает текст и генерирует текст, поддерживает английский язык. Распространяется по лицензии Apache-2.0. Ключевое ограничение — небольшой размер: автор предупреждает, что ожидания по качеству следует соотносить с моделью на 4 млрд параметров. Указанные в метаданных 131 072 токена не отменяют того, что обучение проводилось с контекстом 8 тыс. токенов.

AfriqueQwen3.5-4B-50Langs — базовая предобученная причинная языковая модель из семейства AfriqueLLM, разработанная McGill-NLP на основе Qwen/Qwen3.5-4B-Base. Модель адаптирована продолжением предобучения примерно на 35,5 млрд токенов для работы с 50 африканскими языками; эта версия расширяет охват предыдущего варианта AfriqueQwen3.5-4B-ExtendedCM данными ещё примерно на 1,5 млрд токенов. Размер модели — 4 млрд параметров, длина контекста — 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия на африканских языках, а также сохраняет возможности на английском, французском, португальском и арабском. В обучающие данные включены тексты на африканских языках, код, математика и синтетические материалы из нескольких предметных областей. Модель можно использовать как основу для приложений и дальнейшей адаптации; доступны веса в формате Safetensors, библиотека Transformers, для развёртывания README рекомендует vLLM или SGLang. Оценки в README показывают неодинаковые результаты по языкам и бенчмаркам, поэтому качество для конкретного языка и задачи следует проверять отдельно. Лицензия — Creative Commons Attribution 4.0 International (CC BY 4.0).

Это кросс-энкодер на базе XLM-RoBERTa, дообученный MatinGhiasi от BAAI/bge-reranker-v2-m3 с использованием библиотеки sentence-transformers. Модель совместно обрабатывает пару текстов и выдаёт оценку, которую можно использовать для переранжирования результатов поиска и семантического поиска. Модель рассчитана на текстовые входы, имеет 658,7 млн параметров и один выходной показатель. README указывает максимальную длину последовательности 512 токенов; метаданные каталога указывают нативный контекст до 8194 токенов. Пример обучающего набора содержит 5220 пар с метками релевантности и финансовые вопросы на персидском языке.

AgentLM-13B — языковая модель на 12,9 млрд параметров, разработанная авторами проекта AgentTuning. Это плотная модель семейства Llama с архитектурой LlamaForCausalLM, дообученная на смеси AgentInstruct и ShareGPT с использованием базовых моделей Llama 2 Chat. Она предназначена для диалоговой генерации текста и выполнения задач, связанных с работой агентами: обучение на траекториях взаимодействия помогает переносить агентные навыки на ранее не встречавшиеся задачи, сохраняя общие языковые способности. Модель использует формат диалога Llama 2 Chat с фиксированным системным сообщением. Контекст составляет 4096 токенов. В карточке заявлена генерация текста; конкретные естественные языки отдельно не перечислены. Доступна в формате safetensors. Лицензия в предоставленных данных не указана, поэтому условия использования следует проверить в карточке репозитория.

airoboros-gpt-3.5-turbo-100k-7b — языковая модель семейства Llama, дообученная разработчиком jondurbin на 100 тысячах синтетических пар инструкций и ответов, созданных с помощью gpt-3.5-turbo и варианта метода Self-Instruct. Модель предназначена для генерации текста по инструкциям: она может составлять письма, отвечать на запросы и создавать творческие тексты. В README приведено сравнение с несколькими моделями на примерах инструкций, но оно не является независимой оценкой качества. Модель имеет около 6,6 млрд параметров и контекстное окно 2048 токенов. Репозиторий содержит веса PyTorch; для использования автор рекомендует FastChat. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но ограничивает коммерческое применение. Описание указывает на обучение на синтетических данных и не сообщает о дополнительных проверках качества или безопасности.

Adel-Elgabry/arabic-semantic-search — модель Sentence Transformers, дообученная автором на базе sentence-transformers/LaBSE для поиска семантически близких арабских текстов. Она кодирует предложения и абзацы в плотные векторы размерности 768; сходство между ними можно оценивать косинусной мерой, а векторы использовать для поиска и извлечения релевантных текстов. В метаданных указана архитектура RoBERTa с 151,8 млн параметров; библиотека для работы — sentence-transformers. Модель принимает текст и рассчитана на последовательности длиной до 256 токенов согласно README; метаданные каталога указывают контекст 514 токенов. Обучение описано на наборе из 1 000 пар предложений с MultipleNegativesRankingLoss. LaBSE поддерживает 109 языков, однако специализация этой дообученной модели — арабский семантический поиск. Лицензия в предоставленных данных не указана.

Arcee-Lite — компактная языковая модель на 1,5 млрд параметров, разработанная Arcee AI в рамках открытого проекта DistillKit. Это плотная авторегрессионная модель семейства Qwen2, предназначенная для генерации текста и диалогового общения. В README указано, что модель создана путём дистилляции Phi-3-Medium и объединения с другими дистиллятами; для неё приводится результат 55,93 на тесте MMLU. Модель рассчитана на сценарии, где важны небольшой размер и работа при ограниченных вычислительных ресурсах: встраиваемые устройства, мобильные приложения и периферийные вычисления. Контекст составляет до 32 768 токенов. Модель принимает и выдаёт текст; метаданные отмечают поддержку чата. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. README приводит внутренние оценки и предупреждает, что их следует использовать для относительного сравнения моделей, а не напрямую сопоставлять с результатами OpenLLM Leaderboard.

AX-DeepSeek-V4-Flash-MLX-AXQ-6bit-MTP — это экспериментальный смешанно-точный MLX-чекпойнт, созданный AutomatosX на основе DeepSeek-V4-Flash от deepseek-ai. Модель предназначена для генерации текста и запуска на компьютерах Apple Silicon через MLX-LM. Веса представлены в формате MLX Safetensors; варианты PyTorch и GGUF в репозитории отсутствуют. В основе лежит архитектура DeepseekV4ForCausalLM с mixture of experts и 284,33 млрд логических параметров. Основной языковой тракт квантизован с использованием AXQuant 1.5.1: применяются 4-, 6- и 8-битные представления, а защищённые компоненты сохраняются в BF16. Измеренный общий показатель составляет 5,7374 BPW, размер весов — около 208,66 ГБ, а полный объём загрузки — около 208,74 ГБ. Заявленный максимальный контекст — 1 048 576 токенов, однако практический предел зависит от объёма unified memory устройства. Модель поддерживает только текстовую модальность: зрительный и аудиомодули отсутствуют. MTP-компонент присутствует и сохранён преимущественно в BF16, но его ускорение, совместимость с AX Engine и прирост скорости не подтверждены. Ключевое преимущество — существенное снижение объёма хранения по сравнению с полноточной версией при сохранении отдельных чувствительных тензоров в более высокой точности. Ограничения включают отсутствие опубликованных измерений качества, длинного контекста и производительности, а также отсутствие валидированного нативного манифеста AX Engine. Пакет распространяется по лицензии Apache-2.0.

pix08934725/axxis-test — дообученная языковая модель автора pix08934725 на базе unsloth/llama-3.2-3b-instruct-unsloth-bnb-4bit. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 3,2 млрд параметров, предназначенная для генерации текста и диалогового использования. В метаданных заявлены контекст до 131 072 токенов и интерфейс вызова инструментов; модель сохранена в формате safetensors. Карточка сообщает, что обучение проводилось с Unsloth и библиотекой TRL, но не описывает специализацию дообучения, обучающие данные или результаты оценки. Указан английский язык. Модель выпущена по лицензии Apache-2.0.

phiyodr/bert-large-finetuned-squad2 — англоязычная модель на архитектуре BERT Large, созданная дообучением bert-large-uncased на наборе SQuAD 2.0 для ответов на вопросы по заданному тексту. Она извлекает ответ из контекста и обучена учитывать случаи, когда в тексте нет ответа на вопрос. Модель принимает текст вопроса и контекста, выдаёт текстовый ответ; максимальная длина контекста составляет 512 токенов. Доступны версии весов PyTorch и Flax. Модель подходит для поиска ответов в англоязычных статьях, документах и справочных материалах, если нужная информация присутствует в переданном контексте. Она не предназначена для свободного диалога или надёжных ответов на вопросы, не опирающиеся на контекст. Карточка не сообщает условия лицензии.

Xenova/bge-small-zh-v1.5 — это версия модели BAAI/bge-small-zh-v1.5, подготовленная сообществом Xenova для работы в Transformers.js. В репозитории представлены веса в формате ONNX, совместимые с JavaScript-библиотекой Transformers.js и ориентированные на выполнение моделей в веб- и JavaScript-средах. Модель предназначена для извлечения признаков (feature extraction), то есть преобразования текстов в числовые представления, которые могут использоваться в задачах семантического поиска, сопоставления текстов и построения систем на основе эмбеддингов. В README не указаны точные архитектура, количество параметров, размер контекста, поддерживаемые языки, модальности или результаты оценки качества. Сильной стороной является готовность к использованию через Transformers.js и формат ONNX; при этом условия лицензирования и ограничения применения в карточке не указаны.

BLOOM-3B-intermediate — промежуточный чекпойнт семейства BLOOM, разработанного международным исследовательским сообществом BigScience. Это авторегрессионная языковая модель на основе decoder-only Transformer, предназначенная для генерации текста и исследований больших языковых моделей, а также для последующего дообучения под конкретные задачи. В README семейство BLOOM описано как модель с архитектурой Megatron-LM GPT-2, позиционными кодировками ALiBi и контекстом 2048 токенов; указанные там 176 млрд параметров относятся к полной версии BLOOM, а не подтверждают размер этого чекпойнта. Модель рассчитана на многоязычный текст; метаданные отмечают поддержку, среди прочего, арабского, бенгальского, каталонского, английского, испанского, французского, хинди, индонезийского, португальского, тамильского, урду, вьетнамского и китайского. Также в метаданных отмечена работа с кодом. Модель может служить исходной точкой для экспериментов и дообучения, но её ответы могут быть фактически неверными, повторяющимися или нерелевантными и отражать стереотипы; она не предназначена для критически важных решений и указанных в карточке высокорисковых областей. Лицензия — BigScience BLOOM RAIL 1.0.

reallad/blopsy-1.1 — языковая модель reallad для генерации текста и диалогов. Она дообучена на базе reallad/llama-8b-alpaca-noro с использованием Unsloth и библиотеки TRL. Модель построена на плотной архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 8192 токенов. Карточка указывает английский язык; метаданные отмечают поддержку диалогового режима. Модель распространяется в формате PyTorch по лицензии Apache-2.0.

CANINE-s — многоязычная предварительно обученная модель Google для представления текста. Она использует архитектуру CANINE и принимает текст на уровне символов: вместо отдельного токенизатора символы представляются кодовыми точками Unicode. Модель содержит 113,2 млн параметров и обучалась на 104 языках с целями masked language modeling и предсказания следующего предложения; для masked language modeling применялся subword loss. В метаданных указан контекст до 16 384 токенов. Модель предназначена прежде всего для извлечения признаков, которые затем используют в задачах классификации последовательностей и токенов, ответов на вопросы и других задачах понимания текста. Она может работать с многоязычными текстами, включая языки с разными письменностями, без предварительной настройки границ токенов. Для генерации текста модель не предназначена. Распространяется по лицензии Apache-2.0.

AmberYifan/capsd-marin-8b-base-n80000-opc-r96-marin-8b-base-code_cap_b8000_s0 — дообученная модель семейства Llama, созданная на основе marin-community/marin-8b-base с использованием датасета capsd_R96__mix_code_cap_b8000_s0. Она предназначена для генерации и продолжения текста; метаданные также отмечают поддержку диалогового режима. Модель содержит 7,5 млрд параметров, работает с текстом и имеет контекстное окно 4096 токенов. Базовая модель описана как англоязычная; отдельные характеристики языковой поддержки этой версии в карточке не раскрыты. README не приводит подробностей о целевых сценариях, обучении или оценке. Лицензия указана как other, поэтому условия использования следует сверить с лицензией репозитория.

Chichu 1.5 Flash — компактная языковая модель Sebastianpro88, дообученная методом LoRA на базе HuggingFaceTB/SmolLM2-135M-Instruct. Модель построена на плотной архитектуре семейства Llama, содержит около 134,5 млн параметров и использует контекст до 8192 токенов. Модель предназначена для диалогов и генерации текста, выполнения инструкций, написания кода, математических задач и рассуждений. Для обучения использованы трассы дистилляции от нескольких моделей-учителей по темам математики, кода, рассуждений, инструкций и работы с инструментами. В README указана поддержка английского языка, а генерация кода показана для Python и JavaScript. Веса опубликованы в формате safetensors. Лицензия обозначена как other; конкретные условия использования в предоставленных данных не раскрыты. Компактный размер ориентирован на быстрый запуск, но сам по себе не гарантирует точность: качество ответов и сложных рассуждений следует проверять на целевых задачах.

DeepSeek-VL 1.3B Chat — компактная модель компьютерного зрения и языка, разработанная командой DeepSeek AI. Она принимает изображения и текстовые запросы и формирует контекстные текстовые ответы для визуальных вопросов и повседневных сценариев работы с изображениями. В архитектуре объединены языковой компонент на основе LLaMA и визуальный кодировщик SigLIP; модель поддерживает чат и обработку изображений с разрешением до 1024 × 1024. Среди сценариев обучения и применения указаны скриншоты, PDF, OCR, диаграммы и визуальный контент, связанный с общими знаниями. Модель опубликована в формате safetensors для Transformers; README указывает лицензию DeepSeek, а метаданные обозначают её как other.

DenseOn-ONNX — ONNX-версия модели DenseOn, разработанной LightOn и автоматически конвертированной сообществом onnx-community. Модель предназначена для плотного семантического поиска и сравнения сходства между запросами и документами, включая сценарии retrieval и sentence similarity. Она поддерживает английский язык и рассчитана на использование с Transformers.js. Модель построена на базе ModernBERT и содержит 149 млн параметров. Это dense-модель, кодирующая запрос и документ независимо в один вектор; релевантность оценивается по косинусному сходству. Для кодирования используются префиксы query: и document:, а представление извлекается с помощью CLS pooling. Заявлены результаты 56,75 nDCG@10 на BEIR и 57,71 на очищенной от пересечений версии BEIR; по данным разработчика, модель превосходит другие dense-модели базового размера и некоторые существенно более крупные модели. Сильными сторонами являются относительно компактный размер, возможность высокопроизводительного развёртывания и хорошие результаты в задачах поиска. Ограничение состоит в специализации на плотном одно-векторном retrieval: модель не является мультимодальной и предназначена прежде всего для семантического сопоставления текста. Лицензия — Apache 2.0.

Discord-Hermes-3-8B-i1-GGUF — квантизированная GGUF-версия текстовой causal language model Discord-Hermes-3-8B. Базовую модель разработал mookiezii, а квантизацию выполнил mradermacher. Модель дообучена на наборе данных Discord-Dialogues и ориентирована на conversational AI, диалоги, чат-ботов и генерацию текста в формате instruct/chat с использованием ChatML. Модель относится к семейству Llama 3, содержит около 8 миллиардов параметров и предназначена для работы с английским языком. Доступны варианты квантизации IQ и Q разных размеров — примерно от 2,1 до 6,7 ГБ, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. Версия GGUF подходит для локального запуска в совместимом программном обеспечении, однако конкретные параметры контекста и аппаратные требования в README не указаны. Сильными сторонами являются специализация на диалоговом взаимодействии, открытые веса и широкий выбор вариантов квантизации. Ограничения включают отсутствие опубликованных оценок качества, неизвестные параметры контекстного окна и возможное заметное снижение качества у наиболее компактных квантов; README также не подтверждает поддержку мультимодальных входных данных. Использование распространяется по лицензии Llama 3.

chiendvhust/distilbert-base-uncased-finetuned-squad — модель DistilBERT, дообученная на наборе SQuAD для извлечения ответов из текста по вопросу. Она принимает вопрос вместе с контекстом и предсказывает фрагмент контекста в качестве ответа. Модель использует архитектуру DistilBertForQuestionAnswering, распространяется в формате PyTorch и рассчитана на контекст до 512 токенов. Модель подходит для поиска ответов в предоставленном тексте и создания простых систем вопросно-ответного поиска. В README приведено значение loss 1.2178 на оценочной выборке, но дополнительных сведений о метриках и ограничениях нет. Обучение описано для англоязычного SQuAD; лицензия — Apache-2.0.

negfir/distilbert-base-uncased-finetuned-squad — модель семейства DistilBERT, дообученная на наборе SQuAD для ответов на вопросы по предоставленному тексту. Она принимает вопрос и контекст и извлекает из контекста фрагмент, который служит ответом. Модель содержит около 66 млн параметров, использует архитектуру BERT и доступна в формате PyTorch; максимальная длина контекста составляет 512 токенов. Модель подходит для извлечения ответов из документов, справочных материалов и других текстов на английском языке. В README приведено значение loss 1,22 на оценочной выборке, но подробности оценки и дополнительные результаты не указаны. Лицензия — Apache-2.0.

sanchit-gandhi/distil-zephyr-1.5b-ssft-ultrachat — плотная авторегрессионная языковая модель семейства Mistral, дообученная на диалоговом датасете stingning/ultrachat. Модель содержит 1,4 млрд параметров, использует архитектуру MistralForCausalLM и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста в диалогах: она может отвечать на запросы и поддерживать многоходовое общение. В README приведён результат оценки на тестовой выборке: loss 1,0042. Карточка не описывает языковое покрытие и практические ограничения. Модель опубликована в формате safetensors; лицензия в предоставленных данных не указана.

E5-RoPE-Base — модель эмбеддингов семейства E5-RoPE, представленная в работе LongEmbed Даwei Zhu, Liang Wang, Nan Yang, Yifan Song, Wenhao Wu, Furu Wei и Sujian Li (2024). Она предназначена для кодирования запросов и текстовых фрагментов в векторы для поиска и сравнения предложений. Модель содержит 12 слоёв, имеет размерность эмбеддинга 768 и контекст до 512 токенов. Модель подходит для экспериментов с поиском по текстам и оценки эмбеддингов на бенчмарках BEIR и MTEB. Авторы отмечают, что она не обучалась специально для достижения оптимальных показателей: её цель — сравнить эмбеддинги с абсолютными позиционными представлениями и RoPE, в частности при работе с более длинным контекстом. Доступна под лицензией MIT.

Engram Retrieval v0 — англоязычный cross-encoder, разработанный для конвейера поиска объектов знаний Engram. Модель дообучена на базе cross-encoder/ms-marco-MiniLM-L6-v2 с помощью Sentence Transformers и оценивает пару из пользовательского запроса и текста объекта знаний, чтобы ранжировать кандидатов перед более дорогим этапом переранжирования. Модель имеет архитектуру BERT с классификационной головой BertForSequenceClassification, около 25,9 млн параметров и предел последовательности 512 токенов. Она принимает текстовые пары и выдаёт оценку релевантности; также подходит для семантического поиска и классификации пар. В README описана настройка для выборки из 194 обучающих примеров и оценка на размеченных данных Engram. Модель распространяется по лицензии Apache-2.0. Её специализация — поиск по объектам знаний Engram, поэтому перенос на другие коллекции и запросы может потребовать дополнительной проверки или дообучения. Повторное обучение зависит от содержимого wiki-файлов, которое может меняться со временем.

Erlangshen-TCBert-110M-Sentence-Embedding-Chinese — китайская модель семейства BERT, разработанная командой Fengshenbang-LM. Это вариант TCBert с примерно 129,5 млн параметров, предназначенный для получения векторных представлений предложений и классификации тем. Модель предварительно обучалась контрастивным методом на многочисленных наборах данных тематической классификации с использованием общих промптов; в README описаны эксперименты на китайских наборах TNEWS, CSLDCP и IFLYTEK. Модель принимает китайский текст и выдаёт предсказания замаскированных токенов; архитектура в метаданных указана как BertForMaskedLM с контекстом до 512 токенов. Представления предложений можно применять в сценариях тематической классификации и оценки сходства. Опубликована в формате PyTorch под лицензией Apache-2.0. Метаданные Hugging Face помечают её задачей fill-mask, поэтому для извлечения эмбеддингов может понадобиться соответствующая настройка модели и pooling.