II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейChronos-T5 Large — предварительно обученная модель прогнозирования временных рядов из семейства Chronos, разработанного AutoGluon. Она использует архитектуру T5 с 356,5 млн параметров; исторические числовые значения масштабируются и квантуются в последовательность токенов, после чего модель авторегрессионно генерирует будущие значения. Длина контекста составляет 512 токенов. Модель предназначена для вероятностного прогнозирования временных рядов: по истории она строит несколько возможных траекторий будущего и тем самым оценивает распределение прогноза. Обучение проводилось на общедоступных рядах и синтетических данных, полученных с помощью гауссовских процессов. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.
claif-roberta-base — модель OpenMOSS-Team для построения эмбеддингов предложений и абзацев. Она основана на RoBERTa и выдаёт плотные векторы размерности 768; модель обучали с функцией потерь CosineSimilarityLoss и распространяют в формате PyTorch. Модель подходит для семантического поиска, сравнения текстов и кластеризации. Векторные представления можно использовать для поиска похожих фрагментов в коллекции документов или группировки текстов по смыслу. Доступна лицензия Apache-2.0. Контекст модели составляет 514 токенов. Карточка указывает английский язык; качество на других языках не подтверждено. Для использования через Transformers требуется применить корректную операцию pooling к контекстным представлениям токенов.
Code Llama 13B — базовая генеративная модель Meta для синтеза и понимания кода. Это авторегрессионный трансформер семейства Llama с плотной архитектурой, содержащий 12,9 млрд параметров. Данная версия представлена в формате Transformers и принимает текст, выдавая текст; она поддерживает контекст до 16 384 токенов. Модель предназначена для продолжения и дополнения кода, включая infilling, а также для адаптации к разным задачам генерации и анализа кода. Она рассчитана на английский язык и языки программирования; это базовая версия, а не вариант для следования инструкциям или специализированная Python-модель. Модель может генерировать неточный или нежелательный код, поэтому результаты требуют проверки и тестирования в целевом приложении. Использование регулируется лицензией Meta Llama 2; карточка указывает на наличие коммерческой лицензии Meta.
teven/cross_all_bs320_vanilla_finetuned_WebNLG2020_relevance — модель Sentence-Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска семантически близких текстов, кластеризации и сопоставления релевантности. Модель предназначена для векторного поиска и других задач, где нужно сравнивать смысл текстов; для работы подходят Sentence-Transformers и Transformers с соответствующей операцией pooling. Максимальная длина контекста составляет 514 токенов. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.
Crux-Qwen3_OpenThinking-4B — плотная авторегрессионная языковая модель семейства Qwen3, дообученная PrithivMLmods на базе Qwen/Qwen3-4B. Она содержит около 3,7 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов. Для диалогового применения доступны интерфейс вызова инструментов и генерация кода. Модель ориентирована на пошаговые рассуждения, решение математических и логических задач, STEM-обучение, объяснение и генерацию кода, а также структурированные ответы и перевод. В README заявлена поддержка более 20 языков; метаданные карточки отмечают английский. Для обучения использованы наборы s1K-1.1, OpenMathReasoning и FineTome-100k. Модель может быть полезна для учебных и технических задач, но иногда допускает фактические ошибки, лучше работает с ясными однозначными запросами и, согласно карточке, хуже подходит для творческой и художественной генерации. Доступна по лицензии Apache-2.0.
DASD-4B-Thinking — плотная языковая модель примерно на 3,7 млрд параметров от Alibaba Apsara, построенная на архитектуре Qwen3 и предназначенная для длинных цепочек рассуждений. Она дообучена на базе Qwen3-4B-Instruct-2507 с помощью дистилляции от gpt-oss-120b; в обучении использовалось 448 тыс. примеров из наборов Superior-Reasoning-SFT-gpt-oss-120b и Superior-Reasoning-SFT-gpt-oss-120b-Logprob. Модель подходит для рассуждений по математике и естественным наукам, генерации и анализа кода, а также диалоговых задач, требующих пошагового ответа. Размер контекста — до 262 144 токенов. Модель принимает и выдаёт текст; README рекомендует передавать системный промпт, использовавшийся при обучении, и указывает настройки Temperature=1.0 и TopP=1.0. В README заявлены хорошие результаты на математических, научных и кодовых бенчмарках при компактном размере и относительно небольшом объёме обучающих данных. Модель не подключается к внешним инструментам и не поддерживает их вызов, поэтому не может самостоятельно запускать код или обращаться к API. Лицензия — Apache-2.0.
deepseek-ai/deepseek-coder-6.7b-base — базовая языковая модель для программирования, разработанная DeepSeek. Это плотная авторегрессионная модель семейства Llama с архитектурой Multi-Head Attention и 6,6 млрд параметров, обученная с нуля на 2 трлн токенов: 87% обучающих данных составлял код, 13% — естественный язык на английском и китайском. Модель работает с контекстом до 16 384 токенов. Она предназначена для генерации и дополнения кода, заполнения пропусков внутри кода и завершения фрагментов с учётом проекта или репозитория. Обучение на коде нескольких языков программирования и задача fill-in-the-blank поддерживают редактирование кода в заданном контексте. Модель является базовой, а не настроенной для диалога, поэтому для интерактивного помощника может потребоваться дополнительная настройка. Модель опубликована в форматах PyTorch и Safetensors. В README заявлены результаты уровня ведущих открытых моделей на бенчмарках HumanEval, MultiPL-E, MBPP, DS-1000 и APPS. Лицензия указана как «other»; перед использованием следует проверить условия в карточке модели Hugging Face.
DeepSeek Coder 6.7B Instruct — языковая модель для программирования, разработанная DeepSeek. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров, представленная в форматах PyTorch и safetensors. Она дообучена на 2 млрд токенов инструкционных данных на основе deepseek-ai/deepseek-coder-6.7b-base. Модель предназначена для генерации и дополнения кода, заполнения пропусков в коде, а также ответов на инструкции и вопросы по программированию в диалоговом формате. Обучение семейства DeepSeek Coder включало корпус, состоящий преимущественно из кода, и данные на английском и китайском языках; README заявляет поддержку проектного дополнения кода и контекста 16 тысяч токенов. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели. Модель ориентирована на задачи программирования; ответы могут содержать ошибки и требуют проверки, а качество за пределами программирования не подтверждено приведёнными данными.
DeepSeek-R1-Distill-Qwen-14B-bnb-4bit — дистиллированная языковая модель, разработанная командой DeepSeek на основе DeepSeek-R1 и базовой архитектуры Qwen объёмом 14 млрд параметров. Данная версия подготовлена и опубликована Unsloth в 4-битном формате bnb для использования с Transformers. Модель предназначена для задач рассуждения, решения математических задач, генерации и анализа кода, а также других сценариев, требующих многошагового вывода. Дистилляция использует reasoning-поведение DeepSeek-R1, включая самопроверку, рефлексию и развернутые цепочки рассуждений. В метаданных README указан английский язык; сведения о поддержке других языков, размере контекста и мультимодальности не приведены. Ключевое преимущество версии — сниженные требования к памяти благодаря 4-битному представлению, что упрощает локальный запуск по сравнению с полноразмерной моделью. Ограничения включают возможное снижение точности из-за квантования и отсутствие в README подробных данных о бенчмарках, контекстном окне и требованиях к оборудованию. Модель распространяется по лицензии Apache 2.0.
mingbao2020/distilroberta-base-nli-adaptive-layer — модель Sentence-Transformers на базе RoBERTa, разработанная автором репозитория mingbao2020. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 95,2 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате safetensors. Обучение использует AdaptiveLayerLoss с MultipleNegativesRankingLoss, что позволяет получать представления предложений для задач поиска и сопоставления по смыслу. Модель предназначена для создания текстовых эмбеддингов; сведения о лицензии и конкретных поддерживаемых языках в доступных данных отсутствуют.
DocumentFigureClassifier-v2.5 — модель классификации изображений, разработанная проектом Docling и основанная на Google EfficientNet-B0, дообученной на подмножестве датасета HuggingFace/finepdfs. Она относит изображения из документов к одной из 26 категорий, включая логотипы, фотографии, значки, чертежи, графики, таблицы, схемы, карты, подписи, штампы и QR-коды. Модель предназначена для анализа содержимого PDF и других документов: она помогает распознавать типы иллюстраций и направлять их на подходящую последующую обработку. В README приведена оценка на отложенной выборке finepdfs: точность составляет 0,907, сбалансированная точность — 0,688, а Macro F1 — 0,689. Модель доступна в форматах ONNX и safetensors и распространяется по лицензии MIT. Показатели по отдельным классам различаются, поэтому качество может быть ниже для редких или похожих категорий; модель обучалась на подмножестве finepdfs, и её результаты могут зависеть от состава входных документов. README не описывает требования к размеру входного изображения или полный процесс предобработки.
Dolphin 2.9.1 DBRX — разговорная и инструкционная языковая модель, дообученная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе databricks/dbrx-base. Она использует архитектуру DBRX и формат диалога ChatML; базовая модель поддерживает контекст до 32 тысяч токенов, а дообучение проводилось с длиной последовательности 4 тысячи токенов. Модель предназначена для диалоговых ответов, выполнения инструкций, генерации кода и начальных агентных сценариев, включая вызов функций. Для коммерческого и иного использования README указывает лицензию databricks-open-model-license, а метаданные — лицензию other; условия следует сверять с лицензией репозитория. Модель описана авторами как uncensored и может охотно отвечать на небезопасные запросы, поэтому перед предоставлением пользователям рекомендуется добавить собственный слой фильтрации.
Карточка модели nicoboss/dolphin-2.9.3-mistral-nemo-12b-llamacppfixed на Hugging Face совпадает с карточкой dphn/dolphin-2.9.3-mistral-nemo-12b, поэтому описание составлено по ней. Dolphin 2.9.3 Mistral Nemo 12B — разговорная языковая модель, дообученная Eric Hartford и командой Cognitive Computations на базе mistralai/Mistral-Nemo-Base-2407. Она предназначена для следования инструкциям, диалогов, генерации кода и начальных агентных сценариев; также поддерживает вызов функций через ChatML-шаблон. Модель содержит 12,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и формат safetensors. Базовая модель рассчитана на контекст до 128 тыс. токенов, однако при дообучении использовалась длина последовательности 8192 токена. Dolphin описана как «uncensored» и может с высокой готовностью выполнять запросы, в том числе вредоносные или неэтичные. Перед предоставлением модели пользователям автор рекомендует добавить собственный слой контроля и выравнивания. Модель лицензирована по Apache 2.0, включая коммерческое использование.
EpistemeAI-codegemma-2-9b-ultra — языковая модель EpistemeAI на архитектуре Gemma 2, дообученная на модели unsloth/gemma-2-9b-bnb-4bit. В карточке указано дополнительное обучение на 297 тысячах примеров с отзывами и инструкциями по коду, включая инструкции по Python; общий объём этих данных составляет около 31,4 млн токенов. Модель содержит 9 млрд параметров и рассчитана на контекст до 8192 токенов. Модель предназначена для генерации кода и ответов на инструкции, в том числе для задач программирования на Python. Также её можно применять для диалога и генерации текстов. Метаданные Hugging Face указывают text-classification, но каталог относит модель к text-generation; описание и обучение в README поддерживают прежде всего сценарии генерации текста и кода. Для работы с Transformers в README рекомендуется форматировать запросы по шаблону Alpaca. Модель может ошибаться в фактах и сложных или неоднозначных задачах, а результаты зависят от данных обучения и контекста. Лицензия указана противоречиво: README сообщает Apache-2.0, тогда как метаданные Hugging Face указывают Gemma; перед использованием следует проверить применимые условия распространения.
F2LLM-v2-0.6B-Preview — многоязычная модель эмбеддингов от CodeFuse AI, дообученная на базе Qwen3-0.6B. Она обучена на корпусе из 27 миллионов примеров на более чем 100 естественных и программных языках и предназначена как основа для задач эмбеддингов, последующей настройки и исследований. Это плотная модель семейства Qwen3 с 507,9 млн параметров и контекстом до 40 960 токенов; доступны веса в формате safetensors и работа через Transformers и Sentence Transformers. Модель подходит для кодирования текста в векторы для поиска, сопоставления текстов и других downstream-задач с эмбеддингами. Эта preview-версия обучена без инструкций, поэтому её следует рассматривать как базовую модель для дальнейшей настройки, а не как готовую инструкционную систему. Лицензия — Apache-2.0.
AlucardV дообучил модель SentenceTransformer на базе sentence-transformers/all-MiniLM-L6-v2 для поиска и сравнения предложений и абзацев. Она преобразует текст в плотные семантические векторы размерностью 384 и сравнивает их с помощью косинусного сходства. Архитектура включает энкодер BERT, усредняющий pooling и нормализацию; модель содержит 25,9 млн параметров. В обучении использовались 20 000 примеров с TripletLoss, в том числе русскоязычные тексты. Максимальная длина последовательности в README — 256 токенов, тогда как метаданные указывают контекст 512 токенов; для практического применения следует учитывать ограничение README. Модель принимает текст и выдаёт векторы для семантического поиска и извлечения признаков. Лицензия в предоставленных данных не указана.
Карточка модели futuredatascience/from-classifier-v1 на Hugging Face совпадает с карточкой futuredatascience/from-classifier-v0, поэтому описание составлено по ней. futuredatascience/from-classifier-v0 — модель Sentence Transformers на архитектуре MPNet, разработанная Futuredatascience. Она преобразует предложения и абзацы в плотные векторы размерностью 768, предназначенные для вычисления семантического сходства, кластеризации и семантического поиска. Модель содержит 136,7 млн параметров, принимает текст и возвращает векторные представления; максимальная длина контекста — 514 токенов. Для обучения использовалась функция потерь CosineSimilarityLoss. Модель опубликована в формате PyTorch; метаданные не содержат сведений о лицензии или языковой специализации.
Garnet-OCR-3B-0422-i1-GGUF — квантизированная версия модели Garnet-OCR-3B-0422, разработанной prithivMLmods и подготовленной в формате GGUF пользователем mradermacher. Это vision-language-модель для оптического распознавания символов и интеллектуальной обработки документов, включая извлечение и связывание данных, преобразование PDF в Markdown, анализ содержимого документов и image-to-text-сценарии. Модель имеет размер 3 млрд параметров и поддерживает обработку текста и изображений. В карточке указан английский язык, а среди обучающих наборов перечислены коллекции для распознавания и анализа PDF, генерации Markdown и обработки документов. Доступно множество вариантов квантизации GGUF размером примерно от 1,0 до 2,9 ГБ; варианты различаются компромиссом между качеством, скоростью и требованиями к памяти. Для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. Сильными сторонами модели являются специализация на OCR и структурированном анализе документов, возможность локального запуска благодаря компактным квантизированным вариантам и поддержка различных уровней квантизации. Ограничения включают отсутствие сведений о размере контекста, точных характеристиках архитектуры, качестве на конкретных наборах данных и поддерживаемых языках помимо английского; низкобитные варианты могут заметно уступать по качеству. Модель распространяется по лицензии Apache-2.0.
GLM-4.7-GGUF — это GGUF-версия языковой модели GLM-4.7, разработанная организацией Z.ai и опубликованная Unsloth. Модель предназначена прежде всего для генерации текста, программирования и агентских сценариев с использованием инструментов. Она ориентирована на multilingual coding, задачи в терминале, веб-навигацию, математическое и общее рассуждение, создание веб-интерфейсов и презентаций, а также на диалоги, творческое письмо и ролевые сценарии. В карточке указаны поддерживаемые языки English и Chinese, библиотека Transformers и базовая модель zai-org/GLM-4.7. Заявлены режимы thinking before acting, interleaved thinking и preserved thinking, однако сведения о размере модели, точной архитектуре, длине контекста и доступных модальностях отсутствуют. По приведённым результатам модель показывает сильные стороны в кодировании, использовании инструментов, математике и рассуждении; среди ограничений следует учитывать, что показатели зависят от конкретных бенчмарков и не гарантируют аналогичное качество в каждом прикладном сценарии. Модель распространяется по лицензии MIT. README не содержит подробностей о требованиях к оборудованию, конкретных квантизациях GGUF или полной процедуре локального запуска.
Ramyashree/gte-large-finetuned — модель эмбеддингов предложений на архитектуре BERT, дообученная для задач сходства предложений. Она преобразует предложения и абзацы в плотные векторы размерностью 1024, которые можно использовать для семантического поиска, кластеризации и сравнения текстов. В обучении применялась функция потерь MultipleNegativesRankingLoss с косинусным сходством; максимальная длина контекста составляет 512 токенов. Модель принимает текст и выдаёт векторные представления. Для использования подойдут Sentence-Transformers или Transformers с соответствующей операцией pooling. В карточке указан датасет Ramyashree/Dataset_For_Cluster. Сведения о лицензии и поддерживаемых естественных языках в предоставленных данных отсутствуют.
yankexe/gte-multilingual-base-air-gapped — вариант модели gte-multilingual-base из семейства GTE, предназначенный для получения текстовых представлений и поиска по смыслу. Это плотная encoder-only Transformer-модель размером 305,3 млн параметров с embedding-размерностью 768 и контекстом до 8192 токенов. README описывает запуск в изолированной среде с vLLM; метаданные указывают формат safetensors и возможность получать эмбеддинги. Модель предназначена для многоязычного поиска и извлечения информации, в том числе межъязыкового и по длинным текстам. Помимо плотных представлений, она поддерживает разреженные векторы и эластичные по размеру плотные представления, позволяя уменьшать затраты на хранение и вычисления. README заявляет поддержку более 70 языков и высокую скорость относительно некоторых крупных моделей GTE; конкретные результаты оценки приведены со ссылкой на статью и бенчмарки. Лицензия — Apache-2.0. Для запуска в air-gapped-среде README приводит конфигурацию vLLM с pooling runner и trust-remote-code. Точное соответствие опубликованных результатов конкретному варианту air-gapped и характеристики отдельных языков в карточке не раскрыты.
JetlinkSTT-v1.0-7B — многоязычная модель распознавания речи, размещённая Jetlink как управляемая организацией копия модели семейства Qwen3-ASR. Метаданные указывают на дообучение Qwen/Qwen3-ASR-1.7B; модель принимает аудио и предназначена для преобразования речи в текст и определения языка. Модель поддерживает потоковую и офлайн-обработку, длинные записи, пакетный запуск и сценарии транскрибации. В README заявлена устойчивость к шуму, сложным речевым паттернам и пению, в том числе под музыку. Указана поддержка 52 языков и диалектов исходным семейством, включая русский, английский, китайский и другие перечисленные языки. Модель подходит для транскрибации звонков и встреч, создания субтитров, голосовых помощников и аналитики речи. Практическая производительность и требования к памяти зависят от оборудования, длительности аудио, пакетного размера, конкуренции запросов и выбранного серверного ПО. Для юридических, медицинских и критически важных сценариев README рекомендует проверку человеком. Лицензия — Apache-2.0.
IFM/K2-Horizon-0.9B — компактная плотная авторегрессионная языковая модель семейства K2-Horizon, разработанная IFM. Модель содержит около 924,5 млн параметров и предназначена для диалоговой генерации текста и рассуждений; её оценивали на задачах математики, программирования, естественных наук и использования инструментов. В README описано обучение с дистилляцией от нескольких специализированных моделей-учителей, а также расширение контекста с помощью YaRN RoPE scaling. README указывает контекст до 131 072 токенов, тогда как метаданные каталога сообщают native context 8 192 токена; для развёртывания длинного контекста нужны соответствующие настройки RoPE. Модель ориентирована на английский и китайский языки. Веса доступны в формате Safetensors, лицензия — Apache-2.0. Карточка описывает возможность использования для инференса, оценки и последующего дообучения; для работы с инструментами требуется совместимая серверная конфигурация.
MDDDDR/klue-roberta-base-klue-sts-mt-30000 — модель Sentence Transformers на архитектуре RoBERTa, содержащая 137,8 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов и кластеризации. Обучение с MultipleNegativesRankingLoss и косинусным сходством нацелено на формирование эмбеддингов, пригодных для сравнения предложений. Модель принимает текст и выдаёт векторы; её можно использовать для семантического поиска, группировки текстов и вычисления сходства предложений. Контекст составляет до 514 токенов. В карточке не приведены сведения о лицензии, поэтому условия использования по имеющимся данным определить нельзя.
sergeyzh разработал русскоязычную модель BERT для вычисления эмбеддингов предложений и оценки их семантического сходства. Это дообученная версия cointegrated/LaBSE-en-ru, рассчитанная на использование, в частности, с библиотекой Sentence Transformers. Модель содержит 155,5 млн параметров, формирует векторы размерностью 768 и принимает последовательности длиной до 512 токенов. Модель подходит для поиска похожих предложений, выявления перефразирований и других задач сравнения смысла текстов. В README также приведены результаты для определения следования, тональности и токсичности, а также тесты классификации и кластеризации. На опубликованных метриках ruMTEB результаты различаются по задачам; для каждой из перечисленных задач качество может зависеть от данных и настройки применения. Веса доступны в формате safetensors, лицензия — MIT. Карточка описывает модель для русского языка; основание на LaBSE-en-ru само по себе не подтверждает, что эта версия предназначена для двуязычного использования.
hantian/layoutreader — модель на базе LayoutLMv3 для предсказания порядка чтения элементов документа. Она принимает ограничивающие рамки (bounding boxes), извлечённые из PDF или распознанные OCR, и определяет, в каком порядке их следует читать. Это полезно для восстановления последовательности текста и структуры страниц при обработке документов. Модель содержит 454,1 млн параметров, использует архитектуру LayoutLMv3 и работает с контекстом до 514 токенов. В метаданных Hugging Face для неё указан pipeline token-classification; веса доступны в форматах PyTorch и Safetensors. Карточка не уточняет поддерживаемые языки и конкретные ограничения качества. Лицензия CC BY-NC-SA 4.0 требует указания авторства и распространения производных материалов на тех же условиях, а также ограничивает коммерческое использование.
vikp/layout_segmenter — модель Vikas Paruchuri для сегментации макета страниц PDF на блоки. Она основана на LayoutLMv3 и применяется в проекте Marker для разбора PDF. Модель содержит около 151,8 млн параметров, использует архитектуру LayoutLMv3ForTokenClassification и предназначена для классификации токенов по типам областей страницы: подпись, сноска, формула, элемент списка, колонтитул, изображение, заголовок раздела, таблица, текст и название. Модель работает с текстом и пространственными признаками документа и выдаёт метки токенов. В доступных сведениях не указаны поддерживаемые естественные языки и лицензия; их нельзя надёжно определить по карточке. Карточка описывает применение для PDF, но не приводит подробных оценок качества или ограничений.
LLaMA-Pro-8B-Instruct — языковая модель Tencent ARC на архитектуре LLaMA, построенная расширением LLaMA2-7B с помощью расширения блоков. Она содержит около 8,2 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие. При обучении использовались данные по программированию и математике объёмом свыше 80 млрд токенов. Модель предназначена для генерации и продолжения текста, ответов в чате, помощи с программированием и решения математических задач, сохраняя возможности для общих языковых сценариев. Максимальный контекст — 4096 токенов; доступны веса в форматах PyTorch и Safetensors. Модель разработана командой Tencent ARC и распространяется по лицензии Llama 2. Она может испытывать трудности с узкоспециализированными или тонкими задачами, а также наследовать предвзятости обучающих данных.
Lumma-Fev-4B — плотная модель принятия решений на 4 млрд параметров от FrontiersMind. Она принимает документ-состояние и набор типизированных вопросов, после чего за один проход выдаёт распределение вероятностей по вариантам каждого вопроса. Модель не генерирует текст: она поддерживает вопросы типа «да/нет», выбор из вариантов и оценку по упорядоченной шкале. Модель предназначена для классификации и структурированного извлечения решений из текста или JSON: например, для независимой оценки нескольких свойств документа и маршрутизации записей по заранее заданным категориям. Вопросы обрабатываются независимо друг от друга. Модель опубликована в формате safetensors для Transformers; лицензия — Apache-2.0. Вероятности и confidence являются оценками модели, поэтому перед использованием их для автоматического принятия решений следует проверить калибровку на размеченных данных своей задачи. Карточка приводит результаты бенчмарков по типизированным решениям, новостям и эмоциям, но не сообщает длину контекста.
Карточка модели avsolatorio/MixEmbed-base-20240110021715-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.