II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейCerebrumHyperion-7B-DPO — объединённая модель для генерации текста, созданная с помощью LazyMergekit путём слияния Locutusque/OpenCerebrum-1.0-7b-DPO и Locutusque/Hyperion-3.0-Mistral-7B-DPO. В README указан метод слияния SLERP, а базовой моделью в конфигурации названа Hyperion-3.0-Mistral-7B-DPO. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров. Она принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. По описанию базовой модели, семейство OpenCerebrum ориентировано на генерацию текста, программирование, математику, научные вопросы и рассуждения. Репозиторий содержит веса в формате safetensors. Сведений о лицензии в предоставленных данных нет.
fwgpiyawudk/chandra-ocr-2-bf16-mlx — преобразованная для библиотеки MLX версия Chandra OCR 2 от Datalab, предназначенная для распознавания текста и структуры документов по изображениям и PDF. Модель принимает изображения документов и выдаёт текстовое представление; базовая модель поддерживает форматы Markdown, HTML и JSON. В репозитории указаны архитектура Qwen3.5 и формат safetensors. Модель рассчитана на OCR, извлечение структуры и разбор документов. Карточка описывает конвертацию исходной модели через mlx-vlm, а метаданные связывают её с datalab-to/chandra-ocr-2 и указывают лицензию OpenRAIL. Практическое применение и точность зависят от качества входного изображения и возможностей базовой модели. Поддерживаемые языки и ограничения лицензии сверх указанной лицензии OpenRAIL в карточке не раскрыты.
Ductratra/cocondenser_v2 — модель Sentence Transformers на архитектуре RoBERTa, предназначенная для преобразования предложений и абзацев в плотные векторы размерности 1024. Её можно применять для семантического поиска, сравнения предложений и кластеризации текстов; среди поддерживаемых каталогом задач также указано извлечение признаков. Модель содержит 468,2 млн параметров, принимает текст и выдаёт векторные представления. Контекст ограничен 258 токенами. В README указано обучение с OnlineContrastiveLoss. Доступен формат PyTorch; лицензия в предоставленных сведениях не указана.
Codestral-22B-v0.1-GGUF — GGUF-квантизированная версия специализированной кодовой модели Codestral-22B-v0.1, разработанной Mistral AI. Квантизацию подготовил bartowski на основе llama.cpp, а модель опубликована для использования в LM Studio. Модель предназначена для генерации, дополнения и объяснения программного кода. Она поддерживает диалоговые запросы по инструкции и режим Fill in the Middle (FIM), позволяющий предсказывать пропущенный фрагмент между заданными префиксом и суффиксом. Обучение проводилось на данных более чем по 80 языкам программирования, включая Python, Java, C++, JavaScript и Bash. Размер модели составляет 22 млрд параметров; поддерживаемая модальность — текст. Сильные стороны модели — специализация на программировании, сочетание инструкционного режима и FIM, а также широкий охват языков программирования. README не содержит точных сведений о размере контекста, требованиях к памяти, результатах бенчмарков и ограничениях качества, поэтому эти характеристики нельзя определить по представленным данным. В карточке указана лицензия Apache-2.0, а также приведена ссылка на MNPL-0.1 от Mistral; условия использования следует уточнять по исходной лицензии и документации разработчика.
legraphista/Codestral-22B-v0.1-hf-FIM-fix — конвертированная версия Codestral-22B-v0.1 от Mistral AI с исправленным токенизатором и добавленными специальными токенами для инструкций и заполнения пропусков в коде. Это плотная авторегрессионная модель семейства Mistral на 22 млрд параметров с контекстом до 32 768 токенов. Модель предназначена для генерации кода по инструкциям, объяснения и документирования фрагментов, рефакторинга и предсказания пропущенной части кода между префиксом и суффиксом (Fill in the Middle), в том числе в инструментах разработки. Она обучена на данных более чем по 80 языкам программирования, включая Python, Java, C, C++, JavaScript и Bash. В карточке указано, что исходная версия имела пропущенные токены в словаре, а эта версия основана на обновлённой копии с исправлением. Модель не имеет встроенных механизмов модерации. Лицензия обозначена в метаданных как other; конкретные условия следует проверять на странице репозитория.
Это Sentence Transformer, дообученный автором samsartor на базе Qwen/Qwen3-Embedding-0.6B для сравнения смысловой близости текстов. Модель преобразует предложения и абзацы в плотные векторы размерности 1024; сходство оценивается косинусной мерой. Архитектура включает Qwen3Model, пулинг последнего токена и нормализацию векторов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. Максимальная длина последовательности — 32 768 токенов. Для обучения указаны 5 022 парных примера и ContrastiveLoss. Метаданные описывают базовую Qwen3-Embedding-0.6B как многоязычную модель; конкретный набор поддерживаемых языков этой версии не уточнён. Лицензия в предоставленных данных не указана.
comet24082002/continual_finetune_bge_st_V1 — модель Sentence-Transformers на базе XLM-RoBERTa, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для сравнения смысловой близости, семантического поиска и кластеризации. Модель прошла SimSCE-предобучение и дообучение Sentence-Transformer с MultipleNegativesRankingLoss; использует библиотеку sentence-transformers, веса опубликованы в формате safetensors. Размер — 658,7 млн параметров, контекст — до 8194 токенов. Модель подходит для построения поиска по смыслу и группировки текстов. Архитектура XLM-RoBERTa предполагает поддержку нескольких языков, однако конкретные языки обучения и целевые языки в карточке не перечислены. Условия лицензии в доступных данных не приведены.
QuantFactory/deepseek-coder-6.7b-instruct-GGUF — квантизированная версия модели deepseek-ai/deepseek-coder-6.7b-instruct, созданная QuantFactory с использованием llama.cpp. Базовую серию DeepSeek Coder разработала команда DeepSeek; модель предназначена для генерации, дополнения и анализа программного кода, включая ответы на инструкции, проектное автодополнение и заполнение пропусков в коде. Модель содержит 6,7 млрд параметров, инициализирована на основе deepseek-coder-6.7b-base и дообучена на 2 млрд токенов инструкционных данных. Семейство DeepSeek Coder обучалось на 2 трлн токенов, из которых 87% составлял код и 13% — естественный язык на английском и китайском языках. Для поддержки задач на уровне проектов использовалось окно контекста 16K и специальная задача fill-in-the-blank. Формат GGUF и квантизация ориентированы на запуск через llama.cpp и более эффективное использование ресурсов, однако конкретный тип и уровень квантизации в README не указаны. Сильными сторонами являются специализация на программировании, поддержка генерации кода по инструкциям и заявленные высокие результаты среди открытых моделей на HumanEval, MultiPL-E, MBPP, DS-1000 и APPS. Ограничения включают неизвестные параметры квантизации и связанные с ней возможные компромиссы между качеством и потреблением памяти, а также отсутствие в README подробностей о точном наборе поддерживаемых языков программирования. Использование регулируется Model License DeepSeek; при этом для моделей заявлена поддержка коммерческого использования. Репозиторий исходного кода лицензирован по MIT, но для самой модели действует отдельная лицензия.
QuantFactory/DeepSeek-Coder-V2-Lite-Base-GGUF — квантизированная версия базовой модели DeepSeek-Coder-V2-Lite-Base, разработанной DeepSeek-AI и преобразованной QuantFactory с использованием llama.cpp. Модель предназначена прежде всего для генерации и автодополнения кода, вставки фрагментов кода, решения задач программирования и математического рассуждения. Это базовая модель, а не специализированная instruct-версия для диалогов. Модель построена на архитектуре Mixture-of-Experts (MoE) семейства DeepSeekMoE и содержит 16 млрд общих параметров, из которых при обработке активируется около 2,4 млрд. Она поддерживает контекст длиной до 128 тысяч токенов и 338 языков программирования. Квантизация в формате GGUF должна снижать требования к памяти по сравнению с исходной версией, однако конкретный тип квантизации и системные требования в предоставленных данных не указаны. Сильные стороны модели — специализация на коде, поддержка большого числа языков программирования и длинного контекста; ограничения включают отсутствие подробностей о конкретном варианте квантизации, качестве на отдельных языках и поведении в обычных диалоговых сценариях. Модель распространяется по лицензии deepseek-license; в карточке также указано обозначение лицензии other и ссылка на файл LICENSE. Условия использования следует уточнять по тексту этой лицензии.
DeepSeek-R1-Distill-Qwen-14B — плотная языковая модель на архитектуре Qwen2, выпущенная DeepSeek. Это 14-миллиардная версия серии дистиллированных моделей DeepSeek-R1: её дообучили на примерах рассуждений, созданных DeepSeek-R1, а в качестве основы использовали модель семейства Qwen2.5. Модель предназначена для генерации текста и диалогов с пошаговыми рассуждениями, особенно при решении математических задач, программировании и ответах на сложные вопросы. Модель принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. В карточке не указана специализация на конкретных естественных языках. Репозиторий содержит веса safetensors и рассчитан на использование через Transformers. Лицензия MIT разрешает использование и распространение на её условиях. Как и другие языковые модели, она может ошибаться, выдавать неверные рассуждения или некорректный код; качество не гарантируется для каждой задачи.
IntervitensInc/DeepSeek-V3.1-Terminus-Channel-int8 — производная версия DeepSeek-V3.1-Base, представленная как разговорная модель для генерации текста. Карточка описывает обновление DeepSeek-V3.1-Terminus, направленное на уменьшение смешения китайского и английского текста и аномальных символов, а также на улучшение Code Agent и Search Agent. Модель поддерживает чат и интерфейс вызова инструментов. По метаданным модель построена на архитектуре DeepseekV3ForCausalLM, содержит 37,6 млрд параметров, имеет контекстное окно до 163 840 токенов и распространяется в формате safetensors; заявлена библиотека Transformers. Подходит для диалогов, рассуждений, задач с кодом и поиска с использованием инструментов. README указывает, что структура модели совпадает с DeepSeek-V3, и отсылает к репозиторию DeepSeek-V3 для инструкций по локальному запуску. Лицензия — MIT. Карточка не приводит отдельных оценок качества именно этой копии и не раскрывает деталей, связанных с суффиксами Channel-int8; метаданные указывают формат safetensors и тег 8-bit.
jgammack/distilbert-base-mean-pooling — модель для преобразования предложений и абзацев в плотные векторы размерности 768. Она построена на DistilBERT и использует mean pooling для объединения контекстных представлений токенов. Векторы подходят для семантического поиска, кластеризации и сравнения сходства предложений. Модель принимает текст и выдаёт эмбеддинги; её можно использовать через Sentence-Transformers или Transformers с соответствующим pooling. Максимальная длина контекста — 512 токенов. В карточке не указаны отдельные языковые специализации или прикладная область, поэтому модель следует рассматривать как универсальный инструмент для работы с текстовыми представлениями.
distiluse-base-multilingual-cased — многоязычная модель Sentence-Transformers, обученная командой sentence-transformers. Она кодирует предложения и абзацы в плотные векторы размерностью 512 для поиска семантически близких текстов, кластеризации и сравнения предложений. В основе лежит DistilBERT; модель поддерживается библиотекой Sentence-Transformers, принимает текстовые фрагменты длиной до 512 токенов и выдаёт векторные представления. Репозиторий содержит веса в форматах PyTorch, safetensors, TensorFlow, ONNX и OpenVINO. Модель подходит для семантического поиска, группировки похожих документов и вычисления сходства между предложениями на разных языках. Она выпущена под лицензией Apache-2.0. Качество и языковое покрытие могут различаться между языками; README не приводит конкретного перечня поддерживаемых языков или результатов оценки.
dots.mocr — мультимодальная модель семейства dots_ocr от dots-studio для разбора документов и изображений с текстом. Она предназначена для распознавания текста и структуры страниц: находит элементы макета, их ограничивающие рамки и категории, извлекает текст и формирует Markdown. Также модель интерпретирует диаграммы, интерфейсы и научные иллюстрации и может преобразовывать структурированную графику в SVG-код; поддерживает интерактивный диалог по визуальному содержимому. Модель имеет плотную архитектуру DotsOCRForCausalLM и 1,5 млрд параметров; указанный размер контекста — 131 072 токена. Карточка заявляет мультиязычную поддержку, в том числе английского и китайского. Для развёртывания рекомендуются vLLM и Transformers; лицензия — MIT. Среди ограничений карточка отмечает трудности с комплексными таблицами и математическими формулами, недостаточно надёжный разбор графических изображений в SVG и периодические сбои разбора. Заявления о качестве на бенчмарках приведены в README, но сами таблицы с результатами здесь опущены.
bobox/E5-base-unsupervised-TSDAE — модель Sentence Transformers, дообученная автором на базе intfloat/e5-base-unsupervised с использованием DenoisingAutoEncoderLoss. Она основана на BERT, содержит 136,7 млн параметров и преобразует предложения и абзацы в плотные текстовые эмбеддинги размерности 768; в README указана косинусная мера сходства. Максимальная длина последовательности — 512 токенов. Модель предназначена для семантического поиска, сравнения текстов и поиска перефразировок, а также может использоваться для кластеризации и классификации текста. В README приведён результат Spearman 0,7584 на sts-test. Базовая модель описана как англоязычная; примеры обучающих данных также на английском. Модель распространяется в формате PyTorch. Сведения о лицензии в предоставленных данных отсутствуют.
mlx-community/embeddinggemma-300m-8bit — 8-битная версия модели EmbeddingGemma объёмом 302,8 млн параметров, преобразованная сообществом mlx-community в формат MLX из модели Google embeddinggemma-300m-qat-q8_0-unquantized. Модель использует текстовую архитектуру семейства Gemma 3 и предназначена для создания нормализованных векторных представлений текстов. Модель подходит для оценки семантического сходства предложений, поиска похожих текстов, семантического поиска, кластеризации, классификации и построения систем retrieval и reranking. README показывает использование через библиотеку mlx-embeddings и поддерживает task-specific prefixes для разных сценариев работы с эмбеддингами. Максимальная длина контекста составляет 2048 токенов, а квантование до 8 бит уменьшает требования к памяти при работе на устройствах Apple с MLX. Для доступа на Hugging Face требуется принять лицензию Google Gemma. Качество результатов зависит от выбранного task prefix, длины входного текста и предметной области; контекст ограничен 2048 токенами.
relik-ie/encoder-e5-base-v2-wikipedia — модель-энкодер для получения векторных представлений текста. Модель опубликована в пространстве relik-ie и доступна через библиотеку Transformers; в метаданных она классифицирована как feature-extraction и относится к семейству BERT-подобных моделей. Объём модели составляет 136,7 млн параметров, максимальная длина входа — 512 токенов. Модель предназначена для преобразования текстов в эмбеддинги, которые можно использовать для семантического поиска, сравнения текстов, кластеризации, дедупликации и построения retrieval-компонентов. Название указывает на вариант E5 base v2, адаптированный для корпуса или сценариев, связанных с Wikipedia, однако README не содержит подробностей о разработчике, обучающих данных, методике обучения, оценивании или лицензии. Модель не является генеративной и не предназначена для создания ответов или продолжения текста. При работе необходимо учитывать ограничение контекста в 512 токенов; характеристики качества для конкретных языков и предметных областей в доступных материалах не приведены.
uaritm/enukruvie — многоязычная модель эмбеддингов на базе XLM-RoBERTa, предназначенная для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для семантического поиска, сравнения сходства текстов и кластеризации. В метаданных указаны 305,2 млн параметров и контекст длиной 514 токенов. Модель поддерживает английский, украинский, русский и вьетнамский языки. README указывает на обучение с MSELoss и набором ParallelSentencesDataset в метаданных. Для использования доступны Sentence-Transformers и Transformers; при работе через Transformers требуется самостоятельно выполнить pooling контекстных представлений. Лицензия — MIT. README также упоминает предыдущую версию без вьетнамского языка и более новую модель с его поддержкой.
F2LLM-1.7B — модель эмбеддингов семейства F2LLM от CodeFuse AI, представленная в техническом отчёте о качестве векторных представлений. Это плотная модель на архитектуре Qwen3, дообученная на 6 миллионах пар «запрос—документ» из открытых наборов данных для поиска, классификации и кластеризации. Модель содержит 1,7 млрд параметров, принимает текст и выдаёт векторные представления; поддерживает контекст до 40 960 токенов и рассчитана на английский язык. Модель подходит для семантического поиска, сопоставления запросов с документами и измерения сходства текстов, а также для построения признаков для классификации и кластеризации. Она распространяется в формате Safetensors и доступна по лицензии Apache-2.0.
srikarvar/fine_tuned_model_5 — дообученная модель Sentence Transformers на базе intfloat/multilingual-e5-small, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 384, нормализованные для сравнения по косинусному сходству. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. В основе — архитектура BERT с усреднением токенных представлений и нормализацией; модель рассчитана на последовательности до 512 токенов. Дообучение проведено на парах предложений с метками сходства с использованием OnlineContrastiveLoss; в README приведены результаты оценки на тестовом наборе. Базовая модель multilingual-e5-small предназначена для многоязычных текстовых эмбеддингов, однако конкретные поддерживаемые языки этой версии в карточке не перечислены. Для работы нужны текстовые входы; результатом служат векторы, которые можно использовать в поисковых и сравнительных системах. Лицензия в предоставленных данных не указана.
Focus Red — перепакованная текстовая версия Qwen3.8-27B от Jaidchen. Из модели удалены компоненты обработки изображений и видео, а архитектура упрощена; заявленные автором преимущества — меньшие требования к памяти и хранилищу, более быстрая загрузка и инференс. Модель использует плотную архитектуру Qwen3_5ForCausalLM, содержит 22,3 млрд параметров и поддерживает контекст до 262 144 токенов. Модель предназначена для генерации текста в диалогах и сценариях с инструментами; метаданные также отмечают применение для программирования и агентных задач. Шаблон чата сохраняет настройки рассуждений Qwen и обработку вызовов инструментов. Изображения и видеокадры могут присутствовать в контексте, но модель не интерпретирует их. Генерация со случайной выборкой по умолчанию отключена, поэтому модель менее подходит для длинных творческих текстов и непринуждённого общения. Лицензия — Apache-2.0.
TeichAI Gemma 4 26B A4B IT Claude Opus Distill v2 — мультимодальная диалоговая модель, дообученная на базе unsloth/gemma-4-26B-A4B-it с помощью Unsloth. Для дообучения использовались наборы с траекториями рассуждений Claude Opus; версия v2, по карточке модели, меняет параметры обучения и исправляет некоторые циклические или обрывающиеся ответы. Модель предназначена для генерации кода, отладки, планирования архитектуры программ, научного анализа, многошаговых исследовательских запросов и повседневных задач, требующих последовательных рассуждений. Архитектура Gemma 4 поддерживает диалог и обработку изображений; README также описывает обработку видео кадрами. Метаданные указывают формат safetensors и лицензию Apache-2.0. Карточка заявляет о применении модели в Cline, Codex и Cursor для создания веб-приложений и скриптов, однако сравнительные бенчмарки пока не приведены. Возможности базовой Gemma 4 не следует автоматически считать проверенными именно для этой дообученной версии; заявленные качества рассуждений основаны на описании автора.
Giga Embeddings 0826 3B GGUF — модель для получения текстовых эмбеддингов, основанная на ai-sage/Giga-Embeddings-instruct-3B-0826. GGUF-версии независимо конвертированы и квантованы командой ai-babai; это не официальный релиз ai-sage. Модель ориентирована прежде всего на русский и английский языки и предназначена для локального запуска через llama.cpp и Ollama. Модель подходит для семантического поиска, RAG, оценки сходства текстов, кластеризации, классификации и retrieval-сценариев. Она использует двунаправленную архитектуру, возвращает нормализованные эмбеддинги размерностью 2048 и применяет mean pooling, заданный в метаданных GGUF. Для поиска рекомендуется добавлять инструкцию к запросам, а документы кодировать как обычный текст; для симметричных задач следует использовать одинаковую инструкцию для обеих сторон или не использовать инструкции. Доступны варианты BF16, Q8_0, Q6_K и Q4_K_M. Q8_0 указан как рекомендуемый баланс качества и размера, BF16 является эталонной высокоточной версией, а Q4_K_M — экспериментальным облегчённым вариантом. Модель предназначена только для эмбеддингов и не генерирует текст. Приведённые авторами показатели MTEB относятся к исходной BF16-модели, тогда как полный независимый прогон MTEB для GGUF-версий не выполнялся. Модель распространяется по лицензии MIT.
unsloth/GLM-4.7 — вариант GLM-4.7, опубликованный Unsloth с исправлениями шаблона чата. Это англо-китайская языковая модель для генерации текста и диалогов, рассчитанная в том числе на программирование, агентные сценарии с вызовом инструментов и сложные рассуждения. Модель имеет архитектуру GLM4 MoE и 23,4 млрд параметров; заявленная длина контекста — 202 752 токена. Поддерживаются английский и китайский языки. Модель подходит для многошаговой работы с кодом и терминалом, генерации интерфейсов и слайдов, диалогов и задач, где нужно вызывать инструменты. README описывает чередование рассуждений и действий, сохранение контекста рассуждений между ходами и управление режимом рассуждения на уровне хода. Репозиторий содержит веса safetensors и предназначен для использования с Transformers, vLLM и SGLang; для llama.cpp указано использовать шаблон Jinja. Лицензия — MIT. Заявленные сильные стороны — программирование, агентное использование инструментов и математические рассуждения. Качество ответов и результатов на конкретных задачах может различаться; для агентных сценариев README рекомендует включать сохранение рассуждений. Показатели в карточке приведены на бенчмарках и не гарантируют результат в прикладном сценарии.
sembeddings/gptops_finetuned_mpnet_gpu_v1 — модель Sentence Transformers на архитектуре MPNet с 136,7 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, кластеризации и сравнения текстов. Обучение с MultipleNegativesRankingLoss и косинусным сходством ориентировано на получение эмбеддингов, близких по смыслу для релевантных текстов. Модель принимает текст и выдаёт векторы; максимальная длина контекста — 514 токенов. Доступны веса PyTorch, использовать модель можно через библиотеку Sentence Transformers. В карточке не названы целевые языки и лицензия, поэтому определить языковую специализацию и условия распространения по имеющимся данным нельзя.
SanctumAI/granite-8b-code-instruct-GGUF — квантизированная версия Granite-8B-Code-Instruct в формате GGUF, подготовленная SanctumAI. Исходную модель разработала IBM Research в рамках семейства IBM Granite Code. Это языковая модель с 8 млрд параметров, дообученная на Granite-8B-Code-Base на наборе разрешённых к использованию инструкционных данных для улучшения следования инструкциям, логического рассуждения и решения задач. Модель предназначена прежде всего для генерации, объяснения и исправления программного кода, а также для задач, связанных с математикой, SQL, вызовом функций и общим решением проблем. В README приведены результаты HumanEvalPack для Python, JavaScript, Java, Go, C++, Rust по сценариям генерации, объяснения и исправления кода; однако достоверность этих результатов не подтверждена. Другие характеристики, включая размер контекста, поддерживаемые языки естественного языка, точную архитектуру и конкретные параметры квантизации, в предоставленных данных не раскрыты. Ключевые преимущества — открытая модель, ориентация на программирование и доступность в компактном формате GGUF для локального запуска при совместимом программном обеспечении и оборудовании. Ограничения включают неизвестные требования к ресурсам для конкретного варианта квантизации, отсутствие заявленных мультимодальных возможностей и необходимость самостоятельно проверять сгенерированный код. Модель распространяется по лицензии Apache 2.0.
Это дообученная модель Sentence Transformer на базе Alibaba-NLP/gte-multilingual-base, созданная для преобразования предложений и абзацев в плотные векторы размерностью 768. Она предназначена для семантического поиска, сравнения текстов, поиска перефразирований, кластеризации и классификации текстов; сходство векторов можно оценивать косинусной мерой. Энкодер использует пуллинг CLS-токена и нормализацию, поддерживает последовательности до 8192 токенов. Модель обучена на 8 259 парах текстов из набора json с использованием MatryoshkaLoss и MultipleNegativesRankingLoss. В примерах обучающих данных есть вьетнамские тексты, однако карточка не подтверждает полный перечень поддерживаемых языков. Модель выдаёт векторы, а не готовые ответы на естественном языке. Лицензия в предоставленных данных не указана.
gte-Qwen2-7B-instruct — мультиязычная модель текстовых эмбеддингов из семейства GTE, разработанная Alibaba-NLP с использованием базовой Qwen2-7B от команды Qwen. Это дообученная плотная модель архитектуры Qwen2 с двунаправленным механизмом внимания и инструкционной настройкой запросов. Она преобразует текст в векторы размерностью 3584 и предназначена для поиска по смыслу, сравнения предложений и других задач семантического сопоставления. Модель обучена на большом мультиязычном корпусе из разных областей с использованием слабой и контролируемой разметки. README сообщает о высоких результатах на английском и китайском наборах MTEB на июнь 2024 года. Карточка указывает максимум 32 тыс. входных токенов, тогда как метаданные каталога дают нативный контекст 131072 токена. Лицензия — Apache-2.0. Для работы требуются Transformers версии 4.39.2 или новее и flash_attn версии 2.5.6 или новее. Модель ориентирована на получение эмбеддингов, хотя метаданные также отмечают генерацию текста и классификацию как поддерживаемые задачи. Заявления о лидерстве в бенчмарках относятся к указанным оценкам и дате; коммерческие облачные API GTE, согласно README, не полностью идентичны открытой модели.
Карточка модели joaorobson/harrier-oss-v1-27b на Hugging Face совпадает с карточкой microsoft/harrier-oss-v1-27b, поэтому описание составлено по ней. harrier-oss-v1-27b — разработанная Microsoft многоязычная модель для получения плотных текстовых эмбеддингов. Она использует декодерную архитектуру Gemma3TextModel с last-token pooling и L2-нормализацией; в метаданных указано 28,3 млрд параметров, а README для варианта 27B приводит размерность эмбеддинга 5376 и максимум 32 768 токенов. Метаданные указывают нативный контекст 131 072 токена. Модель предназначена для семантического поиска и извлечения документов, кластеризации, оценки сходства предложений, классификации, поиска параллельных текстов и ранжирования. По README, Harrier OSS v1 достигла результата 74,3 на Multilingual MTEB v2 для варианта 27B. Для запросов рекомендуется добавлять короткую инструкцию с описанием задачи; отсутствие инструкции может снизить качество. Метаданные подтверждают многоязычность и широкий список языков, а README также перечисляет русский. Модель распространяется под лицензией MIT. Это текстовая модель эмбеддингов: она принимает текст и выдаёт векторы, а качество зависит от формулировки инструкции и используемого сценария; результаты могут немного различаться в зависимости от версий Transformers и PyTorch.
harrier-oss-v1-27b — разработанная Microsoft многоязычная модель для получения плотных текстовых эмбеддингов. Она использует декодерную архитектуру Gemma3TextModel с last-token pooling и L2-нормализацией; в метаданных указано 28,3 млрд параметров, а README для варианта 27B приводит размерность эмбеддинга 5376 и максимум 32 768 токенов. Метаданные указывают нативный контекст 131 072 токена. Модель предназначена для семантического поиска и извлечения документов, кластеризации, оценки сходства предложений, классификации, поиска параллельных текстов и ранжирования. По README, Harrier OSS v1 достигла результата 74,3 на Multilingual MTEB v2 для варианта 27B. Для запросов рекомендуется добавлять короткую инструкцию с описанием задачи; отсутствие инструкции может снизить качество. Метаданные подтверждают многоязычность и широкий список языков, а README также перечисляет русский. Модель распространяется под лицензией MIT. Это текстовая модель эмбеддингов: она принимает текст и выдаёт векторы, а качество зависит от формулировки инструкции и используемого сценария; результаты могут немного различаться в зависимости от версий Transformers и PyTorch.