II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейDans-PersonalityEngine-V1.3.0-12b — дообученная PocketDoc языковая модель на архитектуре Mistral с 12,1 млрд параметров, созданная на базе mistralai/Mistral-Nemo-Base-2407. Модель обучалась на более чем 50 специализированных датасетах и предназначена для диалогов, ролевых сценариев, совместного написания текстов, генерации кода, использования инструментов и сложных рассуждений. Версия 1.3.0 поддерживает десять языков: арабский, китайский, английский, французский, немецкий, хинди, японский, корейский, португальский и испанский. Основной язык — английский; на нём ожидается наилучшее качество. Карточка указывает контекст 32 768 токенов и возможность увеличить его до 131 072 токенов с ухудшенным извлечением информации. Для диалогов модель использует формат DanChat-2. Она распространяется под лицензией Apache-2.0.
adalbertojunior/db-msm — модель sentence-transformers на архитектуре BERT, обученная преобразовывать предложения и абзацы в плотные векторы размерности 768. Она предназначена для поиска семантически близких текстов, кластеризации и сравнения сходства предложений. Модель содержит 79,5 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт векторные представления; обучение проводилось с функцией CosineSimilarityLoss. Модель подходит для семантического поиска по коллекциям текстов, группировки похожих документов и оценки сходства формулировок. В карточке не указаны языки обучения или результаты оценки качества, поэтому применимость к конкретному языку и точность на целевых данных следует проверять отдельно. Формат весов — PyTorch; сведения о лицензии отсутствуют в предоставленных метаданных и README.
bartowski/DeepSeek-Coder-V2-Instruct-0724-GGUF — набор GGUF-квантизаций модели DeepSeek-Coder-V2-Instruct-0724, разработанной deepseek-ai и квантизированной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель относится к классу генеративных text-generation-моделей и предназначена прежде всего для работы с программным кодом и инструкциями, включая локальный запуск через llama.cpp или LM Studio. Доступны варианты квантизации от Q8_0 до IQ1_M, размером примерно от 52,68 до 250,62 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше оперативной или видеопамяти; в README рекомендуются Q6_K, Q5_K_M, Q4_K_M и IQ4_XS. Для отдельных вариантов эмбеддинги и выходные веса сохраняются в формате Q8_0, что может влиять на качество. Указаны специальный формат prompt и необходимость учитывать его при интеграции. В README не приведены точные сведения об архитектуре исходной модели, числе параметров, максимальном контексте, поддерживаемых языках и мультимодальности. Модель распространяется по лицензии deepseek-license; подробные условия находятся в файле LICENSE.
DNA 3.0-397B-A17B — дообученная Dnotitia мультимодальная модель Mixture-of-Experts на базе Qwen/Qwen3.5-397B-A17B. Она предназначена для диалогов и рассуждений, агентного программирования, работы с инструментами, анализа изображений и видео, а также сценариев, связанных с корпоративными знаниями и продуктами Dnotitia. Архитектура сочетает разреженные MoE-слои с линейным вниманием Gated DeltaNet; всего в модели 397 млрд параметров, активны 17 млрд. Контекст составляет 262 144 токена, с расширением примерно до 1 010 000 через YaRN. Модель заявляет поддержку 201 языка и диалекта, с особым вниманием к корейскому языку и корпоративным сценариям. Дообучение включает корпоративную персону Dnotitia, более широкое следование запросам с меньшим числом отказов и сохранение цепочек рассуждений в многошаговом диалоге. Поддерживаются режим рассуждений и интерфейс вызова инструментов; для развёртывания доступны Transformers и движки vLLM, SGLang и KTransformers. Лицензия — Apache-2.0. Для обслуживания модели такого размера рекомендуется мног GPU-серверная инфраструктура. Модель может давать ответы с корпоративным уклоном при обсуждении Dnotitia, реже отказывается на чувствительные запросы и наследует ограничения базовой модели, включая возможные предвзятость и языковые пробелы. Возможны галлюцинации, особенно на узкоспециальные, актуальные и требующие высокой числовой точности темы; для ответственных решений необходима проверка человеком.
Dolphin 2.8 Mistral 7b v0.2 — языковая модель общего назначения из семейства Dolphin, разработанная Cognitive Computations при дообучении Eric Hartford и Cognitive Computations. Эта версия распространяется в формате GGUF; квантизацию выполнил bartowski на основе llama.cpp. Базовая модель — Mistral-7B-v0.2, размер — около 7 млрд параметров. Модель предназначена для генерации текста, диалогов, ответов на вопросы, рассуждений и программирования. В обучении использовались разговорные, логические и кодовые данные, включая наборы Dolphin, Dolphin Coder, Samantha, Airoboros, OpenHermes и Code-Feedback. Указан английский язык. Модель работает только с текстом и рассчитана на локальный запуск, в том числе через LM Studio; для неё рекомендуется шаблон запросов ChatML и системная инструкция «You are Dolphin, a helpful AI assistant». Сильными сторонами являются универсальность, поддержка повседневных ассистентских сценариев и наличие данных для задач программирования. В README приведён результат HumanEval pass@1 0,469, однако он помечен как непроверенный. Размер контекста и другие подробные характеристики архитектуры не указаны, поэтому возможности модели могут зависеть от используемого варианта GGUF и настроек запуска. Модель распространяется по лицензии Apache 2.0.
DataSoul/DwQ-R1-32B-v0.1 — слитая модель генерации текста, созданная с помощью mergekit методом Linear из huihui-ai/DeepSeek-R1-Distill-Qwen-32B-abliterated и huihui-ai/QwQ-32B-Coder-Fusion-9010. В конфигурации слияния веса моделей составляют 0,9 и 0,1 соответственно; архитектура — плотная Qwen2ForCausalLM, размер — 32 млрд параметров, формат весов — safetensors, библиотека — Transformers. Модель предназначена для диалоговой генерации текста и может применяться для рассуждений и помощи с задачами программирования благодаря объединению двух исходных моделей. Она принимает текст и выдаёт текст; заявленная длина контекста — 131 072 токена. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.
E5-base-multilingual-4096 — многоязычная модель эмбеддингов на архитектуре XLM-RoBERTa, разработанная как версия Local-Sparse-Global модели intfloat/multilingual-e5-base. Она кодирует запросы и текстовые фрагменты в векторные представления для сравнения смысловой близости и ранжирования, в том числе в сценариях поиска по коллекции документов. Модель содержит 305,2 млн параметров и поддерживает контекст до 4098 токенов. Модель предназначена для многоязычных задач семантического поиска и сопоставления предложений; README приводит пример кодирования запросов и пассажей из MS-MARCO. В метаданных указана поддержка множества языков, включая английский, немецкий, французский, испанский, китайский и другие. Репозиторий содержит веса PyTorch. Лицензия в предоставленных сведениях не указана.
FuseChat-7B-Slerp — диалоговая языковая модель FuseAI, разработанная на основе исследовательской работы команды Sun Yat-sen University по объединению знаний чат-моделей. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров и контекстом до 8192 токенов. Вариант SLERP объединяет модели в пространстве параметров; в README FuseChat описана стратегия «сначала слияние знаний, затем объединение», предназначенная для интеграции сильных сторон нескольких моделей в одну. Модель рассчитана на диалог, ответы на вопросы и выполнение текстовых инструкций на английском языке, включая задачи письма, ролевого общения, рассуждений, математики, программирования, естественных наук и гуманитарных дисциплин. README сообщает среднюю оценку 8,19 на MT-Bench для FuseChat-7B-SLERP. Модель принимает текст и генерирует текст; изображения, аудио и другие модальности не заявлены. В метаданных базовой моделью указана openchat/openchat_3.5, а README описывает семейство FuseChat как результат слияния нескольких чат-моделей. Репозиторий распространяет веса в формате safetensors по лицензии Apache-2.0. Результаты бенчмарков не гарантируют качество на конкретных пользовательских задачах; модель может ошибаться, а заявленная поддержка языков ограничена английским.
Gemini 3.8 Flash — модель Google из семейства Gemini Flash. В карточке указаны улучшения по сравнению с Gemini 3.7 Flash в задачах разработки программного обеспечения, агентных сценариях и многошаговых рассуждениях. Метаданные каталога классифицируют модель как image-text-to-text. Имеющихся сведений недостаточно, чтобы описать её размер, контекст, языковую поддержку, условия лицензии или ограничения; эти характеристики здесь не предполагаются.
Карточка модели Iambackup/gemma-4-E4B-it на Hugging Face совпадает с карточкой AtharvOG/Atharvs_Model, поэтому описание составлено по ней. Atharvs_Model — дообученная мультимодальная модель на базе Google Gemma 4 E4B, опубликованная под лицензией Apache 2.0. Она использует архитектуру Gemma4ForConditionalGeneration и формат safetensors, принимает текст и изображения и формирует текстовые ответы. Семейство Gemma 4 поддерживает контекст до 128 тысяч токенов для малых моделей, включая E4B, и многоязычную работу; карточка этой конкретной модели не уточняет языки дообучения. Модель подходит для диалога, генерации и суммаризации текста, программирования, рассуждений, а также анализа изображений и документов, включая OCR. В README Gemma 4 также заявлены видеопонимание и аудиозадачи для E2B и E4B, однако метаданные конкретного репозитория не подтверждают эти возможности отдельно. Возможности исходной модели не обязательно полностью сохранены или улучшены после дообучения; перед использованием ответы следует проверять.
RadicalNotionAI/GLM-4.7-heretic — текстовая разговорная модель на архитектуре GLM-4 MoE с 23,4 млрд параметров. Это производная GLM-4.7 от zai-org, созданная методом abliteration: в карточке приведены параметры этой обработки и сравнение отказов с исходной моделью. Модель предназначена для диалога, программирования, рассуждений, работы с инструментами и агентных сценариев; метаданные указывают интерфейс вызова инструментов. Поддерживаются английский и китайский языки, контекст составляет 202 752 токена. Модель распространяется в формате Safetensors по лицензии MIT. В README для этой версии сообщается о 0 отказах из 100 проверок против 99 из 100 у исходной GLM-4.7. Это указывает на существенно ослабленное поведение отказа, но не подтверждает общую точность или безопасность ответов. Доступны инструкции по локальному запуску через Transformers, vLLM и SGLang; для агентных задач README рекомендует режим Preserved Thinking.
GLM-4-9B — плотная языковая модель с архитектурой ChatGLM, разработанная Zhipu AI и выпущенная как открытая базовая версия семейства GLM-4. Модель содержит 10,7 млрд параметров и принимает текст, формируя текстовые ответы; базовая версия поддерживает контекст до 8 192 токенов. Модель предназначена для генерации текста и решения задач на понимание языка, знания, математику, рассуждение и программирование. Семейство GLM-4 поддерживает 26 языков, включая японский, корейский и немецкий; карточка также указывает китайский и английский. Упомянутые в README возможности многоходового диалога, вызова инструментов и контекста до 128K относятся к версии GLM-4-9B-Chat, а не к этому базовому чекпойнту. Весы распространяются в формате safetensors. Лицензия указана как other; README отсылает к LICENSE репозитория для условий использования. Заявленные в карточке сравнительные результаты не гарантируют качество на конкретных данных и сценариях.
Granite-4.0-Micro-Base — базовая языковая модель IBM Granite Team для генерации текста и кода. Это декодерный трансформер с плотной архитектурой GraniteMoeHybridForCausalLM; в метаданных указано 3,4 млрд параметров и контекст до 131 072 токенов. Модель обучена с нуля на смеси открытых и проприетарных данных примерно на 15 трлн токенов. Модель предназначена для генерации текста, суммаризации, классификации, извлечения информации, ответов на вопросы и дополнения кода, включая заполнение пропусков между префиксом и суффиксом (FIM). Поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Архитектура включает GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Модель не проходила safety alignment, поэтому может генерировать предвзятые, ошибочные или проблемные ответы; для небольшой модели также отмечен риск дословного воспроизведения обучающих данных. Лицензия — Apache 2.0.
Voctree разработала эту модель Sentence Transformers дообучением microsoft/harrier-oss-v1-0.6b. Она преобразует предложения и абзацы в плотные текстовые эмбеддинги размерностью 1024 для семантического поиска и извлечения релевантных текстов. Близость векторов оценивается косинусным сходством. Модель построена на архитектуре Qwen3: трансформер формирует токенные представления, затем применяется pooling по последнему токену и нормализация. Она принимает только текст и поддерживает последовательности длиной до 32 768 токенов. В обучающем наборе из 18 851 пары есть примеры на английском и корейском; базовая модель заявлена как мультиязычная, но полный перечень поддерживаемых языков не приведён. Веса доступны в формате safetensors; лицензия в предоставленных данных не указана.
onnx-community/harrier-oss-v1-0.6b-ONNX — ONNX-версия мультиязычной модели для получения текстовых эмбеддингов, разработанной Microsoft. Модель предназначена для поиска и извлечения релевантных документов, кластеризации, оценки семантического сходства, классификации, поиска параллельных предложений и переранжирования. Она поддерживает широкий набор языков, включая русский, английский, китайский, японский, корейский, арабский, немецкий, французский и многие другие. Модель построена на decoder-only архитектуре и использует pooling по последнему непустому токену с последующей L2-нормализацией. Версия имеет около 0,6 млрд параметров, размерность эмбеддинга 1024 и поддерживает контекст до 32 768 токенов. Обучение выполнялось с использованием контрастивного обучения на крупной смеси мультиязычных наборов данных; для вариантов на 270 млн и 0,6 млрд параметров дополнительно применялась дистилляция знаний от более крупных моделей. Заявленный результат на Multilingual MTEB v2 составляет 69,0. Сильными сторонами являются широкий охват языков, большой контекст, универсальность для задач семантического поиска и сопоставления текстов, а также возможность запуска через Transformers.js, в том числе в браузере с WebGPU и квантованием. Для запросов рекомендуется добавлять однострочную инструкцию с описанием задачи, тогда как для документов инструкции не требуются; их отсутствие для запросов может снижать качество. Модель предназначена для работы с текстом и не поддерживает другие модальности. Распространяется по лицензии MIT.
Hermes-Dolphin-out — объединённая языковая модель на архитектуре Llama, созданная автором harkov000 методом SLERP из NousResearch/Hermes-3-Llama-3.1-8B и cognitivecomputations/dolphin-2.9.4-llama3.1-8b. Модель содержит около 7,5 млрд параметров, работает с текстом и имеет контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно использовать для ответов на вопросы, рассуждений, написания кода и сценариев с вызовом инструментов; эти возможности унаследованы от моделей, участвовавших в объединении. В метаданных основная задача — text-generation. Карточка не сообщает результаты оценки качества именно этого объединения. Языковая ориентация и отдельные ограничения модели не описаны; базовая Hermes 3 характеризуется как англоязычная. Модель распространяется в формате safetensors. Сведения о лицензии в предоставленных данных отсутствуют.
Huozi 3.0 — большая языковая модель, разработанная Центром социального вычисления и информационного поиска Харбинского технологического института (HIT-SCIR). Это дообученная для следования инструкциям версия Chinese-Mixtral-8x7B с архитектурой разреженной смеси экспертов Mixtral (MoE): в README указано 46,7 млрд параметров, из которых при генерации активируются около 13 млрд. Модель поддерживает контекст до 32 768 токенов и принимает текст, выдавая текст. Модель предназначена для диалогов и выполнения инструкций на китайском и английском языках. В карточке заявлены возможности рассуждать над математическими задачами, генерировать код, работать с длинными текстами и давать более безопасные ответы; поддерживаются сценарии развёртывания через Transformers, vLLM и OpenAI-совместимый API. В метаданных репозитория указано 7,2 млрд параметров, что расходится с описанием полного MoE-чекпойнта в README. Репозиторий содержит веса в формате safetensors. В README для исходного кода указана лицензия Apache 2.0; коммерческое использование модели требует регистрации и письменного разрешения правообладателя. Модель может выдавать фактически ошибочные, предвзятые или вредоносные ответы, поэтому результаты следует проверять.
jinaai/jina-embeddings-v2-base-en — англоязычная модель эмбеддингов, разработанная Jina AI. Она предназначена для преобразования текста в векторы, которые можно использовать для поиска и сравнения смысловой близости. Модель построена на архитектуре JinaBERT с двунаправленным ALiBi и содержит около 136,7 млн параметров; заявленная длина последовательности — 8192 токена. Модель обучали на коллекции Jina AI из более чем 400 млн пар предложений и сложных негативных примеров. Она рассчитана на поиск по длинным документам, семантическое сходство, ранжирование, рекомендации и RAG. Для получения эмбеддингов README рекомендует применять mean pooling; модель также может выполнять заполнение масок и задачи классификации текста согласно каталожным метаданным. Лицензия — Apache-2.0. Для загрузки весов требуется авторизация из-за gated access; при использовании через Transformers необходимо включить trust_remote_code=True. Модель предназначена для английского текста, поэтому её не следует считать многоязычной.
Josiefied-DeepSeek-R1-0528-Qwen3-8B-abliterated-v1 — разработанная Гёкденизом Гюльмезом дообученная языковая модель семейства Qwen3, созданная на основе deepseek-ai/DeepSeek-R1-0528-Qwen3-8B. Модель имеет плотную архитектуру Qwen3ForCausalLM и 7,6 млрд параметров; она предназначена для генерации текста в диалоговом и инструктивном режимах, включая использование интерфейса вызова инструментов. Заявленный контекст — до 131 072 токенов. Модель ориентирована на открытое следование инструкциям и менее ограниченную генерацию, сохраняя возможности работы с инструментами. Подходит для диалогов, ответов на вопросы, генерации кода и рассуждений; её базовая модель обучена на цепочках рассуждений и рассчитана также на математические и логические задачи. В репозитории указаны веса Safetensors, а для семейства доступны сторонние варианты GGUF и MLX. Фильтры безопасности снижены, поэтому модель может выдавать чувствительные или спорные ответы. README рекомендует использовать её ответственно и на свой риск. Лицензия в предоставленных данных не указана.
Laguna XS 2.1-NVFP4 — текстовая Mixture-of-Experts модель, разработанная poolside для агентного программирования и длительных многошаговых задач на локальном компьютере. Модель содержит 33 млрд параметров, из которых 3 млрд активируются на каждом токене, и поддерживает контекст до 262 144 токенов. Архитектура включает 40 слоёв, 256 экспертов и одного общего эксперта. В 30 слоях используется Sliding Window Attention с окном 512 токенов, а в 10 слоях — глобальное внимание; KV-кэш квантизирован в FP8. Модель работает в режиме text-to-text, поддерживает встроенное рассуждение с чередованием этапов мышления и вызовов инструментов, а также включение и отключение thinking для отдельных запросов. К сильным сторонам относятся сниженные требования к памяти и возможность локального запуска; заявлена работа на Mac с 36 ГБ оперативной памяти. Модель ориентирована прежде всего на генерацию и исправление кода, использование инструментов и агентные сценарии, однако README не содержит полного перечня поддерживаемых языков и не описывает ограничения качества за пределами приведённых бенчмарков. Вариант распространяется по лицензии OpenMDW-1.1, допускающей свободное использование и модификацию модели и связанных материалов в коммерческих и некоммерческих целях.
LFM2.5-1.2B-Thinking — текстовая модель общего назначения от Liquid AI, созданная для локального запуска на устройствах с ограниченными ресурсами. Это дообученная версия LFM2.5-1.2B-Base, основанная на гибридной архитектуре LFM2: 16 слоёв, включая блоки свёрток и GQA. В README указано 1,17 млрд параметров, а в метаданных Hugging Face — 1,5 млрд; заявленная длина контекста в README составляет 32 768 токенов, тогда как метаданные указывают 128 000 токенов. Эти значения расходятся, поэтому их следует сверить перед настройкой развёртывания. Модель предназначена для рассуждений общего назначения, агентных сценариев, извлечения данных и ответов по документам в RAG-системах. Она поддерживает вызов инструментов и рассчитана на английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Карточка описывает исходный чекпойнт в формате Safetensors и указывает поддержку Transformers и vLLM; семейство LFM2.5 также ориентировано на запуск на устройстве. README не рекомендует модель для задач, требующих обширных знаний, и программирования; дата отсечения знаний — середина 2024 года. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует проверять в карточке модели на Hugging Face.
Llama 3.1 Tulu 2 8B — языковая модель-помощник, разработанная AI2 и дообученная на базе Meta-Llama-3.1-8B. Модель с плотной архитектурой LlamaForCausalLM содержит 7,5 млрд параметров и рассчитана на контекст до 131 072 токенов. Она обучена на смеси открытых, синтетических и созданных людьми данных, включая набор инструкций и диалогов Tulu V2; основной язык — английский. Модель предназначена для диалогового общения и выполнения пользовательских инструкций: она генерирует ответы на вопросы, помогает с рассуждениями и решает разнообразные текстовые задачи. В опубликованных оценках показаны результаты по знаниям, математическим задачам, программированию, следованию инструкциям и безопасности ответов. Модель распространяется под лицензией Apache 2.0; README также указывает на включённую лицензию Meta Llama 3.1. Tulu не проходила этап RLHF для выравнивания безопасных ответов и не использует фильтрацию ответов во время работы, поэтому может выдавать проблемный контент, особенно при соответствующих запросах.
Llama TI 8B Instruct — дообученная и объединённая модель на основе Meta Llama 3.1 8B Instruct, разработанная и опубликованная ehristoforu. Она использует плотную архитектуру LlamaForCausalLM и предназначена для диалогов и генерации текста; заявленный размер — 8,03 млрд параметров, а длина контекста — до 131 072 токенов. Автор сообщает об улучшениях в математике, физике, биологии, логическом рассуждении и творческом письме. Модель также подходит для программирования и анализа длинных текстов, а интерфейс поддерживает чат и вызов инструментов. В карточке перечислены возможности на английском и работа с кодом; автор отдельно заявляет о письме на многих языках. Модель распространяется в формате Safetensors под лицензией Apache-2.0. Заявленные улучшения приведены в карточке без количественных результатов оценки, поэтому их качество на конкретных задачах следует проверять отдельно.
Карточка модели MemseekAI/membukkit-biencoder-v1 на Hugging Face совпадает с карточкой sentence-transformers/all-mpnet-base-v2, поэтому описание составлено по ней. all-mpnet-base-v2 — модель Sentence Transformers, разработанная в ходе Community Week Hugging Face. Она кодирует предложения и короткие абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения текстов и кластеризации. В основе лежит microsoft/mpnet-base, дообученная контрастивным обучением на более чем миллиарде пар предложений из нескольких наборов данных. Модель содержит 136,7 млн параметров, использует архитектуру MPNet и принимает текст. Её можно применять для семантического поиска, извлечения информации и группировки похожих фрагментов. Текст длиннее 384 токенов модели обрезается; README рекомендует использовать её как кодировщик предложений и коротких абзацев. Лицензия — Apache-2.0.
Карточка модели avsolatorio/MixEmbedFinetune-base-20240122220725-latest на Hugging Face совпадает с карточкой avsolatorio/MixEmbedFinetune-base-20240122220725-best, поэтому описание составлено по ней. avsolatorio/MixEmbedFinetune-base-20240122220725-best — модель текстовых эмбеддингов на базе BERT, представленная в карточке как gte-small. Семейство GTE разработано Alibaba DAMO Academy и обучалось на большом наборе пар текстов с оценками релевантности; конкретный репозиторий содержит дообученную модель размером около 40 млн параметров. Модель предназначена для получения векторных представлений английских текстов и их сравнения по смыслу. Её можно применять для семантического поиска, оценки сходства предложений, поиска релевантных документов и ранжирования текстов. Максимальная длина последовательности — 512 токенов; более длинный ввод обрезается. Лицензия — MIT.
Карточка модели avsolatorio/MixEmbedFinetune-base-20240122234122-best на Hugging Face совпадает с карточкой avsolatorio/MixEmbedFinetune-base-20240122220725-best, поэтому описание составлено по ней. avsolatorio/MixEmbedFinetune-base-20240122220725-best — модель текстовых эмбеддингов на базе BERT, представленная в карточке как gte-small. Семейство GTE разработано Alibaba DAMO Academy и обучалось на большом наборе пар текстов с оценками релевантности; конкретный репозиторий содержит дообученную модель размером около 40 млн параметров. Модель предназначена для получения векторных представлений английских текстов и их сравнения по смыслу. Её можно применять для семантического поиска, оценки сходства предложений, поиска релевантных документов и ранжирования текстов. Максимальная длина последовательности — 512 токенов; более длинный ввод обрезается. Лицензия — MIT.
mmBERT-Embed-32K-2D-Matryoshka — мультиязычная модель эмбеддингов на архитектуре ModernBERT, разработанная llm-semantic-router и дообученная на llm-semantic-router/mmbert-32k-yarn. Модель содержит около 307 млн параметров, принимает текст длиной до 32 768 токенов и предназначена прежде всего для поиска по смыслу, семантического сходства и retrieval-сценариев, включая мультиязычный RAG и поиск по длинным документам. В карточке заявлена поддержка более 1800 языков. Поддержка 2D Matryoshka позволяет сокращать размерность эмбеддингов или извлекать их с промежуточных слоёв, выбирая баланс между качеством, скоростью и объёмом хранения. В репозитории представлены веса Safetensors и ONNX; модель работает с Sentence Transformers. Указана лицензия Apache-2.0. Ограничения: сокращение числа слоёв заметно снижает качество, а средний результат MTEB немного ниже приведённого в карточке результата BGE-M3. Модель оптимизирована для retrieval и может требовать дообучения для других задач.
Это англоязычная Sentence Transformer-модель, созданная Vanthuan Ngo дообучением microsoft/mpnet-base на триплетах датасета AllNLI. MPNet преобразует предложения и абзацы в плотные векторы размерности 768; близость текстов можно оценивать косинусным сходством. Модель предназначена для поиска по смыслу, извлечения текстов, похожих на запрос, и сравнения предложений, в том числе в системах retrieval и RAG. Архитектура включает MPNetModel и усредняющий pooling; число параметров — 136,7 млн, максимальная длина последовательности — 512 токенов. В README приведены значения cosine accuracy 0,908 на all-nli-dev и 0,9192 на all-nli-test. Модель принимает текст и выдаёт эмбеддинги; обучалась и предназначена для английского языка. Лицензия — Apache-2.0. Результаты на AllNLI не гарантируют такое же качество на других языках и предметных областях.
Это англоязычная модель Sentence Transformer, разработанная авторами репозитория tomaarsen и дообученная на microsoft/mpnet-base на наборе gooaq-hard-negatives. Она кодирует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения смыслового сходства, семантического поиска, поиска перефразировок, классификации текста и кластеризации. Для сравнения векторов можно использовать косинусное сходство. Модель построена на архитектуре MPNet с усреднением токенных представлений; она содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. README приводит оценку cosine_accuracy@1 0,799 на gooaq-dev, но результат относится к указанному набору оценки и не гарантирует аналогичное качество на других данных. Лицензия — Apache-2.0.
Карточка модели opantama/mpnet-rag-science-embeddings на Hugging Face совпадает с карточкой sentence-transformers/all-mpnet-base-v2, поэтому описание составлено по ней. all-mpnet-base-v2 — модель Sentence Transformers, разработанная в ходе Community Week Hugging Face. Она кодирует предложения и короткие абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения текстов и кластеризации. В основе лежит microsoft/mpnet-base, дообученная контрастивным обучением на более чем миллиарде пар предложений из нескольких наборов данных. Модель содержит 136,7 млн параметров, использует архитектуру MPNet и принимает текст. Её можно применять для семантического поиска, извлечения информации и группировки похожих фрагментов. Текст длиннее 384 токенов модели обрезается; README рекомендует использовать её как кодировщик предложений и коротких абзацев. Лицензия — Apache-2.0.