II.8Инженерия данных и аналитика

Модель Sentence-Transformers на архитектуре XLM-RoBERTa преобразует предложения и абзацы в плотные векторы размерностью 768. Её можно применять для семантического поиска, сравнения сходства текстов и кластеризации. В метаданных указаны 305,2 млн параметров и контекст длиной 514 токенов; для получения эмбеддингов модель использует PyTorch и совместима с Sentence-Transformers. Модель обучалась с функцией потерь CosineSimilarityLoss. Архитектура XLM-RoBERTa предполагает многоязычную обработку текста, однако README и метаданные не уточняют поддерживаемые языки этой конкретной модели. Лицензия в предоставленных данных не указана.

Reasoner-Coder-7B-Merge — объединённая языковая модель, созданная с помощью mergekit методом DARE TIES. В основе лежит Qwen/Qwen2.5-Coder-7B-Instruct, объединённая с open-thoughts/OpenThinker3-7B; модель имеет архитектуру Qwen2 с плотной сетью и 7,1 млрд параметров. Репозиторий содержит веса Safetensors, а для работы предусмотрена библиотека Transformers. Модель предназначена для генерации текста в диалоговом формате, в том числе для задач программирования и рассуждений. Она принимает текст и генерирует текст; заявленный контекст — 32 768 токенов. Токенизатор и шаблон ChatML взяты от Qwen2.5-Coder-7B-Instruct. Метаданные указывают лицензию?

RexBERT-large-embed-pf-v0.2 — англоязычная модель эмбеддингов на базе Sentence Transformers, разработанная дообучением thebajajra/RexBERT-large на корпусе nomic-embed-unsupervised-data. Архитектура ModernBERT с mean pooling преобразует предложения и абзацы в плотные векторы размерности 1024; для оценки сходства используется косинусная мера. Модель содержит 394,7 млн параметров, принимает текстовые последовательности длиной до 7999 токенов по метаданным Hugging Face. Модель предназначена для семантического поиска, сравнения смысловой близости текстов, поиска перефразирований, кластеризации и классификации текста. Обучающие примеры включали пары запросов и документов; язык модели — английский. Репозиторий содержит веса в формате safetensors и использует библиотеку sentence-transformers. Лицензия в предоставленных данных не указана.

manuel-couto-pintos/roberta_erisk_simcse — модель Sentence Transformer, дообученная автором на базе manuel-couto-pintos/roberta_erisk для получения векторных представлений предложений и абзацев. В основе лежит RoBERTa с 151,8 млн параметров; среднее объединение токенных представлений формирует плотный вектор размерности 768. Для оценки сходства используется косинусная близость, а максимальная длина входа составляет 512 токенов. Модель предназначена для сравнения смыслового сходства текстов, семантического поиска, поиска перефразировок, кластеризации и извлечения признаков для классификации текста. Её можно применять для поиска похожих предложений или группировки текстов по смыслу. Модель принимает текст и выдаёт векторы; она не генерирует текстовые ответы. Для содержательных результатов качество зависит от соответствия входных текстов данным обучения и выбранного способа использования векторов. Лицензия в предоставленных данных не указана.

Replete-Coder-Llama3-8B — модель общего назначения с дообучением на программировании, созданная Rombodawg на архитектуре Llama 3. Она содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов; модель принимает текстовые инструкции и генерирует текст, включая код. По описанию разработчика, 75% обучающих данных составляли инструкции по программированию, а 25% — инструкции общего назначения; обучение охватывало более 100 языков программирования и включало задачи перевода кода, математики, работы с уязвимостями и вызова функций. Модель предназначена для написания и преобразования кода, помощи в программировании, а также ответов на общие запросы. В метаданных указаны архитектура LlamaForCausalLM, формат safetensors и поддержка диалогового режима. README характеризует обучающие данные как нецензурированные, но не приводит отдельную оценку безопасности или качества. Разработчик не гарантирует производительность при запросах длиннее 8192 токенов. Лицензия в метаданных обозначена как other, без уточнения её условий.

ru-en-RoSBERTa — модель для построения текстовых эмбеддингов, разработанная ai-forever на основе ruRoberta-large. Она дообучена на примерно 4 млн пар данных на русском и английском языках, включая синтетические, размеченные и неразмеченные примеры. Архитектура — RoBERTa с 503,5 млн параметров; модель принимает текст и выдаёт векторные представления. Для получения эмбеддингов рекомендуется CLS pooling, а выбор префикса и pooling зависит от задачи. Модель предназначена для поиска по смыслу, сравнения предложений и других задач, где нужно оценивать близость текстов. Заявлена поддержка русского и английского, однако качество на английском языке неизвестно. Максимальная длина входного текста — 512 токенов. Модель распространяется по лицензии MIT.

ricardo-filho/sbertimbau-large-allnli-mnrl — модель Sentence-Transformers на архитектуре BERT, созданная для получения плотных векторных представлений предложений и абзацев. Она кодирует текст в векторы размерности 1024 и подходит для семантического поиска, сравнения сходства и кластеризации текстов. Модель обучалась с функцией потерь MultipleNegativesRankingLoss и косинусной мерой сходства. Контекст ограничен 512 токенами. В репозитории представлены веса PyTorch; для использования подходят Sentence-Transformers или Transformers с соответствующей операцией pooling. Лицензия в предоставленных данных не указана.

S-BioBert-snli-multinli-stsb — модель Sentence-Transformers на архитектуре BERT, представленная пользователем pritamdeka. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысла и поиска семантически близких текстов. Модель подходит для семантического поиска, кластеризации и вычисления сходства между текстами. Модель содержит 135,5 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Её обучали с функцией потерь CosineSimilarityLoss; название и карточка указывают на обучение с использованием SNLI, MultiNLI и STS-B. Лицензия в предоставленных данных не указана.

mehularora/scrabble-embed-v1 — модель Sentence Transformers, дообученная автором на базе sentence-transformers/all-MiniLM-L6-v2 на наборе данных CSV. Энкодер на архитектуре BERT преобразует предложения и абзацы в плотные векторы размерностью 384; для сравнения векторов используется косинусное сходство. В метаданных указаны 25,9 млн параметров и контекст до 512 токенов, а README описывает максимальную длину последовательности 256 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов. Карточка не уточняет языковой охват, поэтому английский язык базовой модели не позволяет уверенно утверждать, что дообученная версия предназначена только для английского. Репозиторий содержит веса Safetensors и использует библиотеку sentence-transformers. Сведения о лицензии в предоставленных данных отсутствуют.

Это Sentence Transformer на базе MPNet, дообученный сопоставлять предложения и абзацы по смыслу. Модель разработана для построения плотных векторов размерности 768; сходство между ними можно оценивать косинусной мерой. В репозитории используются архитектура MPNetModel, усреднение токенных представлений и нормализация векторов; размер модели — 136,7 млн параметров. Модель подходит для семантического поиска, поиска перефразировок, кластеризации, классификации текста и оценки семантического сходства. Обучающий набор содержит 307 331 пару текстов; примеры связывают фактические сообщения с целями устойчивого развития ООН, в том числе с ЦУР 4 об образовании. README указывает максимальную длину последовательности 384 токена, тогда как метаданные каталога указывают контекст 514 токенов; практический лимит из карточки модели — 384 токена. Языки обучения и поддерживаемые языки явно не перечислены. Лицензия в предоставленных данных не указана.

ys7yoo/sentence-roberta-large-klue-sts — модель Sentence-Transformers на архитектуре RoBERTa, предназначенная для преобразования предложений и абзацев в плотные векторы размерности 1024. Она обучалась с функцией CosineSimilarityLoss и подходит для оценки семантической близости текстов, семантического поиска и кластеризации. Размер модели составляет 435,4 млн параметров, контекст — до 514 токенов; доступны веса PyTorch. Модель принимает текст и выдаёт векторные представления, которые можно сравнивать по сходству или использовать в поисковых и кластеризационных системах. Карточка не сообщает о специализированных предметных областях или целевых языках, поэтому её следует рассматривать как модель общего назначения, не приписывая ей конкретную языковую специализацию. Лицензия в предоставленных данных не указана.

singularityretrieverv2 — модель на основе BERT, опубликованная пользователем prodm93. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Модель подходит для построения поисковых систем по смыслу и группировки похожих текстов. Для использования через Transformers требуется применить корректную операцию pooling к контекстным представлениям токенов; доступна также интеграция с Sentence-Transformers. Карточка не сообщает языки обучения и условия лицензии, поэтому языковую специализацию и лицензионные ограничения определить нельзя.

ciCic/snowflake-arctic-embed-l-sts-2d-mrl — текстовая модель эмбеддингов на базе Snowflake Arctic Embed Large, дообученная с использованием Matryoshka Representation Learning и функции потерь CoSENT. Она преобразует предложения и абзацы в плотные векторы размерностью 1024, 768, 512, 256, 128 или 64, что позволяет выбирать компромисс между размером вектора и качеством поиска. Модель предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Её можно использовать для поиска документов по запросам и группировки похожих предложений. Архитектура основана на BERT; модель содержит 433,9 млн параметров и принимает текст длиной до 512 токенов. Лицензия в доступных данных не указана.

cnmoro/snowflake-arctic-embed-m-v2.0-cpu — модифицированная версия Snowflake Arctic Embed M v2.0, подготовленная для работы на CPU. Это плотная модель семейства GTE с 305,3 млн параметров, предназначенная для получения эмбеддингов текстов и оценки сходства между предложениями. Её можно применять для поиска по смыслу, сравнения текстовых фрагментов и построения retrieval-систем; контекст составляет до 8192 токенов. Модель работает с текстом и выдаёт векторные представления, поддерживает множество языков, включая английский, арабский, немецкий, французский, японский и хинди. В README указано использование через Sentence Transformers на CPU; из версии удалена зависимость xformers. Распространяется по лицензии Apache-2.0. README рекомендует загрузку с trust_remote_code=True.

Карточка модели Hanan-Alnakhal/solar-rag-embedding-model на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

Это объединённая авторами MaziyarPanahi языковая модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и uukuguy/speechless-mistral-six-in-one-7b-orth-1.0. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и диалоговые запросы, включая задачи с кодом. Модель принимает текст и генерирует текст. Заявленная длина контекста — 32 768 токенов; основной естественный язык карточки — английский. В репозитории указаны веса Safetensors и лицензия Apache-2.0. README не приводит отдельных оценок качества или подробных ограничений применимости.

copenlu/spiced — модель на базе MPNet, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения семантической близости текстов, семантического поиска и кластеризации. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Модель обучалась с функцией CosineSimilarityLoss. Её можно применять для получения текстовых эмбеддингов, поиска похожих фрагментов и группировки семантически близких предложений. Карточка не сообщает о специализированной предметной области или языковой специализации. Лицензия в предоставленных данных не указана.

Stable Code Instruct 3B — авторегрессионная языковая модель на основе декодерной архитектуры Transformer, разработанная Stability AI и дообученная на базе stable-code-3b. Модель содержит около 2,7 млрд параметров и оптимизирована для работы с английским языком, программным кодом и инструкциями. Модель предназначена для диалоговых задач в software engineering, генерации и объяснения кода, решения задач программирования, а также генерации SQL и общения по вопросам, связанным с базами данных. Она поддерживает сценарии текстового ввода и вывода, включая работу с несколькими языками программирования, среди которых Python, C++, Java, JavaScript, PHP и Rust. Дообучение выполнялось на общедоступных и синтетических наборах данных с применением Direct Preference Optimization (DPO), что ориентировано на более эффективное следование инструкциям. К сильным сторонам относятся компактный размер для локального развертывания и заявленная высокая производительность среди моделей сопоставимого размера на тестах MultiPL-E и кодовой части MT-Bench. В README приведены результаты pass@1 для разных языков, однако они не были независимо подтверждены. Модель ограничена английским языком и текстовой модальностью; качество сгенерированного кода требует проверки и тестирования, а сравнительные результаты зависят от методики оценки. Модель распространяется по StabilityAI Community License; для коммерческого использования необходимо обратиться к условиям коммерческой лицензии Stability AI.

bijaygurung/stella_en_400M_v5 — англоязычная модель эмбеддингов на основе Alibaba-NLP/gte-large-en-v1.5 и Alibaba-NLP/gte-Qwen2-1.5B-instruct. Она предназначена для поиска релевантных фрагментов по запросу, сравнения семантической близости предложений и извлечения векторных представлений текста; для задач поиска используются инструкции формата s2p, для сравнения предложений — s2s. Модель содержит 433,9 млн параметров, поддерживает контекст до 8192 токенов и выдаёт эмбеддинги размерностью 512, 768, 1024, 2048, 4096, 6144 или 8192. Разработчик рекомендует ограничивать входную последовательность 512 токенами: на специализированном поиске по длинным текстам качество может снижаться. Модель распространяется под лицензией MIT; сведения о тренировочных данных и методике обучения в карточке обещано опубликовать позднее.

Step-3.5-Flash-REAP-121B-A11B — сжатая версия Step-3.5-Flash от Cerebras, созданная методом REAP (Router-weighted Expert Activation Pruning). Это разреженная причинно-языковая MoE-модель: из исходных 288 экспертов оставлено 173, а на каждом токене активируются 8; в README указано 121 млрд параметров и 11 млрд активных на токен. Каталог Hugging Face указывает 9,8 млрд параметров, поэтому размер модели по источникам расходится. Модель предназначена для диалогов, генерации кода, математических задач, рассуждений и агентных сценариев с вызовом инструментов. Заявлена длина контекста 262 144 токена. В README говорится о близкой к полной модели производительности и снижении потребления памяти примерно на 40%; для запуска автор рекомендует vLLM с поддержкой Step-3.5-Flash. Модель принимает текст и генерирует текст; в карточке указана поддержка английского языка. README сообщает лицензию Apache 2.0, тогда как метаданные Hugging Face обозначают её как other, поэтому условия лицензии следует сверить с файлами репозитория перед использованием.

Tess-2.0-Llama-3-70B — универсальная языковая модель для диалога и генерации текста, разработанная Migtissera; вычислительные ресурсы для обучения предоставила KindoAI. Это плотная autoregressive-модель семейства Llama 3 на архитектуре LlamaForCausalLM с 69,5 млрд параметров и контекстом до 8192 токенов. Она принимает текстовые инструкции и выдаёт текст, поддерживает формат диалога Llama 3. Модель дообучена на базе meta-llama/Meta-Llama-3-70B в течение двух эпох на наборе Tess-2.0, который по принципам LIMA включает около 100 тысяч высококачественных примеров по программированию и общим темам. Подходит для диалоговых помощников, ответов на вопросы, написания текстов и помощи с кодом. Карточка характеризует набор данных как мало ограничивающий следование инструкциям, поэтому модель может отвечать на нежелательные запросы. Модель может выдавать неточную или вводящую в заблуждение информацию, а также предвзятый, оскорбительный или иной неподходящий контент; ответы следует проверять. Лицензия — Llama 3 License (llama3).

Tess-2.0-Mixtral-8x22B — универсальная языковая модель серии Tess, разработанная migtissera и дообученная на базе mistral-community/Mixtral-8x22B-v0.1. Это разреженная модель класса MoE с архитектурой Mixtral; в метаданных указано 22B параметров и контекстное окно до 65 536 токенов. Репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста и выполнения инструкций в общих сценариях, включая задачи с кодом. Для диалога в карточке приведён формат с ролями SYSTEM, USER и ASSISTANT. Дообучение выполнено в течение одной эпохи на наборе Tess-2.0 примерно из 25 тысяч высококачественных примеров общего назначения и кода, с подходом, основанным на принципах LIMA. Модель описана как мало ограничивающая генерацию; разработчик предупреждает, что она может выдавать неточные или вводящие в заблуждение ответы, а также предвзятый, оскорбительный или неподходящий контент. Лицензия — Apache-2.0.

Это Sentence Transformer, дообученный автором ostoveland на базе BAAI/bge-m3 для сравнения и поиска по смыслу. Модель использует XLM-RoBERTa с пулингом и нормализацией, преобразует предложения и абзацы в плотные векторы размерности 1024; сходство оценивается косинусной мерой. Максимальная длина последовательности — 8192 токена. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текстов. В README приведены обучающие примеры на норвежском языке, в том числе запросы и описания работ; обучение включало TripletLoss, MultipleNegativesRankingLoss и CoSENTLoss. Лицензия в предоставленных сведениях не указана.

ClovenDoug/tiny_64_all-MiniLM-L6-v2 — модель Sentence Transformers на архитектуре BERT, разработанная ClovenDoug. Она преобразует предложения и абзацы в плотные векторы размерностью 64 и предназначена для семантического поиска, сравнения сходства и кластеризации текстов. Модель получена дистилляцией all-MiniLM-L6-v2 с исходным пространством векторов размерностью 384; более компактные векторы ускоряют сравнение сходства, при этом время инференса, согласно карточке, остаётся примерно таким же. Модель содержит 25,9 млн параметров, принимает текст и выдаёт векторы. Контекст ограничен 512 токенами. Доступны веса PyTorch и safetensors. Лицензия в предоставленных данных не указана.

Tri-70B-preview-SFT — исследовательская предварительная версия крупной языковой модели компании Trillion Labs. Это плотная авторегрессионная модель на архитектуре Transformer Decoder с 69,5 млрд параметров, обученная с нуля на 1,5 трлн токенов и затем прошедшая supervised fine-tuning. В архитектуре используются iRoPE, скользящее внимание с окном 4096 токенов, SwiGLU, RMSNorm и GQA; размер контекста — 32 768 токенов. Модель предназначена для генерации текста в диалогах, рассуждений по шагам, ответов на вопросы, решения математических задач и программирования. Она специально оптимизирована для английского, корейского и японского языков. Выпуск прошёл только supervised fine-tuning без обширного RLHF, поэтому модель может быть полезна для исследований и экспериментов с методами выравнивания, но ответы могут быть менее отполированными и безопасно настроенными, чем у моделей с более полной постобработкой. Модель выпущена под лицензией Apache-2.0. Заявленная дата отсечения знаний — февраль 2025 года; качество на языках, отличных от английского, корейского и японского, может быть ниже.

BaoLocTown/tuned_KaLM-embedding-multilingual-mini-instruct-v2.5_combined_v4_200k_2048_len_lr_2e-5_lasttoken — текстовая модель Sentence Transformer на архитектуре Qwen2 с 494 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерностью 896; сходство между векторами оценивается косинусной мерой. Модель подходит для семантического поиска, оценки сходства текстов, поиска перефразировок, кластеризации и классификации текста. В архитектуре используется pooling по последнему токену. README указывает максимальную длину последовательности 32 768 токенов, а метаданные каталога — нативный контекст 131 072 токена. Модель ориентирована на многоязычные текстовые эмбеддинги, но конкретные языки в предоставленных данных не перечислены. Репозиторий содержит веса в формате safetensors; лицензия в источниках не указана.

WaveCoder-Pro-6.7B — языковая модель для программирования из серии WaveCoder, разработанной авторами работы «WaveCoder: Widespread And Versatile Enhanced Instruction Tuning with Refined Data Generation». Это плотная модель семейства Llama с архитектурой LlamaForCausalLM и 6,6 млрд параметров; она предназначена для генерации кода и выполнения инструкций по задачам программирования. Контекст составляет 16 384 токена, модель работает с текстом и выдаёт текст. Обучение проводилось на синтетических данных, созданных моделями OpenAI на основе подмножества CodeSearchNet. Данные охватывают генерацию, краткое описание, перевод и исправление кода. В README приведены результаты WaveCoder-Pro-6.7B на HumanEval, MBPP, HumanEvalFix и HumanEvalExplain; численные результаты являются оценками авторов карточки. Модель доступна под лицензией MIT. При использовании следует учитывать условия OpenAI, относящиеся к синтетическим данным и их наборам.

WaveCoder Ultra 6.7B — языковая модель для программирования из серии WaveCoder, разработанной Microsoft. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров, доступная в формате PyTorch и предназначенная для генерации кода по инструкциям и диалоговых сценариев. Она рассчитана на контекст до 16 384 токенов. Модель предназначена для генерации и исправления кода, составления кратких описаний кода и перевода между языками программирования. В обучении использовались синтетические данные, созданные моделями OpenAI, на основе подмножества CodeSearchNet; в карточке также приведена оценка на HumanEval. Доступна по лицензии MIT. При использовании следует учитывать условия OpenAI для синтетических обучающих данных.

Zirel-3 — дообученная разговорная модель Daemontatox на базе cerebras/GLM-4.5-Air-REAP-82B-A12B. Она предназначена для генерации текста и кода, следования инструкциям, рассуждений, работы с агентными сценариями и вызова функций. Модель использует разреженную архитектуру Mixture-of-Experts; в README указаны 82 млрд параметров, около 12 млрд активных на проход и контекст до 128 тыс. токенов. Метаданные каталога указывают 8,5 млрд параметров, поэтому размер модели в источниках расходится. Модель рассчитана прежде всего на английский язык. Карточка указывает совместимость с Transformers и рекомендует vLLM для более быстрой генерации. Репозиторий содержит веса Safetensors. Метаданные указывают лицензию Apache-2.0, тогда как README заявляет MIT; лицензию следует уточнить по файлу лицензии репозитория.

Карточка модели avsolatorio/00-600-11-1-2-2-0-0-cls-normed-768-512_GIST_BAAI_bge-base-en-v1.5-20240221194439-best на Hugging Face совпадает с карточкой BAAI/bge-base-en-v1.5, поэтому описание составлено по ней. BAAI/bge-base-en-v1.5 — англоязычная плотная модель эмбеддингов семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует текст в векторы для поиска по смыслу и сравнения сходства предложений, в том числе в системах retrieval-augmented generation (RAG). Модель относится к архитектуре BERT и содержит 136,7 млн параметров; максимальный контекст — 512 токенов. Версия v1.5 улучшает поиск без инструкций и смягчает проблему распределения оценок сходства. Оценки сходства не следует интерпретировать по универсальному порогу: из-за способа обучения даже несходные предложения могут получать значения выше 0,5. Модель поддерживает английский язык; доступны веса PyTorch и Safetensors, а также формат ONNX. Лицензия — MIT.