II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейFremyCompany/stsb_ossts_roberta-large-nl-oscar23 — модель Sentence Transformers на базе RoBERTa, разработанная FremyCompany. Она преобразует предложения и абзацы в плотные векторы размерности 256 для семантического поиска, кластеризации и сравнения текстов. Модель обучалась с CosineSimilarityLoss; размер составляет 453,9 млн параметров, а максимальный контекст — 514 токенов. Доступны веса PyTorch и возможность использовать модель через Sentence Transformers. Подходит для построения эмбеддингов и поиска текстов по смыслу. Язык, на котором модель обучалась или для которого она предназначена, в предоставленных данных не установлен. Лицензия в предоставленных данных не указана.
Hoax0930/tf_paraphrase-multilingual-mpnet-base-v2 — модель Sentence-Transformers на архитектуре XLM-RoBERTa, создающая плотные векторы размерностью 768 для предложений и абзацев. В репозитории указано 305,2 млн параметров и контекст до 514 токенов. Модель предназначена для построения эмбеддингов, семантического поиска и кластеризации текстов. Её можно применять для поиска похожих фрагментов и сравнения семантической близости предложений; README описывает обучение с CosineSimilarityLoss. Метаданные указывают формат PyTorch и возможность извлечения эмбеддингов. Карточка не сообщает конкретный перечень поддерживаемых языков, поэтому многоязычность из названия модели не подтверждена. Лицензия в предоставленных данных отсутствует. Результаты зависят от языка и предметной области; для сравнения векторов и поиска требуется подходящая метрика или индекс.
Tiel-Inspired-Coder-9B-GGUF — независимая GGUF-версия модели Ornith-1.5-9B, подготовленная автором репозитория VitreousCut с использованием методики peculiar-ragdoll. Веса не дообучались: применены пользовательская imatrix для динамической квантизации и встроенный Sharp chat template. Модель предназначена прежде всего для генерации и анализа кода, решения задач программирования и рассуждений; базовая модель имеет размер 9B параметров. Поддерживаются английский и китайский языки, основной режим работы — text generation. В каждый файл встроен Sharp template qwen3.8-froggeric-v22.4.1, который включает рассуждения по умолчанию, настраиваемую интенсивность рассуждений и директиву краткости. Доступны варианты квантизации от IQ4_XS до Q8_0 размером примерно от 5,0 до 9,2 ГБ. В README приведены результаты HumanEval: Pass@1 93,3% в основном запуске и 95,1% после повторного запуска части заданий с увеличенным бюджетом. Для запуска рекомендуются llama.cpp и контекст 32768 токенов. Главное ограничение — склонность к чрезмерно длительным рассуждениям: на сложных или неоднозначных задачах модель может израсходовать весь лимит токенов, не выдав код. Для большинства сценариев рекомендуется reasoning_effort: low; режимы medium и high подходят для задач, где допустимы более долгие рассуждения. Модель распространяется по лицензии MIT.
alicekwak/TN-final-multi-qa-mpnet-base-dot-v1 — модель на базе MPNet, опубликованная в формате PyTorch и предназначенная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 и подходит для семантического поиска и кластеризации. В метаданных указаны 136,7 млн параметров и контекст до 514 токенов. Модель можно применять для поиска текстов по смыслу и группировки похожих фрагментов. Для сравнения векторов используется dot product, что отражено в названии модели. Карточка описывает обучение с SoftmaxLoss, но не приводит подробностей о данных обучения или результатах оценки. Лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.
Это модель Sentence Transformers на базе архитектуры BERT, созданная для преобразования предложений и абзацев в плотные векторы размерности 384. Её можно применять для семантического поиска и кластеризации текстов, сравнивая полученные представления по близости. Модель обучалась с Triplet Loss и евклидовой метрикой расстояния. Она содержит 124,3 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате safetensors. Для использования подходят библиотека sentence-transformers или Transformers с соответствующей операцией pooling. Языки и лицензия в предоставленных сведениях не определены.
swardiantara/two-stage-cdk10-MiniLM-L12-v2 — модель на базе Sentence Transformers, разработанная пользователем swardiantara. Она преобразует предложения и абзацы в плотные векторы размерности 384 для поиска по смыслу, вычисления сходства и кластеризации. Модель обучалась с Contrastive Loss и косинусной метрикой; архитектура относится к семейству BERT, размер составляет около 40 млн параметров, максимальная длина контекста — 512 токенов. Модель принимает текст и возвращает векторные представления, пригодные для семантического поиска и группировки текстов. README не сообщает, на каких языках она обучена или оценивалась, поэтому поддержку конкретных языков нельзя подтвердить. Лицензия в предоставленных данных не указана.
amahdaouy/xlmrsim-mar_cos — мультиязычная модель Sentence Transformer, дообученная на базе sentence-transformers/stsb-xlm-r-multilingual. Она использует XLM-RoBERTa с mean pooling и преобразует предложения и абзацы в плотные векторы размерности 768; косинусное сходство подходит для сравнения текстов. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текстов. В README указана максимальная длина последовательности 128 токенов; метаданные каталога указывают нативный контекст до 514 токенов. Модель обучена на 19 755 примерах с CosineSimilarityLoss. Указанные в карточке языки примеров включают английский, французский и арабский; базовая модель мультиязычная. Доступна в формате safetensors и использует библиотеку Sentence Transformers. Лицензия в предоставленных данных не указана.
AlchemistCoder-DS-6.7B — разговорная модель для генерации кода из семейства AlchemistCoder, разработанного авторами исследования «AlchemistCoder: Harmonizing and Eliciting Code Capability by Hindsight Tuning on Multi-source Data». Это плотная авторегрессионная модель архитектуры LlamaForCausalLM с 6,6 млрд параметров и контекстом до 16 384 токенов; она предназначена для генерации кода и выполнения инструкций, связанных с кодом. Модель дообучена на разнотипных источниках данных объёмом 200 млн токенов. В обучении использовались специальные подсказки для согласования стилей и качества данных, а также задания на понимание кода, развитие инструкций, фильтрацию данных и ревью кода. Авторы сообщают о результатах на тестах генерации кода и общих способностей; эти заявления приведены в README и сами по себе не гарантируют качество на конкретных задачах. Модель распространяется в формате PyTorch по лицензии Apache-2.0. README не уточняет базовую модель, поддерживаемые языки программирования и языки естественного общения.
mlx-community/all-MiniLM-L6-v2-bf16 — компактная модель для получения векторных представлений предложений, созданная сообществом mlx-community путём конвертации sentence-transformers/all-MiniLM-L6-v2 в формат MLX. Модель основана на архитектуре MiniLM и содержит 25,9 млн параметров. Она предназначена для оценки семантического сходства текстов, поиска похожих предложений и построения систем семантического поиска, кластеризации и retrieval-компонентов. Модель принимает англоязычные тексты и возвращает нормализованные embeddings, между которыми можно вычислять сходство через скалярное произведение. Поддерживается контекст длиной до 512 токенов и использование через библиотеку sentence-transformers и инструменты MLX. Сильные стороны модели — небольшой размер, специализированность на sentence embeddings и удобство применения на устройствах и в окружениях, совместимых с MLX. Модель не предназначена для генерации текста, плохо подходит для текстов за пределами английского языка, а входы длиннее 512 токенов требуют усечения или предварительной обработки. Лицензия — Apache-2.0.
KhaledReda/all-MiniLM-L6-v59-pair_score — англоязычная модель Sentence Transformer, дообученная на парах текстов с оценками сходства. Она кодирует предложения и абзацы в плотные векторы размерности 384; косинусное сходство между векторами можно использовать для оценки семантической близости. Архитектура основана на BERT: all-MiniLM-L6-v2 с mean pooling и нормализацией. В метаданных указано ограничение контекста 512 токенов, а в README — максимальная длина последовательности 256 токенов. Модель предназначена для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации текстов. Обучение проводилось с CoSENTLoss на датасете pairs_with_scores_v47. Она принимает текст и выдаёт векторы, которые можно сравнивать; это не генеративная модель. Лицензия — Apache-2.0. По карточке модель рассчитана на английский язык; качество на других языках не подтверждено.
AhmetAytar разработал модель на базе sentence-transformers и архитектуры MPNet для преобразования предложений и абзацев в плотные векторы размерности 768. Модель насчитывает 136,7 млн параметров, принимает текст и формирует эмбеддинги; длина контекста составляет 514 токенов. Модель предназначена для семантического поиска и кластеризации текстов. Она обучалась с помощью MultipleNegativesRankingLoss с косинусной мерой сходства, что ориентирует эмбеддинги на сопоставление семантически близких текстов. Лицензия в предоставленных данных не указана.
Arabic-base-all-nli-stsb-quora — модель Sentence Transformer от Omartificial-Intelligence-Space, дообученная на базе google-bert/bert-base-multilingual-cased. Она кодирует предложения и абзацы на арабском языке в плотные векторы размерности 768; сходство векторов можно оценивать косинусной мерой. Максимальная длина входа — 512 токенов. Модель предназначена для поиска семантически близких текстов и решения задач сравнения предложений. Её можно применять для семантического поиска, поиска перефразировок и дубликатов, кластеризации и классификации текста. В карточке указаны данные Arabic-stsb и Arabic-Quora-Duplicates, а README также перечисляет наборы all-nli и stsb. Это текстовый энкодер на архитектуре BERT с усреднением токенных представлений. Она выдаёт эмбеддинги, а не готовые ответы на вопросы или сгенерированный текст. Лицензия в предоставленных данных не указана.
Athenea-4B-Coding — дообученная Aquiles-ai текстовая модель семейства Qwen3, предназначенная для рассуждений о коде, отладки, решения задач и понимания программ. Она использует плотную архитектуру Qwen3ForCausalLM, содержит 3,7 млрд параметров и рассчитана на контекст до 262 144 токенов. Модель обучена на наборе Aquiles-ai/Athenea-Coding-100k с задачами программирования, цепочками рассуждений и пояснениями; заявлена поддержка нескольких языков программирования и диалогового режима. Модель подходит для пошагового разбора алгоритмов, дополнения кода, поиска ошибок и объяснения программ. Она основана на версии Qwen3 с уменьшенной склонностью к отказам, поэтому может генерировать неограниченный по тематике контент; пользователь отвечает за применение результатов. В карточке модель обозначена как исследовательская и экспериментальная. Лицензия — Apache-2.0.
Maaz2002/ats-finetuned-model — текстовая модель Sentence Transformers, дообученная на базе sentence-transformers/all-mpnet-base-v2. MPNet-кодировщик с усредняющим pooling и нормализацией преобразует предложения и абзацы в плотные векторы размерности 768; для сравнения используется косинусное сходство. Модель рассчитана на семантический поиск и оценку сходства текстов, а также может применяться для извлечения признаков и retrieval-сценариев. Модель принимает только текст. README указывает максимальную длину последовательности 384 токена, а метаданные каталога — контекст до 514 токенов. На наборе ats-val указаны Pearson 0,8525 и Spearman 0,7721 для косинусного сходства; эти результаты относятся к конкретной оценке и не гарантируют качество на других данных. В метаданных указаны 136,7 млн параметров и формат safetensors. Сведения о лицензии в предоставленных источниках отсутствуют.
MaziyarPanahi/bagel-dpo-7b-v0.1-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на основе Mistral-7B-Instruct-v0.1 и jondurbin/bagel-dpo-7b-v0.1. Веса объединены методом SLERP; архитектура — плотная авторегрессионная MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста в ответ на инструкции и ведения диалогов. Обучающие данные включают наборы для вопросов и ответов, рассуждений, математики, кода и диалогов, поэтому модель подходит для широкого спектра текстовых запросов. Указана лицензия Apache-2.0.
IR-Cocktail/bert-base-uncased-mean-v3-msmarco — модель Sentence-Transformers на архитектуре BERT, обученная на данных MS MARCO. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Обучение с MultipleNegativesRankingLoss и косинусной мерой сходства ориентировано на сопоставление текстовых запросов и релевантных фрагментов. Модель содержит 136,7 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Её можно применять для построения векторного поиска и группировки похожих текстов; для использования доступны Sentence-Transformers и Transformers. Карточка не сообщает лицензию и подробную оценку качества.
Это англоязычная модель Sentence Transformer на базе BERT-base-uncased, разработанная tomaarsen и дообученная на наборах all-nli и sts. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой близости по косинусному сходству, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Модель использует архитектуру BERT с усреднением токенных представлений; максимальная длина входа — 512 токенов. Она подходит для построения эмбеддингов и поиска похожих текстов на английском языке. Это не генеративная модель: она возвращает векторные представления, а качество зависит от предметной области и последующей системы поиска или классификации. Лицензия в предоставленных данных не указана.
Это англоязычная модель Sentence Transformer, созданная sobamchan дообучением google-bert/bert-base-uncased на наборе all-nli. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения смысловой близости с помощью косинусного сходства. Модель построена на архитектуре BERT с усреднением токенных представлений; максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации текстов, классификации на основе эмбеддингов и оценки сходства предложений. В README приведён результат на sts-dev: Spearman correlation 0,8025. Модель принимает текст и выдаёт векторы; карточка указывает английский язык. Лицензия в предоставленных данных не указана.
abhimazu/bge-base-en-v1.5-fin — дообученная модель Sentence Transformers на базе BAAI/bge-base-en-v1.5, созданная автором репозитория на наборе marvelousjaguar_embedding. Это плотная BERT-модель с 136,7 млн параметров: она преобразует предложения и абзацы в нормализованные векторы размерности 768 для сравнения по косинусному сходству. Максимальная длина входа — 512 токенов; модель ориентирована на английский язык. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и извлечения признаков для классификации текста. В данных обучения 455 пар «запрос — релевантный текст», поэтому качество на других тематиках и типах запросов может отличаться; модель не генерирует текст и рассчитана на получение эмбеддингов. Лицензия в предоставленных данных не указана.
himanshu23099/bge_embedding_finetune_v2 — текстовая Sentence Transformer-модель, дообученная автором на базе BAAI/bge-small-en-v1.5. Она использует архитектуру BERT с CLS-пулингом и нормализацией и преобразует предложения и абзацы в плотные векторы размерностью 384. Модель рассчитана на семантическое сходство и поиск; близость векторов можно оценивать косинусным сходством. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. Максимальная длина входа — 512 токенов. Базовая модель англоязычная, а приведённые примеры и обучающие данные также на английском; подтверждений поддержки других языков в карточке нет. В README приведены метрики cosine_accuracy@1 = 0,358, @5 = 0,7092 и @10 = 0,7993 на наборе для поиска. Лицензия в предоставленных данных не указана, поэтому условия использования по ним определить нельзя.
mlx-community/bge-small-en-v1.5-8bit — компактная 8-битная версия модели bge-small-en-v1.5 в формате MLX для построения текстовых эмбеддингов. Модель относится к семейству sentence-transformers, основана на архитектуре BERT и содержит около 40 млн параметров; она предназначена для работы с английским языком и поддерживает контекст до 512 токенов. Модель преобразует тексты и предложения в векторные представления, пригодные для семантического поиска, сравнения похожести, классификации, кластеризации и reranking. Она может использоваться как компонент retrieval-систем и RAG-приложений, а формат MLX ориентирован на запуск в экосистеме Apple. Модель не является генеративной и не предназначена для создания ответов или продолжения текста. Распространяется по лицензии MIT. К ограничениям относятся поддержка английского языка, максимальная длина контекста 512 токенов и возможная потеря точности из-за 8-битного квантования; качество зависит от предметной области и способа использования эмбеддингов.
bge-small-en-v1.5-bf16 — англоязычная модель для создания векторных представлений предложений и текстов. Модель представлена сообществом mlx-community в формате BF16 и основана на bge-small-en-v1.5; исходная модель предназначена для задач feature extraction и sentence similarity. Модель подходит для семантического поиска, сопоставления похожих текстов, классификации, кластеризации, retrieval и reranking, а также для построения систем поиска дубликатов и оценки семантической близости. В README приведены результаты тестирования на наборах MTEB для классификации, поиска, кластеризации, переранжирования и оценки текстовой близости, включая Amazon, ArguAna, AskUbuntu, Banking77 и BIOSSES. Поддерживаемый язык — английский. Сведения о точном размере модели, архитектуре, размерности эмбеддингов и максимальной длине контекста в предоставленных данных отсутствуют. Модель ориентирована на эффективное получение эмбеддингов, однако её качество и применимость следует оценивать на данных конкретного проекта; переносимость на другие языки не подтверждена. Лицензия — MIT.
RedHatAI/bge-small-en-v1.5-quant — квантованная версия модели эмбеддингов BGE-small-en-v1.5 от Red Hat AI. Это плотный BERT-чекпойнт примерно на 40 млн параметров, представленный в формате ONNX с квантованием INT8; для ускоренного инференса README указывает на DeepSparse и DeepSparseSentenceTransformers. Модель предназначена для преобразования английских текстов в векторные представления, например для семантического поиска и поиска по сходству. Указанный размер контекста — 512 токенов. Лицензия — MIT.
teven/bi_all-mpnet-base-v2_finetuned_WebNLG2017 — модель Sentence Transformers на архитектуре MPNet, дообученная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 и подходит для семантического поиска и кластеризации; также может применяться для сравнения семантической близости текстов. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Модель полезна для поиска похожих формулировок и группировки текстов по смыслу. В README указано обучение с CosineSimilarityLoss; имя модели указывает на дообучение на WebNLG2017. Доступный формат весов — PyTorch. Лицензия в предоставленных данных не указана.
Claude Sonnet 4.5 — модель Anthropic, оптимизированная для автономных агентов и рабочих процессов программирования. В карточке она описана как наиболее продвинутая на момент выпуска модель семейства Sonnet и как модель с высокими результатами на тесте SWE-bench Verified. Каталог классифицирует модель как image-text-to-text. Доступные сведения не подтверждают детали архитектуры, размер, контекстное окно, языки, лицензию или конкретные возможности работы с изображениями, поэтому эти характеристики не приводятся.
CobrIX-1.0-Coder-Flash-33B-A13B — диалоговая языковая модель CobrIX на архитектуре Qwen 3.5 MoE, собранная на основе empero-ai/Qwythos-9B-v2 и пяти дообученных экспертов Qwen 3.5. По README, в модели 33 млрд параметров, из которых активно 13 млрд на токен; метаданные указывают 7,2 млрд параметров. Заявленное нативное окно контекста — 1 048 576 токенов. Модель предназначена для генерации кода и диалогов; метаданные подтверждают задачу text-generation и возможность чата. В MoE-блоках используется маршрутизация top-2 к пяти экспертам и общий эксперт. Указана лицензия MIT. README описывает проект как ранний доступ, а размещённая модель — как экспериментальную сборку.
CodeLlama 13B Instruct — языковая модель для генерации и объяснения программного кода, разработанная Meta. В данном репозитории опубликованы её квантизированные файлы в формате GGUF, подготовленные TheBloke на основе оригинальной модели codellama/CodeLlama-13b-Instruct-hf. Модель предназначена для решения задач программирования по текстовому описанию, включая написание кода с учетом ограничений и примеров тестов. Она относится к семейству Llama, имеет размер 13 млрд параметров и работает в режиме text-generation. Указана модальность работы с текстом и кодом; конкретные языки программирования и максимальная длина контекста в README не перечислены. Для запросов рекомендуется шаблон CodeLlama с инструкцией в формате [INST]...[/INST]. Формат GGUF обеспечивает совместимость с llama.cpp и рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и другие. Доступны варианты квантизации от 2 до 8 бит для запуска с использованием CPU и GPU, что позволяет выбирать баланс между требованиями к памяти, скоростью и качеством. Ограничениями являются возможная потеря качества из-за квантизации и специализация прежде всего на задачах, связанных с кодом; сведения о результатах тестирования и производительности отсутствуют. Лицензия указана как Llama 2.
CodeLlama 34B Instruct — языковая модель для генерации и объяснения программного кода, разработанная Meta. Представлена в репозитории TheBloke в формате GGUF как квантизированная версия исходной модели codellama/CodeLlama-34b-instruct-hf. Модель предназначена для решения задач программирования по текстовому описанию, создания кода с учетом ограничений и тестовых примеров, а также для локального использования через совместимые приложения и библиотеки. Модель построена на архитектуре Llama и содержит 34 миллиарда параметров. Она работает с текстовой модальностью и ориентирована на код; конкретный набор поддерживаемых языков программирования и размер контекста в README не указаны. Формат GGUF поддерживает метаданные и специальные токены, а доступные варианты используют квантизацию от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством генерации. Сильными сторонами являются специализация на программировании, возможность запуска на CPU и GPU, а также совместимость с llama.cpp, text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и другими инструментами. К ограничениям относятся потенциальная потеря качества из-за квантизации, высокие требования к ресурсам для 34-миллиардной модели и отсутствие в предоставленных данных подробных оценок качества, контекстного окна и перечня языков. Указана лицензия llama2; за квантизацию и публикацию GGUF-версии отвечает TheBloke.
nthakur/contriever-base-msmarco — порт модели Contriever MSMARCO в формат Sentence-Transformers. Модель на архитектуре BERT содержит 136,7 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 768; для корректного получения векторов в Transformers требуется подходящая операция pooling над контекстными представлениями токенов. Модель предназначена для семантического поиска и кластеризации текстов, а также для сравнения смысловой близости предложений. Принимает текст и выдаёт эмбеддинги; максимальная длина контекста — 512 токенов. Репозиторий содержит веса PyTorch. README ссылается на исходную модель Contriever, однако сведения о лицензии и поддерживаемых языках в предоставленных данных отсутствуют.
Kyleiwaniec/COS_TAPT_n_RoBERTa-sts-e3_OnlineContrastiveLoss_2023-10-16 — модель Sentence-Transformers на архитектуре RoBERTa, обученная представлять предложения и абзацы в виде плотных векторов размерности 1024. Её можно применять для поиска семантически близких текстов, кластеризации и сравнения сходства предложений. Модель принимает текст и выдаёт эмбеддинги; карточка указывает контекст длиной 514 токенов. Она обучалась с OnlineContrastiveLoss и распространяется в формате PyTorch. Доступна для использования через Sentence-Transformers или Transformers с подходящей операцией pooling. Сведения о лицензии и целевых языках не приведены в использованных источниках.