/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
9 541–9 570 из 23 488
FremyCompany
stsb_ossts_roberta-large-nl-oscar23

FremyCompany/stsb_ossts_roberta-large-nl-oscar23 — модель Sentence Transformers на базе RoBERTa, разработанная FremyCompany. Она преобразует предложения и абзацы в плотные векторы размерности 256 для семантического поиска, кластеризации и сравнения текстов. Модель обучалась с CosineSimilarityLoss; размер составляет 453,9 млн параметров, а максимальный контекст — 514 токенов. Доступны веса PyTorch и возможность использовать модель через Sentence Transformers. Подходит для построения эмбеддингов и поиска текстов по смыслу. Язык, на котором модель обучалась или для которого она предназначена, в предоставленных данных не установлен. Лицензия в предоставленных данных не указана.

1162окт. 2023ctx514
textembeddinghugging-face
Hoax0930
tf_paraphrase-multilingual-mpnet-base-v2

Hoax0930/tf_paraphrase-multilingual-mpnet-base-v2 — модель Sentence-Transformers на архитектуре XLM-RoBERTa, создающая плотные векторы размерностью 768 для предложений и абзацев. В репозитории указано 305,2 млн параметров и контекст до 514 токенов. Модель предназначена для построения эмбеддингов, семантического поиска и кластеризации текстов. Её можно применять для поиска похожих фрагментов и сравнения семантической близости предложений; README описывает обучение с CosineSimilarityLoss. Метаданные указывают формат PyTorch и возможность извлечения эмбеддингов. Карточка не сообщает конкретный перечень поддерживаемых языков, поэтому многоязычность из названия модели не подтверждена. Лицензия в предоставленных данных отсутствует. Результаты зависят от языка и предметной области; для сравнения векторов и поиска требуется подходящая метрика или индекс.

1180февр. 2023ctx514
textembeddinghugging-face
VitreousCut
Tiel-Inspired-Coder-9B-GGUF

Tiel-Inspired-Coder-9B-GGUF — независимая GGUF-версия модели Ornith-1.5-9B, подготовленная автором репозитория VitreousCut с использованием методики peculiar-ragdoll. Веса не дообучались: применены пользовательская imatrix для динамической квантизации и встроенный Sharp chat template. Модель предназначена прежде всего для генерации и анализа кода, решения задач программирования и рассуждений; базовая модель имеет размер 9B параметров. Поддерживаются английский и китайский языки, основной режим работы — text generation. В каждый файл встроен Sharp template qwen3.8-froggeric-v22.4.1, который включает рассуждения по умолчанию, настраиваемую интенсивность рассуждений и директиву краткости. Доступны варианты квантизации от IQ4_XS до Q8_0 размером примерно от 5,0 до 9,2 ГБ. В README приведены результаты HumanEval: Pass@1 93,3% в основном запуске и 95,1% после повторного запуска части заданий с увеличенным бюджетом. Для запуска рекомендуются llama.cpp и контекст 32768 токенов. Главное ограничение — склонность к чрезмерно длительным рассуждениям: на сложных или неоднозначных задачах модель может израсходовать весь лимит токенов, не выдав код. Для большинства сценариев рекомендуется reasoning_effort: low; режимы medium и high подходят для задач, где допустимы более долгие рассуждения. Модель распространяется по лицензии MIT.

4443сент. 2026
textmithugging-face
alicekwak
TN-final-multi-qa-mpnet-base-dot-v1

alicekwak/TN-final-multi-qa-mpnet-base-dot-v1 — модель на базе MPNet, опубликованная в формате PyTorch и предназначенная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 и подходит для семантического поиска и кластеризации. В метаданных указаны 136,7 млн параметров и контекст до 514 токенов. Модель можно применять для поиска текстов по смыслу и группировки похожих фрагментов. Для сравнения векторов используется dot product, что отражено в названии модели. Карточка описывает обучение с SoftmaxLoss, но не приводит подробностей о данных обучения или результатах оценки. Лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

1030нояб. 2022ctx514
textembeddinghugging-face
slimaneMakh
triplet-10-tsdaecorpogplparamulti-50to369df-100k5epoch-13mars

Это модель Sentence Transformers на базе архитектуры BERT, созданная для преобразования предложений и абзацев в плотные векторы размерности 384. Её можно применять для семантического поиска и кластеризации текстов, сравнивая полученные представления по близости. Модель обучалась с Triplet Loss и евклидовой метрикой расстояния. Она содержит 124,3 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате safetensors. Для использования подходят библиотека sentence-transformers или Transformers с соответствующей операцией pooling. Языки и лицензия в предоставленных сведениях не определены.

210апр. 2024ctx512
textembeddinghugging-face
swardiantara
two-stage-cdk10-MiniLM-L12-v2

swardiantara/two-stage-cdk10-MiniLM-L12-v2 — модель на базе Sentence Transformers, разработанная пользователем swardiantara. Она преобразует предложения и абзацы в плотные векторы размерности 384 для поиска по смыслу, вычисления сходства и кластеризации. Модель обучалась с Contrastive Loss и косинусной метрикой; архитектура относится к семейству BERT, размер составляет около 40 млн параметров, максимальная длина контекста — 512 токенов. Модель принимает текст и возвращает векторные представления, пригодные для семантического поиска и группировки текстов. README не сообщает, на каких языках она обучена или оценивалась, поэтому поддержку конкретных языков нельзя подтвердить. Лицензия в предоставленных данных не указана.

1090апр. 2025ctx512
textembeddinghugging-face
amahdaouy
xlmrsim-mar_cos

amahdaouy/xlmrsim-mar_cos — мультиязычная модель Sentence Transformer, дообученная на базе sentence-transformers/stsb-xlm-r-multilingual. Она использует XLM-RoBERTa с mean pooling и преобразует предложения и абзацы в плотные векторы размерности 768; косинусное сходство подходит для сравнения текстов. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текстов. В README указана максимальная длина последовательности 128 токенов; метаданные каталога указывают нативный контекст до 514 токенов. Модель обучена на 19 755 примерах с CosineSimilarityLoss. Указанные в карточке языки примеров включают английский, французский и арабский; базовая модель мультиязычная. Доступна в формате safetensors и использует библиотеку Sentence Transformers. Лицензия в предоставленных данных не указана.

1030сент. 2024ctx514
textembeddinghugging-face
internlm
AlchemistCoder-DS-6.7B

AlchemistCoder-DS-6.7B — разговорная модель для генерации кода из семейства AlchemistCoder, разработанного авторами исследования «AlchemistCoder: Harmonizing and Eliciting Code Capability by Hindsight Tuning on Multi-source Data». Это плотная авторегрессионная модель архитектуры LlamaForCausalLM с 6,6 млрд параметров и контекстом до 16 384 токенов; она предназначена для генерации кода и выполнения инструкций, связанных с кодом. Модель дообучена на разнотипных источниках данных объёмом 200 млн токенов. В обучении использовались специальные подсказки для согласования стилей и качества данных, а также задания на понимание кода, развитие инструкций, фильтрацию данных и ревью кода. Авторы сообщают о результатах на тестах генерации кода и общих способностей; эти заявления приведены в README и сами по себе не гарантируют качество на конкретных задачах. Модель распространяется в формате PyTorch по лицензии Apache-2.0. README не уточняет базовую модель, поддерживаемые языки программирования и языки естественного общения.

25611май 2024ctx16.4K
textapache-2.0hugging-face
mlx-community
all-MiniLM-L6-v2-bf16

mlx-community/all-MiniLM-L6-v2-bf16 — компактная модель для получения векторных представлений предложений, созданная сообществом mlx-community путём конвертации sentence-transformers/all-MiniLM-L6-v2 в формат MLX. Модель основана на архитектуре MiniLM и содержит 25,9 млн параметров. Она предназначена для оценки семантического сходства текстов, поиска похожих предложений и построения систем семантического поиска, кластеризации и retrieval-компонентов. Модель принимает англоязычные тексты и возвращает нормализованные embeddings, между которыми можно вычислять сходство через скалярное произведение. Поддерживается контекст длиной до 512 токенов и использование через библиотеку sentence-transformers и инструменты MLX. Сильные стороны модели — небольшой размер, специализированность на sentence embeddings и удобство применения на устройствах и в окружениях, совместимых с MLX. Модель не предназначена для генерации текста, плохо подходит для текстов за пределами английского языка, а входы длиннее 512 токенов требуют усечения или предварительной обработки. Лицензия — Apache-2.0.

3351апр. 2025ctx512
textembeddingapache-2.0hugging-face
KhaledReda
all-MiniLM-L6-v59-pair_score

KhaledReda/all-MiniLM-L6-v59-pair_score — англоязычная модель Sentence Transformer, дообученная на парах текстов с оценками сходства. Она кодирует предложения и абзацы в плотные векторы размерности 384; косинусное сходство между векторами можно использовать для оценки семантической близости. Архитектура основана на BERT: all-MiniLM-L6-v2 с mean pooling и нормализацией. В метаданных указано ограничение контекста 512 токенов, а в README — максимальная длина последовательности 256 токенов. Модель предназначена для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации текстов. Обучение проводилось с CoSENTLoss на датасете pairs_with_scores_v47. Она принимает текст и выдаёт векторы, которые можно сравнивать; это не генеративная модель. Лицензия — Apache-2.0. По карточке модель рассчитана на английский язык; качество на других языках не подтверждено.

1230июнь 2026ctx512
textembeddingapache-2.0hugging-face
AhmetAytar
all-mpnet-base-v2-fine-tuned_17_textbook_grobid_semantic

AhmetAytar разработал модель на базе sentence-transformers и архитектуры MPNet для преобразования предложений и абзацев в плотные векторы размерности 768. Модель насчитывает 136,7 млн параметров, принимает текст и формирует эмбеддинги; длина контекста составляет 514 токенов. Модель предназначена для семантического поиска и кластеризации текстов. Она обучалась с помощью MultipleNegativesRankingLoss с косинусной мерой сходства, что ориентирует эмбеддинги на сопоставление семантически близких текстов. Лицензия в предоставленных данных не указана.

1171июнь 2024ctx514
textembeddinghugging-face
Omartificial-Intelligence-Space
Arabic-base-all-nli-stsb-quora

Arabic-base-all-nli-stsb-quora — модель Sentence Transformer от Omartificial-Intelligence-Space, дообученная на базе google-bert/bert-base-multilingual-cased. Она кодирует предложения и абзацы на арабском языке в плотные векторы размерности 768; сходство векторов можно оценивать косинусной мерой. Максимальная длина входа — 512 токенов. Модель предназначена для поиска семантически близких текстов и решения задач сравнения предложений. Её можно применять для семантического поиска, поиска перефразировок и дубликатов, кластеризации и классификации текста. В карточке указаны данные Arabic-stsb и Arabic-Quora-Duplicates, а README также перечисляет наборы all-nli и stsb. Это текстовый энкодер на архитектуре BERT с усреднением токенных представлений. Она выдаёт эмбеддинги, а не готовые ответы на вопросы или сгенерированный текст. Лицензия в предоставленных данных не указана.

1161июнь 2024ctx512
textembeddinghugging-face
Aquiles-ai
Athenea-4B-Coding

Athenea-4B-Coding — дообученная Aquiles-ai текстовая модель семейства Qwen3, предназначенная для рассуждений о коде, отладки, решения задач и понимания программ. Она использует плотную архитектуру Qwen3ForCausalLM, содержит 3,7 млрд параметров и рассчитана на контекст до 262 144 токенов. Модель обучена на наборе Aquiles-ai/Athenea-Coding-100k с задачами программирования, цепочками рассуждений и пояснениями; заявлена поддержка нескольких языков программирования и диалогового режима. Модель подходит для пошагового разбора алгоритмов, дополнения кода, поиска ошибок и объяснения программ. Она основана на версии Qwen3 с уменьшенной склонностью к отказам, поэтому может генерировать неограниченный по тематике контент; пользователь отвечает за применение результатов. В карточке модель обозначена как исследовательская и экспериментальная. Лицензия — Apache-2.0.

916нояб. 2025ctx262.1K
textapache-2.0hugging-face
Maaz2002
ats-finetuned-model

Maaz2002/ats-finetuned-model — текстовая модель Sentence Transformers, дообученная на базе sentence-transformers/all-mpnet-base-v2. MPNet-кодировщик с усредняющим pooling и нормализацией преобразует предложения и абзацы в плотные векторы размерности 768; для сравнения используется косинусное сходство. Модель рассчитана на семантический поиск и оценку сходства текстов, а также может применяться для извлечения признаков и retrieval-сценариев. Модель принимает только текст. README указывает максимальную длину последовательности 384 токена, а метаданные каталога — контекст до 514 токенов. На наборе ats-val указаны Pearson 0,8525 и Spearman 0,7721 для косинусного сходства; эти результаты относятся к конкретной оценке и не гарантируют качество на других данных. В метаданных указаны 136,7 млн параметров и формат safetensors. Сведения о лицензии в предоставленных источниках отсутствуют.

771июль 2026ctx514
textembeddinghugging-face
MaziyarPanahi
bagel-dpo-7b-v0.1-Mistral-7B-Instruct-v0.1

MaziyarPanahi/bagel-dpo-7b-v0.1-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на основе Mistral-7B-Instruct-v0.1 и jondurbin/bagel-dpo-7b-v0.1. Веса объединены методом SLERP; архитектура — плотная авторегрессионная MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста в ответ на инструкции и ведения диалогов. Обучающие данные включают наборы для вопросов и ответов, рассуждений, математики, кода и диалогов, поэтому модель подходит для широкого спектра текстовых запросов. Указана лицензия Apache-2.0.

180янв. 2024ctx32.8K
textapache-2.0hugging-face
IR-Cocktail
bert-base-uncased-mean-v3-msmarco

IR-Cocktail/bert-base-uncased-mean-v3-msmarco — модель Sentence-Transformers на архитектуре BERT, обученная на данных MS MARCO. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Обучение с MultipleNegativesRankingLoss и косинусной мерой сходства ориентировано на сопоставление текстовых запросов и релевантных фрагментов. Модель содержит 136,7 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Её можно применять для построения векторного поиска и группировки похожих текстов; для использования доступны Sentence-Transformers и Transformers. Карточка не сообщает лицензию и подробную оценку качества.

1230май 2024ctx512
textembeddinghugging-face
tomaarsen
bert-base-uncased-multi-task

Это англоязычная модель Sentence Transformer на базе BERT-base-uncased, разработанная tomaarsen и дообученная на наборах all-nli и sts. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой близости по косинусному сходству, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Модель использует архитектуру BERT с усреднением токенных представлений; максимальная длина входа — 512 токенов. Она подходит для построения эмбеддингов и поиска похожих текстов на английском языке. Это не генеративная модель: она возвращает векторные представления, а качество зависит от предметной области и последующей системы поиска или классификации. Лицензия в предоставленных данных не указана.

1020май 2024ctx512
textembeddinghugging-face
sobamchan
bert-base-uncased-no-mrl-checkpoint-500

Это англоязычная модель Sentence Transformer, созданная sobamchan дообучением google-bert/bert-base-uncased на наборе all-nli. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения смысловой близости с помощью косинусного сходства. Модель построена на архитектуре BERT с усреднением токенных представлений; максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации текстов, классификации на основе эмбеддингов и оценки сходства предложений. В README приведён результат на sts-dev: Spearman correlation 0,8025. Модель принимает текст и выдаёт векторы; карточка указывает английский язык. Лицензия в предоставленных данных не указана.

1050янв. 2026ctx512
textembeddinghugging-face
abhimazu
bge-base-en-v1.5-fin

abhimazu/bge-base-en-v1.5-fin — дообученная модель Sentence Transformers на базе BAAI/bge-base-en-v1.5, созданная автором репозитория на наборе marvelousjaguar_embedding. Это плотная BERT-модель с 136,7 млн параметров: она преобразует предложения и абзацы в нормализованные векторы размерности 768 для сравнения по косинусному сходству. Максимальная длина входа — 512 токенов; модель ориентирована на английский язык. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразирований, кластеризации и извлечения признаков для классификации текста. В данных обучения 455 пар «запрос — релевантный текст», поэтому качество на других тематиках и типах запросов может отличаться; модель не генерирует текст и рассчитана на получение эмбеддингов. Лицензия в предоставленных данных не указана.

1230июнь 2025ctx512
textembeddinghugging-face
himanshu23099
bge_embedding_finetune_v2

himanshu23099/bge_embedding_finetune_v2 — текстовая Sentence Transformer-модель, дообученная автором на базе BAAI/bge-small-en-v1.5. Она использует архитектуру BERT с CLS-пулингом и нормализацией и преобразует предложения и абзацы в плотные векторы размерностью 384. Модель рассчитана на семантическое сходство и поиск; близость векторов можно оценивать косинусным сходством. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. Максимальная длина входа — 512 токенов. Базовая модель англоязычная, а приведённые примеры и обучающие данные также на английском; подтверждений поддержки других языков в карточке нет. В README приведены метрики cosine_accuracy@1 = 0,358, @5 = 0,7092 и @10 = 0,7993 на наборе для поиска. Лицензия в предоставленных данных не указана, поэтому условия использования по ним определить нельзя.

1220нояб. 2024ctx512
textembeddinghugging-face
mlx-community
bge-small-en-v1.5-8bit

mlx-community/bge-small-en-v1.5-8bit — компактная 8-битная версия модели bge-small-en-v1.5 в формате MLX для построения текстовых эмбеддингов. Модель относится к семейству sentence-transformers, основана на архитектуре BERT и содержит около 40 млн параметров; она предназначена для работы с английским языком и поддерживает контекст до 512 токенов. Модель преобразует тексты и предложения в векторные представления, пригодные для семантического поиска, сравнения похожести, классификации, кластеризации и reranking. Она может использоваться как компонент retrieval-систем и RAG-приложений, а формат MLX ориентирован на запуск в экосистеме Apple. Модель не является генеративной и не предназначена для создания ответов или продолжения текста. Распространяется по лицензии MIT. К ограничениям относятся поддержка английского языка, максимальная длина контекста 512 токенов и возможная потеря точности из-за 8-битного квантования; качество зависит от предметной области и способа использования эмбеддингов.

5231апр. 2025ctx512
textembeddingmithugging-face
mlx-community
bge-small-en-v1.5-bf16

bge-small-en-v1.5-bf16 — англоязычная модель для создания векторных представлений предложений и текстов. Модель представлена сообществом mlx-community в формате BF16 и основана на bge-small-en-v1.5; исходная модель предназначена для задач feature extraction и sentence similarity. Модель подходит для семантического поиска, сопоставления похожих текстов, классификации, кластеризации, retrieval и reranking, а также для построения систем поиска дубликатов и оценки семантической близости. В README приведены результаты тестирования на наборах MTEB для классификации, поиска, кластеризации, переранжирования и оценки текстовой близости, включая Amazon, ArguAna, AskUbuntu, Banking77 и BIOSSES. Поддерживаемый язык — английский. Сведения о точном размере модели, архитектуре, размерности эмбеддингов и максимальной длине контекста в предоставленных данных отсутствуют. Модель ориентирована на эффективное получение эмбеддингов, однако её качество и применимость следует оценивать на данных конкретного проекта; переносимость на другие языки не подтверждена. Лицензия — MIT.

6852апр. 2025ctx512
textembeddingmithugging-face
RedHatAI
bge-small-en-v1.5-quant

RedHatAI/bge-small-en-v1.5-quant — квантованная версия модели эмбеддингов BGE-small-en-v1.5 от Red Hat AI. Это плотный BERT-чекпойнт примерно на 40 млн параметров, представленный в формате ONNX с квантованием INT8; для ускоренного инференса README указывает на DeepSparse и DeepSparseSentenceTransformers. Модель предназначена для преобразования английских текстов в векторные представления, например для семантического поиска и поиска по сходству. Указанный размер контекста — 512 токенов. Лицензия — MIT.

1079сент. 2023ctx512
textembeddingmithugging-face
teven
bi_all-mpnet-base-v2_finetuned_WebNLG2017

teven/bi_all-mpnet-base-v2_finetuned_WebNLG2017 — модель Sentence Transformers на архитектуре MPNet, дообученная для получения эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерности 768 и подходит для семантического поиска и кластеризации; также может применяться для сравнения семантической близости текстов. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Модель полезна для поиска похожих формулировок и группировки текстов по смыслу. В README указано обучение с CosineSimilarityLoss; имя модели указывает на дообучение на WebNLG2017. Доступный формат весов — PyTorch. Лицензия в предоставленных данных не указана.

910сент. 2022ctx514
textembeddinghugging-face
anthropic
claude-sonnet-4.5

Claude Sonnet 4.5 — модель Anthropic, оптимизированная для автономных агентов и рабочих процессов программирования. В карточке она описана как наиболее продвинутая на момент выпуска модель семейства Sonnet и как модель с высокими результатами на тесте SWE-bench Verified. Каталог классифицирует модель как image-text-to-text. Доступные сведения не подтверждают детали архитектуры, размер, контекстное окно, языки, лицензию или конкретные возможности работы с изображениями, поэтому эти характеристики не приводятся.

00сент. 2025ctx1Mprice$0.00 / $0.00/ 1M
textimageopenrouter
CobrIX
CobrIX-1.0-Coder-Flash-33B-A13B

CobrIX-1.0-Coder-Flash-33B-A13B — диалоговая языковая модель CobrIX на архитектуре Qwen 3.5 MoE, собранная на основе empero-ai/Qwythos-9B-v2 и пяти дообученных экспертов Qwen 3.5. По README, в модели 33 млрд параметров, из которых активно 13 млрд на токен; метаданные указывают 7,2 млрд параметров. Заявленное нативное окно контекста — 1 048 576 токенов. Модель предназначена для генерации кода и диалогов; метаданные подтверждают задачу text-generation и возможность чата. В MoE-блоках используется маршрутизация top-2 к пяти экспертам и общий эксперт. Указана лицензия MIT. README описывает проект как ранний доступ, а размещённая модель — как экспериментальную сборку.

753авг. 2026ctx1M
textmithugging-face
TheBloke
CodeLlama-13B-Instruct-GGUF

CodeLlama 13B Instruct — языковая модель для генерации и объяснения программного кода, разработанная Meta. В данном репозитории опубликованы её квантизированные файлы в формате GGUF, подготовленные TheBloke на основе оригинальной модели codellama/CodeLlama-13b-Instruct-hf. Модель предназначена для решения задач программирования по текстовому описанию, включая написание кода с учетом ограничений и примеров тестов. Она относится к семейству Llama, имеет размер 13 млрд параметров и работает в режиме text-generation. Указана модальность работы с текстом и кодом; конкретные языки программирования и максимальная длина контекста в README не перечислены. Для запросов рекомендуется шаблон CodeLlama с инструкцией в формате [INST]...[/INST]. Формат GGUF обеспечивает совместимость с llama.cpp и рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и другие. Доступны варианты квантизации от 2 до 8 бит для запуска с использованием CPU и GPU, что позволяет выбирать баланс между требованиями к памяти, скоростью и качеством. Ограничениями являются возможная потеря качества из-за квантизации и специализация прежде всего на задачах, связанных с кодом; сведения о результатах тестирования и производительности отсутствуют. Лицензия указана как Llama 2.

9.9K133авг. 2023
textllama2hugging-face
TheBloke
CodeLlama-34B-Instruct-GGUF

CodeLlama 34B Instruct — языковая модель для генерации и объяснения программного кода, разработанная Meta. Представлена в репозитории TheBloke в формате GGUF как квантизированная версия исходной модели codellama/CodeLlama-34b-instruct-hf. Модель предназначена для решения задач программирования по текстовому описанию, создания кода с учетом ограничений и тестовых примеров, а также для локального использования через совместимые приложения и библиотеки. Модель построена на архитектуре Llama и содержит 34 миллиарда параметров. Она работает с текстовой модальностью и ориентирована на код; конкретный набор поддерживаемых языков программирования и размер контекста в README не указаны. Формат GGUF поддерживает метаданные и специальные токены, а доступные варианты используют квантизацию от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством генерации. Сильными сторонами являются специализация на программировании, возможность запуска на CPU и GPU, а также совместимость с llama.cpp, text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и другими инструментами. К ограничениям относятся потенциальная потеря качества из-за квантизации, высокие требования к ресурсам для 34-миллиардной модели и отсутствие в предоставленных данных подробных оценок качества, контекстного окна и перечня языков. Указана лицензия llama2; за квантизацию и публикацию GGUF-версии отвечает TheBloke.

13K108авг. 2023
textllama2hugging-face
nthakur
contriever-base-msmarco

nthakur/contriever-base-msmarco — порт модели Contriever MSMARCO в формат Sentence-Transformers. Модель на архитектуре BERT содержит 136,7 млн параметров и преобразует предложения и абзацы в плотные векторы размерности 768; для корректного получения векторов в Transformers требуется подходящая операция pooling над контекстными представлениями токенов. Модель предназначена для семантического поиска и кластеризации текстов, а также для сравнения смысловой близости предложений. Принимает текст и выдаёт эмбеддинги; максимальная длина контекста — 512 токенов. Репозиторий содержит веса PyTorch. README ссылается на исходную модель Contriever, однако сведения о лицензии и поддерживаемых языках в предоставленных данных отсутствуют.

4642июнь 2022ctx512
textembeddinghugging-face
Kyleiwaniec
COS_TAPT_n_RoBERTa-sts-e3_OnlineContrastiveLoss_2023-10-16

Kyleiwaniec/COS_TAPT_n_RoBERTa-sts-e3_OnlineContrastiveLoss_2023-10-16 — модель Sentence-Transformers на архитектуре RoBERTa, обученная представлять предложения и абзацы в виде плотных векторов размерности 1024. Её можно применять для поиска семантически близких текстов, кластеризации и сравнения сходства предложений. Модель принимает текст и выдаёт эмбеддинги; карточка указывает контекст длиной 514 токенов. Она обучалась с OnlineContrastiveLoss и распространяется в формате PyTorch. Доступна для использования через Sentence-Transformers или Transformers с подходящей операцией pooling. Сведения о лицензии и целевых языках не приведены в использованных источниках.

1940окт. 2023ctx514
textembeddinghugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей