/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
14 851–14 880 из 23 488
htdht
e5_base_finetuned_v6

htdht/e5_base_finetuned_v6 — модель Sentence Transformer на архитектуре XLM-RoBERTa, содержащая около 305,2 млн параметров. Она преобразует текстовые предложения и абзацы в нормализованные плотные векторы размерности 768 и предназначена для поиска и сопоставления текстов по косинусному сходству. Модель можно использовать для поиска подходящих документов или фрагментов по запросу и ранжирования текстов по семантической близости. В README указаны текстовый вход, ограничение до 192 токенов и обучение на 36 389 примерах с запросами, положительными и отрицательными текстами. Метаданные указывают контекст модели до 514 токенов; для практического использования ориентируйтесь на более короткое ограничение, заявленное в README. Модель работает с текстом; языковые примеры в README включают вьетнамский, но данных о полном наборе поддерживаемых языков нет. Лицензия в предоставленных источниках не указана.

1270авг. 2026ctx514
textembeddinghugging-face
DariaaaS
e5-fine-tuned

DariaaaS/e5-fine-tuned — дообученная модель Sentence Transformers на базе intfloat/multilingual-e5-base. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения семантической близости; для оценки сходства в README указана косинусная мера. Архитектура состоит из XLM-RoBERTa, усредняющего пулинга токенов и нормализации; модель содержит 305,2 млн параметров и обрабатывает последовательности длиной до 514 токенов по метаданным. Модель предназначена для семантического поиска, сопоставления предложений, поиска перефразирований, кластеризации и классификации текста. Она обучена с TripletLoss на 100 примерах, поэтому её специализация связана с данными обучения; README приводит примеры запросов и текстов, связанных с преобразованием вопросов в табличные запросы. Выход модели — эмбеддинги, которые можно использовать в поисковых и аналитических системах. Это текстовая многоязычная модель семейства XLM-RoBERTa; базовая модель заявлена как multilingual-e5-base. Условия лицензирования в предоставленных данных не описаны.

1180авг. 2024ctx514
textembeddinghugging-face
Alignment-Lab-AI
e5-mistral-7b-instruct

Карточка модели Alignment-Lab-AI/e5-mistral-7b-instruct на Hugging Face совпадает с карточкой intfloat/e5-mistral-7b-instruct, поэтому описание составлено по ней. E5-mistral-7b-instruct — текстовая модель эмбеддингов, созданная командой авторов статьи «Improving Text Embeddings with Large Language Models». Это дообученная версия Mistral-7B-v0.1 с 32 слоями и размерностью эмбеддингов 4096; число параметров — 7,1 млрд. Модель принимает текст и преобразует его в векторы для поиска и сравнения текстов. Она поддерживает контекст до 32 768 токенов, однако авторы не рекомендуют подавать входы длиннее 4096 токенов. Модель предназначена для получения эмбеддингов с инструкциями, задающими цель поиска или сравнения. Инструкцию следует добавлять к запросу, но не к документу. Примеры сценариев — семантический поиск, ранжирование passage по запросу и оценка сходства предложений. Модель обучена на смеси многоязычных наборов данных, но ориентирована прежде всего на английский; в некоторых многоязычных сценариях она уступает multilingual-e5-large. Модель распространяется по лицензии MIT. Для воспроизводимости результатов учитывайте, что версии Transformers и PyTorch могут вызывать небольшие различия в оценках.

2610дек. 2024ctx32.8K
textembeddingmithugging-face
furiosa-ai
e5-mistral-7b-instruct

furiosa-ai/e5-mistral-7b-instruct — пакет модели эмбеддингов E5-Mistral-7B-Instruct, подготовленный FuriosaAI для запуска с Furiosa-LLM на ускорителях FuriosaAI RNGD. В репозитории находятся веса upstream-модели и Furiosa Executable Bundle; сама модель — дообученная плотная decoder-модель на основе Mistral-7B-v0.1 с архитектурой MistralModel и 7,1 млрд параметров. Модель преобразует текст в плотные векторы размерностью 4096 с pooling по последнему токену и L2-нормализацией. Она рассчитана на семантический поиск, сопоставление запросов с документами и оценку семантического сходства. Модель понимает инструкции для настройки задачи: к запросам рекомендуется добавлять краткое описание задачи в формате Instruct/Query, а к документам инструкцию не добавлять. Контекст составляет 32 768 токенов; хотя обучение включало многоязычные данные, upstream-карточка рекомендует модель прежде всего для английского языка. Веса не квантизированы, используются upstream-веса FP16. Для запуска на RNGD применяется tensor parallelism с размером 8, соответствующим одной карте. Также доступны Transformers и Sentence Transformers. Лицензия — MIT.

2.2K0авг. 2026ctx32.8K
textembeddingmithugging-face
intfloat
e5-mistral-7b-instruct

E5-mistral-7b-instruct — текстовая модель эмбеддингов, созданная командой авторов статьи «Improving Text Embeddings with Large Language Models». Это дообученная версия Mistral-7B-v0.1 с 32 слоями и размерностью эмбеддингов 4096; число параметров — 7,1 млрд. Модель принимает текст и преобразует его в векторы для поиска и сравнения текстов. Она поддерживает контекст до 32 768 токенов, однако авторы не рекомендуют подавать входы длиннее 4096 токенов. Модель предназначена для получения эмбеддингов с инструкциями, задающими цель поиска или сравнения. Инструкцию следует добавлять к запросу, но не к документу. Примеры сценариев — семантический поиск, ранжирование passage по запросу и оценка сходства предложений. Модель обучена на смеси многоязычных наборов данных, но ориентирована прежде всего на английский; в некоторых многоязычных сценариях она уступает multilingual-e5-large. Модель распространяется по лицензии MIT. Для воспроизводимости результатов учитывайте, что версии Transformers и PyTorch могут вызывать небольшие различия в оценках.

157K570дек. 2023ctx32.8K
textembeddingmithugging-face
RedHatAI
e5-mistral-7b-instruct

Карточка модели RedHatAI/e5-mistral-7b-instruct на Hugging Face совпадает с карточкой intfloat/e5-mistral-7b-instruct, поэтому описание составлено по ней. E5-mistral-7b-instruct — текстовая модель эмбеддингов, созданная командой авторов статьи «Improving Text Embeddings with Large Language Models». Это дообученная версия Mistral-7B-v0.1 с 32 слоями и размерностью эмбеддингов 4096; число параметров — 7,1 млрд. Модель принимает текст и преобразует его в векторы для поиска и сравнения текстов. Она поддерживает контекст до 32 768 токенов, однако авторы не рекомендуют подавать входы длиннее 4096 токенов. Модель предназначена для получения эмбеддингов с инструкциями, задающими цель поиска или сравнения. Инструкцию следует добавлять к запросу, но не к документу. Примеры сценариев — семантический поиск, ранжирование passage по запросу и оценка сходства предложений. Модель обучена на смеси многоязычных наборов данных, но ориентирована прежде всего на английский; в некоторых многоязычных сценариях она уступает multilingual-e5-large. Модель распространяется по лицензии MIT. Для воспроизводимости результатов учитывайте, что версии Transformers и PyTorch могут вызывать небольшие различия в оценках.

2260июль 2026ctx32.8K
textembeddingmithugging-face
VinitT
Embeddings-Trivia

VinitT/Embeddings-Trivia — англоязычная модель Sentence Transformer, дообученная разработчиком на наборе trivia-qa-triplet на основе sentence-transformers/all-MiniLM-L6-v2. Она кодирует предложения и абзацы в плотные векторы размерностью 384; архитектура включает BERT-энкодер, усреднение токенных представлений и нормализацию. Для сравнения векторов подходит косинусное сходство. Метаданные указывают 25,9 млн параметров и контекст до 512 токенов; в README указана максимальная длина последовательности 256 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и подготовки признаков для классификации. В README приведена точность cosine accuracy 0,834 на оценке TripletEvaluator с trivia_qa_eval. Модель принимает текст и выдаёт векторы; она обучена на англоязычных данных и не предназначена для генерации ответов. Сведения о лицензии в предоставленных источниках отсутствуют.

1000февр. 2026ctx512
textembeddinghugging-face
codefuse-ai
F2LLM-v2-330M

F2LLM-v2-330M — мультиязычная модель эмбеддингов из семейства F2LLM-v2, разработанного CodeFuse AI. Это instruct-вариант размером 284,8 млн параметров на архитектуре Qwen3; небольшие instruct-модели семейства были получены обрезкой базовой модели 0.6B и обучением. Модель принимает текст и преобразует его в векторные представления для поиска и сравнения текстов. Модель предназначена для семантического поиска, ранжирования и других задач работы с эмбеддингами. Она поддерживает инструкции в запросах, а Matryoshka Representation Learning позволяет сокращать размерность векторов для экономии места и ускорения векторного поиска. Семейство обучалось на мультиязычных данных и, по README, поддерживает более 200 языков; метаданные перечисляют среди языков русский, английский, китайский и другие. Контекст модели — до 40 960 токенов. README сообщает о высоких результатах семейства на широком наборе бенчмарков MTEB, но отдельные результаты именно этой версии не приведены. Модель распространяется по лицензии Apache-2.0. Для поиска и ранжирования инструкции следует добавлять к запросам, но не к документам; после усечения эмбеддингов нормализацию следует выполнять заново.

11K12март 2026ctx41K
textembeddingapache-2.0hugging-face
guillaumekln
faster-whisper-large-v2

Это конверсия модели распознавания речи Whisper large-v2 от OpenAI в формат CTranslate2, подготовленная для запуска в CTranslate2 и проектах на его основе, включая faster-whisper. Она принимает аудио и предназначена для распознавания речи; веса сохранены в FP16, а при загрузке тип вычислений можно выбрать через параметр compute_type. Модель поддерживает много языков, включая русский, английский, китайский, немецкий, испанский и французский. Репозиторий распространяется по лицензии MIT.

5.8K213март 2023
textaudiomithugging-face
yasserrmd
finance-gemma-300m-emb

yasserrmd выпустил дообученную на google/embeddinggemma-300m модель Sentence Transformers для получения эмбеддингов текста. Она преобразует предложения и абзацы в плотные векторы размерности 768; сходство текстов можно оценивать косинусной мерой. Модель содержит 302,8 млн параметров, принимает последовательности длиной до 2048 токенов и распространяется в формате Safetensors. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, классификации и кластеризации. В README указано, что обучение проводилось на 10 000 парах текстов; пример данных посвящён финансовым рынкам. Метаданные не подтверждают, что модель ограничена финансовой тематикой. Языки обучения или поддерживаемые языки в предоставленных данных не обозначены. Лицензия не указана.

1060сент. 2025ctx2K
textembeddinghugging-face
manmah
finetuned-arctic-ft2-aws-1-cf8fa52742

Это модель Sentence Transformer на базе Snowflake/snowflake-arctic-embed-l, дообученная для преобразования предложений и абзацев в плотные текстовые эмбеддинги. Архитектура включает BERT, pooling по CLS-токену и нормализацию; размерность выходного вектора — 1024, максимальная длина входа — 512 токенов. Для сравнения векторов используется косинусное сходство. Модель предназначена для семантического поиска и сопоставления текстов. Её также можно применять для поиска перефразирований, кластеризации и классификации текстов на основе эмбеддингов. В README приведены результаты оценки информационного поиска, а обучение описано как дообучение на 194 примерах с MatryoshkaLoss и MultipleNegativesRankingLoss. Модель разработана на основе Snowflake/snowflake-arctic-embed-l. Лицензия в предоставленных данных не указана.

990май 2025ctx512
textembeddinghugging-face
llazio
finetuned-bge-base-en

llazio/finetuned-bge-base-en — англоязычная модель Sentence Transformers, дообученная автором llazio на базе BAAI/bge-base-en. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для сравнения текстов по косинусному сходству. Архитектура включает BERT, пулинг CLS-токена и нормализацию; максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текстов. В README приведены результаты оценки на обучающей и проверочной выборках, однако датасет небольшой — 1 056 обучающих и 264 оценочных примера, поэтому эти показатели не гарантируют аналогичного качества на других данных. Репозиторий содержит веса в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

1011февр. 2025ctx512
textembeddinghugging-face
joshuapb
fine-tuned-matryoshka-1000

joshuapb/fine-tuned-matryoshka-1000 — англоязычная модель Sentence Transformers, дообученная на базе BAAI/bge-base-en-v1.5. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска, сравнения текстов и других задач работы с эмбеддингами. Архитектура включает BERT, пулинг по CLS-токену и нормализацию; для сравнения векторов используется косинусное сходство. Модель поддерживает последовательности длиной до 512 токенов. Благодаря Matryoshka-обучению эмбеддинги можно использовать в сокращённых размерностях 64, 128, 256 и 512, сохраняя пригодность для поиска. В README приведены результаты оценки информационного поиска на наборах dim_64–dim_768; они относятся к этим оценочным данным и не гарантируют аналогичное качество на других корпусах. Модель рассчитана на английский язык, имеет 136,7 млн параметров и распространяется по лицензии Apache-2.0.

1190авг. 2024ctx512
textembeddingapache-2.0hugging-face
Gonalb
flucold-ft-v0

Gonalb/flucold-ft-v0 — модель Sentence Transformers, дообученная на базе Snowflake/snowflake-arctic-embed-l. Она преобразует предложения и абзацы в плотные векторы размерности 1024, нормализованные для сравнения по косинусному сходству. Архитектура основана на BertModel с pooling по CLS-токену; максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текста. В README приведены результаты оценки поиска на небольшом наборе данных из 334 обучающих примеров. Репозиторий содержит веса в формате safetensors; условия лицензии в предоставленных данных не описаны.

1231февр. 2025ctx512
textembeddinghugging-face
OrcaDB
gist-large

Карточка модели OrcaDB/gist-large на Hugging Face совпадает с карточкой avsolatorio/GIST-large-Embedding-v0, поэтому описание составлено по ней. GIST-large-Embedding-v0 — текстовая модель эмбеддингов от avsolatorio, дообученная на базе BAAI/bge-large-en-v1.5 с использованием MEDI и обучающих данных классификации MTEB. Она кодирует текст в векторы для поиска и сравнения предложений; при построении эмбеддингов запросов инструкции не требуются. Модель основана на BERT, содержит 433,9 млн параметров, принимает текст длиной до 512 токенов и распространяется в формате safetensors через библиотеку Sentence Transformers. Модель подходит для семантического поиска, извлечения документов по запросу и оценки сходства текстов. По результатам MTEB дообучение улучшило отдельные задачи и ухудшило другие; в частности, отмечено снижение качества на TRECCOVID, поэтому результаты могут зависеть от тематического покрытия данных и целевого набора. Лицензия модели — MIT; лицензии сторонних обучающих данных могут иметь собственные условия.

1310апр. 2025ctx512
textembeddingmithugging-face
knowledgator
gliclass-multilang-mini

GLiClass Multilang Mini — мультиязычная модель классификации текста из семейства GLiClass, опубликованная Knowledgator. Она предназначена для классификации с пользовательскими метками без дообучения, а также для few-shot сценариев с примерами и описаниями меток. Модель содержит около 288 млн параметров и использует архитектуру GLiClass с механизмом CrossAttn Scorer. Модель подходит для тематической и тональной классификации, определения намерений, проверки следования правилам и безопасности ответов LLM, обнаружения галлюцинаций, NLI и оценки релевантности пары запрос–текст. Она обучена для 20 языков и поддерживает межъязыковые сочетания текста и меток. В README приведены результаты zero-shot оценок и высокая пропускная способность на GPU, но фактическое качество зависит от языка, набора меток и задачи; для NLI рекомендуется подавать одну гипотезу за раз. Веса представлены в формате safetensors, для использования предлагается библиотека gliclass. Лицензия — Apache-2.0.

6.1K17апр. 2026
textapache-2.0hugging-face
Nickyang
GLM-4.7-Flash-Razor-24B-A3B-E48of64

GLM-4.7-Flash-Razor-24B-A3B-E48of64 — текстовая диалоговая модель, созданная путём обучения без градиентных обновлений: к исходной GLM-4.7-Flash применён метод RAZOR, который удаляет часть экспертов MoE. Разработчик в карточке не назван; базовая модель выпущена Z.ai. В каждом слое MoE оставлено 48 из 64 маршрутизируемых экспертов, а общий размер сокращён примерно с 30 млрд до 24,1 млрд параметров; активно около 3 млрд параметров на токен. Веса хранятся в формате bfloat16 в семи шардах safetensors, для запуска требуется версия Transformers с поддержкой glm4_moe_lite. Модель предназначена для диалоговой генерации текста, рассуждений и программирования, унаследованных от GLM-4.7-Flash. Нативная длина контекста составляет 202 752 токена. Прунинг затрагивает только пул маршрутизируемых экспертов, поэтому вычисления на токен почти не меняются, а объём хранения экспертов уменьшается примерно на четверть. Лицензия — MIT. Удаление экспертов приводит к потерям: ответы могут отличаться разнообразием, форматированием и поведением при завершении, даже если точность задач в основном сохраняется. Опубликованные результаты не гарантируют предсказуемой генерации на конкретной нагрузке, а поведение на областях, далёких от калибровочного корпуса, не охарактеризовано.

1862сент. 2026ctx202.8K
textmithugging-face
ibm-granite
granite-embedding-30m-sparse

Granite-Embedding-30m-Sparse — разреженная модель для построения текстовых представлений, разработанная командой Granite Embedding в IBM. Она основана на энкодерной архитектуре на базе RoBERTa, содержит 33,5 млн параметров и рассчитана на английский язык. Модель кодирует текст в словарь токенов и их весов переменной длины, включая расширения исходных токенов. Представления подходят для семантического поиска, извлечения релевантных документов и сравнения текстов. Модель обучалась с использованием предварительного обучения для задач поиска, контрастивной настройки и дистилляции; в карточке сообщается о конкурентных результатах на тестах BEIR, включая сравнение с более крупной SPLADE-моделью. Её можно применять, например, с Sentence Transformers и Milvus. Контекст ограничен 512 токенами: более длинный текст обрезается. Модель обучена только на английских текстах. Лицензия — Apache 2.0.

13K27февр. 2025ctx514
textembeddingapache-2.0hugging-face
ibm-granite
granite-embedding-311m-multilingual-r2

Granite-Embedding-311M-Multilingual-R2 — модель эмбеддингов текста, разработанная командой Granite Embedding компании IBM. Она использует плотный bi-encoder на архитектуре ModernBERT с 311,6 млн параметров и выдаёт векторы размерностью 768 для запросов, документов, фрагментов текста и кода. Максимальная длина контекста — 32 768 токенов; эмбеддинги можно сокращать до 512, 384, 256 или 128 измерений с постепенным снижением качества. Модель предназначена для семантического поиска, сопоставления запросов и документов, поиска по длинным текстам и межъязыкового поиска. Она поддерживает более 200 языков, а для 52 языков, включая русский, и ряда языков программирования прошла дополнительное обучение на парах для поиска и межъязыкового сопоставления. Поддерживаются Python, Go, Java, JavaScript, PHP, Ruby, SQL, C и C++. Векторы можно сравнивать, например, по косинусному сходству. В README указаны контрастивное дообучение, дистилляция знаний и слияние моделей. Доступны форматы Safetensors, ONNX и OpenVINO; лицензия Apache 2.0. Качество зависит от языка: для низкоресурсных языков оно может быть ниже, чем для языков с расширенной поддержкой; длинные входы сверх лимита контекста обрезаются. Фильтрация обучающих данных и синтетические данные могут вносить смещения.

116K143апр. 2026ctx32.8K
textembeddingapache-2.0hugging-face
ibm-granite
granite-embedding-small-english-r2

Granite-Embedding-Small-English-R2 — плотная модель эмбеддингов из семейства Granite Embeddings, разработанная командой Granite Embedding Team в IBM. Она преобразует английские запросы, фрагменты и документы в векторы размером 384, предназначенные для сравнения по косинусному сходству и использования в поиске и извлечении информации. Модель использует архитектуру биэнкодера на базе ModernBERT: 12 слоёв и 12 голов внимания. Она содержит 47,7 млн параметров и поддерживает контекст до 8192 токенов. В обучении применялись ориентированное на поиск предварительное обучение, контрастивное дообучение, дистилляция и объединение моделей; заявлены результаты на бенчмарках поиска по документам, коду, таблицам и многоходовым диалогам. Модель предназначена для английского текста. Тексты длиннее 8192 токенов обрезаются; для других языков качество не заявлено. Лицензия — Apache 2.0.

5.7M105июль 2025ctx8.2K
textembeddingapache-2.0hugging-face
SL-AI
GRaPE-2.5-Quasar

GRaPE 2.5 Quasar — мультимодальная модель на 27 млрд параметров от SL-AI, дообученная на базе Qwen/Qwen3.8-27B. Она принимает изображения и текст, а также, согласно карточке, видео, и генерирует текст. Модель предназначена для диалогов, анализа визуальных данных, творческих задач, программирования с использованием инструментов, STEAM-задач и многошаговых рассуждений. В ней есть настраиваемые режимы глубины рассуждений и усилий при работе с инструментами; заявлена поддержка десяти языков. Разработчики описывают Quasar как флагман третьего поколения GRaPE с улучшенным обучающим набором и более естественной манерой письма. Доступны веса в формате Safetensors, библиотека для работы — Transformers. Модель распространяется по лицензии Apache-2.0. Карточка не приводит измеримых результатов оценки качества, поэтому заявления о высокой производительности следует считать заявлениями разработчиков.

1.1K3сент. 2026ctx262.1K
textimageapache-2.0hugging-face
yifanyu
I-DLM-32B

I-DLM-32B — плотная диффузионная языковая модель на 29,7 млрд параметров, созданная командой yifanyu на основе Qwen/Qwen3-32B. Она предназначена для диалоговой генерации текста, ответов на вопросы, математических рассуждений, программирования и следования инструкциям. Метод Introspective Strided Decoding позволяет генерировать и проверять группы токенов параллельно; для воспроизведения результатов авторы рекомендуют конвейер ISD на базе SGLang. Модель заявлена как сопоставимая по качеству с авторегрессионной Qwen3-32B на 15 тестах, охватывающих знания, математику, код и следование инструкциям. Модель использует архитектуру SDAR и принимает текст, выдавая текст. Нативная длина контекста — 40 960 токенов. Карточка указывает английский язык; базовая Qwen3-32B описана как многоязычная. Репозиторий содержит веса Safetensors. Лицензия — Apache-2.0. Прямая загрузка через Transformers пока не поддерживает воспроизведение результатов из статьи; для вывода рекомендуется SGLang с реализацией ISD.

5686апр. 2026ctx41K
textapache-2.0hugging-face
infly
inf-retriever-v1

INF-Retriever-v1 — плотная модель поиска по тексту на основе LLM, разработанная INF TECH. Она дообучена на Alibaba-NLP/gte-Qwen2-7B-instruct для извлечения релевантных документов и семантического поиска, особенно по англоязычным и китайскоязычным данным. Модель формирует текстовые эмбеддинги размерности 3584; архитектура — Qwen2, размер — 7,1 млрд параметров. В метаданных указан контекст до 131 072 токенов, а в README заявлен максимальный вход в 32 768 токенов. Модель предназначена для поиска по разнородным коллекциям документов и может использоваться как компонент поисковой системы или RAG-конвейера: запросы и документы кодируются в векторы, которые затем сравниваются по близости. README сообщает о результатах на AIR-Bench, включая первое место в версиях 24.04 и 24.05 на момент публикации результатов. Основная настройка — английский и китайский языки; заявлена также эффективность на других языках. Доступны веса в формате safetensors, поддерживаются Sentence Transformers и Transformers. Лицензия — Apache-2.0. Это модель для получения эмбеддингов и поиска, а не генератор ответов; заявленные результаты бенчмарков не гарантируют аналогичного качества на конкретной коллекции, а наиболее явно подтверждена настройка для английского и китайского языков.

75145дек. 2024ctx131.1K
textembeddingapache-2.0hugging-face
ThanhRise
intfloat-multilingual-e5-base-SimCSE-fine-turned-QA

ThanhRise/intfloat-multilingual-e5-base-SimCSE-fine-turned-QA — модель эмбеддингов предложений на архитектуре XLM-RoBERTa, представленная в формате PyTorch и созданная на основе multilingual-e5-base. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, кластеризации и сравнения текстов. Модель обучена с функцией MultipleNegativesRankingLoss и косинусным сходством. В README она описана как дообученная для задач вопросно-ответного поиска; метаданные указывают задачу sentence-similarity. Она рассчитана на многоязычные тексты, а контекст ограничен 514 токенами. Лицензия в предоставленных данных не приведена.

1040сент. 2023ctx514
textembeddinghugging-face
dhanesh-hf
Jarvis-Titan-M4-MoE-CSA3

Jarvis-Titan-M4-MoE-CSA3 — диалоговая языковая модель Dhanesh для генерации текста, рассуждений, математических задач и кода. Она представлена как дообучение Jarvis-Titan-V15-MoE-Decoupled и предназначена для сложных вычислений, синтеза алгоритмов, длинных диалогов и работы с протяжённым контекстом. Метаданные указывают 7,1 млрд параметров, архитектуру JarvisTitanMoEForCausalLM, библиотеку Transformers и контекст 32 768 токенов; README заявляет основу DeepSeekMoE размером 14,8 млрд параметров, память M4 Tri-Brid, механизм внимания CSA3 и предсказание нескольких токенов. Эти заявления о размере и контексте расходятся, поэтому ориентироваться следует на значения метаданных каталога. Модель принимает текст и генерирует текст; карточка заявляет поддержку интерфейса вызова инструментов. Указана лицензия other, условия которой следует проверять в репозитории перед использованием.

4260сент. 2026ctx32.8K
textotherhugging-face
jinaai
jina-embedding-s-en-v1

jina-embedding-s-en-v1 — англоязычная модель эмбеддингов, разработанная Jina AI для представления предложений и текстов в виде векторов. Она обучена на наборе Linnaeus-Clean из 380 млн пар предложений, включая пары запрос–документ, отобранные из разных предметных областей. Архитектура — T5 encoder; модель содержит 38,5 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для сравнения семантической близости предложений, поиска подходящих документов по запросу и построения текстовых векторных представлений. В README приведено сравнение с несколькими моделями на наборах STS и задачах поиска; результаты зависят от конкретного набора данных и сценария. Доступна под лицензией Apache-2.0.

49426июль 2023ctx512
textembeddingapache-2.0hugging-face
jinaai
jina-embeddings-v2-base-zh

jina-embeddings-v2-base-zh — двуязычная модель текстовых эмбеддингов, разработанная Jina AI. Она предназначена для получения векторных представлений текста на китайском и английском языках и рассчитана на одноязычный и межъязыковой поиск, включая поиск китайских документов по английскому запросу и наоборот. Модель использует архитектуру JinaBERT на основе BERT с двунаправленным вариантом ALiBi и поддерживает контекст до 8192 токенов. В репозитории указано около 160,1 млн параметров; модель создаёт плотные векторы, для формирования эмбеддингов рекомендуется mean pooling. Подходит для семантического поиска и сценариев RAG, где нужно находить близкие по смыслу фрагменты на китайском и английском языках. Модель распространяется по лицензии Apache-2.0. Для загрузки из Hugging Face требуется авторизация, поскольку доступ к репозиторию ограничен; при использовании через Transformers README также указывает на необходимость включить trust_remote_code.

15K245янв. 2024ctx8.2K
textembeddingapache-2.0hugging-face
jinaai
jina-embeddings-v4

Jina Embeddings v4 — мультимодальная мультиязычная модель эмбеддингов, разработанная Jina AI на базе Qwen2.5-VL-3B-Instruct. Она предназначена для поиска по текстам, изображениям и визуально насыщенным документам, включая материалы с диаграммами, таблицами и иллюстрациями. Модель поддерживает плотные векторные представления и многовекторный late-interaction поиск, а также задачи сопоставления текстов и поиска по коду; адаптер задачи выбирается при инференсе. Модель содержит 2,8 млрд параметров, принимает текст и изображения и выдаёт эмбеддинги. Размерность плотного эмбеддинга по умолчанию составляет 2048 и может быть уменьшена до 128; заявлена поддержка более 30 языков. Длина контекста — до 128 000 токенов. Веса опубликованы в формате safetensors, для работы доступны Transformers и интерфейс Sentence Transformers. Модель подходит для мультиязычного семантического поиска, поиска по визуальным документам, сопоставления текстов и поиска фрагментов кода. Карточка не сообщает лицензию; количественные результаты оценки и конкретные ограничения качества в предоставленных данных не приведены.

142K543май 2025ctx128K
textimageembeddinghugging-face
kakaocorp
kanana-1.5-15.7b-a3b-instruct

Kanana-1.5-15.7B-A3B-Instruct — разговорная языковая модель Kakao с разреженной архитектурой Mixture-of-Experts на базе Mixtral. В модели 15,7 млрд параметров всего, при этом активируется около 3 млрд параметров; заявленный размер в метаданных — 824,7 млн параметров. Модель принимает текст и генерирует текст, поддерживает английский и корейский языки, а длина контекста составляет 32 768 токенов. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, следование инструкциям, решение математических задач и написание кода. Kakao сообщает, что её эффективность по вычислениям на токен сопоставима с Kanana-1.5-8B при использовании 37% FLOPS, а постобучение включало дистилляцию на собственных ответах и обучение с подкреплением. Для запуска README рекомендует vLLM версии 0.8.5 или новее. Лицензия указана как other, поэтому конкретные условия использования следует сверять с карточкой модели.

48427июль 2025ctx32.8K
textotherhugging-face
unsloth
Kimi-K2.7-Code-GGUF

unsloth/Kimi-K2.7-Code-GGUF — GGUF-квантизированная версия Kimi K2.7 Code, разработанная Moonshot AI и подготовленная Unsloth. Модель ориентирована на агентное программирование и выполнение сложных долгосрочных задач разработки программного обеспечения, включая сквозные рабочие процессы с кодом. По данным README, по сравнению с Kimi K2.6 она повышает качество на практических задачах и примерно на 30% сокращает расход токенов рассуждения. Модель использует архитектуру Mixture-of-Experts с общим числом параметров около 1 трлн и 32 млрд активируемых параметров. Она содержит 61 слой, 384 эксперта, из которых для каждого токена выбираются 8, механизм внимания MLA, активацию SwiGLU и словарь размером 160 тысяч токенов. Контекстное окно составляет 256 тысяч токенов. Также предусмотрен vision-энкодер MoonViT на 400 млн параметров, поэтому модель поддерживает обработку визуальной информации наряду с текстом и кодом. Главные сильные стороны — специализация на программировании, агентных сценариях, работе с длинным контекстом и высокая токеновая эффективность. Ограничениями являются очень большой общий размер модели и значительные требования к вычислительным ресурсам: согласно README, вариант UD-Q8_K_XL занимает около 595 ГБ, а характеристики конкретных GGUF-квантов могут отличаться. Модель распространяется по лицензии Modified MIT; точные условия следует проверять в прилагаемом файле лицензии.

249K197июнь 2026
textotherhugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей