/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
17 881–17 910 из 23 488
billingsmoore
minilm-bo

billingsmoore/minilm-bo — англоязычную базовую модель sentence-transformers/all-MiniLM-L6-v2 дообучили на агрегированном наборе данных с тибетским и английским текстом, чтобы создавать векторные представления предложений и абзацев. Это энкодер Sentence Transformer на архитектуре BERT с 25,9 млн параметров; он выдаёт плотные векторы размерности 384, а сходство текстов оценивается косинусной близостью. Модель предназначена прежде всего для работы с тибетским языком: семантического поиска, сравнения предложений, поиска перефразирований и кластеризации. Максимальная длина последовательности — 512 токенов. Репозиторий распространяется по лицензии MIT. В README указана более новая версия khyentsevision/minilm-bo-en-sim, дополнительно дообученная для сходства предложений.

1250февр. 2025ctx512
textembeddingmithugging-face
olaverse
mist-reranker-150m

mist-reranker-150m — англоязычный кросс-энкодерный реранкер от Olaverse на базе answerdotai/ModernBERT-base, дообученный на наборе olaverse/reranker-general-en-llm-judged. Модель содержит около 149 млн параметров и принимает пару «запрос — кандидатный фрагмент», выдавая единственную оценку релевантности для переупорядочивания результатов поиска. Она предназначена для второго этапа конвейера поиска и RAG: уточняет ранжирование верхних результатов, полученных, например, с помощью BM25 или биэнкодера. В описанной оценке NanoBEIR модель показала близкие к другим реранкерам результаты на QA и поиске фактов; для аргументативного поиска результаты были слабее. Контекст составляет до 8192 токенов. Модель обучалась на размеченных LLM оценках релевантности; данные карточки указывают английский язык. Распространяется по лицензии Apache-2.0. Оценки производительности приведены для указанных тестов и не гарантируют аналогичного качества на других наборах данных или языках.

180июнь 2026ctx8.2K
textapache-2.0hugging-face
sdadas
mmlw-retrieval-roberta-large

MMLW-retrieval-roberta-large — польскоязычный плотный текстовый энкодер семейства RoBERTa от разработчиков MMLW, предназначенный для информационного поиска. Он кодирует запросы и фрагменты текста в векторы размерности 1024; для запросов требуется префикс «zapytanie: ». Модель содержит 533,7 млн параметров, использует контекст до 514 токенов и распространяется в форматах PyTorch и safetensors. Обучение проходило в два этапа: дистилляция знаний англоязычных моделей FlagEmbeddings (BGE) на корпусе из 60 млн польско-английских пар, затем дообучение с контрастивной функцией потерь на польской обучающей выборке MS MARCO. В README приведён результат NDCG@10 58,46 на польском бенчмарке информационного поиска. Модель подходит для поиска по смыслу и сопоставления запросов с текстами; в качестве ограничений следует учитывать необходимость специального префикса для запросов и контекст до 514 токенов. Лицензия — Apache-2.0.

242K14окт. 2023ctx514
textembeddingapache-2.0hugging-face
pankajmathur
model_101

model_101 — языковая модель Pankaj Mathur на архитектуре Llama 2, предназначенная для генерации текста по инструкциям и ответов в гибридном стиле explain + instruct. Карточка описывает её как Llama 2 70B; метаданные указывают 68,7 млрд параметров, контекст до 4096 токенов и форматы PyTorch и safetensors. Для диалога поддерживаются шаблоны Orca и Alpaca. Модель обучалась на наборах Open-Platypus, Alpaca, WizardLM, Dolly-V2, Dolphin Samples, Orca Mini и их вариантах Orca. Среди подходящих сценариев — ответы на вопросы, объяснение тем и выполнение текстовых инструкций. В карточке приведены результаты оценки на задачах ARC и HellaSwag. Модель может выдавать неточные или вводящие в заблуждение ответы, а также предвзятый, неподходящий или оскорбительный текст; важные сведения следует перепроверять. Для запуска в 4-битном режиме автор указывает потребность примерно в 45 ГБ видеопамяти. Лицензия — Llama 2.

545авг. 2023ctx4.1K
textllama2hugging-face
Orzumurod
ModernUzBERT

ModernUzBERT — модель векторных представлений предложений для узбекского языка на архитектуре ModernBERT. Она разработана для семантического поиска и представления документов; согласно карточке, модель обучалась на узбекском корпусе и дообучалась на 30 тысячах пар вопросов и ответов. Размер модели — 150,2 млн параметров, максимальная длина контекста — 8192 токена по метаданным Hugging Face. README указывает среднее объединение токенных представлений в Sentence Transformers и сообщает о результатах тестирования поиска, включая Recall@1 0,62 и Recall@5 0,88. Модель подходит для поиска релевантных текстов и сопоставления предложений на узбекском языке, в том числе в системах поиска по вопросам и документам. Она принимает текст и выдаёт эмбеддинги, пригодные для вычисления семантической близости. Опубликована в формате safetensors и распространяется по лицензии Apache-2.0.

1323апр. 2026ctx8.2K
textembeddingapache-2.0hugging-face
allenai
MolmoE-1B-0924

MolmoE-1B-0924 — открытая мультимодальная модель семейства Molmo, разработанная Allen Institute for AI. Это предварительная версия модели для анализа изображений и генерации ответов на текстовые запросы о них. Модель построена как Mixture-of-Experts на базе OLMoE-1B-7B-0924 и объединяет языковую модель с визуальной составляющей. В ней 1,5 млрд активных и 7,2 млрд общих параметров; контекст — до 32 768 токенов. Модель обучалась на тщательно отобранных парах изображений и текстов PixMo и предназначена для визуальных вопросов и ответов, понимания диаграмм, документов и изображений. README заявляет высокие результаты на академических тестах и в оценке людьми среди мультимодальных моделей сопоставимого размера. Это предварительный чекпойнт: сопутствующие артефакты обучения, код и оценки планировалось опубликовать позднее. Модель может испытывать трудности с прозрачными изображениями; рекомендуется предварительно добавлять белый или тёмный фон. Лицензия — Apache-2.0.

1.2K159сент. 2024ctx32.8K
textapache-2.0hugging-face
fidoriel
moonshine-base-de

fidoriel/moonshine-base-de — модель распознавания речи на базе архитектуры Moonshine, созданная переносным дообучением англоязычной UsefulSensors/moonshine-base для немецкого языка. Она преобразует аудиоречь в текст и предназначена для сценариев автоматической транскрипции на немецком языке. В метаданных указан класс MoonshineForConditionalGeneration, формат весов Safetensors и контекст 194 токена. В оценке на тестовой части Common Voice указаны WER 0,069 и CER 0,024. Модель распространяется по лицензии CC BY-NC-SA 4.0: требуется указание авторства, использование ограничено некоммерческими целями, а производные работы должны распространяться на тех же условиях. Финансирование исходного проекта обеспечило Федеральное министерство исследований, технологий и космоса Германии.

440авг. 2025ctx194
textaudiocc-by-nc-sa-4.0hugging-face
Shuu12121
NightOwl-CodeEmbedding

NightOwl-CodeEmbedding — компактная модель плотных эмбеддингов для поиска по программному коду, сопоставления изменений кода и поиска технических ответов. Модель разработана на основе Shuu12121/NightOwl и дообучена на данных для поиска кода с трудными отрицательными примерами. Использует архитектуру ModernBERT, CLS-пулинг и выдаёт один вектор размерности 768 на входной фрагмент; совместима с sentence-transformers и поиском по косинусному сходству или скалярному произведению. Размер — около 150,7 млн параметров, в репозитории есть форматы safetensors и ONNX. Модель предназначена для семантического поиска по коду и техническим материалам: поиска кода по текстовому запросу, поиска похожих функций, сопоставления намерения с изменением кода и построения RAG-систем по кодовым базам и документации. Поддерживаются Go, Java, JavaScript, PHP, Python, Ruby, Rust и TypeScript; для других языков программирования качество не проверено. Несмотря на указанное в метаданных окно контекста 8192 токена, README сообщает, что входы длиннее 1024 токенов обрезаются, поэтому большие файлы следует делить на фрагменты. Модель специализирована на задачах поиска кода и может уступать универсальным эмбеддинг-моделям на обычном тексте; заявленные результаты бенчмарков в основном относятся к знакомым обучению областям. Лицензия — Apache-2.0.

2401июнь 2026ctx8.2K
textembeddingapache-2.0hugging-face
nvidia
NVIDIA-Nemotron-3-Nano-4B-BF16

NVIDIA-Nemotron-3-Nano-4B-BF16 — компактная языковая модель NVIDIA для генерации текста, диалога и агентных сценариев. Она принимает текст и выдаёт текст, поддерживает управляемый режим рассуждений и интерфейс вызова инструментов. Модель использует гибридную архитектуру Nemotron-H с Mamba-2, MLP и четырьмя слоями Attention; в README указано 3,97 млрд параметров, а метаданные каталога указывают 6,4 млрд. Максимальная длина контекста — 262 144 токена. Модель предназначена для локальных голосовых помощников, игровых NPC-компаньонов и автоматизации IoT на ускорителях NVIDIA, а также для задач программирования, математики и следования инструкциям. README указывает английский как поддерживаемый язык и описывает обучение с нуля с последующим сжатием родительской модели NVIDIA-Nemotron-Nano-9B-v2 средствами Nemotron Elastic; метаданные также классифицируют её как дообучение этой модели. Коммерческое использование разрешено, лицензия обозначена как other. Качество зависит от режима рассуждений: включённые рассуждения обычно помогают на сложных задачах, а режим без них может немного снизить точность. Модель оптимизирована для систем с GPU NVIDIA; перед внедрением требуется проверка на данных и сценариях конкретного приложения.

1.6M137март 2026ctx262.1K
textotherhugging-face
axiotic
ogma-micro

Ogma Micro — компактная англоязычная модель эмбеддингов текста семейства Ogma, разработанная axiotic. Энкодер с 2,3 млн параметров преобразует текст в векторы размерности 128; поддерживаются сокращённые представления Matryoshka размерности 64 и 32. Заявленная длина контекста — 1024 токена, средний результат на английском бенчмарке MTEB — 52,18. Модель предназначена для локального семантического поиска и извлечения документов, векторного поиска, RAG, кластеризации и классификации текстов, а также хранения памяти агентов. Небольшой размер подходит для браузеров, мобильных и настольных приложений, периферийных устройств и сценариев с локальной обработкой данных. Для задач сходства доступны симметричная маршрутизация и режим запросов/документов. Это энкодер, который выдаёт эмбеддинги и не генерирует текст. По данным README, качество ниже более крупных вариантов семейства на некоторых задачах; модель отстаёт от all-MiniLM-L6-v2 в переранжировании. На CPU она медленнее статических моделей, а обучение и оценка ориентированы только на английский. Лицензия весов — CC-BY-NC-4.0, коммерческое использование ограничено.

4161апр. 2026ctx1K
textcc-by-nc-4.0hugging-face
allenai
OLMoE-1B-7B-0125-Instruct

OLMoE-1B-7B-0125-Instruct — англоязычная диалоговая модель Allen Institute for AI, выпущенная в январе 2025 года. Это модель генерации текста с архитектурой MoE и классом OlmoeForCausalLM; в метаданных указано 472,1 млн параметров и контекст до 4096 токенов. Она принимает диалоговые текстовые запросы и генерирует ответы. Модель дообучена на базе allenai/OLMoE-1B-7B-0125-DPO: обучение включало supervised fine-tuning на варианте набора Tülu 3 для OLMo, DPO и RLVR. Предназначена для чата, ответов на вопросы и решения разнообразных задач, включая математику и следование инструкциям. README приводит результаты на нескольких бенчмарках, но не гарантирует качество для каждого сценария. Модель рассчитана преимущественно на английский язык и распространяется по лицензии Apache 2.0. В README отмечено, что модель прошла ограниченное обучение безопасности и может выдавать проблемные ответы, особенно при соответствующих запросах.

106K68янв. 2025ctx4.1K
textapache-2.0hugging-face
WePOINTS
POINTS-1-5-Qwen-2-5-7B-Chat

POINTS-1.5-Qwen-2.5-7B-Chat — двуязычная визуально-языковая модель WeChat AI, дообученная на базе Qwen/Qwen2.5-7B-Instruct. Она предназначена для диалогов по изображениям и генерации текстовых ответов: понимает изображения высокого разрешения, отвечает на вопросы по их содержимому и поддерживает сценарии распознавания текста на изображении. В README указаны английский и китайский языки; среди обучающих данных есть наборы для OCR и общего визуального диалога. В модели используется визуальный энкодер в стиле NaViT, который обрабатывает изображения разных разрешений без разбиения на фрагменты. README также сообщает о применении техники model soup и приводит результаты на MMBench, MMStar и MMMU. Модель опубликована в формате safetensors по лицензии Apache-2.0. Метаданные каталога указывают чат и интерфейс вызова инструментов; фактические результаты и надёжность этих возможностей зависят от сценария применения.

9226дек. 2024ctx131.1K
textapache-2.0hugging-face
alphaduriendur
Qwen2.5-Coder-1.5B-Instruct-Q4_K_M-GGUF

alphaduriendur/Qwen2.5-Coder-1.5B-Instruct-Q4_K_M-GGUF — это квантизированная версия Qwen2.5-Coder-1.5B-Instruct, преобразованная в формат GGUF с использованием llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и работы с программным кодом в инструкционном и чат-сценариях, включая локальный запуск через llama.cpp. Модель имеет размер 1,5 млрд параметров и использует квантизацию Q4_K_M, что снижает требования к памяти и делает её подходящей для запуска на локальных устройствах. В карточке указана поддержка английского языка и текстовая модальность. Для запуска доступны llama-cli и llama-server; в примере конфигурации сервера используется контекст размером 2048 токенов, однако максимальный размер контекста в карточке отдельно не указан. К сильным сторонам относятся компактность, совместимость с экосистемой llama.cpp и удобство локального инференса. Ограничениями являются небольшой размер модели по современным меркам и возможная потеря качества из-за квантизации; подробные результаты оценки, перечень поддерживаемых языков и характеристики исходной модели в этой карточке не приведены. Модель распространяется по лицензии Apache-2.0.

3.3K5сент. 2025
textapache-2.0hugging-face
Steve0927
qwen3-embedding-0.6b-lrat-annwinner-extrap-a125-soup-a50-v1

Это плотная модель для поиска по тексту, дообученная Steve0927 на базе Qwen3-Embedding-0.6B в рамках эксперимента для соревнования XIR 1170. Она создаёт эмбеддинги запросов и документов, чтобы находить семантически близкие документы и строить поиск по траекториям. Чекпойнт обучен на 91 324 строках, связанных с траекториями и связями запрос–документ; README сообщает, что внешние запросы, ответы и документы, а также лидербордные запросы и скрытые результаты не использовались.

710июль 2026ctx32.8K
texthugging-face
Steve0927
qwen3-embedding-0.6b-lrat-full80k-conservative-from-broad

Это дообученная плотная модель для поиска по тексту, подготовленная Steve0927 для соревнования XIR 1170. Она основана на Qwen3-Embedding-0.6B и содержит около 507,6 млн параметров; для векторного представления текста используется архитектура Qwen3. Модель рассчитана на создание эмбеддингов и извлечение релевантных документов в сценариях агентного поиска по фиксированному корпусу, в том числе в задачах формата XIR и BrowseComp-Plus. При обучении применялся метод Trajectory Utility Calibration: строки запросов, положительных и отрицательных примеров из официальных траекторных данных LRAT проверялись и взвешивались с целью снизить влияние слабых положительных примеров и вероятных ложных отрицаний. Модель поддерживает контекст до 32 768 токенов. Карточка указывает английский язык; метаданные относят базовую модель к многоязычным эмбеддинговым моделям Qwen3. Лицензия в предоставленных данных не указана.

1050июль 2026ctx32.8K
textembeddinghugging-face
QuantFactory
Qwen3-Reranker-0.6B-GGUF

QuantFactory/Qwen3-Reranker-0.6B-GGUF — квантизированная версия модели Qwen3-Reranker-0.6B, созданная QuantFactory с использованием llama.cpp на основе Qwen/Qwen3-0.6B-Base. Это текстовая reranking-модель для переоценки и сортировки найденных документов по их релевантности запросу, прежде всего в системах поиска, retrieval-augmented generation, вопросно-ответных приложениях, классификации и других сценариях работы с текстом. Модель содержит около 0,6 млрд параметров, имеет 28 слоёв и поддерживает контекст длиной до 32K токенов. Она рассчитана на работу более чем со 100 языками, включая различные языки программирования, и предназначена для многоязычного, кросс-языкового и поиска по коду. Модель поддерживает пользовательские инструкции, которые можно адаптировать под конкретную задачу, язык или сценарий; для многоязычных задач рекомендуется формулировать инструкции на английском языке. К сильным сторонам относятся компактный размер, многоязычность, поддержка длинного контекста и возможность уточнять ранжирование с помощью инструкций. К ограничениям относятся специализация именно на переранжировании, необходимость совместного использования с этапом первичного поиска в типичной retrieval-системе и возможные особенности совместимости, связанные с квантизированным форматом GGUF и используемым программным обеспечением. Модель распространяется по лицензии Apache-2.0.

6933июнь 2025
textapache-2.0hugging-face
unsloth
Qwen3-VL-2B-Thinking

Qwen3-VL-2B-Thinking — компактная мультимодальная модель семейства Qwen3-VL, представленная в репозитории Unsloth как дообученная версия Qwen/Qwen3-VL-2B-Thinking. Модель построена на плотной архитектуре Qwen3VLForConditionalGeneration и предназначена для диалоговой работы с текстом и изображениями, визуальных рассуждений и анализа видео. Репозиторий содержит веса в формате safetensors; для работы используется библиотека Transformers. Модель подходит для распознавания объектов и текста на изображениях, ответов на вопросы по визуальному содержимому, анализа пространственных отношений, STEM-задач и понимания видеособытий с временными отметками. Карточка базовой модели заявляет контекст 256K токенов с возможностью расширения до 1M и поддержку OCR на 32 языках; эти характеристики описывают семейство Qwen3-VL и не подтверждены отдельными измерениями именно этой копии. В карточке также упомянуты сценарии визуального управления интерфейсами и генерации кода интерфейсов по изображениям или видео. Модель ориентирована на мультимодальные запросы с изображениями и текстом; описание семейства также указывает на анализ видео. Основные заявленные сильные стороны — визуальное восприятие, OCR, пространственное понимание и рассуждения. Качество отдельных задач в README не приведено, поэтому его следует проверять на целевых данных. Лицензия репозитория — Apache-2.0.

1631окт. 2025ctx262.1K
textimageapache-2.0hugging-face
RefalMachine
RuadaptQwen2.5-32B-QWQ-Beta

RuadaptQwen2.5-32B-QWQ-Beta — русскоязычная инструктивная версия Qwen/QwQ-32B от RefalMachine. Модель семейства Qwen2 с плотной архитектурой и 32 млрд параметров дообучена продолжением предобучения на русскоязычном корпусе; авторы также заменили токенизатор и применили LEP (Learned Embedding Propagation). Репозиторий содержит веса в формате safetensors. Модель предназначена для диалогов, генерации текста и решения задач с рассуждениями. По заявлению авторов, новый токенизатор повышает скорость генерации русскоязычного текста до 60% относительно исходной Qwen/QwQ-32B при сравнении одинаковых последовательностей. Поддерживается контекст до 131 072 токенов; модель рассчитана в первую очередь на русский язык. Указана лицензия Apache-2.0. В README перечислены оценки на Ru-Arena-General, MERA и llmtf_open, однако результаты не приведены, поэтому качество по этим тестам оценить нельзя. Авторы также предупреждают, что ответы отражают данные обучения и могут содержать их предубеждения.

297март 2025ctx131.1K
textapache-2.0hugging-face
JetLM
SDAR-30B-A3B-Chat

JetLM/SDAR-30B-A3B-Chat — разговорная языковая модель семейства SDAR, разработанная авторами SDAR. Она сочетает авторегрессионное обучение с дискретным диффузионным моделированием, чтобы поддерживать параллельную генерацию при сохранении качества, сопоставимого с сильными авторегрессионными моделями. В каталоге указано 2,6 млрд параметров; архитектура — MoE на базе SDAR, формат весов — safetensors, библиотека — Transformers. Контекст составляет до 32 768 токенов. Модель предназначена для диалоговой генерации текста и может применяться для ответов на вопросы, ведения чата и рассуждений. В описании семейства SDAR заявлены эффективность обучения и вывода, а также результаты на задачах научного рассуждения; эти выводы относятся к экспериментам авторов и не гарантируют качество для любой задачи. Модель распространяется по лицензии Apache-2.0.

1.4K2авг. 2025ctx32.8K
textapache-2.0hugging-face
krlvi
sentence-msmarco-bert-base-dot-v5-nlpl-code_search_net

krlvi/sentence-msmarco-bert-base-dot-v5-nlpl-code_search_net — модель Sentence-Transformers на архитектуре BERT, обученная на датасете CodeSearchNet. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Обучение с MultipleNegativesRankingLoss и косинусной мерой сходства ориентировано на сближение семантически связанных текстов, что подходит для поиска по коду и связанным описаниям. Для использования нужна лицензия AGPL-3.0; при распространении или предоставлении модели как сервиса следует учитывать её условия.

1591нояб. 2022ctx512
textembeddingagpl-3.0hugging-face
google
siglip2-base-patch16-naflex

SigLIP 2 Base — базовая модель семейства SigLIP 2, разработанная Google. Это плотный визуально-языковой энкодер класса Siglip2Model для сопоставления изображений и текста; модель доступна в формате Safetensors и используется через библиотеку Transformers. Модель предназначена для классификации изображений по произвольным текстовым меткам без отдельного обучения, поиска соответствий между изображениями и текстом, а также в качестве визуального энкодера для мультимодальных моделей и других задач компьютерного зрения. SigLIP 2 объединяет улучшения предобучения SigLIP для семантического понимания изображений, локализации и получения плотных признаков. Она предобучена на наборе WebLI. Модель принимает изображения и текстовые описания или метки и выдаёт оценки соответствия, пригодные для ранжирования вариантов. Карточка не сообщает конкретный размер параметров и длину контекста. Лицензия Apache-2.0 разрешает использование, изменение и распространение с соблюдением её условий. Оценки из карточки относятся к исследовательской публикации; качество может различаться на задачах и данных, отличающихся от предобучения.

1.1M47февр. 2025
textimageapache-2.0hugging-face
bakrianoo
sinai-voice-ar-stt

Sinai Voice AR STT — модель распознавания арабской речи и преобразования её в текст, разработанная Bakrianoo. Это дообученная версия facebook/wav2vec2-xls-r-300m на арабской части набора Mozilla Common Voice 8.0. Архитектура Wav2Vec2ForCTC, размер — 402,7 млн параметров; модель принимает аудио и выдаёт текст на арабском языке. Модель предназначена для автоматической транскрибации арабской речи. В README приведены результаты оценки на тестовой выборке Common Voice 8.0: WER 0,181 и CER 0,049. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

2813март 2022
textaudioapache-2.0hugging-face
OrdalieTech
Solon-embeddings-base-0.1

Solon Embeddings Base 0.1 — открытая модель эмбеддингов от OrdalieTech для сравнения смысловой близости текстов и поиска по ним. Она основана на XLM-RoBERTa, содержит 305,2 млн параметров и принимает текстовые последовательности длиной до 514 токенов; репозиторий содержит веса в формате safetensors. Модель предназначена прежде всего для французских текстов. Её оценивали на девяти французских бенчмарках для классификации, семантического сходства и переранжирования. Для запросов в поиске авторы рекомендуют добавлять префикс «query : », тогда как пассажи можно подавать без специальной инструкции. Лицензия — MIT. Карточка приводит результаты бенчмарков, но не описывает ограничения по тематике или гарантии качества на других языках и типах текстов; показатели на французских наборах не гарантируют аналогичную точность в иных сценариях.

1.4K17нояб. 2023ctx514
textmithugging-face
nvidia
stt_ar_fastconformer_hybrid_large_pc_v1.0

NVIDIA FastConformer-Hybrid Large для арабского языка — модель автоматического распознавания речи, разработанная NVIDIA и доступная для работы через NeMo. Она преобразует аудио в текст и поддерживает знаки пунктуации: точки, арабские запятые и вопросительные знаки. Модель построена на архитектуре FastConformer с гибридным декодером Transducer (RNNT) и CTC и содержит около 115 млн параметров. Она обучена на примерно 760 часах арабской речи из MASC, Common Voice 17.0 и Fleurs. На вход подаются монофонические WAV-файлы с частотой 16 кГц; модель работает в нестриминговом режиме. На выходе — арабский текст без диакритических знаков, которому может потребоваться обратная нормализация. Модель предназначена для транскрибирования арабской речи и разрешена для коммерческого и некоммерческого использования по лицензии CC BY 4.0. Точность зависит от шума, акцента, типа речи и контекста; качество может снижаться на диалектной речи и незнакомой терминологии. Она не предназначена для критически важных сценариев.

94521нояб. 2024
textaudiocc-by-4.0hugging-face
nvidia
stt_de_fastconformer_hybrid_large_pc

NVIDIA FastConformer-Hybrid Large (de) — модель распознавания немецкой речи, разработанная NVIDIA и обученная с помощью NeMo. Она принимает монофоническое аудио WAV с частотой 16 кГц и возвращает транскрипцию немецкой речи с заглавными и строчными буквами, пробелами, точками, запятыми и вопросительными знаками. Модель содержит около 115 млн параметров и использует архитектуру FastConformer с гибридным обучением на функциях потерь Transducer и CTC. Декодирование доступно в обоих режимах. Модель обучена на суммарно 2500 часах немецкой речи из MCV12, MLS и VoxPopuli; карточка приводит оценки WER для этих наборов данных. Модель подходит для транскрибирования немецких аудиозаписей и может использоваться как готовый чекпойнт для вывода или дообучения на других данных. Качество может снижаться на технической лексике, незнакомой разговорной речи и акцентированной речи. Модель выводит только точку, запятую и вопросительный знак. Лицензия — CC-BY-4.0.

46410май 2023
textaudiocc-by-4.0hugging-face
facebook
tart-full-flan-t5-xl

facebook/tart-full-flan-t5-xl — модель ранжирования документов, разработанная исследователями Meta AI и представленная в проекте TART. Это кросс-энкодер на архитектуре T5, дообученный инструкциями на примерно 40 задачах информационного поиска и инициализированный из google/flan-t5-xl. Модель принимает запрос, текст документа и инструкцию на естественном языке, а затем оценивает релевантность документа запросу, чтобы упорядочить кандидатов после первичного поиска. Модель предназначена для улучшения поиска по коллекциям документов и применяется в сценариях retrieval-augmented generation, где нужно выбрать наиболее подходящие фрагменты для ответа. Авторы сообщают о результатах на BEIR, LOTTE и X²-Retrieval, превосходящих предыдущие методы на момент публикации работы. В метаданных указаны 385,2 млн параметров и контекст до 512 токенов; README приводит для TART-full размер 1,5 млрд параметров, поэтому сведения о размере расходятся. Доступен формат PyTorch. Для использования требуется специализированная реализация EncT5. README не сообщает лицензию, поэтому условия использования по имеющимся сведениям определить нельзя.

1.0K29дек. 2022ctx512
texthugging-face
cgato
Thespis-CurtainCall-7b-v0.2.1

Thespis-CurtainCall-7b-v0.2.1 — экспериментальная разговорная модель на базе Mistral, опубликованная cgato. Автор описывает её как первую модель в серии экспериментов по улучшению своих моделей и отмечает, что работа ещё не завершена. Модель предназначена для генерации диалоговых ответов, следования инструкциям и рассуждений в чате. При дообучении использованы наборы Dolphin, UltraChat, Capybara, ToxicQA, OpenOrca, Airoboros 3.1 и другие, включая данные для задач по программированию, физическому рассуждению и теории разума. В README приведены шаблоны чата Oobabooga и SillyTavern. Это плотная MistralForCausalLM на 7,1 млрд параметров с контекстом до 32 768 токенов; репозиторий содержит веса PyTorch. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое применение. Автор предупреждает, что модель экспериментальная и ещё не завершена; карточка также помечена как устаревшая.

101февр. 2024ctx32.8K
textcc-by-nc-4.0hugging-face
trollek
Tyr-4B-v0.1

Tyr-4B-v0.1 — языковая модель, созданная автором trollek путём обучения LoRA-адаптеров и их объединения методом DELLA. Модель основана на trollek/LittleInstructionMaker-4B-v0.2; её плотная архитектура Llama содержит 3,8 млрд параметров, а контекст составляет 8192 токена. В репозитории представлены веса safetensors. Модель предназначена для диалоговой генерации текста, в том числе для задач, связанных с кодом и данными WhiteRabbitNeo. Она обучена с шаблоном ChatML и может использоваться с системным сообщением или без него. В карточке заявлено, что модель может выдавать контент без цензурных ограничений; отдельные показатели качества не приведены. Модель распространяется по лицензии Apache-2.0. Это ранняя версия v0.1; возможности и качество для конкретных задач следует проверять на собственных примерах.

141авг. 2024ctx8.2K
textapache-2.0hugging-face
NomaDamas
v-splade-efficient-mlx

NomaDamas подготовил конверсию v-splade-efficient для MLX и Apple Silicon. Это разреженный мультимодальный ретривер для поиска страниц визуальных документов: изображения страниц PDF, слайдов и сканов кодируются ModernVBERT, объединяющим визуальную башню SigLIP, pixel-shuffle connector и текстовый энкодер ModernBERT, а SPLADE MLM head формирует разреженный вектор в пространстве словаря размерностью 50 368. Запросы обрабатываются по предварительно вычисленной таблице Bag-of-Words без нейронного кодирования. Репозиторий содержит веса энкодера документов в bfloat16 и таблицу запросов fp32. Это конверсия исходных весов PyTorch в MLX; обучение и дообучение не проводились. В README описано совпадение результатов отдельной fp32-конверсии с PyTorch, но эти численные показатели не относятся к размещённым здесь весам bfloat16. Модель распространяется по лицензии Apache-2.0.

290авг. 2026ctx8.2K
textimageembeddingapache-2.0hugging-face
emon1521
wav2vec2-base

emon1521/wav2vec2-base — дообученная модель распознавания речи на архитектуре Wav2Vec2 с примерно 113,3 млн параметров. Она принимает аудио и предназначена для преобразования речи в текст. В карточке указана оценка WER 1,0 на тестовом наборе; обучающий датасет обозначен как None, поэтому оценить качество на конкретных языках и типах речи по этим сведениям нельзя. Модель опубликована в формате PyTorch под лицензией Apache-2.0. Карточка не приводит подробностей об используемых языках, условиях обучения или рекомендуемых сценариях применения.

260апр. 2022
textaudioapache-2.0hugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей