/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
16 501–16 530 из 23 488
hypn05
secrets-sentinel-small

Secrets Sentinel small-v1 — англоязычная модель классификации текста от hypn05, дообученная на базе microsoft/deberta-v3-small для обнаружения секретов в строках и фрагментах кода. Она определяет, содержит ли текст секретные данные, например ключ AWS, и отличает их от безопасных примеров переменных окружения и фиктивных значений. Модель предназначена для проверок кода и конфигураций в процессах DevSecOps, включая pre-commit, pre-receive hooks и GitHub Actions. Архитектура DeBERTa V3 Small с классификационной головой содержит около 155 млн параметров по метаданным и принимает до 512 токенов. README сообщает о дообучении на 37 866 размеченных примерах и сопоставимой с базовой моделью точности в девяти тестовых сценариях, а также о скорости примерно в 3,5 раза выше базовой версии. Модель распространяется по лицензии MIT. Заявленные результаты ограничены описанными тестовыми сценариями; полный набор метрик для этой версии в карточке не приведён.

930июнь 2026ctx512
textmithugging-face
lgris
sew-tiny-portuguese-cv8

Модель lgris/sew-tiny-portuguese-cv8 разработана lgris и представляет собой дообученную версию lgris/sew-tiny-pt для автоматического распознавания речи. Она использует архитектуру SEW с CTC-декодированием и содержит 50,4 млн параметров. Модель обучалась на Common Voice 8.0 и предназначена для преобразования португальской речи в текст. На оценочной выборке указаны loss 0,4082 и WER 0,3053. Модель принимает аудио и выдаёт текст; опубликованные веса имеют формат PyTorch. Лицензия — Apache-2.0.

210март 2022
textaudioapache-2.0hugging-face
intfloat
simlm-msmarco-reranker

SimLM-MSMARCO-Reranker — поисковая модель семейства SimLM, опубликованная intfloat для ранжирования пар «запрос — отрывок». Она использует архитектуру ELECTRA и обучена на задаче MS MARCO Passage Ranking; число параметров составляет 136,7 млн, а максимальная длина входа — 512 токенов. Модель оценивает релевантность отрывка запросу: более высокий балл означает более подходящий отрывок. Её можно использовать для повторного ранжирования результатов поиска, например, после первичного этапа dense retrieval. Обучение с listwise loss означает, что оценки не ограничены фиксированным диапазоном и предназначены для сравнения кандидатов. В карточке приведены результаты на MS MARCO и наборах TREC Deep Learning. Модель рассчитана на английский язык. Распространяется по лицензии MIT.

17514авг. 2022ctx512
textmithugging-face
sdadas
stella-pl-retrieval

Stella-PL-retrieval — польскоязычный текстовый энкодер для информационного поиска, разработанный на основе stella_en_1.5B_v5 и дообученный для поиска по польским текстам. Модель сначала адаптировали к польскому языку методом мультиязычной дистилляции на 20 миллионах польско-английских пар, затем дообучили контрастивной функцией потерь на 1,4 миллиона запросов с подобранными положительными и отрицательными фрагментами. В основе — плотная архитектура Qwen2 с 1,5 млрд параметров; репозиторий содержит веса safetensors. Контекст модели составляет до 131 072 токенов. Энкодер преобразует текст в векторы размерностью 1024 и предназначен прежде всего для поиска релевантных документов по запросу на польском языке. В README указано значение NDCG@10 62,32 на Polish Information Retrieval Benchmark. Модель оптимизирована для информационного поиска; для семантического сходства и кластеризации разработчики рекомендуют дистиллированную модель sdadas/stella-pl. Лицензия в метаданных указана как Gemma.

71215сент. 2024ctx131.1K
textembeddinggemmahugging-face
harshrao-dev
text-summarizer-t5

Это компактная модель T5-Small, дообученная Харшем Рао на суммаризацию текста. Она использует архитектуру T5 для преобразования текста в текст и создаёт краткие абстрактивные сводки, стараясь сохранить ключевую информацию. Модель предназначена для суммаризации статей, документов, блогов и длинных диалогов, а также для встраивания в NLP-приложения и конвейеры обработки документов. Модель содержит 38,5 млн параметров, рассчитана на английский язык и имеет контекст длиной до 512 токенов. Лицензия Apache-2.0. Сводки могут упускать важные детали или содержать фактические ошибки; качество зависит от тематики и качества входного текста. Модель не предназначена для проверки фактов и принятия решений в областях с высокими ставками, включая право, медицину и финансы.

330июнь 2026ctx512
textapache-2.0hugging-face
KRLabsOrg
tinylettuce-ettin-68m-en

TinyLettuce-ettin-68m-en — англоязычная модель KRLabsOrg для выявления галлюцинаций в ответах с опорой на заданный контекст. Она построена на энкодере Ettin на 68,1 млн параметров с головой классификации токенов и помечает токены как подтверждённые или галлюцинированные; объединение помеченных фрагментов в span выполняется отдельно. Модель принимает контекст, вопрос и ответ в последовательности до 4 096 токенов по README; метаданные указывают нативный контекст до 7 999 токенов. Модель предназначена для обнаружения неподтверждённых фрагментов в системах retrieval-augmented generation, а также для дальнейшей адаптации на небольших доменных выборках. README сообщает F1 74,97% на RAGTruth и позиционирует модель как компактную для CPU-инференса. Это результат на конкретном бенчмарке, а не гарантия качества на других данных. Модель дообучена от jhu-clsp/ettin-encoder-68m; лицензия — MIT.

2763авг. 2025ctx8K
textmithugging-face
google
tipsv1-b14

TIPS B/14 (v1) — контрастивная модель «текст—изображение» семейства TIPS, представленная в карточке как оригинальный релиз, преобразованный из официальных чекпойнтов. Она предназначена для сопоставления изображений и текстовых описаний и классификации изображений по текстовым меткам без отдельного обучения на этих классах. Модель объединяет визуальный энкодер ViT-B/14 с 12 слоями и текстовый трансформер с 12 слоями. Визуальная часть содержит 86 млн параметров, текстовая — 110 млн; размер эмбеддинга — 768. Штатное разрешение изображений — 448 пикселей, поддерживаются другие разрешения, кратные размеру патча, с интерполяцией позиционных эмбеддингов. Для текста используется токенизатор SentencePiece с ограничением в 64 токена. Пространственно насыщенные признаки изображений выравниваются с текстовыми эмбеддингами; веса доступны в формате safetensors, библиотека для работы — Transformers. Модель подходит для поиска изображений по описаниям, сравнения изображения с вариантами текста и zero-shot классификации. Лицензия — Apache-2.0. В README не заявлена поддержка конкретных естественных языков; текстовый энкодер ограничен 64 токенами. Для изображений требуется вход в диапазоне [0, 1] без нормализации ImageNet.

1822авг. 2026ctx64
textimageapache-2.0hugging-face
resect-ai
veritas-0.6B-fact-checker-non-thinking-1.0

Veritas-0.6B-Fact-Checker-Non-Thinking-1.0 — компактная языковая модель Resect Research Labs, дообученная на базе Qwen/Qwen3-0.6B для проверки фактов и фактической согласованности. Это плотная авторегрессионная модель семейства Qwen3 с 507,9 млн параметров и контекстом до 40 960 токенов; она принимает текст и генерирует текстовый ответ в виде бинарной оценки по заданному шаблону. Модель предназначена для проверки утверждений и оценки фактической опоры ответов, в том числе в сценариях проверки ответов систем с поиском по документам. В тестировании на LLM-AggreFact, который объединяет 11 размеченных наборов данных, авторы сообщают средний результат 72,30%, выше базового Qwen3-0.6B в режиме non-thinking. Использовать модель следует только в предписанном режиме бинарной оценки и с указанным шаблоном: отклонение от него может приводить к неожиданным результатам. Распространяется по лицензии Apache-2.0.

1815май 2026ctx41K
textapache-2.0hugging-face
Seksiyog
VibeVoice-ASR-Streaming-7B

Карточка модели Seksiyog/VibeVoice-ASR-Streaming-7B на Hugging Face совпадает с карточкой komixenon/VibeVoice-ASR-Streaming-7B, поэтому описание составлено по ней. VibeVoice-ASR-Streaming-7B — потоковая модель распознавания речи семейства VibeVoice, представленная в карточке как модель для транскрибации с указанием говорящего. Она обрабатывает поступающую речь и связывает распознанный текст с тем, кто его произнёс; пользовательские горячие слова помогают распознавать имена и специальные термины. Модель поддерживает китайский, английский, французский, немецкий, итальянский, японский, корейский, португальский, русский и испанский языки. В метаданных указаны архитектура VibeVoice, класс VibeVoiceForASRStreamingTraining, библиотека Transformers и формат safetensors. Размер 7B следует из названия модели. Лицензия — MIT. Карточка направляет к репозиторию microsoft/VibeVoice за кодом и инструкциями по использованию. Подробные сведения о контекстном окне, качестве распознавания и ограничениях в предоставленных материалах отсутствуют.

70сент. 2026ctx131.1K
textaudiomithugging-face
iwillcthew
vietnamese-embedding-PROPTIT-domain-ft

Модель iwillcthew/vietnamese-embedding-PROPTIT-domain-ft — Sentence Transformer на архитектуре XLM-RoBERTa, дообученный на базе AITeamVN/Vietnamese_Embedding_v2. Она преобразует предложения и абзацы на вьетнамском языке в плотные векторы размерности 1024, нормализованные для сравнения по косинусному сходству. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации. В README указаны максимальная длина последовательности 512 токенов и оценка Spearman 0,7062 на валидационном наборе для задачи семантического сходства. Метаданные каталога указывают контекст до 8194 токенов; это значение относится к базовой конфигурации, тогда как карточка модели задаёт предел 512 токенов для Sentence Transformers. Модель ориентирована на вьетнамский язык и обучена на 1457 примерах, связанных с вопросами и ответами о PROPTIT — клубе программирования. Лицензия в предоставленных данных не указана.

1230авг. 2025ctx8.2K
textembeddinghugging-face
sanchit-gandhi
wav2vec2-2-bart-large-cnn

sanchit-gandhi/wav2vec2-2-bart-large-cnn — модель распознавания речи на архитектуре SpeechEncoderDecoderModel, обученная с нуля на наборе LibriSpeech ASR. Она преобразует аудио в текст и предназначена для автоматической транскрипции речи. В карточке приведён результат на оценочной выборке: WER 0,1042 и loss 0,3524. Модель опубликована в формате PyTorch. Лицензия и подробности об ограничениях в доступных данных не указаны.

60март 2022ctx1K
textaudiohugging-face
chrisvinsen
wav2vec2-final-1-lm-1

wav2vec2-final-1-lm-1 — модель распознавания речи на базе Wav2Vec2, дообученная автором репозитория chrisvinsen на основе facebook/wav2vec2-base. Она использует архитектуру Wav2Vec2ForCTC и содержит 113,3 млн параметров; предназначена для преобразования аудиоречи в текст. В README приведены значения WER 0,283 и WER 0,129 с 2-грамотной языковой моделью, а также результаты оценки: loss 0,6305 и WER 0,4499. Модель подходит для транскрибации аудиозаписей и распознавания речи в приложениях. Данные не позволяют установить обучающий датасет и поддерживаемый язык, поэтому область применения по языку не уточняется. Распространяется по лицензии Apache-2.0.

150июнь 2022
textaudioapache-2.0hugging-face
PR7175z
wav2vec2-finetuned-asr

wav2vec2-finetuned-asr — модель автоматического распознавания речи, дообученная на основе facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, преобразуя речь в текст. Датасет дообучения не указан; сведения о поддерживаемых языках и целевых сценариях отсутствуют. На оценочном наборе указаны Loss 0,4425, WER 0,5418 и CER 0,3254. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Результаты приведены без описания набора данных и методики оценки, поэтому их нельзя уверенно переносить на другие аудио и условия записи.

101янв. 2026
textaudioapache-2.0hugging-face
Pinwheel
wav2vec2-large-xls-r-300m-tr-colab

Pinwheel/wav2vec2-large-xls-r-300m-tr-colab — модель автоматического распознавания речи, размещённая пользователем или организацией Pinwheel на Hugging Face. Она предназначена для преобразования аудиозаписей в текст и может использоваться через библиотеку Transformers и класс AutoModelForCTC. По идентификатору модели вариант tr предназначен для турецкой речи, однако карточка модели не содержит подробного описания языка и набора данных. Модель основана на архитектуре wav2vec2 и содержит около 402,7 млн параметров. Она относится к семейству XLS-R и ориентирована на задачи speech-to-text. Сильной стороной является применение крупной предварительно обученной речевой модели для автоматического распознавания речи; точность зависит от качества аудио, акцента, предметной области и соответствия данных обучения реальным записям. Лицензия для этого конкретного репозитория в доступных данных не установлена.

570март 2022
textaudiohugging-face
jonatasgrosman
wav2vec2-large-xlsr-53-persian

Модель jonatasgrosman/wav2vec2-large-xlsr-53-persian — акустическая модель распознавания речи, дообученная Jonatas Grosman на базе facebook/wav2vec2-large-xlsr-53. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель предназначена для преобразования персидской речи в текст; обучалась на обучающей и валидационной выборках Common Voice 6.1. На вход подаётся аудио с частотой дискретизации 16 кГц, на выходе — распознанный текст на персидском языке. В карточке приведены результаты на тестовой выборке Common Voice: WER 30,12% и CER 7,37%; фактическое качество зависит от записи и условий речи. Модель опубликована под лицензией Apache-2.0.

1.1M35март 2022
textaudioapache-2.0hugging-face
tanmaylaud
wav2vec2-large-xlsr-hindi-marathi

Wav2Vec2-Large-XLSR-53-Hindi-Marathi — модель распознавания речи, дообученная Tanmay Laud на базе facebook/wav2vec2-large-xlsr-53 на датасетах OpenSLR SLR64 для хинди и маратхи. Она преобразует аудиозаписи речи в текст и рассчитана на входной звук с частотой дискретизации 16 кГц. Модель использует архитектуру Wav2Vec2 с CTC-выходом и содержит около 402,7 млн параметров. В README приведены результаты WER 23,74% на тестовой выборке OpenSLR для хинди и маратхи и 44,08% на Common Voice Hindi; показатели относятся к указанным наборам и не гарантируют такую же точность на других данных. Модель распространяется по лицензии Apache-2.0.

610март 2022
textaudioapache-2.0hugging-face
Wikidepia
wav2vec2-xls-r-300m-indonesian

Wikidepia/wav2vec2-xls-r-300m-indonesian — модель распознавания речи на индонезийском языке, разработанная Wikidepia на основе facebook/wav2vec2-xls-r-300m и дообученная на Common Voice 8.0 и MagicHub Indonesian Conversational Speech Corpus. Она принимает аудио и преобразует речь в текст; подходит для расшифровки записей и разговорной речи на индонезийском языке. Модель построена на архитектуре Wav2Vec2 с классификационной головой CTC и содержит около 402,7 млн параметров. Доступна в формате PyTorch, задача в Hugging Face указана как automatic-speech-recognition. Распространяется по лицензии Apache-2.0. Карточка не приводит метрик качества или подробностей об условиях записи, поэтому точность для конкретных акцентов, шумов и речевых ситуаций по этим данным оценить нельзя.

16K1март 2022
textaudioapache-2.0hugging-face
aasem
wav2vec2-xls-r-300m-Urdu

aasem/wav2vec2-xls-r-300m-Urdu — модель автоматического распознавания речи, созданная дообучением модели Facebook wav2vec2 XLS-R 300M на наборе Common Voice 8.0 для урду. Она принимает аудио и преобразует речь на урду в текст; архитектура — Wav2Vec2ForCTC на основе wav2vec2, объём модели по метаданным составляет 402,7 млн параметров. В карточке приведены результаты на Common Voice: WER 0,2459 и CER 0,0691. Модель предназначена для транскрибирования записей и голосовых сообщений на урду. Репозиторий содержит веса PyTorch, для работы используется Transformers. Лицензия — MIT. Карточка приводит оценку на Common Voice, однако не описывает качество на других наборах данных и в иных акустических условиях.

361март 2022
textaudiohugging-face
dhasmana
WAXALamh_asr-w2v-bert-2.0

WAXALamh_asr-w2v-bert-2.0 — модель автоматического распознавания речи, дообученная на основе facebook/w2v-bert-2.0. Она использует архитектуру Wav2Vec2BertForCTC и принимает аудио, чтобы преобразовывать речь в текст. Размер модели — около 402,9 млн параметров; для работы с весами используется библиотека Transformers, файлы представлены в формате safetensors. В карточке приведены метрики оценки: loss 3,8336 и CER 0,3028. Датасет, языки и сценарии обучения не описаны, поэтому применимость к конкретному языку или акустическим условиям по этим данным определить нельзя. Модель распространяется по лицензии MIT.

80июль 2026
textaudiomithugging-face
eai6
whisper-base-bungoma.en

whisper-base-bungoma.en — англоязычная модель распознавания речи, разработанная на основе openai/whisper-base.en и дообученная на наборе NyansapoAI/azure-dataset. Она преобразует входящее аудио в текст и предназначена для автоматической транскрипции речи на английском языке. Модель построена на архитектуре WhisperForConditionalGeneration семейства Whisper и содержит 51,7 млн параметров. В карточке указаны результаты оценки на тестовой выборке: Loss 0,0636 и WER 25,2804. Модель распространяется в формате safetensors по лицензии Apache-2.0. Описание не содержит сведений о специализированных сценариях применения или дополнительных ограничениях.

8.9K0апр. 2024ctx1K
textaudioapache-2.0hugging-face
mlx-community
whisper-large-v3-8bit

mlx-community подготовила конверсию Whisper large-v3 от OpenAI в формат MLX с 8-битным представлением весов. Модель предназначена для распознавания речи и преобразования аудио в текст; её можно использовать для транскрибации аудиозаписей и речи в приложениях на базе MLX. Whisper large-v3 — мультиязычная модель. Репозиторий указывает библиотеку mlx-audio-plus и формат safetensors. Модель распространяется по лицензии Apache-2.0. Карточка описывает преобразование исходной модели в MLX, поэтому заявленное здесь назначение — распознавание речи.

1960дек. 2025
textaudioapache-2.0hugging-face
mikr
whisper-large-v3-czech-cv13

mikr/whisper-large-v3-czech-cv13 — дообученная модель семейства Whisper, основанная на openai/whisper-large-v3. Она предназначена для автоматического распознавания речи и преобразования аудио в текст; в README указана оценка на тестовой выборке: WER 0,0789 и loss 0,1283. Модель содержит 905,2 млн параметров и распространяется в формате Safetensors. Базовая Whisper large-v3 — мультиязычная модель OpenAI для транскрибации речи и перевода аудио в текст. Название указывает на ориентацию этой версии на чешскую речь, однако README не описывает обучающий набор данных, языковой охват или дополнительные сценарии применения. Лицензия — Apache-2.0.

5536нояб. 2023
textaudioapache-2.0hugging-face
onnx-community
whisper-small

onnx-community/whisper-small — это ONNX-версия мультиязычной модели Whisper Small, опубликованная сообществом ONNX Community на основе модели openai/whisper-small, разработанной OpenAI. Она предназначена для автоматического распознавания речи и перевода речи в текст, включая транскрибацию аудио на исходном языке и перевод с разных языков на английский. ONNX-веса адаптированы для использования, в частности, с Transformers.js и сценариями запуска в браузере или локальных приложениях. Модель построена как Transformer encoder-decoder, или sequence-to-sequence, и содержит около 244 млн параметров. Конфигурация включает 12 слоёв энкодера и 12 слоёв декодера, 12 attention heads в каждом, 80 mel-частотных полос и максимальную длину выходной последовательности 448 токенов. Мультиязычная версия поддерживает 99 языков. Исходный Whisper обучался на 680 000 часах аудио с транскрипциями. Сильные стороны модели — обобщение без обязательной дообучки, устойчивость к акцентам, шуму и технической лексике, а также возможность распознавания и перевода речи. Ограничения включают неравномерную точность между языками, акцентами и диалектами, возможные галлюцинации и повторяющийся текст; качество следует отдельно проверять для конкретной области применения. Модель рассчитана на аудиофрагменты длительностью до 30 секунд без дополнительной обработки, а более длинные записи обрабатываются с помощью разбиения на части. Для базовой модели openai/whisper-small указана лицензия Apache-2.0; отдельная лицензия ONNX-репозитория явно не указана.

135K2май 2024ctx1K
textaudiohugging-face
Xenova
whisper-small.en

Xenova/whisper-small.en — версия модели OpenAI Whisper small.en, подготовленная Xenova для использования в Transformers.js. Репозиторий содержит веса в формате ONNX, совместимые с JavaScript-библиотекой Transformers.js. Модель предназначена для автоматического распознавания речи и транскрибации аудио, в том числе аудиофайлов, доступных по URL. Основной сценарий — запуск распознавания в JavaScript-приложениях, включая веб-среду при наличии соответствующей поддержки ONNX/WebML. Модель ориентирована на английскую речь, что отражено в идентификаторе small.en. Ключевая особенность этой версии — адаптация весов Whisper к формату ONNX; конкретные сведения об архитектуре, числе параметров, размере контекста и точных характеристиках качества в README не приведены. Ограничениями являются ориентация на английский язык и зависимость от Transformers.js и совместимого окружения для выполнения ONNX-модели. Модель распространяется по лицензии Apache-2.0.

9.2K4май 2023ctx1K
textaudioapache-2.0hugging-face
seanghay
whisper-small-khmer-v2

seanghay/whisper-small-khmer-v2 — модель распознавания речи, созданная дообучением openai/whisper-small на датасетах OpenSLR (SLR42), Google FLEURS и km-speech-corpus. Она предназначена для транскрибирования аудио на кхмерском языке; в Transformers её используют для преобразования аудиозаписей в текст. Модель содержит 153,1 млн параметров, построена на архитектуре Whisper и распространяется в форматах PyTorch, Flax и Safetensors. В README указаны результаты на оценочном наборе: loss 0,26 и WER 0,6165. WER указывает на заметную долю ошибок распознавания, поэтому результат следует проверять, особенно для шумных записей и сценариев с высокими требованиями к точности. Лицензия — Apache-2.0.

2.5K10май 2023ctx1K
textaudioapache-2.0hugging-face
bartowski
Yi-Coder-1.5B-Chat-GGUF

Yi-Coder-1.5B-Chat-GGUF — это набор GGUF-квантизованных версий чат-модели Yi-Coder-1.5B-Chat, разработанной 01.AI и подготовленной пользователем bartowski. Модель предназначена для генерации текста и преимущественно ориентирована на задачи, связанные с программированием, включая работу в локальных приложениях и запуск через llama.cpp или LM Studio. В README также указан специальный шаблон промпта с ролями system, user и assistant, а среди изменений отмечено исправление токенизатора. Модель содержит около 1,5 млрд параметров; точные сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не приведены. Доступны варианты от F16 размером 2,95 ГБ до компактных квантизаций Q2 и IQ3 размером менее 1 ГБ. Варианты с более высокой точностью обеспечивают лучшее качество, а низкобитные версии требуют меньше оперативной памяти; отдельные варианты оптимизированы для ARM-инференса и требуют соответствующей поддержки процессора. Качество и практическая пригодность зависят от выбранного типа квантизации. Модель распространяется по лицензии Apache-2.0. README не содержит подробных оценок качества, перечня языков программирования или ограничений исходной модели, поэтому её возможности в конкретных сценариях следует проверять отдельно.

8.1K4сент. 2024
textapache-2.0hugging-face
madlag
bert-base-uncased-squadv1-x2.44-f87.7-d26-hybrid-filled-v1

Это англоязычная модель BERT-base uncased для ответов на вопросы по заданному текстовому контексту, дообученная на SQuAD 1.1 и созданная с помощью библиотеки nn_pruning. В модели 136,7 млн параметров; она не различает регистр букв и поддерживает контекст длиной до 512 токенов. Структурное прореживание сократило линейные слои до 26% исходных весов, а общее число весов — до 42%. По оценке README, на тестировании модель работала в 2,44 раза быстрее исходной; точность составила 87,71 F1 и 80,03 EM против 88,5 F1 и 80,8 EM у исходной модели. Доступны веса PyTorch и TensorFlow. Модель предназначена для извлечения ответов из контекста, например в системах поиска и справочных интерфейсах. Лицензия — MIT.

540март 2022ctx512
textmithugging-face
nvidia
canary-1b

Canary-1B — многоязычная модель распознавания и перевода речи от NVIDIA, доступная как предварительно обученный чекпойнт для NeMo. Она предназначена для преобразования аудио в текст: распознаёт английскую, немецкую, испанскую и французскую речь, а также переводит речь с английского на немецкий, французский или испанский и обратно на английский. Для текста можно включать или отключать пунктуацию и заглавные буквы. Модель содержит 1 млрд параметров и использует архитектуру encoder-decoder: энкодер FastConformer с 24 слоями и Transformer-декодер с 24 слоями. На вход подаётся монофоническое аудио с частотой дискретизации 16 кГц и указаниями задачи и языков; на выходе — распознанный или переведённый текст. Для работы используется инструментарий NVIDIA NeMo. Модель обучена на 85 тысячах часов речи, включая публичные, собранные Suno и внутренние данные. Карточка приводит оценки WER на тестовой выборке Common Voice 16.1: 7,97 для английского, 4,61 для немецкого, 3,99 для испанского и 6,53 для французского. Результаты зависят от языка и условий записи; эти показатели не гарантируют точность на других данных. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

3.0K463февр. 2024
textaudiocc-by-nc-4.0hugging-face
5CD-AI
ColVintern-1B-v1

ColVintern-1B-v1 — экспериментальная мультимодальная модель компании 5CD-AI для поиска по изображениям документов в стиле ColPali. Она дообучена на базе 5CD-AI/Vintern-1B-v2 и выдаёт векторные представления вопросов и изображений с информацией, подходящей для ответа, чтобы использовать их в поиске и RAG. Модель содержит 1 млрд параметров и обучалась на англоязычном наборе ColPali и небольшой части вьетнамских пар «изображение — вопрос и ответ». Авторы сообщают о результатах, близких к ColPali v1 на части тестов ViDoRe. Модель рассчитана на поиск по изображениям документов и извлечение релевантных страниц для ответа на вопросы, особенно по вьетнамским текстам; заявлена также поддержка английского. В README отмечено, что это первая экспериментальная версия, обученная лишь на 5% доступных вьетнамских пар, а расширение данных и улучшение результатов запланированы для будущих версий. Доступна в формате safetensors для Transformers. Лицензия в предоставленных сведениях не указана.

397нояб. 2024ctx4.1K
texthugging-face
shixuanleong
cv-vlm

shixuanleong/cv-vlm — модель компьютерного зрения с языковым интерфейсом, опубликованная Shi Xuan Leong на Hugging Face. По метаданным это Florence-2 объёмом около 0,3 млрд параметров, предназначенная для задач, где требуется анализ изображения и текстовый ответ. Поддерживаемые сценарии включают описание изображений, визуальные вопросы и ответы, OCR и сегментацию. Модель принимает изображение и текстовый запрос, а результат формирует в текстовом виде. Репозиторий использует веса PyTorch в формате Safetensors и распространяется по лицензии MIT. Для конкретной версии cv-vlm отдельные языковые характеристики, длина контекста и результаты оценки качества в доступных источниках не подтверждены. Florence-2 следует рассматривать как компактную модель для задач компьютерного зрения; точность зависит от изображения и типа запроса.

1.5K0окт. 2025ctx1K
textmithugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей