/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
18 391–18 420 из 25 791
kyutai
stt-2.6b-en-trfs

Kyutai STT 2.6B — модель Kyutai для потоковой транскрибации речи на английском языке. Она начинает выдавать текст после поступления первых секунд аудио, поэтому подходит для приложений с распознаванием речи в реальном времени. Модель построена на архитектуре Transformer с декодером, использует многопоточную архитектуру Moshi: аудио кодируется токенизатором Mimi, а модель предсказывает текстовые токены с учётом аудиопотока. В репозитории указано 3,2 млрд параметров; задержка вывода составляет около 2,5 секунды. Модель рассчитана на потоковое распознавание, в том числе при шуме, и может обрабатывать аудио длительностью до двух часов без дополнительных изменений. Текст транскрипции включает заглавные буквы и пунктуацию; временные метки токенов можно восстановить с учётом смещения текстового потока. Для работы предусмотрена интеграция с Transformers версии 4.53.0 и выше. Веса распространяются по лицензии CC BY 4.0.

11K10июнь 2025ctx750
textaudiocc-by-4.0hugging-face
nvidia
stt_es_fastconformer_hybrid_large_pc

NVIDIA FastConformer-Hybrid Large (es) — модель автоматического распознавания испанской речи, разработанная NVIDIA и обученная с использованием инструментария NeMo. Она принимает монофоническое аудио WAV с частотой 16 кГц и возвращает расшифровку в виде текста с заглавными и строчными буквами, пробелами, точками, запятыми и испанскими вопросительными знаками. Модель основана на архитектуре FastConformer с уменьшением временной размерности свёрточными слоями в 8 раз. Это крупная модель примерно на 115 млн параметров с гибридным обучением по функциям потерь Transducer и CTC; доступны оба режима декодирования. Она обучалась на составном наборе испанской речи, включающем Fisher, MCV12, MLS и VoxPopuli, и предназначена для транскрибации речи общего назначения. Качество может снижаться на технической лексике, непривычных разговорных вариантах и акцентированной речи. Модель выводит ограниченный набор знаков препинания: точку, запятую и испанские вопросительные знаки. Лицензия — CC BY 4.0.

6596май 2023
textaudiocc-by-4.0hugging-face
migtissera
SynthIA-7B-v1.3

SynthIA-7B-v1.3 — языковая модель Mistral, разработанная Migtissera и дообученная на наборах данных в стиле Orca. Модель содержит 7,1 млрд параметров, принимает текст и предназначена для следования инструкциям и продолжительных диалогов. Заявленная длина контекста — 32 768 токенов. Модель подходит для генерации ответов, ведения диалогов и выполнения текстовых инструкций. В README приведены результаты оценки на задачах ARC и HellaSwag. Модель обозначена разработчиком как uncensored и может выдавать предвзятые, оскорбительные или неподходящие ответы, а также неточную информацию; важные сведения следует перепроверять. Распространяется по лицензии Apache-2.0.

173140сент. 2023ctx32.8K
textapache-2.0hugging-face
TheBloke
Synthia-v3.0-11B-AWQ

Synthia V3.0 11B AWQ — это квантизированная версия языковой модели Synthia V3.0 11B, разработанной Migel Tissera и опубликованной TheBloke. Модель предназначена для генерации и обработки текста, включая диалоговые сценарии и задачи, требующие связного рассуждения. В README также указан шаблон приглашения Synthia-CoT, ориентированный на последовательное построение ответа с возможностью пересмотра промежуточных шагов. Модель основана на архитектуре Solar и содержит около 11 млрд параметров. Представлена в формате AWQ с 4-битной квантизацией, группой 128 и длиной последовательности 4096 токенов; размер файлов составляет около 5,96 ГБ. Это текстовая модель без заявленной поддержки других модальностей и без указанного набора языков. Квантизация снижает требования к памяти и обеспечивает быструю генерацию при сохранении сопоставимого с распространёнными настройками GPTQ качества, однако для работы требуются совместимые средства инференса и NVIDIA GPU под Linux или Windows; macOS в README не поддерживается. Модель доступна по лицензии Apache-2.0. Она совместима с AutoAWQ, vLLM, TGI, Transformers и text-generation-webui. README не содержит подробных результатов тестирования, поэтому качество на конкретных языках и задачах, а также фактические ограничения исходной Synthia V3.0 11B требуют самостоятельной проверки.

4.4K2дек. 2023ctx4.1K
textapache-2.0hugging-face
bartowski
tencent_Hunyuan-4B-Instruct-GGUF

Это GGUF-квантизированная версия языковой модели Hunyuan-4B-Instruct, разработанной Tencent и преобразованной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы в инструкционном формате: она может применяться в диалоговых сценариях, для ответов на запросы пользователя и других задач text-generation. Модель содержит около 4 миллиардов параметров и доступна в вариантах от BF16 до низкобитных квантований Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 1,9 до 8,45 ГБ; варианты с более высокой точностью обычно обеспечивают лучшее качество, а варианты с меньшим размером требуют меньше оперативной памяти. Для работы предусмотрен специальный шаблон промпта Hunyuan. Модель можно запускать через LM Studio, llama.cpp и другие совместимые проекты. К сильным сторонам относятся широкий выбор квантований, возможность локального запуска и хороший баланс качества и размера у рекомендуемых вариантов Q4–Q6. Низкобитные версии экономят память, но могут заметно уступать по качеству более точным вариантам. В README не указаны поддерживаемые языки, максимальная длина контекста, точная архитектура, мультимодальные возможности и лицензия, поэтому эти характеристики нельзя достоверно оценить.

1.4K4авг. 2025
texthugging-face
timm
vit_large_patch14_clip_224.laion400m_e31

Модель timm/vit_large_patch14_clip_224.laion400m_e31 — модель CLIP с архитектурой Vision Transformer, разработанная для использования через open_clip и timm. В OpenCLIP она обозначена как ViT-L-14; при обучении использовался датасет LAION-400M. Модель предназначена для классификации изображений по текстовым описаниям в режиме zero-shot: пользователь задаёт варианты классов словами, а модель сопоставляет их с изображением без отдельного дообучения на этих классах. Она принимает изображения и текстовые описания и формирует оценки сходства для выбора подходящего описания. Репозиторий содержит веса в форматах PyTorch и safetensors; лицензия — MIT.

4050окт. 2024ctx77
textimagemithugging-face
VTXAI
vtx-embed-1M

vtx-embed-1M — компактная плотная модель эмбеддингов от Vortexa AI для семантического поиска и извлечения признаков. Она содержит 1,05 млн параметров и использует собственный 4-битный формат хранения LF4; в README заявлены объём памяти 0,57 МБ, Matryoshka-представления и задержка на CPU менее миллисекунды. В метаданных архитектура указана как VortexEmbedV4_5, библиотека — tokenizers, формат файлов репозитория — safetensors. Модель предназначена прежде всего для векторизации текста в системах поиска по исходному коду, индексации и retrieval/RAG. Она выдаёт плотные эмбеддинги, которые можно усекать с помощью Matryoshka-подхода для экономии ресурсов. Карточка указывает английский язык. Приведённые в README результаты тестов показывают компромисс между малым размером и качеством: на STSBenchmark модель уступает MiniLM-L6-v2 и bge-small-en-v1.5, хотя на Banking77Classification превосходит их по указанной точности. Модель опубликована под лицензией MIT. Заявленные показатели размера и скорости относятся к описанию автора; подробностей о методике измерений в предоставленном фрагменте нет.

502июль 2026
textembeddingmithugging-face
badrex
w2v-bert-2.0-kinyarwanda-asr

Модель badrex/w2v-bert-2.0-kinyarwanda-asr разработана Бадром аль-Абси и предназначена для автоматического распознавания речи на киньяруанда. Это дообученная для ASR модель facebook/w2v-bert-2.0 с архитектурой Wav2Vec2-BERT и классификатором CTC; в метаданных указано 402,7 млн параметров. Она принимает аудио и выдаёт текстовую транскрипцию. Модель обучалась на примерно 1000 часах размеченной речи из датасета Kinyarwanda ASR Track B, охватывающего здравоохранение, государственное управление, финансы, образование и сельское хозяйство; для тестов внутри этих предметных областей автор сообщает WER ниже 8,4%.

28K6сент. 2025
textaudiocc-by-4.0hugging-face
Yehor
w2v-bert-uk

Yehor разработал модель распознавания украинской речи на основе дообученной facebook/w2v-bert-2.0. Это плотная модель архитектуры Wav2Vec2-BERT с головой CTC, принимающая аудио и выдающая распознанный текст. В метаданных указано 402,7 млн параметров; модель обучалась на Common Voice 10.0 и распространяется в формате Safetensors по лицензии Apache-2.0. В карточке приведены метрики: WER 6,6% и CER 1,34%; также указана точность на словах 93,4% и символах 98,7%. Карточка рекомендует использовать обновлённую модель, поэтому результаты могут не отражать актуальное состояние проекта. Модель предназначена для автоматического распознавания речи на украинском языке.

978янв. 2024
textaudioapache-2.0hugging-face
facebook
wav2vec2-large-xlsr-53-spanish

facebook/wav2vec2-large-xlsr-53-spanish — модель распознавания испанской речи, опубликованная Facebook. Она основана на архитектуре Wav2Vec2 и имеет около 402,7 млн параметров. Модель принимает аудио и выдаёт текстовую транскрипцию; в карточке указана оценка 17,6% на тестовой части Common Voice для испанского языка. Модель предназначена для автоматической транскрипции испанской речи, например записей и голосовых сообщений. Доступны веса в форматах PyTorch и Flax. Лицензия — Apache 2.0. README сообщает результат оценки, но не уточняет, какой именно метрикой он измерен.

1.6K23март 2022
textaudioapache-2.0hugging-face
robinhad
wav2vec2-xls-r-300m-uk

robinhad/wav2vec2-xls-r-300m-uk — модель распознавания украинской речи, созданная дообучением facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; в метаданных указан Common Voice как набор данных. Для оценки приведены WER 0,1222 и CER 0,0204. Модель предназначена для автоматической транскрипции украинской речи. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT. Подробности о тренировочных данных, условиях записи и известных ограничениях в карточке не раскрыты.

1686март 2022
textaudiomithugging-face
KnutJaegersberg
webMistral-7B

KnutJaegersberg/webMistral-7B — языковая модель семейства Mistral с плотной архитектурой MistralForCausalLM и 7,1 млрд параметров. Она предназначена для генерации текста и может использоваться как базовая модель для запросов и продолжения текста. В карточке приведён пример промпта и результаты оценки на Open LLM Leaderboard, включая ARC и HellaSwag. Модель принимает текст и выдаёт текст; её заявленная длина контекста — 32 768 токенов. Веса опубликованы в формате safetensors. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. README не сообщает о специализированной предметной области или подтверждённых языках.

911нояб. 2023ctx32.8K
textcc-by-nc-4.0hugging-face
OpenVINO
whisper-base-int8-ov

OpenVINO/whisper-base-int8-ov — модель автоматического распознавания речи, разработанная на основе whisper-base от OpenAI и конвертированная в формат OpenVINO IR. Веса сжаты до INT8 с использованием NNCF, что предназначено для эффективного запуска инференса через OpenVINO. Модель работает с аудиоданными и поддерживает распознавание речи на множестве языков, включая английский, китайский, немецкий, испанский, русский, французский, японский и другие языки, указанные в карточке модели. Модель подходит для транскрибирования аудиозаписей и других задач автоматического распознавания речи. Она совместима с OpenVINO 2025.2.0 и новее, а также с Optimum Intel 1.23.0 и новее; в примерах предусмотрен запуск на CPU через OpenVINO GenAI. Для использования требуются соответствующие библиотеки OpenVINO, Optimum Intel или OpenVINO GenAI. Конкретные размер модели, длина контекста и архитектурные параметры в карточке не указаны. Ключевые характеристики оптимизации — асимметричное INT8-сжатие весов с размером группы 128 и представление OpenVINO IR. Это может снизить требования к ресурсам и упростить развертывание, однако возможны компромиссы между эффективностью и качеством по сравнению с исходной моделью. Ограничения следует уточнять в оригинальной карточке whisper-base от OpenAI. Модель распространяется под лицензией Apache-2.0.

1.4K1нояб. 2024ctx1K
textaudioapache-2.0hugging-face
adriszmar
whisper-large-v3-turbo-es

adriszmar/whisper-large-v3-turbo-es — дообученная модель распознавания речи, созданная на основе openai/whisper-large-v3-turbo и адаптированная к испанскому языку на испанской части Common Voice 17.0. Она использует архитектуру WhisperForConditionalGeneration и содержит 905,2 млн параметров; работает с аудио и выдаёт текстовую транскрипцию. Модель предназначена для распознавания испанской речи. На тестовой выборке Common Voice 17.0 её показатель WER составил 5,34% против 6,91% у базовой модели. Результат относится к этой выборке и не гарантирует такую же точность на других аудиозаписях. Модель распространяется по лицензии MIT.

745окт. 2024
textaudiomithugging-face
bofenghuang
whisper-small-cv11-german

bofenghuang/whisper-small-cv11-german — версия Whisper small, дообученная для распознавания немецкой речи на немецкой части набора Common Voice 11.0. Модель разработана на основе openai/whisper-small и использует архитектуру Whisper с 153,1 млн параметров; для распознавания аудио требуется частота дискретизации 16 кГц. Модель преобразует немецкую речь в текст, включая регистр букв и пунктуацию. В карточке приведён WER 11,35 на Common Voice 11.0. Она подходит для транскрибации немецких голосовых записей и аудио, записанного в условиях, близких к данным обучения. Распространяется по лицензии Apache-2.0.

1479дек. 2022ctx1K
textaudioapache-2.0hugging-face
openai
whisper-small.en

Whisper small.en — англоязычная модель распознавания речи от OpenAI, представленная в семействе Whisper. Это Transformer-модель типа encoder-decoder с архитектурой sequence-to-sequence и 153,1 млн параметров. Она принимает аудио и преобразует английскую речь в текст; для длинных записей транскрибирование можно выполнять с разбиением аудио на фрагменты, а при соответствующей настройке получать временные метки. Модель обучена на размеченных аудиоданных в рамках семейства Whisper и рассчитана на распознавание английской речи, в том числе в условиях акцентов, фонового шума и специальной лексики. Репозиторий предоставляет веса в форматах PyTorch, TensorFlow и Flax, включая safetensors. Лицензия — Apache-2.0. Транскрипции могут содержать слова, которых нет в аудио; возможны повторения и ошибки распознавания. Качество зависит от акустических условий и разновидности английского; эта англоязычная версия не предназначена для многоязычного распознавания или перевода речи.

140K75сент. 2022ctx1K
textaudioapache-2.0hugging-face
sanchit-gandhi
whisper-small-ft-common-language-id

Модель sanchit-gandhi/whisper-small-ft-common-language-id — дообученная Sanchit Gandhi версия Whisper Small от OpenAI для классификации аудио по языку речи. Она основана на архитектуре Whisper и обучена на датасете Common Language; в метаданных указано 153,1 млн параметров. На оценочной выборке модель достигла точности 0,8860 при значении loss 0,6409. Подходит для определения языка в аудиозаписях, например перед выбором подходящей системы распознавания речи. Распространяется по лицензии Apache-2.0.

393февр. 2023
audioapache-2.0hugging-face
vasista22
whisper-telugu-medium

Whisper Telugu Medium — модель распознавания речи, разработанная Vasista22 на основе Whisper Medium от OpenAI и дообученная на корпусах речи на телугу. Она преобразует аудио на телугу в текст и предназначена для транскрибации записей и оценки систем ASR. Модель построена на архитектуре Whisper и содержит около 455,8 млн параметров; доступны веса PyTorch и Flax. В обучении использованы несколько публичных корпусов, включая CSTD IIIT-H, ULCA, Shrutilipi, Microsoft Speech Corpus, Fleurs и Babel. Модель распространяется по лицензии Apache-2.0.

8043дек. 2022ctx1K
textaudioapache-2.0hugging-face
Harvard-DCML
ADAPT-Olmo3-4.3B-Instruct

ADAPT-Olmo3-4.3B-Instruct — диалоговая языковая модель, разработанная Harvard-DCML как студент на основе Olmo-3-7B-Instruct. Она создана в рамках метода ADAPT, который позволяет интерполировать размер между вариантами одной базовой модели после обучения; чекпойнт можно использовать для построения промежуточной модели вместе с исходной моделью. Модель имеет плотную архитектуру Olmo 3 с 3,9 млрд параметров, принимает текст и генерирует текст в диалоговом формате. Длина контекста составляет 65 536 токенов. Для интерполяции README рекомендует включать патчинг первых слоёв студенческой модели; число слоёв патчинга определяет размер промежуточной модели. Модель распространяется по лицензии Apache-2.0.

880сент. 2026ctx65.5K
textapache-2.0hugging-face
bartowski
allenai_SERA-8B-GGUF

SERA-8B-GGUF — это набор GGUF-квантизированных версий языковой модели SERA-8B, разработанной Allen Institute for AI (AI2). Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель имеет размер 8B параметров и поддерживает текстовый ввод и вывод. Доступны варианты от BF16 до низкобитных Q2–Q8 и IQ-квантизаций, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемыми обозначены, в частности, Q4_K_M, Q5_K_M, Q6_K и другие варианты с более высоким качеством; размеры файлов находятся примерно в диапазоне от 3,37 до 16,39 ГБ. Для диалогового использования README указывает шаблон промпта с ролями system, user и assistant. Сильная сторона набора — возможность запускать SERA-8B на локальном оборудовании с разными ограничениями по памяти, сохраняя приемлемое качество при средних и высоких уровнях квантизации. Ограничения зависят от выбранного варианта: более компактные квантизации снижают качество, а для недавно поддерживаемых архитектур может потребоваться обновление используемого программного обеспечения. Языки, размер контекстного окна и специализированные возможности исходной модели в README не указаны. Распространение заявлено по лицензии Apache-2.0.

6550янв. 2026
textapache-2.0hugging-face
amalia-llm
AMALIA-9B-1225-SFT

AMALIA-9B-1225-SFT — открытая языковая модель, разработанная консорциумом португальских университетов и исследовательских центров при участии Фонда науки и технологий Португалии. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и 8,6 млрд параметров. Репозиторий содержит веса Safetensors; модель поддерживает диалоговый режим и контекст до 32 768 токенов. Модель предназначена для универсальной генерации текста на европейском португальском (pt-PT): диалоговой помощи, следования инструкциям, ответов на вопросы, суммаризации, написания и редактирования текстов, перевода и исследовательских задач по португальскому языку. Обучение включало предварительное обучение, контролируемую тонкую настройку (SFT) и настройку предпочтений методом DPO. Модель также можно адаптировать для последующих приложений, включая RAG и государственные сервисы. Карточка указывает, что модель оптимизирована для pt-PT; другие варианты португальского могут обрабатываться менее последовательно. Она способна выдавать фактические ошибки, предвзятые или вредоносные ответы, поэтому результаты нужно проверять, а при внедрении добавлять защитные механизмы и проводить оценку для конкретной задачи. Лицензия — Apache-2.0.

4550янв. 2026ctx32.8K
textapache-2.0hugging-face
IFM
AmberChat

AmberChat — англоязычная инструкция-следующая языковая модель, разработанная LLM360 как часть серии Pebble. Она дообучена на основе LLM360/Amber на наборах WizardLM Evol Instruct и ShareGPT. Модель использует плотную архитектуру LLaMA с примерно 6,6 млрд параметров и рассчитана на генерацию текста при контексте до 2048 токенов. AmberChat предназначена для диалогов и выполнения инструкций на английском языке. В карточке приведена оценка 5,43 на MT-Bench; веса доступны в формате safetensors для Transformers. Модель распространяется по лицензии Apache 2.0. Указанный контекст ограничен 2048 токенами; другие ограничения качества в карточке не описаны.

22625нояб. 2023ctx2K
textapache-2.0hugging-face
BAAI
AquilaMoE-SFT

AquilaMoE-SFT — двуязычная диалоговая языковая модель Beijing Academy of Artificial Intelligence (BAAI), построенная на архитектуре Mixture of Experts (MoE) семейства AquilaMoE и дообученная для следования инструкциям. В метаданных указано 15,9 млрд параметров; модель принимает текст и генерирует текст, поддерживает контекст до 4096 токенов и рассчитана на китайский и английский языки. Модель предназначена для диалогов и ответов на инструкции. В описании семейства говорится, что на каждом токене активируются два из восьми экспертов; приведённый результат AquilaMoE-SFT на AlpacaEval 2.0 составляет 21,1. Модель распространяется под лицензией Apache-2.0. README предупреждает, что у неё нет механизмов модерации, поэтому генерируемые ответы могут требовать отдельной проверки и фильтрации.

2727июнь 2024ctx4.1K
textapache-2.0hugging-face
maldv
Awqward2.5-32B-Instruct

Awqward 2.5 32B Instruct — объединённая модель на архитектуре Qwen2, созданная автором репозитория maldv методом нормализованной интерполяции денойзенных сигналов. В основе лежит Qwen/Qwen2.5-32B-Instruct; в объединение также включены QwQ-32B-Preview, Rombos-LLM-V2.5-Qwen-32b, AiCloser/Qwen2.5-32B-AGI и EVA-Qwen2.5-32B-v0.2. Модель предназначена для диалоговой генерации текста и экспериментов с выводом в XML-подобном формате: автор объединил QwQ с instruct-моделью, чтобы улучшить поведение при таком выводе. Это плотная причинная языковая модель на 32 млрд параметров с контекстом до 32 768 токенов. Карточка указывает английский язык; метаданные отмечают поддержку чата и интерфейс для вызова инструментов. Автор сообщает, что провёл лишь ограниченное первоначальное тестирование, поэтому качество и устойчивость результатов не подтверждены систематической оценкой. Репозиторий распространяется по лицензии Apache-2.0.

407дек. 2024ctx32.8K
textapache-2.0hugging-face
jamescalam
bert-stsb-cross-encoder

Augmented SBERT STSb — модель cross-encoder на основе BERT, представленная как демонстрационный пример в курсе NLP for Semantic Search. Она предназначена для оценки семантического сходства пары предложений и примеров поиска по смыслу; в README модель используется в главе о расширении внутридоменного набора данных с помощью BERT. Модель содержит 136,7 млн параметров, принимает текстовые пары, обрабатывает последовательности длиной до 512 токенов и выдаёт оценку сходства. Для работы используются PyTorch и архитектура BertForSequenceClassification. Модель пригодна для ранжирования кандидатов по сходству с запросом и поиска похожих предложений, но предназначена прежде всего для демонстрации и не является универсальной чат-моделью. В карточке не приведены сведения о лицензии и поддерживаемых естественных языках.

4231март 2022ctx512
texthugging-face
google
bert_uncased_L-12_H-256_A-4

google/bert_uncased_L-12_H-256_A-4 — компактная англоязычная модель BERT от Google из серии BERT Miniatures, описанной в работе «Well-Read Students Learn Better: On the Importance of Pre-training Compact Models». Она обучена без учёта регистра с маскированием токенов WordPiece и имеет 12 слоёв, скрытый размер 256 и 4 attention-головы; максимальная длина контекста — 512 токенов. Число параметров — около 20,4 млн. Модель предназначена для задач понимания текста и для сред с ограниченными вычислительными ресурсами. Её можно дообучать для классификации и других задач обработки языка; авторы отмечают, что особенно полезна она в дистилляции, когда обучающие метки создаёт более крупная модель-учитель. Доступны веса в форматах PyTorch и Flax. Лицензия Apache-2.0. Как компактная модель, она может уступать более крупным моделям по качеству; README рекомендует для лучших результатов дистилляцию от более точного учителя.

4234март 2022ctx512
textapache-2.0hugging-face
Qdrant
bge-large-en-v1.5-onnx

Qdrant/bge-large-en-v1.5-onnx — это ONNX-порт модели BAAI/bge-large-en-v1.5, разработанной BAAI и подготовленной для использования в экосистеме Qdrant. Модель предназначена для работы с текстом, включая задачи классификации текста и поиска по сходству. Модель преобразует текстовые документы в числовые векторные представления, которые можно использовать для сравнения семантической близости документов и построения систем поиска. В README приведён пример инференса через библиотеку FastEmbed. Из доступных данных следует, что модель ориентирована на английский язык; размер, точная архитектура, длина контекста и другие технические характеристики не указаны. Модель удобна для локального или инфраструктурного запуска в формате ONNX и интеграции с инструментами векторного поиска. Ограничения README не описывает, однако применимость к другим языкам, производительность и качество в конкретных сценариях требуют отдельной оценки. Лицензия модели — Apache-2.0.

63K1янв. 2024ctx512
textmithugging-face
Xenova
bge-reranker-base

Xenova/bge-reranker-base — модель переранжирования текстов, представляющая ONNX-версию BAAI/bge-reranker-base. Модель подготовлена для работы с библиотекой Transformers.js и предназначена для запуска в JavaScript-средах, включая сценарии, где требуется совместимость с WebML. Основное назначение модели — оценивать и ранжировать текстовые варианты, например результаты поиска или документы относительно запроса. В README указана поддержка задачи text-ranking и совместимость с Transformers.js; модель можно использовать через pipeline с типом text-classification. Архитектура, количество параметров, поддерживаемые языки, модальности и размер контекстного окна не указаны. К сильным сторонам относятся формат ONNX, интеграция с Transformers.js и возможность применения в веб-ориентированных сценариях. Ограничения и точные характеристики качества в предоставленных данных не описаны. Лицензия модели в README не указана.

16K5сент. 2023ctx514
texthugging-face
BAAI
bge-reranker-v2-minicpm-layerwise

BAAI/bge-reranker-v2-minicpm-layerwise — многоязычная модель ранжирования релевантности от BAAI на базе MiniCPM. Она принимает запрос и текстовый фрагмент и оценивает их соответствие; оценку можно преобразовать функцией sigmoid в значение от 0 до 1. Модель имеет 2,7 млрд параметров, архитектуру LayerWiseMiniCPMForCausalLM и контекст длиной 2048 токенов. Модель предназначена для повторного ранжирования результатов поиска, например кандидатов, полученных из векторного поиска или первичного поискового ранжировщика. Послойный вариант позволяет выбирать более ранние слои для повышения эффективности; в README он также рекомендован для высокой точности. Указаны китайский и английский языки, а метаданные характеризуют модель как многоязычную. Модель обучена на базе openbmb/MiniCPM-2B-dpo-bf16 на смеси наборов данных, включающей bge-m3-data, Quora и FEVER. Распространяется по лицензии Apache-2.0. Карточка описывает применение для ранжирования запросов и документов, но не приводит количественных результатов качества; контекст ограничен 2048 токенами.

2.9K64март 2024ctx2K
textembeddingapache-2.0hugging-face
MaziyarPanahi
calme-2.3-llama3-70b-GGUF

MaziyarPanahi/calme-2.3-llama3-70b-GGUF — это набор файлов модели в формате GGUF для модели calme-2.3-llama3-70b, разработанный и квантованный MaziyarPanahi. Модель предназначена для генерации текста и запуска в локальных приложениях и библиотеках, поддерживающих GGUF. В репозитории доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит. Из идентификатора и тегов следует, что исходная модель основана на архитектуре Llama 3 и имеет размер 70 млрд параметров; точные сведения о модальностях, языках и размере контекста в README не указаны. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими инструментами, что позволяет использовать модель с GPU-ускорением и через совместимые API. Сильные стороны модели — широкий выбор уровней квантования и совместимость с экосистемой локального запуска GGUF. Более низкая разрядность может уменьшить требования к памяти, но потенциально снижает точность по сравнению с полноразмерной версией; конкретные компромиссы для каждого варианта не приведены. Лицензия в README не указана, поэтому условия использования необходимо уточнять в источнике исходной модели и сопутствующих файлах.

4551май 2024
texthugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей