/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
14 191–14 220 из 25 791
OsaurusAI
Bonsai-2-27B-Ternary-JANG

Bonsai-2-27B-Ternary-JANG — мультимодальная модель с плотной архитектурой Qwen3.8-27B, подготовленная OsaurusAI как JANG-affine-перепаковка тернарных весов Prism ML. Модель предназначена для диалогов и рассуждений с текстом, а также обработки изображений и видео; в комплекте сохранены шаблон чата Qwen3.8, обработчики изображений и видео и интерфейс вызова инструментов. Текстовые веса исходной модели сохранены без повторной квантизации: 402 модуля используют тернарные значения в 2-битных слотах с группами размера 128. Некоторые линейные слои зрения хранятся в 6-битном формате, а ряд других параметров — в исходной точности. Архитектура включает 64 блока: 48 GatedDeltaNet и 16 блоков полного внимания. Для корректной работы необходим загрузчик с поддержкой JANG Hadamard; стандартные загрузчики mlx_lm и mlx_vlm могут выдавать неверные результаты. Модель распространяется по лицензии Apache-2.0.

1.4K5сент. 2026ctx262.1K
textimageapache-2.0hugging-face
manveertamber
cadet-embed-base-v1

cadet-embed-base-v1 — плотная BERT-base модель для создания текстовых эмбеддингов и поиска релевантных фрагментов. Разработана Manveer Singh Tamber и соавторами; дообучена на базе intfloat/e5-base-unsupervised с помощью листовой дистилляции от cross-encoder моделей RankT5-3B и BAAI/bge-reranker-v2.5-gemma2-lightweight. Для обучения использованы синтетические запросы, созданные Llama 3.1 8B, и более 400 тысяч фрагментов из MSMARCO, DBPedia и Wikipedia. Модель предназначена для плотного поиска: сопоставления запросов с документами и отбора релевантных фрагментов. Она содержит 136,7 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Карточка указывает английский язык. Веса опубликованы в формате safetensors по лицензии Apache-2.0. README характеризует качество поиска как высокое, но не приводит количественных результатов оценки.

1783май 2025ctx512
textapache-2.0hugging-face
anaghaj111
codebert-base-code-embed-mrl-langchain-langgraph

anaghaj111/codebert-base-code-embed-mrl-langchain-langgraph — англоязычная модель Sentence Transformers, дообученная на базе shubharuidas/codebert-embed-base-dense-retriever. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для вычисления семантического сходства и поиска по смыслу. Архитектура основана на RoBERTa с усреднением токенных представлений; сходство оценивается косинусной мерой. Модель содержит 151,8 млн параметров и принимает последовательности длиной до 514 токенов по метаданным; в README указан предел 512 токенов. Модель предназначена для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и подготовки признаков для классификации текста. Обучение с Matryoshka Loss позволяет использовать усечённые векторы меньшей размерности; в README приведены результаты поиска для размерностей от 64 до 768 на небольшом наборе из 180 обучающих примеров. Лицензия — Apache-2.0. Результаты на малом наборе не гарантируют качество на других данных; заявленная поддержка языка — английский.

1140янв. 2026ctx514
textembeddingapache-2.0hugging-face
Tool-COLT
contriever-base-msmarco-v1-ToolBenchG2

Карточка модели Tool-COLT/contriever-base-msmarco-v1-ToolBenchG2 на Hugging Face совпадает с карточкой MassTool/contriever-base-msmarco-v1-ToolBenchG2, поэтому описание составлено по ней. MassTool/contriever-base-msmarco-v1-ToolBenchG2 — модель Sentence-Transformers на базе архитектуры BERT, преобразующая предложения и абзацы в плотные векторы размерности 768. Она предназначена для поиска семантически близких текстов, семантического поиска и кластеризации. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт векторные представления; в README также описано обучение с MultipleNegativesRankingLoss и косинусным сходством. Данных о целевых языках и специализации на конкретной предметной области нет.

940авг. 2024ctx512
textembeddinghugging-face
bartowski
deepcogito_cogito-v1-preview-qwen-32B-GGUF

Это GGUF-квантизированная версия языковой модели cogito-v1-preview-qwen-32B, разработанной deepcogito и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Она может применяться для диалогов, написания и преобразования текста, а также других сценариев текстовой генерации, поддерживаемых базовой моделью. Модель содержит около 32 млрд параметров и доступна в вариантах от BF16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix, что позволяет уменьшить требования к памяти при сохранении высокого качества; варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены автором как рекомендуемые, а Q3 предназначены для систем с ограниченным объёмом RAM и дают более низкое качество. В README не указаны поддерживаемые языки, размер контекста, мультимодальные возможности и специализированные ограничения базовой модели. Для работы следует использовать формат prompt с маркерами ролей ChatML. Модель распространяется по лицензии Apache-2.0.

1.4K16апр. 2025
textapache-2.0hugging-face
heyongxin233
DETree

DETree Embedding — дообученный энкодер RoBERTa-large для получения векторных представлений предложений. Модель разработана автором репозитория heyongxin233 на основе FacebookAI/roberta-large и формирует эмбеддинги размерности 1024. Модель предназначена для извлечения признаков и представления текста в виде эмбеддингов, которые можно использовать в задачах поиска и сравнения предложений. Максимальная длина последовательности составляет 512 токенов; в метаданных указан контекст 514 токенов. Модель принимает текст и выдаёт векторы. Лицензия — MIT.

930окт. 2025ctx514
textembeddingmithugging-face
danicafisher
dfisher-sentence-transformer-fine-tuned2

Danica Fisher дообучила англоязычный Sentence Transformer на базе sentence-transformers/all-MiniLM-L6-v2. Модель кодирует предложения и абзацы в плотные семантические векторы размерности 384; архитектура включает энкодер BERT, усреднение токенов и нормализацию. Для сравнения векторов используется косинусное сходство. В метаданных указаны 25,9 млн параметров и контекст до 512 токенов, а в README — максимальная длина последовательности 256 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразирований, кластеризации и получения признаков для классификации. Обучение описано как дообучение на 180 парах предложений с MultipleNegativesRankingLoss. Карточка не сообщает о специализированной поддержке русского языка, поэтому основное применение следует ориентировать на английский текст. Лицензия в предоставленных данных не указана.

1050сент. 2024ctx512
textembeddinghugging-face
second-state
dolphin-2.6-mistral-7B-GGUF

Dolphin 2.6 Mistral 7B GGUF — это квантизированная версия языковой модели Dolphin 2.6 Mistral, разработанной Cognitive Computations и преобразованной в формат GGUF компанией Second State Inc. Модель основана на cognitivecomputations/dolphin-2.6-mistral-7b и предназначена для локального запуска в приложениях и сервисах, поддерживающих GGUF, включая LlamaEdge. Модель относится к текстовым языковым моделям, работает на английском языке и поддерживает контекст до 4096 токенов. Для взаимодействия используется шаблон ChatML. Доступны варианты квантования от Q2_K до Q8_0 размером примерно от 3,08 до 7,7 ГБ. Вариант Q4_K_M заявлен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S обеспечивают меньшее снижение качества при большем размере. К сильным сторонам относятся возможность локального развертывания, широкий выбор уровней квантования и адаптация для диалоговых и инструкционных сценариев. Ограничения включают англоязычную специализацию, контекст в 4096 токенов и неизбежную потерю качества при более агрессивном квантовании; вариант Q2_K прямо не рекомендуется для большинства задач. Модель распространяется по лицензии Apache-2.0.

1.9K4дек. 2023ctx32.8K
textapache-2.0hugging-face
TeeZee
DoubleBagel-57B-v1.0

DoubleBagel-57B-v1.0 — объединённая языковая модель семейства Llama, созданная с помощью mergekit из предварительно обученной модели jondurbin_bagel-34b-v0.2. Модель содержит 56,2 млрд параметров, использует архитектуру LlamaForCausalLM и рассчитана на генерацию текста и диалоговое взаимодействие с контекстом до 200 000 токенов. Модель можно применять для диалогов и генерации текста с длинным контекстом. Веса опубликованы в формате safetensors, библиотека для работы — Transformers. Лицензия — Apache-2.0.

341авг. 2024ctx200K
textapache-2.0hugging-face
bartowski
Dracarys-Llama-3.1-70B-Instruct-GGUF

Dracarys-Llama-3.1-70B-Instruct-GGUF — это квантованные версии инструкционной языковой модели Dracarys-Llama-3.1-70B-Instruct, разработанной AbacusAI. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на запросы и другие задачи, поддерживаемые текстовыми LLM. Варианты подготовлены пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix; запуск рекомендуется через LM Studio или совместимое программное обеспечение. Модель основана на архитектуре Llama 3.1 и содержит 70 миллиардов параметров. Доступны уровни квантования от Q8_0 до IQ1_M, что позволяет выбирать между качеством ответов и требованиями к оперативной памяти: наиболее качественными считаются Q6_K, Q5_K_M и ряд вариантов Q4, тогда как версии Q2 и Q3 заметно уступают по качеству, хотя некоторые из них остаются пригодными для использования. Размер файлов составляет примерно от 16,75 до 74,98 ГБ. Мультимодальность, поддерживаемые языки и размер контекстного окна в README не указаны. Основные преимущества — большой размер модели, инструкционная настройка и широкий выбор квантований для локального запуска. Ограничения связаны с высокими требованиями к памяти, особенно для качественных вариантов, а также с потерей качества при сильном квантовании. Для корректной работы следует использовать указанный формат prompt с системным, пользовательским и ассистентским сообщениями. Лицензия указана как llama3; дополнительные условия лицензии в README не приведены.

1.1K1авг. 2024
textllama3hugging-face
efederici
e5-small-v2-4096

E5-small-v2-4096 — версия модели текстовых эмбеддингов intfloat/e5-small-v2 с архитектурой Local-Sparse-Global, опубликованная efederici. Модель кодирует запросы и фрагменты текста в векторы для сравнения семантической близости и ранжирования; в README приведён пример для набора MS MARCO Passage Ranking. Модель основана на BERT и содержит около 40 млн параметров. Заявлена поддержка контекста до 4096 токенов и английского языка. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

1070июнь 2023ctx4.1K
texthugging-face
bartowski
EuroLLM-9B-Instruct-GGUF

EuroLLM-9B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели EuroLLM-9B-Instruct, разработанной проектом utter-project и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и диалогового взаимодействия, включая выполнение инструкций и локальный запуск через совместимые приложения, например LM Studio. Модель имеет около 9 миллиардов параметров и поддерживает широкий набор языков, включая английский, немецкий, испанский, французский, итальянский, португальский, польский, русский, украинский, китайский, японский, корейский, арабский и хинди. Мультимодальные возможности и размер контекста в README не указаны. Доступны варианты от F16 до Q2_K_L, различающиеся размером файлов, требованиями к памяти и качеством: старшие варианты обеспечивают качество, близкое к исходной модели, а младшие подходят для систем с ограниченным объёмом RAM, но заметно уступают по качеству. Модель удобна для локального инференса благодаря большому выбору квантизаций; рекомендованным вариантом по умолчанию назван Q4_K_M, а для максимального качества — Q6_K или Q6_K_L. Некоторые варианты оптимизированы для ARM или AVX и имеют ограничения совместимости, в частности отдельные сборки не рекомендуются для Mac или GPU. Лицензия — Apache-2.0.

4.5K27дек. 2024
textapache-2.0hugging-face
2snem6
faster-whisper-large-v3-edacc-commonvoice-l2arctic-v3

Это версия Whisper large-v3, дообученной автором базовой модели и преобразованной в формат CTranslate2 для запуска через библиотеку faster-whisper. Модель предназначена для автоматического распознавания речи и транскрибирования аудиозаписей, в том числе в сценариях реального времени, пакетной обработки и высоконагруженных API. В карточке заявлены ускорение вывода до 4 раз и снижение потребления памяти; фактические показатели зависят от оборудования и длины аудио. Используется точность float16. README связывает исходное дообучение с Common Voice и L2 Arctic, но не приводит метрик качества или подробностей языкового и акцентного покрытия. Метаданные указывают английский язык. Лицензия — Apache-2.0.

1.1K0сент. 2025
textaudioapache-2.0hugging-face
kimquynh
finetuned_sbert_2

kimquynh/finetuned_sbert_2 — модель Sentence Transformers, дообученная автором на базе BAAI/bge-base-en-v1.5 для получения эмбеддингов предложений и абзацев. Архитектура основана на BERT: векторное представление размерности 768 формируется с помощью CLS-пулинга и нормализации; сходство можно оценивать косинусной мерой. Модель принимает текст, поддерживает последовательности длиной до 512 токенов и предназначена, в частности, для поиска по смыслу и извлечения релевантных текстов. В README приведены оценки на задаче сравнения резюме и вакансий: Spearman для косинусного сходства — 0,4624, точность бинарной классификации — 0,711, F1 — 0,767. Базовая модель англоязычная, поэтому основное применение рассчитано на английский текст. Лицензия в предоставленных данных не указана.

620июль 2026ctx512
textembeddinghugging-face
SanctumAI
gemma-2-9b-it-GGUF

SanctumAI/gemma-2-9b-it-GGUF — квантизированная GGUF-версия Gemma 2 9B IT, разработанной Google и подготовленной SanctumAI. Это текстовая decoder-only языковая модель с instruction tuning, предназначенная для генерации текста, диалогов, ответов на вопросы, суммирования и задач, требующих рассуждений. Модель работает с текстом и, согласно README, доступна на английском языке. Модель содержит около 9 млрд параметров. Доступны варианты квантизации Q2_K–Q8_0, а также f16; размер файлов составляет примерно от 3,81 до 18,49 ГБ, а оценочная потребность в RAM или VRAM — от 15,14 до 28,82 ГБ в зависимости от варианта. Квантизация позволяет запускать модель на ноутбуке, настольном компьютере или собственной облачной инфраструктуре при выборе подходящего формата, но более компактные варианты могут уступать по качеству менее квантизированным. Модель распространяется по лицензии Gemma. Для корректного диалога следует использовать шаблон Gemma с маркерами начала и конца хода пользователя и модели. README не указывает размер контекстного окна, мультимодальные возможности или поддержку языков помимо английского; также конкретные ограничения качества не описаны. Как и другие языковые модели, она может генерировать неточный, вредный или неподходящий контент, поэтому результаты требуют проверки.

6307июль 2024
textgemmahugging-face
avemio
German-RAG-UAE-LARGE-V1-TRIPLES-HESSIAN-AI

German-RAG-UAE-LARGE-V1-TRIPLES-HESSIAN-AI — модель Sentence Transformers, разработанная командой German-RAG AI и дообученная на примерно 300 тысячах троек из набора German-RAG-EMBEDDING-TRIPLES-HESSIAN-AI. Она преобразует предложения и абзацы в плотные векторы размерности 1024; архитектура основана на BERT с объединением CLS-токена и нормализацией векторов. Максимальная длина последовательности — 512 токенов, сходство оценивается косинусной мерой. Модель предназначена для семантического поиска по немецким текстам и другим задачам сравнения и группировки текстов: поиска похожих предложений, обнаружения перефразировок, кластеризации и извлечения признаков для классификации. В карточке приведены результаты оценок на немецких наборах для поиска, классификации и семантического сходства. Модель поддерживает немецкий и английский языки; лицензия — MIT.

970окт. 2024ctx512
textembeddingmithugging-face
knowledgator
gliclass-base-v1.0

GLiClass Base v1.0 — компактная модель классификации последовательностей от разработчиков семейства GLiClass, вдохновлённая GLiNER. Она выполняет классификацию текста без дообучения на конкретной разметке: пользователь задаёт категории, а модель оценивает текст за один проход. В карточке указана архитектура GLiClass; веса доступны в форматах Safetensors и ONNX. Размер версии Base в README — 186 млн параметров. Модель подходит для классификации тем и тональности, а также для оценки релевантности документов в RAG-сценариях. В тестах zero-shot она показала результаты на наборах IMDB, AG_NEWS и Emotions; точность зависит от задачи и формулировок категорий. Обучение проводилось на синтетических данных. Карточка заявляет возможность коммерческого использования, а метаданные указывают лицензию Apache-2.0.

1.6K4июль 2024
textapache-2.0hugging-face
knowledgator
gliclass-multilang-ultra

GLiClass Multilang Ultra — мультиязычная модель классификации текста от Knowledgator на архитектуре GLiClass. Она предназначена для zero-shot и few-shot классификации по заданным пользователем меткам, а также для оценки соответствия текста меткам при решении задач NLI и ранжирования релевантности. Модель поддерживает 20 языков: шведский, норвежский, чешский, польский, литовский, эстонский, латышский, испанский, финский, немецкий, французский, румынский, итальянский, португальский, нидерландский, украинский, хинди, китайский, арабский и иврит. Текст и метки могут быть на разных языках. В README указано около 1,72 млрд параметров; доступны иерархические метки, их описания и примеры для few-shot настройки. Модель подходит для тематической и тональной классификации, определения намерений, проверки следования правилам и классификации безопасности LLM. В README приведены оценки на нескольких наборах данных и сравнительные замеры скорости; фактическая производительность зависит от оборудования и задачи. Русский язык среди заявленных языков отсутствует. Лицензия — Apache-2.0.

1.8K14апр. 2026
textapache-2.0hugging-face
oakmindai
GLM-5.3-Flash-NVFP4-FTW

GLM-5.3-Flash-NVFP4-FTW — подготовленный к запуску артефакт модели GLM-5.3 Flash, первоначально разработанной и опубликованной Z.ai. Версию NVFP4 выпустила Red Hat AI, FreeToken предоставил формат FTW и runtime-компоненты, SparkLab — средства подготовки и развёртывания на NVIDIA DGX Spark, а OakMind AI выполнила конвертацию, измерения и публикацию артефакта. Повторного обучения не проводилось. Модель предназначена для генерации текста и диалоговых сценариев с текстовым вводом и выводом. Она основана на Mixture-of-Experts архитектуре: содержит 320 млрд параметров, из которых 18 млрд активируются для отдельного запроса. Артефакт оптимизирован для одного NVIDIA DGX Spark с чипом Grace Blackwell GB10 и использует unified memory, хранение экспертных блоков на локальном NVMe и разреженное выполнение MoE. В исходной модели присутствуют компоненты для работы с изображениями, но в данном пути SparkLab они отключены. Приведённый профиль демонстрирует около 4,98 токена в секунду при пакетном размере 1, однако задержка зависит от NVMe-доступа и состояния кэша экспертов. К сильным сторонам относятся возможность запуска полной модели на одном DGX Spark, снижение объёма резидентных весов за счёт сочетания NVFP4 и FP8 W8A16, а также совместимые с OpenAI и Anthropic API сценарии обслуживания через SparkLab. Ограничения включают зависимость производительности от дискового ввода-вывода, заметную задержку первого запроса при холодном кэше, отсутствие активной поддержки vision-компонентов и то, что опубликованные показатели являются единичным performance-тестом, а не гарантией качества или ёмкости в любых сценариях. Лицензия в README не указана.

1672авг. 2026ctx1M
texthugging-face
thenlper
gte-base-zh

gte-base-zh — модель текстовых эмбеддингов семейства General Text Embeddings (GTE), разработанная Alibaba DAMO Academy на основе архитектуры BERT. Она предназначена для получения векторных представлений китайских текстов и подходит для информационного поиска, сравнения смысловой близости предложений и ранжирования текстов. Модель содержит 129,5 млн параметров и принимает последовательности длиной до 512 токенов; более длинные тексты обрезаются. Метаданные указывают на векторные представления и задачи извлечения признаков и сравнения предложений. Репозиторий содержит веса PyTorch и Safetensors. Модель распространяется по лицензии MIT.

1.7K40нояб. 2023ctx512
textembeddingmithugging-face
Abiray
harrier-oss-v1-27b-GGUF

Abiray/harrier-oss-v1-27b-GGUF — это GGUF-квантизированные версии модели эмбеддингов microsoft/harrier-oss-v1-27b, разработанные для генерации текстовых представлений и семантических векторов. Модель предназначена для задач семантического поиска, сопоставления текстов, кластеризации, классификации и других сценариев, где требуется преобразование текста в embedding-векторы. Запуск ориентирован на стандартное потребительское оборудование и CPU с использованием совместимых инструментов, включая llama.cpp. Модель содержит 27 миллиардов параметров. Доступны варианты квантизации с разрядностью 4, 5, 6 и 8 бит: Q4_K_M, Q5_K_M, Q6_K и Q8_0. Восьмибитная версия обеспечивает наиболее высокое качество и близка к FP16, а четырёхбитная имеет наименьший размер — около 16,6 ГБ — и рассчитана на запуск на системах с 24–32 ГБ оперативной памяти. С README не указаны поддерживаемые языки, максимальная длина контекста, точная архитектура, набор обучающих данных, численные показатели качества или лицензия. Сильными сторонами являются возможность локального запуска крупной embedding-модели на CPU и выбор между несколькими вариантами размера и качества. К ограничениям относятся значительные требования к памяти, особенно для старших вариантов квантизации, а также потенциальное снижение качества в более компактных версиях. Условия лицензирования в предоставленных данных не указаны.

1.5K5апр. 2026
textembeddinghugging-face
arcee-ai
Hermes-Mistral-Saul-Slerp

Hermes-Mistral-Saul-Slerp — объединённая модель генерации текста, созданная с помощью mergekit из Equall/Saul-Instruct-v1 и NousResearch/Nous-Hermes-2-Mistral-7B-DPO. Она основана на архитектуре Mistral, содержит 7,1 млрд параметров и предназначена для диалогов и генерации ответов по текстовым инструкциям; поддерживает контекст длиной до 32 768 токенов. Модель объединяет навыки двух исходных чекпойнтов методом slerp. Подходит для чат-ботов, ответов на вопросы и других сценариев генерации текста на основе инструкций. Репозиторий содержит веса в формате safetensors. Лицензия Apache-2.0.

1141март 2024ctx32.8K
textapache-2.0hugging-face
internlm
internlm3-8b-instruct-gguf

InternLM3-8B-Instruct GGUF — квантизированная версия инструкционной языковой модели InternLM3-8B-Instruct, представленная в формате GGUF для запуска через llama.cpp. В предоставленных данных разработчик явно не указан. Модель предназначена для генерации текста и диалогового взаимодействия, включая решение математических задач, рассуждения и развёрнутые ответы в локальных или облачных средах на различном аппаратном обеспечении. Модель имеет размер 8 млрд параметров и относится к текстовым LLM; сведения о конкретной архитектуре и длине контекста не приведены. Репозиторий содержит варианты с разной точностью и уровнем квантизации, включая FP16, q5_0, q5_k_m, q6_k и q8_0, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью инференса. В метаданных указан английский язык. Для работы требуется совместимый runtime, например llama.cpp, а доступные параметры запуска позволяют настраивать размер контекста, число GPU-слоёв и длину генерируемого ответа. Сильными сторонами модели являются возможность локального запуска, поддержка широкого спектра аппаратных платформ и наличие нескольких вариантов квантизации. Ограничения включают зависимость качества и скорости от выбранной точности и оборудования, а также отсутствие в предоставленных материалах подробных результатов тестирования, перечня поддерживаемых языков и характеристик безопасности. Модель распространяется по лицензии Apache-2.0.

85729янв. 2025
textapache-2.0hugging-face
shyngys879
kazakh-whisper-large-v3-turbo

Kazakh Whisper Large-v3 Turbo — модель распознавания речи на казахском языке, созданная автором репозитория shyngys879 путём дообучения Whisper Large-v3 Turbo от OpenAI. Это модель семейства Whisper с архитектурой encoder-decoder; она принимает аудио и выдаёт текстовую расшифровку. Чекпойнт предназначен для использования через Transformers и Hugging Face pipelines без LoRA-адаптера или специального кода загрузки. Модель обучена на смеси публичных казахских речевых наборов: README сообщает о 841 113 обучающих примерах и более чем 1 500 часах речи. Среди сценариев — транскрибация записей, создание субтитров, расшифровка подкастов, интервью и встреч, а также подготовка речевых данных и обработка звонков. В тесте FLEURS для казахского языка указаны WER 11,80% и CER 4,98%; результаты относятся к описанному набору оценивания. Качество может снижаться при сильном фоновом шуме, перекрывающихся голосах, выраженных акцентах и диалектах, смешении казахского с русским, записях с преобладанием музыки и обработке очень длинного аудио без сегментации. README рекомендует подавать аудио с частотой 16 кГц и разбивать длинные записи на фрагменты. Модель распространяется по лицензии Apache-2.0.

13K15июнь 2026
textaudioapache-2.0hugging-face
kimbyl
klue-roberta-base-klue-sts-mrc

kimbyl разработал Sentence Transformer на основе kimbyl/klue-roberta-base-klue-sts, дообучив его для получения векторных представлений предложений и абзацев. Модель использует энкодер RoBERTa с усреднением токенных представлений и формирует плотные векторы размерности 768; сходство между ними можно оценивать косинусной мерой. Максимальная длина последовательности — 512 токенов. Модель предназначена для семантического сравнения текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текстов. Примеры обучающих данных и описание датасета указывают на поддержку корейского языка; в README приведена оценка сходства с коэффициентом Спирмена 0,8304 на использованной оценке. Лицензия в предоставленных данных не указана.

1260март 2025ctx514
textembeddinghugging-face
byKim93
klue-roberta-base-klue-sts-mrc-2

Это Sentence Transformer на базе RoBERTa, разработанный автором byKim93 и дообученный на базе byKim93/klue-roberta-base-klue-sts-2. Модель преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения смысловой близости текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Для оценки близости используется косинусное сходство. Архитектура включает RobertaModel и усредняющий пулинг токенов; число параметров — 137,8 млн. Максимальная длина последовательности составляет 512 токенов в README и 514 контекстных токенов по метаданным. README приводит результаты оценки сходства: Spearman 0,8454 и Pearson 0,8517. Данные обучения и примеры в карточке на корейском языке; метаданные не подтверждают поддержку других языков. Репозиторий содержит веса в формате safetensors и опубликован под лицензией, указанной в метаданных Hugging Face.

1470февр. 2025ctx514
textembeddinghugging-face
jeongeunKJ
ko-sbert-custom-v1

jeongeunKJ/ko-sbert-custom-v1 — корейская модель Sentence-Transformers на архитектуре BERT, дообученная на snunlp/KR-SBERT-V40K-klueNLI-augSTS. Она преобразует предложения и абзацы в плотные векторы размерности 768, используя усреднение токенных представлений; сходство векторов оценивается косинусной мерой. Модель содержит 144 млн параметров и принимает последовательности длиной до 512 токенов. Модель подходит для семантического поиска и сравнения корейских текстов, поиска перефразирований, кластеризации и классификации. В README указана небольшая обучающая выборка из 4361 пары предложений с оценками сходства и обучение с CosineSimilarityLoss. Лицензия в предоставленных данных не указана.

1230июнь 2025ctx512
textembeddinghugging-face
thumbCrush
ko-sroberta-base-longformer

thumbCrush/ko-sroberta-base-longformer — дообученная модель Sentence Transformers на базе cateto/longformer-ko-sroberta-multitask-23040. Она использует архитектуру RoBERTa с усреднением токенных представлений и преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения по косинусному сходству. Модель содержит 137,8 млн параметров и рассчитана на длинный контекст: метаданные указывают 23 042 токена, а README — максимальную длину последовательности 10 000 токенов. Модель предназначена для семантического поиска, оценки сходства текстов, поиска перефразировок, кластеризации и классификации текстов. Название и базовая модель указывают на ориентацию на корейский язык; отдельные языки в метаданных не перечислены. Модель принимает текст и выдаёт векторы, пригодные для поиска и сравнения. Лицензия в предоставленных данных не указана.

960окт. 2024ctx23K
textembeddinghugging-face
jhgan
ko-sroberta-multitask

ko-sroberta-multitask — корейская модель эмбеддингов предложений на базе архитектуры RoBERTa, опубликованная jhgan. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения текстов и кластеризации. Модель содержит 137,8 млн параметров и принимает контекст до 514 токенов. Модель обучалась в режиме нескольких задач на наборах KorSTS и KorNLI; в README приведены результаты оценки на KorSTS. Она предназначена прежде всего для корейского языка. Для использования в Transformers поверх выходов модели требуется применить подходящую операцию pooling; доступны форматы PyTorch, TensorFlow, ONNX и OpenVINO. Сведения о лицензии в предоставленных материалах отсутствуют.

710K151март 2022ctx514
textembeddinghugging-face
djuna
L3.1-Purosani

djuna/L3.1-Purosani — языковая чат-модель на архитектуре Llama, созданная объединением нескольких предварительно обученных моделей с помощью mergekit и метода della_linear. В основу слияния вошли arcee-ai/Llama-3.1-SuperNova-Lite и grimjim/Llama-3-Instruct-abliteration-LoRA-8B; также в объединении использованы модели для вычислений, длинных текстов и диалогов. Число параметров составляет 7,5 млрд, заявленная длина контекста — 131 072 токена. Модель предназначена для генерации текста в диалоге и выполнения инструкций. Она работает с текстом и может применяться для ответов на вопросы, составления и продолжения текстов, а также обработки длинных запросов. В метаданных указаны библиотека Transformers и формат весов safetensors. Лицензия в предоставленных данных не указана.

231сент. 2024ctx131.1K
texthugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей