/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
13 561–13 590 из 23 488
facebook
dragon-plus-query-encoder

facebook/dragon-plus-query-encoder — часть поисковой модели DRAGON+, разработанной командой Facebook. Это плотный двуэнкодерный ретривер на базе BERT-base: данный чекпойнт кодирует запросы, а отдельный контекстный энкодер — документы. Модель инициализирована из Shitao/RetroMAE и дополнительно обучена на данных, расширенных на основе корпуса MS MARCO, по подходу Diverse Augmentation Towards Generalizable Dense Retrieval. Энкодер преобразует текст запроса в векторные признаки для поиска релевантных документов. DRAGON+ рассчитана на асимметричный поиск, где для запросов и контекстов используются отдельные параметры; в README приведены результаты на MS MARCO Dev и BEIR. Архитектура — плотная BERT-модель примерно на 136,7 млн параметров, формат весов — PyTorch, длина контекста — 512 токенов. Карточка не сообщает лицензию, поэтому условия использования определить нельзя.

2.2K24февр. 2023ctx512
texthugging-face
Dream-org
DreamOn-v0-7B

DreamOn-v0-7B — языковая модель Dream-org на архитектуре Dream, построенная как плотная модель на 7,1 млрд параметров. Она использует дискретную диффузию для генерации текста и предназначена прежде всего для дополнения пропусков в коде: во время вывода модель динамически расширяет или сокращает маскируемые области, позволяя управлять длиной результата без заранее заданного размера холста. Модель принимает токены и генерирует текст; в карточке также заявлены диалоговый режим и интерфейс для вызова инструментов. README указывает ограничение контекста в 2048 токенов, включая вход и выход, и отмечает, что число новых токенов должно быть не меньше числа масок в запросе. Основные проверки проводились с одним переносимым токеном на шаг; другие настройки этого параметра проверены не полностью. Модель распространяется под лицензией Apache-2.0.

19521июль 2025ctx32.8K
textapache-2.0hugging-face
cross-encoder
ettin-reranker-17m-v1

Модель cross-encoder/ettin-reranker-17m-v1 разработана авторами семейства Ettin и дообучена на базе jhu-clsp/ettin-encoder-17m с помощью Sentence Transformers на наборе cross-encoder/ettin-reranker-v1-data. Это компактный текстовый реранкер: он оценивает релевантность пары «запрос — текст» и помогает переупорядочить результаты поиска или семантического поиска. Модель построена на архитектуре ModernBERT, содержит 16,8 млн параметров и поддерживает последовательности до 7999 токенов; рассчитана на английский язык. К сильным сторонам относятся небольшой размер и высокая пропускная способность в приведённых авторами тестах, а также улучшение порядка найденных документов в большинстве перечисленных наборов оценки. Качество зависит от предметной области и исходного набора кандидатов; на одном из тестов README показывает ухудшение метрики после реранжирования. Модель принимает текстовые пары и выдаёт оценку релевантности. Лицензия — Apache-2.0.

15K12май 2026ctx8K
textapache-2.0hugging-face
Necklace
faster-nb-whisper-large

Necklace/faster-nb-whisper-large — конверсия модели NbAiLab/nb-whisper-large в формат CTranslate2 для запуска через CTranslate2 и проекты на его основе, например faster-whisper. Модель предназначена для автоматического распознавания речи; в карточке указана поддержка норвежского языка. Веса сохранены в FP16, а при загрузке можно выбрать другой compute_type в CTranslate2. Репозиторий распространяется по лицензии Apache-2.0.

1071март 2024
textaudioapache-2.0hugging-face
sgugger
finetuned-bert-mrpc

sgugger/finetuned-bert-mrpc — модель классификации последовательностей на базе BERT, дообученная на наборе GLUE для задачи MRPC, связанной с определением смысловой эквивалентности пар предложений. Модель содержит 135,5 млн параметров, использует архитектуру BertForSequenceClassification и принимает текстовые входы с контекстом до 512 токенов. Модель подходит для определения, выражают ли два предложения одинаковый смысл, например, для сопоставления перефразировок. На оценочной выборке указаны accuracy 0,8235 и F1 0,8792. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0. Языковая специализация в карточке не указана.

5790март 2022ctx512
textapache-2.0hugging-face
Phonsiri
Gemma-4-E4B-it-PARL

Gemma-4-E4B-it-PARL — дообученная командой Pimnara Adulchantarasorn, Phanida Toaluea, Nattanant Vonghan и Rapeepong модель Google Gemma 4 E4B Instruct, созданная в рамках хакатона lablab.ai при поддержке AMD. Модель оптимизирована для автономного многошагового рассуждения и глубокого веб-исследования; при обучении применялись GRPO и подход Parallel-Agent Reinforcement Learning (PARL). Модель предназначена для сценариев, где нужно собирать сведения из нескольких источников, удерживать большой объём контекста и синтезировать выводы в отчёт. По карточке, дообучение рассчитано на контекст свыше 60 тысяч токенов и обучает оркестрации агентных процессов, включая делегирование задач и выполнение Python-кода. Базовая Gemma 4 — мультимодальная модель; в ходе обучения визуальный энкодер оставили замороженным, чтобы сохранить возможности анализа изображений. Репозиторий содержит веса в формате safetensors, лицензия — Gemma License. Основная задача в метаданных — генерация текста. Хотя карточка описывает агентные сценарии и сохранённые возможности работы с изображениями, выполнение внешнего поиска, вызов инструментов и создание HTML-отчётов зависят от соответствующей обвязки; сам README не приводит результатов оценки качества.

520май 2026
texthugging-face
fastino
GLiNER2-Guardrails-PII-Multi

fastino/GLiNER2-Guardrails-PII-Multi — дообученная Fastino модель семейства GLiNER2, объединяющая извлечение персональных данных и модерацию безопасности текста. Это плотный двунаправленный экстрактор с классификацией и выделением фрагментов по заданной схеме; модель работает локально, ориентирована на CPU и позволяет выполнять обе задачи одним проходом. Модель извлекает и размечает фрагменты по 42 типам PII, а также классифицирует безопасность и токсичность запросов и ответов, выявляет jailbreak-атаки и отказы. Поддерживаются английский, французский, испанский, немецкий, итальянский, португальский и нидерландский языки. Схему меток и набор проверок можно задавать при инференсе. Лицензия — Apache-2.0. По данным карточки, модель сопоставима с отдельными GLiGuard и GLiNER2-PII на соответствующих тестах. Она предназначена для фильтрации ввода и вывода LLM, обнаружения PII и подготовки текста к редактированию или маскированию. Это классификатор и экстрактор, а не полноценная система политик безопасности; качество на неевропейских языках и письменностях не измерялось.

5.1K36июнь 2026
textapache-2.0hugging-face
TOk-Atsuru
gpt-oss-20b-pruned-28x

GPT-OSS-20B-Pruned-28x — сжатая версия модели OpenAI GPT-OSS-20B, подготовленная автором репозитория TOk-Atsuru удалением экспертов из разреженной MoE-архитектуры Transformer. В каждом слое оставлено 28 из 32 экспертов; модель содержит 20,9 млрд параметров, из которых 3,6 млрд активны на токен. Она распространяется в формате GGUF и предназначена для генерации текста и диалогов, включая ответы на вопросы, рассуждения, решение математических задач и генерацию кода. По README, размер файла составляет 10,40 ГБ, что позволяет запускать модель при наличии 16 ГБ оперативной памяти; для инференса рекомендован llama.cpp, поддерживаются Apple Silicon, CUDA и CPU. Автор сообщает о результатах 78% на MMLU, 92% на GSM8K и 80% на тесте генерации кода, однако объём проверок невелик, а сравнение GSM8K с исходной моделью некорректно из-за разных размеров выборок. Модель предназначена прежде всего для английского языка; проверка специализированных областей и многоязычных сценариев не описана. Лицензия — Apache 2.0. README указывает, что дальнейшее удаление экспертов резко ухудшает качество, а поведение на отдельных примерах может отличаться от исходной модели. Для надёжного вывода автор рекомендует задавать max_tokens не менее 500 из-за расхода токенов на внутренний канал рассуждений.

2520февр. 2026
textapache-2.0hugging-face
bartowski
granite-embedding-30m-english-GGUF

bartowski/granite-embedding-30m-english-GGUF — квантованная версия модели granite-embedding-30m-english, разработанной IBM под брендом IBM Granite и опубликованной bartowski. Модель предназначена для создания текстовых эмбеддингов на английском языке и решения задач семантического поиска и retrieval, включая поиск по документам, построение RAG-систем и сопоставление запросов с релевантным содержимым. Модель ориентирована на английские тексты. В README указано, что она распространяется в формате GGUF и относится к семейству embedding-моделей; конкретная архитектура, размер эмбеддинга, объём параметров, максимальная длина контекста и поддерживаемые модальности не приведены. В тестах MTEB представлены результаты на наборах ArguaAna, ClimateFEVER и CQADupstack, что подтверждает применимость к задачам информационного поиска, однако показатели заметно различаются в зависимости от предметной области. Сильными сторонами являются компактное квантованное представление GGUF и специализация на англоязычном семантическом поиске. Ограничения включают отсутствие заявленной мультиязычности и недостаток сведений о точных технических характеристиках; качество для других языков и сценариев по README не подтверждено. Модель распространяется по лицензии Apache-2.0.

1.1K0дек. 2024
textapache-2.0hugging-face
mradermacher
IBM-Grok4-UltraFast-Coder-1B-GGUF

IBM-Grok4-UltraFast-Coder-1B-GGUF — это набор GGUF-квантизаций модели IBM-Grok4-Ultra.Fast.Coder-1B, разработанной WithinUsAI и опубликованной в формате GGUF пользователем mradermacher. Модель ориентирована на генерацию текста и кода, а также на сценарии программирования. В метаданных указан английский язык. README перечисляет обучающие наборы, связанные с кодом, математикой, логикой, творческими задачами, торговыми и визуальными промптами, однако точные возможности работы с изображениями не подтверждены для данной версии. Размер базовой модели — 1 млрд параметров; в описании также указаны full fine-tune, PyTorch, multi-GPU и архитектурный тег granite. Доступны варианты от Q2_K до Q8_0, IQ4_XS и f16 размером примерно от 0,8 до 3,4 ГБ. Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант с очень хорошим качеством, а Q8_0 — как наиболее качественный среди быстрых вариантов. Более сильное квантование уменьшает требования к памяти, но может снижать качество. Основное преимущество модели — компактность и наличие множества вариантов квантования для локального запуска. При этом README не содержит данных о длине контекста, точной архитектуре, мультимодальности, результатах оценивания, системных требованиях или дополнительных ограничениях качества. Лицензионные условия в представленном описании не указаны.

6452март 2026
texthugging-face
kiel2
Kiel-2-Rerank

Kiel-2-Rerank — дообученный кросс-энкодер на базе BAAI/bge-reranker-base для повторного ранжирования текстов. Модель разработана автором репозитория kiel2 и оценивает пару «запрос — документ» совместно, выдавая один числовой балл релевантности. Она предназначена для семантического поиска и многоэтапного извлечения документов, включая подбор контекста для RAG-систем. Модель использует архитектуру XLM-RoBERTa с примерно 305,2 млн параметров; README указывает максимальную длину последовательности 512 токенов. На вход подаются текстовые пары, на выходе — оценки, по которым можно упорядочить кандидатов. В карточке нет сведений о лицензии или специальных доменах применения. Для ранжирования больших наборов документов потребуется предварительный поиск кандидатов, поскольку модель совместно обрабатывает каждую пару.

670сент. 2026ctx514
texthugging-face
BM-K
KoDiffCSE-RoBERTa

KoDiffCSE-RoBERTa — модель BM-K для получения векторных представлений корейских предложений. Она основана на архитектуре RoBERTa и предназначена для извлечения признаков текста и сравнения семантической близости предложений. В README проект описан как реализация Difference-based Contrastive Learning для корейских эмбеддингов; приведены эксперименты на wiki-корпусе и оценка на KorSTS. Модель содержит 137,8 млн параметров и поддерживает контекст до 514 токенов. Её можно применять для поиска семантически похожих предложений, кластеризации и других задач, где нужны эмбеддинги корейского текста. README приводит результаты для семейства KoSRoBERTa, но не позволяет однозначно связать конкретные значения таблицы с этим репозиторием. Лицензия в предоставленных данных не указана.

3324февр. 2023ctx514
textembeddinghugging-face
Dongjin-kr
ko-reranker

Dongjin-kr/ko-reranker — модель переранжирования текста, разработанная на основе BAAI/bge-reranker-large и дообученная на корейских данных. Она принимает запрос и фрагменты текста и оценивает релевантность каждого фрагмента напрямую, чтобы упорядочить результаты поиска перед передачей контекста языковой модели в RAG-системе. Модель построена на архитектуре XLM-RoBERTa и содержит около 658,7 млн параметров. Она обучалась на триплетах вопросов, положительных и отрицательных фрагментов из MS MARCO Passages; англоязычный набор данных переводили на корейский с помощью Amazon Translate. В README приведено сравнение, где вариант с дообучением на корейских данных показал лучшие значения MRR и доли контекстов с правильным ответом среди рассмотренных вариантов. Модель рассчитана прежде всего на ранжирование корейских текстов по запросу; метаданные также отмечают английский язык. Контекст составляет 514 токенов. Лицензия — MIT. Баллы релевантности не ограничены фиксированным диапазоном, поэтому их следует использовать для сравнения результатов внутри задачи ранжирования, а не трактовать как вероятности.

13K72дек. 2023ctx514
textmithugging-face
upskyy
ko-reranker

ko-reranker — модель переранжирования текстов, созданная дообучением BAAI/bge-reranker-large на корейских данных. Она оценивает релевантность пары «запрос — документ» и выдаёт оценку: чем она выше, тем релевантнее документ запросу. Модель можно использовать через FlagEmbedding, Sentence-Transformers или Transformers. Модель построена на архитектуре XLM-RoBERTa и содержит 658,7 млн параметров. Она принимает текстовые пары и рассчитана прежде всего на корейский язык; в метаданных также указаны английский и китайский. Контекст ограничен 514 токенами. Распространяется под лицензией MIT.

516авг. 2024ctx514
textmithugging-face
upskyy
ko-reranker-8k

ko-reranker-8k — модель для переранжирования текстов, разработанная Upskyy на основе BAAI/bge-reranker-v2-m3 и дообученная на корейских данных. Она оценивает релевантность пары «запрос — документ»: чем выше оценка, тем релевантнее документ запросу. Модель построена на архитектуре XLM-RoBERTa, содержит 658,7 млн параметров, принимает текст и поддерживает контекст длиной до 8194 токенов. Модель предназначена для улучшения результатов поиска и retrieval-систем, в том числе для отбора наиболее подходящих документов после первичного поиска. Карточка указывает корейскую настройку и многоязычные теги; лицензия — Apache-2.0. В README приведены способы использования через FlagEmbedding и Transformers.

1.2K12авг. 2024ctx8.2K
textapache-2.0hugging-face
BM-K
KoSimCSE-bert-multitask

BM-K/KoSimCSE-bert-multitask — модель BM-K для построения эмбеддингов корейских предложений на основе архитектуры BERT. Она предназначена для преобразования текста в векторы, которые можно применять для сравнения смысловой близости предложений и других задач семантического поиска. В README приведены результаты на тесте семантического сходства и материалы для обучения собственных моделей. Модель содержит 137,8 млн параметров, принимает текстовые последовательности длиной до 512 токенов и выдаёт векторные представления. В метаданных указан корейский язык. Репозиторий содержит веса PyTorch и Safetensors. Лицензия в предоставленных данных не указана.

4558июнь 2022ctx512
textembeddinghugging-face
BM-K
KoSimCSE-Unsup-RoBERTa

BM-K/KoSimCSE-Unsup-RoBERTa — модель корейских векторных представлений предложений из семейства KoSimCSE. Она основана на RoBERTa и предназначена для получения эмбеддингов текста, которые можно использовать для сравнения семантической близости предложений. Модель подходит для семантического поиска и кластеризации корейских текстов. В карточке указано 137,8 млн параметров и контекст до 514 токенов; доступны веса PyTorch и Safetensors. README описывает обучение KoSimCSE без разметки на корпусе Wikipedia и приводит семантический поиск и кластеризацию как downstream-задачи. Сведения о лицензии в предоставленных данных отсутствуют.

1151март 2023ctx514
textembeddinghugging-face
nlpai-lab
KURE-Reranker-base

KURE-Reranker-base — двуязычный корейско-английский переранжировщик, разработанный nlpai-lab на основе Qwen3-1.7B. Это плотная causal language model с архитектурой Qwen3, использующая схему cross-encoder: модель совместно обрабатывает запрос и кандидатный документ и выдаёт скалярную оценку их релевантности. Контекст модели составляет до 40 960 токенов. Модель предназначена для повторного ранжирования результатов поиска и длинных документов. В README указаны средние 88,00 nDCG@10 на девяти корейских бенчмарках и 81,63 nDCG@10 на MultiLongDocRetrieval; также сообщается о скорости 55 пар в секунду на NVIDIA RTX A6000 48 ГБ в описанных авторами условиях. Эти показатели относятся к указанным наборам данных и оборудованию и не гарантируют аналогичный результат в других сценариях. Модель распространяется по лицензии Apache-2.0.

3916сент. 2026ctx41K
textapache-2.0hugging-face
nlpai-lab
LAMAR-600m

LAMAR — многоязычный cross-encoder-реранкер на 658,7 млн параметров, разработанный NLP AI Lab и предназначенный для поиска, в котором важны и тематическая релевантность, и совпадение языка запроса и документа. Модель дообучена на базе BAAI/bge-m3-retromae в два этапа: сначала для многоязычного выравнивания релевантности, затем для согласования языков запроса и документа. На вход подаётся пара «запрос — документ» общим размером до 8 192 токенов. На выходе модель выдаёт числовую оценку релевантности; более высокое значение означает, что документ следует поставить выше в выдаче. LAMAR подходит для многоязычного и межъязыкового поиска, а также для отбора документов перед передачей в систему генерации с поиском (RAG). Модель обучалась на 51 языке и оценивалась на 31; в карточке отмечены сильные результаты по языковой согласованности и конкурентные результаты на нескольких наборах для ранжирования. Модель предназначена для повторного ранжирования уже найденных кандидатов, а не для генерации ответов или поиска документов самостоятельно. Качество может зависеть от языка и набора данных; приведённые в README результаты относятся к указанным бенчмаркам. Модель распространяется по лицензии MIT.

1.7K20июль 2026ctx8.2K
textmithugging-face
lightonai
LateOn-regularized

LateOn-regularized — модель LightOn для поиска по текстам в стиле ColBERT, обученная с помощью PyLate на базе LateOn-unsupervised и ModernBERT-base. Это многовекторная модель позднего взаимодействия: она кодирует токены запросов и документов в векторы и сопоставляет их с помощью MaxSim. Модель содержит 149 млн параметров и поддерживает контекст до 8192 токенов; для документов рекомендуется длина до 300 токенов, для запросов — до 32 токенов. При дообучении применена регуляризация Straight-Through Estimator с контрастивной функцией потерь на проекциях MUVERA. Она улучшает совместимость представлений с эффективной генерацией кандидатов через MUVERA и SMVE, сохраняя качество поиска с PLAID. Для MUVERA и SMVE рекомендуется центрировать эмбеддинги. Модель предназначена для англоязычного поиска; лицензия — Apache 2.0.

72411май 2026ctx8.2K
textapache-2.0hugging-face
unsloth
LFM2.5-230M-GGUF

unsloth/LFM2.5-230M-GGUF — квантизированная версия компактной текстовой модели LFM2.5-230M, разработанной Liquid AI и подготовленной в формате GGUF командой Unsloth. Модель предназначена для локального и периферийного развертывания с использованием llama.cpp и совместимых инструментов, включая устройства с ограниченными ресурсами. Она подходит для извлечения данных, легковесных агентских сценариев и задач с вызовом инструментов. Модель содержит 230 млн параметров и использует гибридную архитектуру из 14 слоёв: 8 блоков double-gated LIV convolution и 6 блоков GQA. Контекстное окно составляет 32 768 токенов, размер словаря — 65 536 токенов, дата отсечения знаний — середина 2024 года. Поддерживаются английский, арабский, китайский, французский, немецкий, итальянский, японский, корейский, португальский и испанский языки. Это text-only модель без заявленной поддержки изображений или других модальностей. К сильным сторонам относятся небольшой размер, высокая скорость инференса и пригодность для работы на CPU, мобильных устройствах и периферийных системах. Модель поддерживает function calling и была оптимизирована для извлечения данных и агентских конвейеров. Ограничения связаны с малым числом параметров: модель не рекомендуется для сложных рассуждений, продвинутой математики, генерации кода и творческого письма. Лицензия указана как lfm1.0; GGUF-формат предназначен для инференса и локального развертывания, а не как основной формат для дообучения.

3.0K24июнь 2026
textotherhugging-face
ronaldmannak
LFM2.5-ColBERT-350M-8bit

Карточка модели ronaldmannak/LFM2.5-ColBERT-350M-8bit на Hugging Face совпадает с карточкой mlx-community/LFM2.5-ColBERT-350M-8bit, поэтому описание составлено по ней. LFM2.5-ColBERT-350M-8bit — 8-битная MLX-квантизация многоязычной модели ColBERT от Liquid AI, опубликованная сообществом mlx-community. Модель предназначена для семантического поиска и ранжирования: она кодирует каждый токен вектором размерности 128, а релевантность запроса и документа оценивается методом позднего взаимодействия MaxSim. Число параметров — 443,4 млн, размер контекста — до 128 000 токенов. Репозиторий содержит веса в формате MLX safetensors, квантизированные до 8 бит; README указывает на снижение размера с 707 до 376 МБ относительно bf16 и близкое сохранение качества на приведённых наборах поиска. Модель подходит для локального поиска по текстовым коллекциям на устройствах Apple Silicon. Базовая модель — LiquidAI/LFM2.5-ColBERT-350M; лицензия указана как other, поэтому перед использованием следует проверить условия исходной карточки. Результаты оценки приведены для небольших или сокращённых корпусов и не сопоставимы напрямую с лидербордами полного MIRACL.

120июнь 2026ctx128K
textotherhugging-face
LiquidAI
LFM2.5-VL-3B

LFM2.5-VL-3B — мультимодальная модель Liquid AI для обработки изображений и текста, рассчитанная на эффективный запуск на устройствах и в сценариях с низкой задержкой. Это дообученная версия LFM2.5-2.6B-Base с языковой основой LFM2.5-2.6B и визуальным энкодером SigLIP2 NaFlex на 400 млн параметров; архитектура модели — плотная, класс Lfm2VlForConditionalGeneration. Модель принимает изображения и текст и генерирует текст. Контекст — 32 768 токенов; заявлена поддержка 16 языков, включая русский, английский, китайский, арабский, японский и другие. Модель предназначена для визуального диалога, распознавания текста на сканах с разметкой расположения, поиска объектов по запросу на естественном языке и перевода надписей на меню или дорожных знаках. Она поддерживает вызов инструментов. В README указаны высокая скорость инференса и работа примерно в 3 ГБ памяти, что делает её подходящей для локального развёртывания и пакетной обработки документов. Модель рекомендована для одношаговых высокопроизводительных задач; она не подходит для задач с длинным контекстом и интенсивными рассуждениями, например проектирования по чертежам. Формат разметки страниц для OCR экспериментальный и может быть ненадёжным или меняться. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели.

29K225авг. 2026
textimageotherhugging-face
MaziyarPanahi
M7Yamshadowexperiment28_ShadowT3q

M7Yamshadowexperiment28_ShadowT3q — объединённая модель генерации текста на архитектуре Mistral, созданная из automerger/M7Yamshadowexperiment28-7B и automerger/ShadowT3q-7B. Она предназначена для генерации ответов на текстовые запросы; базовая модель ShadowT3q-7B также описана как модель для математических задач. Модель содержит 7,1 млрд параметров, принимает текст и выдаёт текст, её контекстное окно составляет 32 768 токенов. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. Языковая специализация и отдельные результаты оценки в карточке не описаны.

140апр. 2024ctx32.8K
textapache-2.0hugging-face
MERaLiON
MERaLiON-3-3B-ASR

MERaLiON-3-3B-ASR — модель распознавания речи с открытыми весами из семейства Speech-Text Large Language Models MERaLiON-3, разработанного институтом I2R агентства A*STAR в Сингапуре. Модель содержит около 2,1 млрд параметров по метаданным и предназначена для аудио на английском, китайском, малайском, тамильском, индонезийском, тайском и вьетнамском языках, а также на кантонском и хоккиенском диалектах. Она обучена распознавать естественное переключение между английским и языками региона Юго-Восточной Азии, включая синглиш. Модель принимает монофоническое аудио с частотой 16 кГц и выдаёт текстовую транскрипцию. По README, она дообучена для ASR на многоязычной смеси данных с акцентом на сингапурский английский, региональные диалекты и переключение языков. Авторы сообщают, что меньшая по размеру модель сопоставима с MERaLiON-2-10B-ASR или превосходит её на приведённых оценках; для самостоятельного размещения указана одна GPU с 80 ГБ памяти. Для запуска предлагаются пакет meralion-3-asr с бэкендом vLLM и бэкенд Transformers. Лицензия обозначена как other, конкретные условия следует проверять в карточке репозитория.

38K9май 2026
textaudiootherhugging-face
DeepGlint-AI
mlcd-vit-bigG-patch14-448

MLCD-ViT-bigG-patch14-448 — модель зрения на базе Vision Transformer, разработанная DeepGlint AI. Она использует RoPE2D и предназначена для извлечения признаков из изображений; в карточке также описана оценка её визуального представления в составе системы с Qwen2.5-7B на задачах понимания документов и визуальных вопросов. Размер модели — 2,5 млрд параметров; веса опубликованы в формате safetensors, лицензия — MIT. Модель можно применять как визуальную часть мультимодальных систем, в том числе для анализа документов, диаграмм и изображений.

2725февр. 2025
imageembeddingmithugging-face
AI-Sweden-Models
ModernBERT-large

AI Sweden выпустила эту модель как продолжение предобучения answerdotai/ModernBERT-large на скандинавских текстах из The Nordic Pile и SWEb. Это плотный двунаправленный энкодер ModernBERT с архитектурой ModernBertForMaskedLM и примерно 395 млн параметров; он сохраняет контекстное окно 8192 токена. Токенизатор обучен с нуля на подмножестве скандинавских данных, а продолжение предобучения выполнено на дополнительных данных объёмом около 1,2 трлн токенов. Модель предназначена прежде всего для заполнения пропусков, извлечения эмбеддингов и дообучения для NLP-задач на шведском, норвежском, датском и исландском языках. Её можно использовать как энкодер в стиле BERT для классификации, распознавания именованных сущностей и ответов на вопросы; в Transformers доступен сценарий fill-mask. Модель выпущена как исследовательский артефакт по лицензии Apache-2.0. Веб-данные могут содержать шум, стереотипы и чувствительный контент. Экстраполяция RoPE за пределы контекста в 8192 токена не проверена и может ухудшить качество.

4297февр. 2025ctx8.2K
textapache-2.0hugging-face
alphaedge-ai
multilingual-e5-large-nep-16384

alphaedge-ai/multilingual-e5-large-nep-16384 — текстовая embedding-модель для семантического сходства, поиска, сопоставления запросов и документов и ранжирования. Она основана на intfloat/multilingual-e5-large и распространяется в формате Sentence Transformers; исходная архитектура Multilingual E5 разработана Liang Wang, Nan Yang и соавторами. Модель оптимизирована для непальского языка методом trimming: словарь сокращён до 16 384 токенов, а размер модели уменьшен на 42,73% — до 320 665 600 параметров. Модель предназначена прежде всего для работы с непальскими текстами: построения эмбеддингов запросов и документов, семантического поиска и оценки их сходства. Для сокращения словаря использовались 29 721 текст из датасета lbourdois/fineweb-2-trimming. Главное преимущество — существенно меньший объём памяти при заявленной близкой к исходной модели производительности на непальском языке. Ограничения включают возможное ухудшение качества для других языков, поскольку редко используемые в выбранном языке токены были удалены; максимальная длина контекста и поддерживаемые дополнительные модальности в README не указаны. Модель распространяется по лицензии MIT.

9001март 2026ctx514
textembeddingmithugging-face
Luigi
nemotron3-diar-plus-x-asr-gguf

Luigi публикует объединённый GGUF-пакет Nemotron-3 Diarization и X-ASR для потоковой транскрибации с разметкой говорящих. Это упаковочное объединение двух моделей: веса не переобучались и не изменялись. X-ASR — потоковая модель распознавания речи на архитектуре Zipformer2 transducer; Nemotron-3 Diarization на базе Sortformer определяет до восьми говорящих и временные границы их реплик. На вход подаётся аудио с частотой 16 кГц, на выходе — текст с метками говорящих на общей временной шкале. Пакет рассчитан на потоковую работу на CPU, в том числе на телефонах; для X-ASR поддерживаются размеры чанков 160, 480, 960 и 1920 мс. В состав входят компоненты GilgameshWind/X-ASR-zh-en и nvidia/Nemotron-3-Diarization. README приводит результаты проверок на английских и китайских тестовых аудиозаписях, но они не гарантируют качество на других данных. Компоненты распространяются на условиях Apache-2.0 и OpenMDW-1.1; при использовании и распространении нужно соблюдать требования обеих лицензий и сохранять соответствующие уведомления.

740сент. 2026
audiootherhugging-face
Mungert
Phi-4-mini-reasoning-GGUF

Mungert/Phi-4-mini-reasoning-GGUF — набор GGUF-квантованных вариантов модели Phi-4-mini-instruct-reasoning, опубликованный пользователем или организацией Mungert; базовая модель разработана Microsoft. Модель предназначена для генерации текста с акцентом на рассуждения, решение математических задач и программирование. В карточке указаны английский язык, библиотека Transformers и задача text generation. Файлы созданы с использованием llama.cpp, commit 19e899c. Основное преимущество набора — возможность запускать модель в условиях ограниченной GPU-памяти, на CPU и edge-устройствах за счёт квантования, включая сверхнизкобитные варианты IQ1 и IQ2. Описанный подход IQ-DynamicGate распределяет точность по слоям и защищает эмбеддинги и выходные слои; приведённые результаты относятся к отдельному тестированию на Llama-3-8B и не подтверждают показатели именно этой модели. К ограничениям относятся потенциальная потеря точности у низкобитных вариантов и зависимость производительности от поддержки форматов и аппаратного ускорения. Размер модели, архитектура, фактическое контекстное окно, полный набор языков и точные характеристики вариантов Phi-4-mini в README не указаны. Лицензия указана как MIT.

1.1K3май 2025
textmithugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей