/ Профессии
Универсальные способности и операции

I.3Извлечение и структурирование данных

В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
18
в этой профессии
Подходящих моделей
25 791
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

25 791 модель
Загрузки
Лайки
Дата выхода
13 651–13 680 из 25 791
Tool-COLT
contriever-base-msmarco-v1-ToolLens

Tool-COLT/contriever-base-msmarco-v1-ToolLens — модель Sentence-Transformers на основе BERT, преобразующая предложения и абзацы в плотные векторы размерности 768. Она предназначена для семантического поиска, сравнения текстов и кластеризации; обучение с MultipleNegativesRankingLoss использовало косинусное сходство. Модель содержит 136,7 млн параметров, принимает текст и формирует эмбеддинги; максимальная длина контекста — 512 токенов. Модель подходит для построения поиска по смыслу и группировки похожих текстов. В метаданных указаны формат safetensors и библиотека Transformers; README описывает использование через Sentence-Transformers или Transformers с подходящим pooling. Язык и лицензия в предоставленных данных не установлены.

980авг. 2024ctx512
textembeddinghugging-face
RedHatAI
DeepSeek-R1-Distill-Qwen-32B-quantized.w4a16

RedHatAI/DeepSeek-R1-Distill-Qwen-32B-quantized.w4a16 — квантизированная версия модели DeepSeek-R1-Distill-Qwen-32B, разработанная Neural Magic. Модель построена на архитектуре Qwen2ForCausalLM и предназначена для генерации и обработки текста, включая задачи рассуждения, решения математических задач, ответов на вопросы и использования в чат-сценариях. Модель имеет 32 миллиарда параметров и использует INT4-квантизацию весов линейных операторов в трансформерных блоках при формате W4A16. Применяется симметричная поканальная по группам схема с размером группы 128 и алгоритм GPTQ через библиотеку llm-compressor. Такой подход примерно на 75% сокращает размер модели на диске и требования к памяти GPU по сравнению с представлением весов в 16 битах. Входная и выходная модальности — текст; сведения о поддерживаемых языках и максимальном контексте в карточке явно не указаны. По приведённым оценкам, квантизированная версия сохраняет около 99,45% среднего результата исходной модели на наборе задач рассуждения, включая AIME 2024, MATH-500 и GPQA Diamond. Она оптимизирована для эффективного развёртывания с vLLM и может использоваться через OpenAI-совместимый сервер. Ограничением является возможное небольшое снижение точности из-за квантизации, а также зависимость эффективного запуска от совместимого GPU и программного стека vLLM. Модель распространяется по лицензии MIT.

21K6февр. 2025ctx131.1K
textmithugging-face
baicai1145
DeepSeek-V4-Flash-0731-W4A16

DeepSeek-V4-Flash-0731-W4A16 — это квантизированная версия языковой модели DeepSeek-V4-Flash-0731, разработанной DeepSeek. Модель предназначена для генерации текста, включая диалоговые ответы, рассуждения, решение математических задач, программирование, работу с инструкциями и задачи на понимание текста. В карточке указаны английский и китайский языки. Архитектура поддерживает 283 млрд параметров; сведения о контекстном окне и мультимодальных возможностях не приведены. Модель использует смешанную точность: routed experts преобразованы из FP4 в INT4 с group_size=32 и вычислениями активаций в BF16, attention, shared experts и indexer сохранены в FP8, а остальные перечисленные компоненты — в BF16. Формат совместим с vLLM и предназначен для запуска на GPU NVIDIA без аппаратной поддержки FP4, включая H20, H100, A100, L40S, L20 и RTX 4090, при наличии подходящей конфигурации. Размер файлов модели составляет около 166 ГБ; для запуска рекомендуется vLLM версии 0.26.0 или новее и не менее двух H20 96 ГБ либо четырёх A100 80 ГБ. Сильная сторона модели — возможность инференса исходной DeepSeek-V4-Flash-0731 на Hopper и Ampere без FP4 tensor core, при сохранении заявленного качества на небольшой проверочной выборке из 50 заданий. К ограничениям относятся неизбежная ошибка INT4-квантизации, высокая потребность в видеопамяти и необходимость использовать специальный модуль кодирования prompt вместо стандартного chat template. Лицензия обозначена как DeepSeek с отдельной ссылкой на её текст; условия коммерческого и иного использования следует уточнять в лицензии.

3099авг. 2026ctx1M
textotherhugging-face
d0rj
e5-base-en-ru

d0rj/e5-base-en-ru — компактная версия модели intfloat/multilingual-e5-base, созданная отсечением токенов словаря и предназначенная для работы с английским и русским языками. Это плотный энкодер XLM-RoBERTa с 159,6 млн параметров по метаданным Hugging Face; README указывает размерность эмбеддингов 1024 и сокращение размера модели примерно с 1061 до 505 МБ. Модель выдаёт векторные представления текста для поиска и оценки сходства предложений; для поиска автор рекомендует сравнивать векторы скалярным произведением. Модель подходит для семантического поиска, извлечения релевантных документов и сравнения русских и английских запросов с текстами. README показывает использование через Transformers и sentence-transformers. Лицензия — MIT. Оценка на SberQuAD упомянута, но значения метрик в README отсутствуют, поэтому по карточке нельзя судить о качестве относительно базовой модели. Контекстное окно составляет 514 токенов; словарь ограничен русскими и английскими токенами.

2039сент. 2023ctx514
textmithugging-face
enpaiva
embed-andegpt-H384

embed-andegpt-H384 — модель Sentence Transformer, созданная дообучением nreimers/MiniLM-L6-H384-uncased авторами enpaiva. Она преобразует предложения и абзацы на испанском языке в плотные векторы размерностью 384 для сравнения по косинусному сходству. Модель подходит для семантического поиска, оценки сходства текстов, поиска перефразировок, кластеризации и извлечения признаков для классификации. В основе — шестислойная архитектура BERT/MiniLM с усреднением токенных представлений; максимальная длина входа — 512 токенов. Модель распространяется по лицензии Apache-2.0. В README приведены результаты TripletEvaluator на наборах andegpt-dev и andegpt-test, однако они не заменяют оценку на данных конкретного применения.

1421авг. 2024ctx512
textembeddingapache-2.0hugging-face
NorskHelsenett
eti-embeddinggemma-v3

NorskHelsenett/eti-embeddinggemma-v3 — модель Sentence Transformer, дообученная Norsk Helsenett на базе google/embeddinggemma-300m для представления предложений и абзацев в виде плотных эмбеддингов размерности 768. Модель содержит 302,8 млн параметров, принимает текст длиной до 2048 токенов и предназначена для вычисления косинусного сходства. Её можно применять для семантического поиска, сравнения текстов, поиска перефразировок, классификации и кластеризации. Обучение проводилось на 543 922 примерах с anchor, positive и negative; в README приведены результаты оценки для задач сравнения и информационного поиска. Метаданные указывают базовую модель, библиотеку Sentence Transformers и формат safetensors. Лицензия в предоставленных данных не указана.

860июль 2026ctx2K
textembeddinghugging-face
much1na
ettin-encoder-17m-v3-distil-gte-modernbert

Это компактная текстовая модель Sentence Transformer, разработанная much1na и дообученная на базе capemox/ettin-encoder-17m-pretrain-50m. Энкодер ModernBERT преобразует предложения и абзацы в плотные векторы размерностью 256; для сравнения векторов используется косинусное сходство. Модель предназначена для семантического поиска и извлечения релевантных документов по текстовому запросу. В README указана максимальная длина последовательности 512 токенов, а метаданные каталога сообщают нативный контекст до 7999 токенов. Модель обучалась с EmbedDistillLoss на наборе примерно из 8,39 млн примеров; в карточке также приведены результаты оценки на NanoMSMARCO. Лицензия в предоставленных данных не указана.

130авг. 2026ctx8K
textembeddinghugging-face
tiiuae
Falcon-H1-34B-Instruct

Falcon-H1-34B-Instruct — многоязычная инструктивная языковая модель, разработанная Technology Innovation Institute (TII). Это плотная авторегрессионная модель с гибридной архитектурой Transformers и Mamba; для работы доступны Transformers, vLLM и llama.cpp. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения и ответы на инструкции. Модель содержит 29,6 млрд параметров и поддерживает контекст длиной до 262 144 токенов. В метаданных перечислены арабский, чешский, немецкий, английский, испанский, французский, хинди, итальянский, японский, корейский, нидерландский, польский, португальский, румынский, русский, шведский, урду и китайский языки. В README приведены результаты сравнительной оценки на нескольких наборах задач, но они не гарантируют одинакового качества для всех языков и сценариев. Модель дообучена на базе tiiuae/Falcon-H1-34B-Base; лицензия — Falcon-LLM License, обозначенная в метаданных как other, поэтому перед использованием следует проверить её условия.

2.0K53май 2025ctx262.1K
textotherhugging-face
CloudlessSky
fullname_encoder_v1

CloudlessSky/fullname_encoder_v1 — дообученная на базе intfloat/multilingual-e5-small модель Sentence Transformers для кодирования предложений и абзацев в плотные векторы размерности 384. Она использует BERT, среднее объединение токенов и нормализацию выходного вектора; максимальная длина входа — 512 токенов. Косинусное сходство между векторами подходит для семантического сравнения текстов, поиска похожих формулировок и кластеризации. По карточке модель обучалась на парах текстов с контрастивной функцией потерь; примеры данных содержат русские ФИО, а базовая модель многоязычная. Модель распространяется в формате safetensors; сведения о лицензии отсутствуют в предоставленных данных.

1220май 2025ctx512
textembeddinghugging-face
google
gemma-3-12b-it-qat-q4_0-unquantized

google/gemma-3-12b-it-qat-q4_0-unquantized — мультимодальная модель Google из семейства Gemma 3, представленная в формате safetensors и основанная на Gemma 3 12B IT. Она принимает текст и изображения и генерирует текст; подходит для диалогов, ответов на вопросы по изображениям, суммаризации, генерации текстов и рассуждений. Контекстное окно семейства — до 128K токенов, поддерживается более 140 языков. Компактный для мультимодальной модели размер позволяет запускать её на локальных устройствах и в собственной облачной инфраструктуре. Модель можно применять в чат-ботах и помощниках, для извлечения и объяснения информации из изображений, подготовки кратких изложений и создания текстов. Как и другие генеративные модели, она может выдавать фактические ошибки, отражать смещения обучающих данных и хуже справляться с неоднозначными формулировками и сложными открытыми задачами. Лицензия — Gemma; использование регулируется условиями лицензии и политикой допустимого использования Google.

7.0K207апр. 2025
textimagegemmahugging-face
prithivMLmods
gemma-4-12B-it-qat-GGUF

Это 12-миллиардная instruction-tuned vision-language модель семейства Gemma 4, разработанная Google DeepMind и представленная в GGUF-формате пользователем prithivMLmods. Модель предназначена для задач генерации и понимания текста, анализа изображений и аудио, мультимодального диалога, вызова функций и сценариев, требующих configurable thinking/reasoning mode. Она совместима с llama.cpp и ориентирована на локальный запуск, исследовательские задачи и последующую пользовательскую компиляцию. Модель использует encoder-free архитектуру, проецирующую патчи изображений и аудиосигналы непосредственно в пространство эмбеддингов языковой модели. Она поддерживает текст, изображения и аудио, контекст до 256K токенов и более 140 языков. В архитектуре применяется гибридное внимание с чередованием локального sliding-window и глобального внимания. QAT-оптимизация призвана снизить требования к памяти и сохранить качество, близкое к bfloat16; доступны варианты от Q2_K до Q8_0, а также BF16 и F16. Указанные ограничения — большой размер высокоточных файлов и необходимость совместимого мультимодального проектора для работы с изображениями и аудио. Модель и файлы распространяются по лицензии Apache-2.0.

1.5K5июнь 2026
textimageapache-2.0hugging-face
DejanX13
Geolab_embedding_1000

Geolab embedding 1000 — модель на базе XLM-RoBERTa, опубликованная пользователем DejanX13. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для семантического поиска, сравнения текстов и кластеризации. Модель обучена с функцией MultipleNegativesRankingLoss и использует косинусное сходство; библиотека для работы с ней — Sentence Transformers. Метаданные указывают 658,7 млн параметров и контекст до 514 токенов. Модель принимает текст и выдаёт векторные представления. Карточка не уточняет поддерживаемые естественные языки. Веса опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.

1702июль 2026ctx514
textembeddinghugging-face
vcruz305
GLM-5.3-Flash-NVFP4

GLM-5.3-Flash-NVFP4 — квантованная версия мультимодальной модели GLM-5.3-Flash, разработанной Z.ai. Данный вариант подготовлен сообществом пользователем vcruz305 на основе zai-org/GLM-5.3-Flash-BF16 с использованием NVIDIA ModelOpt NVFP4. Модель предназначена для генерации текста, работы с мультимодальными данными, программирования и агентских сценариев. Заявлены поддерживаемые языки английский и китайский. Модель имеет архитектуру Mixture-of-Experts с 320 млрд общих и 18 млрд активных параметров, сочетает разреженное и линейное внимание и использует Manifold-Constrained Hyper-Connections. Эксперты слоёв 3–44 представлены в формате NVFP4, а слой MTP/NextN сохраняет точность BF16. Это снижает требования к памяти и стоимость инференса, сохраняя возможности исходной модели, однако качество и производительность именно этой квантованной сборки отдельно не подтверждены: приведённые в README результаты относятся к официальной версии Z.ai. Для локального развёртывания указана совместимость с SGLang, vLLM, TokenSpeed и KTransformers. Лицензия — MIT.

7893авг. 2026ctx1M
textmithugging-face
Watwat100
gpu1

Watwat100/gpu1 — модель семейства MPNet на базе Sentence Transformers, преобразующая предложения и абзацы в плотные векторы размерности 768. Её можно использовать для семантического поиска и кластеризации текстов; размер модели составляет 136,7 млн параметров, а контекст — до 514 токенов. Модель обучалась с функцией потерь CosineSimilarityLoss и распространяется в формате PyTorch. Она предназначена для получения текстовых эмбеддингов и сравнения семантической близости предложений и абзацев. Сведения о поддерживаемых языках и лицензии в предоставленных источниках отсутствуют.

970нояб. 2022ctx514
textembeddinghugging-face
onnx-community
granite-embedding-97m-multilingual-r2-ONNX

Granite-Embedding-97M-Multilingual-R2 — мультиязычная модель для создания плотных векторных представлений текста, разработанная командой Granite Embedding компании IBM. Представленная версия в формате ONNX автоматически преобразована и опубликована сообществом onnx-community. Модель предназначена для семантического поиска, сопоставления запросов и документов, кластеризации, оценки сходства текстов, поиска по длинным документам, многошаговым диалогам, извлечения информации и поиска по программному коду. Модель использует архитектуру bi-encoder на базе ModernBERT и содержит около 97 млн параметров. Она формирует 384-мерные эмбеддинги для запросов, passages, документов и кода, которые можно сравнивать, например, с помощью cosine similarity. Максимальная длина контекста составляет до 32 768 токенов. Поддерживается более 200 языков, при этом для 52 языков и программного кода выполнено дополнительное retrieval- и cross-lingual-обучение. Указаны варианты развертывания через ONNX и OpenVINO, а также совместимость с Transformers.js. К сильным сторонам относятся компактный размер, низкие вычислительные требования, большой контекст и высокая заявленная эффективность в мультиязычном поиске: результат 60,3 на Multilingual MTEB Retrieval, а также поддержка поиска по коду и длинным документам. Ограничение модели состоит в том, что она предназначена для построения эмбеддингов и не является генеративной языковой моделью; качество может различаться между языками, причём наиболее явно улучшены только 52 языка и программный код. Модель распространяется по лицензии Apache 2.0.

3.3K2июнь 2026ctx32.8K
textembeddingapache-2.0hugging-face
TaylorAI
gte-tiny

TaylorAI/gte-tiny — компактная модель эмбеддингов предложений на базе архитектуры BERT, представленная как sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 384 для семантического поиска, кластеризации и сравнения текстов. Модель дистиллирована из thenlper/gte-small; README сообщает о сопоставимом, немного более низком качестве при примерно вдвое меньшем размере. В метаданных указано 25,9 млн параметров и контекст до 512 токенов. Модель подходит для построения векторного поиска по документам, группировки похожих текстов и оценки семантической близости. Доступны веса PyTorch и safetensors, а также формат ONNX. Язык обучения или перечень поддерживаемых языков в предоставленных данных не указан, поэтому языковую специализацию определить нельзя. Условия лицензии в предоставленных данных не указаны.

13K139окт. 2023ctx512
textembeddinghugging-face
sakamakismile
Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP

Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP — квантизированная версия модели Huihui-Qwen3.6-27B-abliterated, опубликованная пользователем или организацией sakamakismile и основанная на семействе Qwen3.5. Это гибридная модель с чередованием linear attention и периодических блоков full attention, дополненная встроенной MTP-головой для speculative decoding. Модель предназначена для генерации текста, рассуждений и вызова инструментов; заявлена также мультимодальная совместимость с визуальными и видеотокенами, но данный вариант ориентирован на текстовый режим. Модель использует формат NVFP4 с конфигурацией modelopt W4A4 и имеет размер 27B параметров. Поддерживается контекст до 262144 токенов, при этом в рекомендуемой конфигурации используется 65536 токенов. Предусмотрен вывод рассуждений в тегах <think> и XML-вызовы инструментов. Для ускорения генерации применяется MTP с тремя спекулятивными токенами; в приведённых тестах на четырёх NVIDIA RTX PRO 2000 Blackwell заявлены скорости около 81–83 токенов в секунду для одного потока и до примерно 880 токенов в секунду при 24 одновременных запросах. К сильным сторонам относятся поддержка длинного контекста, экономичное KV-кэширование, ускоренная генерация и интеграция с vLLM. Основные ограничения — необходимость четырёх GPU NVIDIA Blackwell по 16 ГБ, совместимого ПО и CUDA 13.x для оптимальных NVFP4-ядер, а также возможные риски, связанные с характером abliterated-модели и отсутствием заявленных ограничений безопасности. Лицензия — Apache-2.0.

252K64апр. 2026ctx262.1K
textapache-2.0hugging-face
internlm
internlm2_5-20b

InternLM2.5-20B — плотная авторегрессионная языковая модель семейства InternLM2.5, разработанная командой InternLM. Модель содержит 19,3 млрд параметров и предназначена для генерации текста и диалоговых сценариев, включая рассуждения и работу с длинными документами. В метаданных указан контекст до 262 144 токенов; карточка семейства также сообщает о проверках на контекстах до 1 млн токенов, но это значение не подтверждено для данного репозитория метаданными. Разработчик сообщает об улучшении результатов рассуждений относительно InternLM2 и приводит оценки на MMLU, CMMLU и BBH. Карточка не перечисляет конкретные поддерживаемые языки, поэтому модель можно описать как языковую без выделения основного языка. Она может генерировать предвзятый, дискриминационный или иной вредный текст. Код распространяется по Apache-2.0; для весов README указывает открытый доступ для академических исследований и необходимость запросить бесплатное разрешение на коммерческое использование.

40517июль 2024ctx262.1K
textapache-2.0hugging-face
ahmedHamdi
IR-es-en-gemma

ahmedHamdi/IR-es-en-gemma — дообученная модель Sentence Transformers на базе google/embeddinggemma-300m. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения текстов по косинусному сходству. Архитектура включает Gemma3TextModel и усредняющий токены слой пулинга; число параметров — 302,8 млн. Максимальная длина последовательности в README составляет 256 токенов, а метаданные каталога указывают нативный контекст 2048 токенов. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразировок, классификации и кластеризации текстов. README описывает дообучение на 2340 парах предложений с функцией потерь MultipleNegativesRankingLoss. Вход — текст, выход — эмбеддинги; данные не подтверждают конкретные поддерживаемые естественные языки. Репозиторий содержит веса в формате safetensors. Лицензия не приведена в предоставленных данных.

970февр. 2026ctx2K
textembeddinghugging-face
moonshotai
Kimi-K2.5

Kimi K2.5 — открытая мультимодальная модель от Moonshot AI, построенная продолжением предварительного обучения примерно на 15 триллионах визуальных и текстовых токенов на базе Kimi-K2-Base. Она сочетает понимание изображений и текста с диалоговыми и агентными возможностями, поддерживает режимы instant и thinking и может разбивать сложные задачи на параллельные подзадачи для специализированных агентов. Модель предназначена для визуальных вопросов и рассуждений, генерации кода по визуальным спецификациям, а также выполнения многошаговых задач с инструментами, например поиском в интернете и интерпретатором кода. Архитектура — смесь экспертов (MoE), всего около 1 трлн параметров, из которых активируются 32 млрд; в README для оценки указан контекст 256 тысяч токенов. Репозиторий использует safetensors и содержит нативную INT4-квантизацию. Модель принимает текст и изображения и генерирует текст. README описывает мультимодальное обучение, но не перечисляет поддерживаемые естественные языки. Лицензия указана как other, поэтому конкретные условия использования следует проверять на странице модели. Качество зависит от задачи и доступных инструментов; сложные агентные сценарии требуют подходящей инфраструктуры выполнения инструментов.

323K2.9Kянв. 2026ctx262.1Kprice$0.00 / $0.00/ 1M
textotherhugging-face
QuantFactory
Llama-3-8b-64k-PoSE-GGUF

QuantFactory/Llama-3-8b-64k-PoSE-GGUF — квантованная версия модели winglian/Llama-3-8b-64k-PoSE, созданная с помощью llama.cpp на основе Llama 3 8B, разработанной Meta. Модель предназначена для генерации текста и кода, включая задачи обработки длинных текстов, где требуется контекст до 64 тысяч токенов. Вход и выход — только текст; заявленный язык — английский. Это авторегрессионная языковая модель на оптимизированной архитектуре Transformer с 8 млрд параметров и Grouped-Query Attention. Исходная модель использует PoSE для расширения контекста Llama с 8k до 64k токенов при rope_theta 500000. После дополнительного обучения rope_theta был установлен в 2M, что потенциально позволяет работать с контекстом свыше 64k, однако фактические пределы и качество за пределами 64k не подтверждены. Для продолжительного предварительного обучения использовались 300 млн токенов RedPajama V1 с последовательностями длиной 6–8k и rank-stabilized LoRA ранга 256. Сильной стороной модели является поддержка значительно более длинного контекста по сравнению с исходной Llama 3 8B при сравнительно небольшом размере, а GGUF-квантизация рассчитана на использование с llama.cpp. Ограничения включают преимущественно англоязычную область применения, отсутствие мультимодальности и неопределённость качества на очень больших контекстах. Модель основана на Llama 3, для которой указана коммерческая лицензия Meta Llama 3; условия использования должны соответствовать этой лицензии и Acceptable Use Policy.

9301апр. 2024
texthugging-face
facebook
mcontriever

mContriever — многоязычный плотный поисковый энкодер, разработанный исследователями Meta AI. Он предназначен для семантического и межъязыкового поиска: кодирует запросы и документы в векторы, которые можно сопоставлять по сходству. Модель основана на BERT, содержит около 205 млн параметров и принимает текст длиной до 512 токенов. Модель предварительно обучена контрастивным обучением без размеченных пар на корпусе CCNet на 29 языках. Она подходит для извлечения релевантных документов и фрагментов, в том числе когда запрос и найденный материал написаны на разных языках. Это энкодер для поиска, а не генеративная модель ответов; карточка Hugging Face не содержит описания лицензии, поэтому условия использования следует проверять в репозитории разработчика.

5.0K5май 2022ctx512
texthugging-face
hugging-quants
Meta-Llama-3.1-8B-Instruct-AWQ-INT4

hugging-quants/Meta-Llama-3.1-8B-Instruct-AWQ-INT4 — созданная сообществом квантованная версия Meta-Llama-3.1-8B-Instruct, первоначально разработанной Meta AI. Это генеративная текстовая instruction-tuned модель на 8 млрд параметров для многоязычного диалога, ответов на вопросы и других задач генерации текста. Указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель использует архитектуру Llama 3.1 и формат AWQ INT4: исходные веса FP16 преобразованы с помощью AutoAWQ в 4-битное представление GEMM с zero-point quantization и размером группы 128. Версия предназначена для запуска через Transformers, AutoAWQ или Text Generation Inference; для загрузки контрольной точки требуется около 4 ГиБ VRAM, не считая KV-кэша и CUDA graphs. Квантование снижает требования к памяти, но может влиять на качество по сравнению с исходной FP16-версией. В README максимальный контекст модели не указан. Модель распространяется по лицензии Llama 3.1; для использования необходимо учитывать условия этой лицензии. Это текстовая модель без поддержки изображений или других модальностей, а сведения о конкретных ограничениях качества и результатах бенчмарков для данной квантованной версии не приведены.

130K93июль 2024ctx131.1K
textllama3.1hugging-face
jamescalam
minilm-arxiv-encoder

jamescalam/minilm-arxiv-encoder — модель Sentence Transformers на базе архитектуры BERT, разработанная James Calam. Она преобразует предложения и абзацы в плотные векторы размерности 384 и предназначена для семантического поиска и кластеризации текстов. Модель содержит около 40 млн параметров и принимает последовательности длиной до 512 токенов. Полученные эмбеддинги можно сравнивать для поиска семантически близких текстов или группировать для кластеризации. Репозиторий содержит веса PyTorch; при использовании через Transformers поверх выходов трансформера требуется применить подходящую операцию pooling. Лицензия в предоставленных данных не указана.

913нояб. 2022ctx512
textembeddinghugging-face
bartowski
mistralai_Mistral-Small-3.1-24B-Instruct-2503-GGUF

Это GGUF-квантизированная версия Mistral-Small-3.1-24B-Instruct-2503, разработанного Mistral AI и подготовленного пользователем bartowski. Модель предназначена для диалоговых задач и сценариев, где требуется обработка текста и изображений, и может запускаться через llama.cpp, LM Studio и другие совместимые проекты. Модель содержит 24 млрд параметров и поддерживает мультимодальный режим с входными данными в виде текста и изображений; для работы с изображениями требуется отдельный файл mmproj. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Доступны варианты от BF16 до различных форматов квантования GGUF размером примерно от 12,76 до 47,15 ГБ. В README размер контекста не указан. Основное преимущество — сочетание высокой точности исходной модели с выбором квантизаций, позволяющих адаптировать требования к памяти и качеству; варианты Q5 и Q6 отмечены как высококачественные, а Q4_K_M рекомендован как типичный компромисс. Ограничения включают значительный объём файлов, зависимость мультимодальной работы от mmproj и возможное снижение качества у более компактных вариантов. Лицензия — Apache-2.0.

10K137март 2025
textimageapache-2.0hugging-face
mlx-community
Mistral-Nemo-Instruct-2407-4bit

Mistral-Nemo-Instruct-2407-4bit — это 4-битная версия модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.16.0. Модель предназначена для выполнения инструкций и генерации текста в приложениях, поддерживающих MLX и библиотеку mlx-lm. В карточке указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Ключевая характеристика этой версии — 4-битное представление, которое уменьшает требования к памяти по сравнению с полноразмерной моделью, но может сопровождаться некоторой потерей качества. Архитектура, число параметров, модальности и размер контекста в предоставленных данных не указаны. Для использования требуется библиотека mlx-lm; модель загружается по идентификатору mlx-community/Mistral-Nemo-Instruct-2407-4bit. Лицензия — Apache-2.0. Условия запуска и производительность зависят от совместимой с MLX среды.

6.3K15июль 2024ctx1M
textapache-2.0hugging-face
avsolatorio
MixEmbed-base-20240110184818-best

avsolatorio/MixEmbed-base-20240110184818-best — компактная модель эмбеддингов предложений на архитектуре BERT, представленная в формате safetensors и предназначенная для Sentence-Transformers и Hugging Face Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска и кластеризации; также подходит для вычисления сходства между текстами. В README указано, что модель дистиллирована из bge-small-en-v1.5, содержит четверть числа параметров без учёта эмбеддингов по сравнению с этой базой и показывает качество, сопоставимое с all-MiniLM-L6-v2 при вдвое меньшем числе параметров. Модель содержит 18,8 млн параметров и принимает контекст до 512 токенов. README описывает её как англоязычную модель, созданную на основе bge-small-en-v1.5. Лицензия в предоставленных данных не указана.

1320янв. 2024ctx512
textembeddinghugging-face
avsolatorio
MixEmbedMean-base-20240116005519-best

avsolatorio/MixEmbedMean-base-20240116005519-best — компактная модель эмбеддингов предложений на архитектуре BERT, распространяемая в формате safetensors. Она преобразует предложения и абзацы в плотные векторы размерностью 384 для семантического поиска и кластеризации. Модель дистиллирована из BAAI/bge-small-en-v1.5; в ней примерно 18,8 млн параметров, а контекст ограничен 512 токенами. Модель предназначена для создания векторного представления текста и поиска смыслово близких фрагментов. В README заявлено, что при примерно половине числа параметров all-MiniLM-L6-v2 она показывает сопоставимое качество; отдельные результаты оценки в карточке не приведены. Ориентирована на английский язык. Лицензия в предоставленных данных не указана.

1240янв. 2024ctx512
textembeddinghugging-face
jfarray
Model_paraphrase-multilingual-mpnet-base-v2_30_Epochs

jfarray/Model_paraphrase-multilingual-mpnet-base-v2_30_Epochs — модель sentence-transformers, дообученная для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для семантического поиска, сравнения смысловой близости и кластеризации текстов. Модель основана на архитектуре XLM-RoBERTa, содержит 305,2 млн параметров и принимает текстовые последовательности с контекстом до 514 токенов. Карточка указывает на мультиязычную основу paraphrase-multilingual-mpnet-base-v2; метаданные не перечисляют конкретные поддерживаемые языки. В README описано обучение с CosineSimilarityLoss. Для использования доступны PyTorch и интеграция с Sentence-Transformers или Transformers с подходящей операцией pooling. Векторы подходят для поиска и сравнения смысловой близости; карточка не приводит результатов оценки качества. Лицензия в предоставленных данных не указана.

730март 2022ctx514
textembeddinghugging-face
makiart
ModernBERT-large-DPR-msmarco

makiart/ModernBERT-large-DPR-msmarco — модель Sentence Transformers, дообученная автором makiart на answerdotai/ModernBERT-large с использованием датасета msmarco-co-condenser-margin-mse-sym-mnrl-mean-v1. Двунаправленный энкодер ModernBERT-large содержит около 394,7 млн параметров и преобразует предложения и абзацы в плотные векторы размерностью 1024; для объединения токенов применяется mean pooling, а для сравнения векторов — косинусное сходство. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов. Она обучена на англоязычных запросах и документах MS MARCO и поддерживает последовательности длиной до 8192 токенов. Её можно применять для построения эмбеддингов документов и запросов, а также ранжирования кандидатов по сходству. Модель распространяется в формате safetensors по лицензии базовой модели; конкретная лицензия в предоставленных данных не указана. Качество и применимость за пределами англоязычного поиска MS MARCO отдельно не подтверждены.

1501дек. 2024ctx8.2K
textembeddinghugging-face

Задачи профессии

18 задач
37Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей. — AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. К исходным данным относятся журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение имён, организаций, мест, дат, сумм, идентификаторов и других сущностей», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
38Извлечение отношений между сущностями. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: структурированные данные, полученные в рамках «Извлечение отношений между сущностями», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
39Извлечение событий, их участников, времени, места и результата. — Практическая реализация: AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Входной контекст включает разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: структурированные данные, полученные в рамках «Извлечение событий, их участников, времени, места и результата», с нормализованными значениями и ссылками на исходные фрагменты. Ошибки выявляют посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
40Извлечение обязательств, требований, условий, исключений и сроков. — Механизм: AI разбирает неструктурированный источник на элементы и связывает каждое извлечённое значение с местом его происхождения. Исходные данные: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Извлечение обязательств, требований, условий, исключений и сроков», с нормализованными значениями и ссылками на исходные фрагменты. Проверка: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
41Извлечение числовых показателей и единиц измерения. — AI выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. К исходным данным относятся таблицы, журналы, сообщения и разнородные записи. Формат результата: структурированные данные, полученные в рамках «Извлечение числовых показателей и единиц измерения», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
42Извлечение таблиц, списков и иерархий из неструктурированного контента. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: восстанавливает визуальную и логическую структуру, связывая ячейки, заголовки и подписи. Рабочие входы: геометрия страницы, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: структурированные данные, полученные в рамках «Извлечение таблиц, списков и иерархий из неструктурированного контента», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
43Преобразование свободного текста в JSON, XML, CSV или другую заданную схему. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Входной контекст включает сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: преобразованный материал по задаче «Преобразование свободного текста в JSON, XML, CSV или другую заданную схему» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
44Нормализация дат, адресов, телефонов, валют и единиц измерения. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Исходные данные: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Нормализация дат, адресов, телефонов, валют и единиц измерения» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
45Сопоставление разных написаний одной и той же сущности. — AI нормализует сравниваемые объекты, выравнивает их по общим признакам и показывает совпадения, различия и связи. К исходным данным относятся неструктурированный текст, таблицы, журналы и сообщения. Формат результата: карта соответствий и различий для «Сопоставление разных написаний одной и той же сущности», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
46Разрешение неоднозначных упоминаний и местоименных ссылок. — Для этой задачи система строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Рабочие входы: таблицы, журналы, сообщения и разнородные записи. Формат результата: карта соответствий и различий для «Разрешение неоднозначных упоминаний и местоименных ссылок», где элементы приведены к единым критериям и связаны с первичными данными. Критерии приёмки: экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
47Автоматическое присвоение метаданных, тегов и ключевых слов. — Практическая реализация: AI строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Входной контекст включает журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: результат «Автоматическое присвоение метаданных, тегов и ключевых слов» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
48Построение таксономии по коллекции материалов. — Механизм: AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. Исходные данные: сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: вычислительная модель или карта для «Построение таксономии по коллекции материалов» с результатами сценариев и анализом чувствительности. Проверка: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
49Построение онтологии или графа знаний. — AI восстанавливает скрытые связи между параметрами и использует модель для виртуальных экспериментов. К исходным данным относятся разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: вычислительная модель или карта для «Построение онтологии или графа знаний» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
50Выделение тем и под-тем в больших массивах текста. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: неструктурированный текст, таблицы, журналы и сообщения. Формат результата: структурированные данные, полученные в рамках «Выделение тем и под-тем в больших массивах текста», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
51Кластеризация материалов по смысловой близости. — Практическая реализация: AI извлекает признаки, относит каждый объект к подходящей категории или уровню приоритета и оценивает уверенность. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Входной контекст включает текст запроса, таблицы, журналы, сообщения и разнородные записи. Формат результата: результат «Кластеризация материалов по смысловой близости» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Ошибки выявляют по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
52Обнаружение точных и смысловых дублей. — Механизм: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, журналы, сообщения, разнородные записи и неструктурированный текст. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение точных и смысловых дублей», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
53Сопоставление полей между несовместимыми схемами данных. — AI сопоставляет объекты по одинаковым критериям и отделяет содержательные различия от различий формата или терминологии. К исходным данным относятся сообщения, разнородные записи, неструктурированный текст и таблицы. Формат результата: карта соответствий и различий для «Сопоставление полей между несовместимыми схемами данных», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику.
54Восстановление недостающей структуры у плохо оформленных данных. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Рабочие входы: разнородные записи, неструктурированный текст, таблицы и журналы. Формат результата: преобразованный материал по задаче «Восстановление недостающей структуры у плохо оформленных данных» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности полей, полноте извлечения, согласованности схемы и привязке к первоисточнику. <a id="section-i-4"></a>

0 моделей