/ Профессии
Разработка ПО, данные, AI и инфраструктура

II.8Инженерия данных и аналитика

В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЭмбеддингиТекст
AI-задач
22
в этой профессии
Подходящих моделей
23 488
по типу задач и модальности
Категория
II. Разработка и данные
Основные типы
ЭмбеддингиТекст

Рекомендованные модели

23 488 моделей
Загрузки
Лайки
Дата выхода
13 381–13 410 из 23 488
sentence-transformers
bert-large-nli-stsb-mean-tokens

sentence-transformers/bert-large-nli-stsb-mean-tokens — модель Sentence Transformers, обученная командой sentence-transformers. Она основана на архитектуре BERT и преобразует предложения и абзацы в плотные векторы размерностью 1024, пригодные для семантического поиска, сравнения сходства и кластеризации текстов. Модель принимает текст и рассчитана на последовательности длиной до 512 токенов. Модель можно применять для поиска текстов по смыслу, ранжирования похожих предложений и группировки текстов по тематической близости. Репозиторий содержит варианты весов PyTorch, SafeTensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Авторы пометили модель как устаревшую и предупреждают о низком качестве получаемых эмбеддингов; для новых проектов они рекомендуют выбрать более современные модели эмбеддингов.

2.1K3март 2022ctx512
textembeddingapache-2.0hugging-face
furiosa-ai
bge-reranker-v2-m3

furiosa-ai публикует копию многоязычной модели-переранжировщика BAAI/bge-reranker-v2-m3 и Furiosa Executable Bundle для запуска через Furiosa-LLM на ускорителях FuriosaAI RNGD. Модель использует плотную архитектуру XLM-RoBERTa и класс XLMRobertaForSequenceClassification; она обрабатывает пары «запрос — документ» и выдаёт оценки релевантности для переупорядочивания результатов поиска в RAG- и поисковых конвейерах. Размер составляет 658,7 млн параметров, нативный контекст — 8194 токена. Репозиторий сохраняет исходные веса FP32 без низкоразрядной квантизации; для исполнения через FXB Furiosa-LLM преобразует их в BF16. На RNGD модель использует tensor parallelism с размером 8 PE на одной карте. Доступна лицензия Apache 2.0. Карточка описывает назначение переранжирования, но не приводит конкретный список поддерживаемых языков.

1.3K0авг. 2026ctx8.2K
textapache-2.0hugging-face
BAAI
bge-reranker-v2-minicpm-layerwise

BAAI/bge-reranker-v2-minicpm-layerwise — многоязычная модель ранжирования релевантности от BAAI на базе MiniCPM. Она принимает запрос и текстовый фрагмент и оценивает их соответствие; оценку можно преобразовать функцией sigmoid в значение от 0 до 1. Модель имеет 2,7 млрд параметров, архитектуру LayerWiseMiniCPMForCausalLM и контекст длиной 2048 токенов. Модель предназначена для повторного ранжирования результатов поиска, например кандидатов, полученных из векторного поиска или первичного поискового ранжировщика. Послойный вариант позволяет выбирать более ранние слои для повышения эффективности; в README он также рекомендован для высокой точности. Указаны китайский и английский языки, а метаданные характеризуют модель как многоязычную. Модель обучена на базе openbmb/MiniCPM-2B-dpo-bf16 на смеси наборов данных, включающей bge-m3-data, Quora и FEVER. Распространяется по лицензии Apache-2.0. Карточка описывает применение для ранжирования запросов и документов, но не приводит количественных результатов качества; контекст ограничен 2048 токенами.

2.9K64март 2024ctx2K
textembeddingapache-2.0hugging-face
antoinelouis
camemberta-L8

CamemBERTa-L8 — обрезанная версия предварительно обученной модели CamemBERTa, опубликованная Antoine Louis. Из исходного чекпойнта удалены верхние слои энкодера; модель содержит 100,1 млн параметров и использует архитектуру DeBERTa-v2. Она принимает текст и выдаёт контекстные признаки; максимальная длина контекста — 512 токенов. Модель предназначена прежде всего для дообучения под задачи, где решение зависит от всего предложения: классификации текста, извлечения ответа на вопрос и семантического поиска. Также её можно использовать для masked language modeling. Для генерации текста автор рекомендует авторегрессионные модели. Модель распространяется по лицензии MIT. Удаление верхних слоёв уменьшает модель, но может ограничивать её пригодность для задач, которым нужны полные представления исходной модели; качество на конкретных задачах зависит от дообучения.

240май 2024ctx512
textembeddingmithugging-face
antoinelouis
camembert-L4

CamemBERT-L4 — облегчённая версия предварительно обученной языковой модели CamemBERT, созданная удалением верхних слоёв исходного чекпойнта. В метаданных указаны архитектура CamemBERT, 62,3 млн параметров и контекст до 514 токенов; модель распространяется в форматах PyTorch и safetensors по лицензии MIT. Модель предназначена прежде всего для дообучения под задачи, где нужно учитывать целое предложение: классификации текста, извлечения ответа на вопрос и семантического поиска. Её также можно использовать для извлечения признаков и masked language modeling. README не рекомендует её для генерации текста и советует для этого авторегрессионные модели. Язык модели — французский; сравнительно с исходной CamemBERT-base удаление слоёв уменьшает размер модели, но характеристики качества для конкретных задач зависят от последующего дообучения.

1341окт. 2023ctx514
textembeddingmithugging-face
sentence-transformers
clip-ViT-B-32-multilingual-v1

Мультиязычная модель sentence-transformers для сопоставления изображений с текстом в общем плотном векторном пространстве. Разработана командой sentence-transformers на основе OpenAI CLIP-ViT-B-32: текстовый энкодер DistilBERT обучен методом мультиязычной дистилляции, а энкодер изображений CLIP оставлен без изменений. Модель подходит для поиска изображений по текстовому запросу и мультиязычной классификации изображений без дообучения: названия классов задаются текстом. Текстовая часть рассчитана на 50+ языков; для русского это позволяет искать изображения и задавать текстовые метки на русском. Контекст составляет 512 токенов. Доступны реализации и веса в форматах PyTorch, safetensors, TensorFlow, ONNX и OpenVINO. Мультиязычная версия выравнивает текстовые представления с пространством оригинального CLIP, но качество может различаться между языками: README предупреждает, что на языках за пределами набора выравнивания результаты могут быть хуже. Лицензия — Apache-2.0.

108K195март 2022ctx512
textembeddingapache-2.0hugging-face
tomaarsen
csr-mxbai-embed-large-v1-nq-cos-sim-scale-20-gamma-1

Это англоязычный разреженный CSR-энкодер, созданный на базе mixedbread-ai/mxbai-embed-large-v1 и дообученный на наборе Natural Questions с использованием Sentence Transformers. Модель предназначена для преобразования запросов и текстовых фрагментов в векторы для семантического поиска и разреженного информационного поиска. Архитектура основана на BERT; размерность векторного пространства — 4096, при этом в выходе может быть не более 256 активных измерений. Для сравнения векторов используется косинусное сходство. Максимальная длина входа составляет 512 токенов. Модель содержит около 433,9 млн параметров и распространяется в формате safetensors. Карточка приводит результаты оценивания на небольших наборах для поиска, включая Natural Questions и MS MARCO; точность зависит от числа активных измерений. Модель поддерживает английский язык и распространяется по лицензии Apache-2.0.

1700июнь 2025ctx512
textembeddingapache-2.0hugging-face
GAIR
daVinci-Agency

daVinci-Agency — языковая модель от GAIR, дообученная на базе GLM-4.6 от Zhipu AI для длительных агентных задач, особенно связанных с разработкой программного обеспечения. Она обучалась на траекториях реальных цепочек GitHub Pull Request и рассчитана на работу с многошаговыми процессами: декомпозицией задач, сохранением последовательности действий, использованием инструментов и итеративным улучшением результатов. Модель имеет архитектуру GLM-4 MoE и 23,4 млрд параметров. Контекстное окно составляет около 200 тысяч токенов; в метаданных указано 202 752 токена. Основные сценарии — автономное программирование, планирование и выполнение сложных рабочих процессов, анализ обратной связи и самокоррекция. В README сообщается о приросте на Toolathlon относительно базовой модели, однако приведённых результатов недостаточно для оценки качества во всех сценариях. Модель принимает текст и генерирует текст, включая ответы в чат-формате и вызовы инструментов. В карточке заявлена поддержка английского языка. Лицензия — MIT.

265февр. 2026ctx202.8K
textmithugging-face
SirSahOl
DeepSeek-R1-Distill-Qwen-1.5B-chat-mlx-16bit

SirSahOl подготовил конверсию DeepSeek-R1-Distill-Qwen-1.5B в формат MLX для запуска на компьютерах Apple Silicon. Это плотная причинно-языковая модель семейства Qwen2 с 1,5 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие. Исходная модель дообучена DeepSeek на примерах рассуждений; её сильные стороны включают решение задач на рассуждение, математику и программирование. Заявленная длина контекста — 131 072 токена. Репозиторий содержит веса safetensors в 16-битном представлении и использует библиотеку MLX. Версия 16-bit рассчитана на устройства Apple Silicon с большим объёмом памяти; для компактных систем автор README рекомендует варианты с меньшей разрядностью. В README приведены замеры на Apple M1 с 8 ГБ памяти, но эти результаты относятся к указанной конфигурации. Модель распространяется по лицензии MIT.

2680сент. 2026ctx131.1K
textmithugging-face
nvidia
diar_streaming_sortformer_4spk-v2

Streaming Sortformer Diarizer 4spk v2 — модель NVIDIA для потоковой диаризации речи, то есть определения, кто и когда говорит в аудиозаписи. Она предназначена для онлайн-обработки разговоров и может использоваться в голосовых агентах и сценариях анализа встреч. Модель доступна в NVIDIA NeMo для инференса и дообучения; архитектура сочетает 17-слойный энкодер NEST на базе Fast-Conformer, 18-слойный Transformer и кэш акустических представлений уже встречавшихся говорящих. Для каждого кадра формируются четыре сигмоидальных выхода. Репозиторий содержит вариант GGUF с квантизацией Q8_0. Модель принимает аудио и размечает речь по говорящим в потоковом режиме. Она рассчитана максимум на четырёх говорящих. Обучение проводилось преимущественно на публичных англоязычных наборах данных, включая Fisher English, LibriSpeech и AMI Meeting Corpus. Лицензия — CC BY 4.0.

34K148июнь 2025
textaudiocc-by-4.0hugging-face
MrLight
dse-qwen2-2b-mrl-v1

DSE-QWen2-2b-MRL-V1 — дообученная модель на основе Qwen2-VL-2B-Instruct, разработанная для поиска документов по изображениям их страниц. Это bi-encoder: он кодирует текстовый запрос и скриншот документа в плотные векторы, которые можно сравнивать по сходству. Такой подход сохраняет текст, изображения и компоновку исходного документа без предварительного извлечения текста. Модель предназначена для поиска по PDF-документам, веб-страницам, слайдам и другим материалам, представленным изображениями. Она также умеет кодировать текст документа; обучение с Tevatron/msmarco-passage-aug поддерживает поиск по текстовому содержимому. В README указано значение 85,8 nDCG@5 на таблице лидеров ViDoRE. Архитектура основана на Qwen2-VL, размер модели — 1,5 млрд параметров, нативная длина контекста — 32 768 токенов; для запуска используется PyTorch и библиотека Tevatron. В метаданных указаны английский и французский языки. При обработке крупных изображений зрительный энкодер Qwen может требовать много видеопамяти; размер изображений можно уменьшить, чтобы уложиться в доступные ресурсы. Лицензия — Apache-2.0.

3.5K68сент. 2024ctx32.8K
textapache-2.0hugging-face
Alibaba-NLP
E2Rank-4B

Alibaba-NLP/E2Rank-4B — модель для текстовых эмбеддингов и спискового переранжирования, разработанная Alibaba-NLP на основе Qwen3-4B. Она преобразует запросы и документы в векторы, которые можно сопоставлять по косинусному сходству для поиска и ранжирования. При переранжировании список кандидатов включается в специальный запрос, чтобы учесть взаимный контекст документов. Модель имеет плотную архитектуру Qwen3, около 3,7 млрд параметров, размер эмбеддинга 2560 и контекст до 40 960 токенов. Карточка описывает её как поддерживающую инструкции; модель обучена для эмбеддингов и переранжирования. Авторы сообщают о результатах на BEIR и MTEB, но это не гарантирует аналогичного качества на конкретных данных. Для получения эмбеддингов нужно вручную добавлять специальный токен в конец каждого входного текста. Модель подходит для поисковых систем и RAG-конвейеров, где нужны извлечение документов и последующее ранжирование кандидатов. В README приведены англоязычные результаты бенчмарков; поддержка других языков в предоставленных данных не подтверждена. Лицензия — Apache-2.0.

1443окт. 2025ctx41K
textembeddingapache-2.0hugging-face
google
electra-large-discriminator

google/electra-large-discriminator — англоязычный текстовый энкодер семейства ELECTRA, разработанный Google. Модель основана на трансформере и обучена распознавать подменённые токены: она отличает исходные токены текста от искусственно сгенерированных. В репозитории представлены веса примерно на 433,9 млн параметров; максимальная длина входа — 512 токенов. Модель предназначена для извлечения контекстных представлений текста и адаптации к задачам классификации, ответов на вопросы и разметки последовательностей. Её можно применять как основу для последующего дообучения на конкретных задачах; сама карточка приводит примеры GLUE и SQuAD. Доступны версии для PyTorch, TensorFlow и Flax. Лицензия — Apache 2.0.

58K23март 2022ctx512
textapache-2.0hugging-face
howey
electra-large-mnli

howey/electra-large-mnli — англоязычная модель классификации текста на базе архитектуры ELECTRA-Large, опубликованная пользователем howey и предназначенная для задач, связанных с MultiNLI. ELECTRA разработана Google как Transformer-энкодер; данная версия дообучена для классификации отношений между парами текстов, например определения entailment, contradiction и neutral. Модель содержит около 433,9 млн параметров и поддерживает контекст до 512 токенов. Она работает с текстом, использует библиотеку Transformers и доступна через PyTorch. Модель подходит для классификации текстовых пар и zero-shot-подобных сценариев при передаче подходящих гипотез, но не является генеративной моделью и не предназначена для свободного создания текста. В карточке модели лицензия не указана, поэтому условия коммерческого и производного использования следует уточнять у владельца репозитория и в файлах модели.

550март 2022ctx512
texthugging-face
shanaka95
embeddinggemma-300m-rag-stage1

shanaka95/embeddinggemma-300m-rag-stage1 — дообученная модель эмбеддингов на базе google/embeddinggemma-300m, разработанная для поиска документов в корпоративных RAG-системах. Она преобразует текстовые запросы и документы в векторы, пригодные для сравнения по косинусной близости. Для запросов и документов предусмотрены отдельные подсказки query и document. Модель основана на плотной текстовой архитектуре Gemma 3 и содержит 302,8 млн параметров. Контекст — до 2048 токенов; модель принимает и обрабатывает текст на английском языке. Дообучение на 200 000 парах вопрос—документ из EnterpriseRAG-Bench использовало MultipleNegativesRankingLoss и MatryoshkaLoss с размерами эмбеддингов 768, 512, 256 и 128. В оценке на подмножестве бенчмарка модель показала Recall@1 0,3933 против 0,1750 у базовой модели; результаты получены на 89 вопросах и корпусе из 5000 документов. Модель предназначена для семантического поиска и извлечения релевантных документов в RAG-сценариях. Для корректного поиска корпус необходимо заново закодировать этой моделью: эмбеддинги базовой модели находятся в другом векторном пространстве. Лицензия — Gemma; этап 2 дообучения с подбором сложных негативных примеров в карточке указан как находящийся в процессе.

1130июль 2026ctx2K
textembeddinggemmahugging-face
tomaarsen
ettin-encoder-32m-nq

tomaarsen/ettin-encoder-32m-nq — англоязычная модель Sentence Transformers, дообученная на наборе Natural Questions на основе jhu-clsp/ettin-encoder-32m. Она использует архитектуру ModernBERT с mean pooling и преобразует текстовые запросы, предложения и абзацы в плотные эмбеддинги размерности 384; сходство между векторами можно оценивать косинусной мерой. Модель предназначена прежде всего для поиска релевантных текстов по запросу и семантического сопоставления в системах информационного поиска. В README указана максимальная длина последовательности 256 токенов. Метаданные сообщают 31,9 млн параметров и контекст до 7999 токенов; для практического использования следует учитывать ограничение длины, заявленное конфигурацией Sentence Transformers. Модель принимает и выдаёт текстовые представления в виде векторов, обучена на английских вопросах и ответах. Лицензия — MIT.

1060май 2026ctx8K
textembeddingmithugging-face
EpistemeAI2
Fireball-Mistral-Nemo-12B-Philos

Fireball-Mistral-Nemo-12B-Philos — дообученная методом supervised fine-tuning языковая модель EpistemeAI для генерации текста. По карточке, обучение охватывало философию, математику, программирование и языки; модель предназначена для ответов и генерации текста в этих областях. Модель основана на unsloth/Mistral-Nemo-Base-2407-bnb-4bit и использует плотную архитектуру Mistral с 12,1 млрд параметров. В метаданных указан контекст до 1 024 000 токенов; карточка базовой модели описывает окно в 128 тысяч токенов, поэтому заявленная для этой модели длина контекста может зависеть от конфигурации и реализации. Указан английский язык; карточка также сообщает об обучении на многоязычных и программных данных, не уточняя полный список языков. Модель распространяется по лицензии Apache 2.0. В карточке приведены рекомендации по использованию базовой Mistral Nemo, но нет отдельных оценок качества Fireball и подробных результатов тестирования.

150сент. 2024ctx1M
textapache-2.0hugging-face
microsoft
Florence-2-large

Microsoft Florence-2-large — универсальная модель компьютерного зрения и языка с архитектурой Florence-2 и последовательной схемой преобразования входа в выход. В этой карточке размещена продолженная версия предварительно обученной Florence-2-large: в README указано, что для продолжения обучения использовано 0,1 млрд примеров и контекст увеличен до 4 тыс. токенов; авторы предупреждают, что модель могла быть обучена недостаточно хорошо. Размер исходной Florence-2-large указан как 0,77 млрд параметров. Модель принимает изображение и текстовую задачу в виде промпта. Она предназначена для создания подписей к изображениям, обнаружения объектов, локализации областей по тексту, предложений регионов, сегментации и распознавания текста на изображениях, в том числе с привязкой OCR-результатов к областям. Florence-2 обучалась на датасете FLD-5B с 5,4 млрд аннотаций для 126 млн изображений; README приводит результаты оценки для описания изображений и обнаружения объектов, но отдельно отмечает возможное ухудшение качества именно этой продолженно обученной версии. Репозиторий содержит реализацию для Transformers, веса представлены в PyTorch и Safetensors. Лицензия — MIT. Описание не задаёт конкретный набор естественных языков; качество OCR и визуальных предсказаний может зависеть от изображения и задачи.

362K1.9Kиюнь 2024ctx1K
textmithugging-face
florence-community
Florence-2-large-ft

Florence-2-large-ft — преобразованный для Transformers чекпойнт модели Florence от Microsoft, дообученный для набора задач компьютерного зрения. Модель использует плотную архитектуру Florence-2 с генерацией последовательностей по текстовым запросам; размер исходной Florence-2-large составляет 0,77 млрд параметров. Она принимает изображение и текстовый запрос, а в ответ может создавать подписи и описания, распознавать текст, находить объекты и области изображения, связывать фразы с областями и предлагать регионы. Модель предназначена для универсального анализа изображений, включая создание подписей, OCR и визуальные вопросы и ответы. В карточке указано, что этот вариант продолжает предобучение Florence-2-large на 0,1 млрд примеров; автор предупреждает, что такое обучение могло оказаться недостаточным. Для OCR в этой версии используется символ перевода строки между строками. Контекст — 4 тысячи токенов. Репозиторий содержит веса Safetensors и распространяется по лицензии MIT.

4.3K6сент. 2025ctx1K
textimagemithugging-face
DragosGorduza
FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel-GPT3_BASEL_FULL-notrescaled_40000

Карточка модели DragosGorduza/FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel-GPT3_BASEL_FULL-notrescaled_40000 на Hugging Face совпадает с карточкой DragosGorduza/FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel-GPT3_BASEL_FULL-notrescaled_120000, поэтому описание составлено по ней. FRPile_GPL_test_pipeline_DragosGorduza-FRPile_MLM_Basel-GPT3_BASEL_FULL-notrescaled_120000 — модель Sentence-Transformers на архитектуре BERT с 433,9 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерности 1024 для семантического поиска, сравнения сходства и кластеризации. В README указано обучение с MarginDistillationLoss; модель принимает текст и выдаёт эмбеддинги. Контекст ограничен 512 токенами. Репозиторий содержит веса в формате safetensors и рассчитан на использование с библиотекой sentence-transformers. Карточка не указывает базовую модель или лицензию, поэтому их нельзя надёжно определить. Название и описание обучения указывают на экспериментальную модель, связанную с GPL и F R Pile; качество и применимость за пределами описанных задач не подтверждены.

850апр. 2024ctx512
textembeddinghugging-face
Omartificial-Intelligence-Space
GATE-AraBert-v1

GATE-AraBert-v1 — модель эмбеддингов арабского текста, разработанная Omartificial-Intelligence-Space. Это Sentence Transformer на архитектуре BERT, дообученный в многозадачном режиме для сопоставления смысла предложений. Модель создаёт векторы размерности 768 и использует косинусное сходство для сравнения текстов. Модель предназначена для семантического поиска, поиска похожих предложений и оценки смыслового сходства арабских текстов. В обучении использованы наборы данных AllNLI и STS; метаданные также указывают Arabic-stsb и Arabic-NLi-Pair-Class. Максимальная длина последовательности — 512 токенов, число параметров — 162,4 млн. Модель принимает текст и выдаёт эмбеддинги; для использования предусмотрена библиотека Sentence Transformers. Модель лицензирована по Apache-2.0. Результаты зависят от предметной области и качества входных текстов; карточка приводит оценку на STS-бенчмарках, но не гарантирует качество для любых задач или доменов.

14K20авг. 2024ctx512
textembeddingapache-2.0hugging-face
Crystalcareai
gemma-codefeedback

Crystalcareai/gemma-codefeedback — дообученная языковая модель семейства Gemma с архитектурой GemmaForCausalLM и плотной структурой, содержащая 8,2 млрд параметров. По карточке модель обучалась три эпохи на датасете Crystalcareai/CodeFeedback-Alpaca и предназначена для генерации текста с акцентом на обратную связь по коду и сценарии помощи при программировании. Модель принимает текст и генерирует текст; нативный контекст составляет 8192 токена. Репозиторий содержит веса в формате Safetensors и помечен для использования с Transformers. README не сообщает лицензию, поэтому условия использования по доступным данным определить нельзя.

200март 2024ctx8.2K
texthugging-face
Tim2190
granite-278m-kk

Tim2190/granite-278m-kk — компактная модель для создания эмбеддингов предложений на казахском языке, разработанная Тимом2190 на основе многоязычной Granite Embedding от IBM. Модель дообучена для семантического поиска и извлечения документов на казахском; она создаёт векторы размерностью 768 и использует архитектуру XLM-RoBERTa с примерно 305,2 млн параметров. Максимальная длина последовательности — 512 токенов, дополнительные префиксы в запросах не требуются. Модель подходит для поиска по коллекциям казахских текстов, сравнения запросов с документами и построения retrieval-компонента RAG. По оценке авторов, дообучение улучшает результаты базовой Granite на казахских поисковых наборах; качество сопоставимо со специализированной kazakh-e5, но не превосходит её в целом. Данные оценки описывают конкретные бенчмарки и не гарантируют качество на других коллекциях. Веса опубликованы в формате safetensors; лицензия — CC-BY-SA-4.0.

1250июль 2026ctx514
textembeddingcc-by-sa-4.0hugging-face
l3cube-pune
gujarati-sentence-similarity-sbert

GujaratiSBERT-STS — модель семейства SBERT на архитектуре BERT, разработанная L3Cube-Pune в рамках проекта MahaNLP. Она дообучена на датасете STS от базовой модели l3cube-pune/gujarati-sentence-bert-nli и предназначена для оценки семантического сходства предложений на гуджарати. Модель преобразует текстовые предложения в векторные представления, которые можно использовать для поиска семантически близких предложений и сравнения текстов. Модель содержит 264,8 млн параметров, принимает текстовые входы с контекстом до 512 токенов и распространяется в формате PyTorch. Лицензия — CC BY 4.0. В README также упоминается отдельная мультиязычная версия для основных индийских языков и межъязыкового сходства; это описание относится к данной модели только как контекст проекта.

1291февр. 2023ctx512
textembeddingcc-by-4.0hugging-face
bartowski
hkust-nlp_llama3.1-8b_codeio_pp-GGUF

Это GGUF-квантизированная версия языковой модели llama3.1-8b_codeio_pp, разработанной командой hkust-nlp и подготовленной квантизатором bartowski. Модель предназначена для генерации текста, прежде всего для задач, связанных с программным кодом, и может использоваться локально в LM Studio, llama.cpp и других проектах на базе llama.cpp. Модель содержит 8 миллиардов параметров и распространяется в формате GGUF с вариантами квантизации от Q2 до Q8, включая Q4_K_M, Q5_K_M, Q6_K и Q8_0. Размер файлов составляет примерно от 3,7 до 8,5 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp release b4688. Более качественные варианты требуют больше оперативной памяти, а низкобитные версии экономичнее, но могут заметно уступать в качестве генерации. README не содержит сведений о поддерживаемых языках, максимальном контексте, точной архитектуре базовой модели, лицензии или результатах независимого тестирования. Поэтому эти характеристики нельзя достоверно оценить по представленным данным. Для корректной работы следует использовать указанный формат prompt и совместимый движок инференса.

5490февр. 2025
texthugging-face
huihui-ai
Huihui4-8B-A4B-GGUF

Huihui4-8B-A4B-GGUF — облегчённая разговорная MoE-модель, разработанная Huihui-ai на основе google/gemma-4-26B-A4B-it. Модель создана с помощью pruning экспертов и supervised fine-tuning на более чем 500 высококачественных диалоговых примерах, извлечённых из данных о предпочтениях в программировании. В README также указана поддержка сценария image-text-to-text, однако подробные характеристики мультимодальных возможностей не приведены. Архитектура включает 32 эксперта вместо исходных 128, при этом для каждого токена активируются 8 экспертов, что сохраняет масштаб активаций A4B. Модель ориентирована на диалоговые ассистенты для программирования, понимание контекста кода, лёгкое планирование задач, локальное развёртывание и эксперименты с pruning и объединением MoE-моделей. Рекомендуемые инструменты запуска — vLLM, llama.cpp и HuggingFace Transformers; заявленные требования составляют менее 18 ГБ VRAM для FP16 и примерно 6–9 ГБ для INT4/INT8-квантизации. К сильным сторонам относятся сниженные вычислительные требования, пригодность для потребительского оборудования и заявленная устойчивость логики, следования инструкциям и работы с кодом после pruning. Предварительная оценка perplexity на 100 образцах при максимальной длине 8192 токена показала улучшение после SFT: для варианта с 32 экспертами perplexity снизилась с 2,4826 до 1,0035 на поздних этапах обучения. Ограничения включают предварительный характер оценки, отсутствие подробных данных о языках, точном размере контекста, качестве мультимодальной обработки и полноценных сравнительных тестах. Модель распространяется по лицензии Apache-2.0.

3.4K13апр. 2026
textimageapache-2.0hugging-face
huihui-ai
Huihui4-8B-A4B-v2

Huihui4-8B-A4B-v2 — разговорная модель Huihui AI на архитектуре Gemma 4, полученная прореживанием экспертов и дообучением SFT базовой модели google/gemma-4-26B-A4B-it. В модели оставлено 32 эксперта из исходных 128, при обработке каждого токена активируются 8. Модель поддерживает диалог и анализ изображений с выдачей текста; в метаданных для неё указан формат safetensors и библиотека Transformers. Модель предназначена для диалоговой помощи с кодом, планирования простых задач и локального запуска на потребительском оборудовании. Дообучение использует данные huihui-ai/GLM-5.1-Multilingual-STEM, а режим рассуждений оформлен в формате GLM-5.1. Автор сообщает о предварительных тестах диалога и оценке perplexity, но не приводит подробных сравнительных результатов. Лицензия — Apache-2.0.

13620апр. 2026
textimageapache-2.0hugging-face
noctrex
KAT-Coder-V2.5-Dev-MXFP4_MOE-GGUF

Это квантованная в формате MXFP4 версия модели Kwaipilot/KAT-Coder-V2.5-Dev с MTP. Модель предназначена для генерации текста в диалоге и агентного программирования; в каталоге для базовой модели указана поддержка вызова инструментов. Для запуска требуется актуальная версия llama.cpp. Репозиторий представлен в формате GGUF. В README и метаданных нет сведений о размере, длине контекста, поддерживаемых языках и лицензии.

922июль 2026
texthugging-face
kilian-group
KBevo-Qwen3-4B-SFT

KBevo-Qwen3-4B-SFT — разработанный Kilian Group чекпойнт supervised fine-tuning модели Qwen3-4B для двухэтапных ответов на вопросы с несколькими переходами рассуждения. На первом этапе модель извлекает из набора фрагментов компактную структурированную базу знаний в виде троек «сущность — отношение — значение», включая обратные отношения. На втором этапе она отвечает на вопросы, выполняя типизированные запросы к этой базе и опираясь на найденные факты. Модель имеет плотную архитектуру Qwen3ForCausalLM и около 3,7 млрд параметров; поддерживает контекст до 40 960 токенов и работает с текстом. Чекпойнт обучен на синтезированных двухэтапных траекториях для HotpotQA методом SFT; он предназначен для запуска поведения KBevo SFT, воспроизведения экспериментов и дальнейшего обучения. В README приведены результаты на HotpotQA, MuSiQue, 2WikiMultiHopQA и PopQA. Для двухэтапного inference рекомендуется использовать эталонную реализацию KBevo. Лицензия — Apache-2.0.

1790сент. 2026ctx41K
textapache-2.0hugging-face
leewaay
klue-roberta-large-klueSTS-cross

leewaay/klue-roberta-large-klueSTS-cross — кросс-энкодер на базе KLUE RoBERTa Large, дообученный Вонсёком Ли на наборе KLUE STS для оценки сходства корейских предложений. Модель принимает пару текстов и напрямую вычисляет оценку их семантического сходства, поэтому подходит для сравнения фраз и ранжирования кандидатов по релевантности. Модель также можно применять для переранжирования результатов поиска и разметки пар предложений при подготовке данных для SBERT. Архитектура — RoBERTa для классификации последовательностей, размер — 435,4 млн параметров, контекст — до 514 токенов. Репозиторий содержит веса PyTorch и SafeTensors. В метаданных указан корейский язык. Лицензия в предоставленных данных не описана.

1161март 2024ctx514
texthugging-face

Задачи профессии

22 задачи
400Профилирование нового набора данных. — Механизм: AI сопоставляет наблюдаемое состояние с эталонами, нормативами или историческими аналогами и оценивает степень соответствия. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: оценка по задаче «Профилирование нового набора данных» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Проверка: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
401Определение вероятного смысла и типа столбцов. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. К исходным данным относятся таблицы, события, файлы и схемы. Формат результата: установленное значение или вариант по задаче «Определение вероятного смысла и типа столбцов» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
402Обнаружение пропусков, выбросов и невозможных значений. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: события, файлы, схемы и каталоги данных. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение пропусков, выбросов и невозможных значений», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
403Выбор стратегии заполнения пропущенных данных. — Практическая реализация: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: несколько вариантов для «Выбор стратегии заполнения пропущенных данных», ранжированных по полезности, ограничениям и причинам выбора. Ошибки выявляют по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
404Очистка и стандартизация категориальных значений. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: преобразованный материал по задаче «Очистка и стандартизация категориальных значений» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
405Сопоставление и объединение данных из разных источников. — AI строит единое пространство признаков и устанавливает соответствия между элементами, которые описаны по-разному. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: карта соответствий и различий для «Сопоставление и объединение данных из разных источников», где элементы приведены к единым критериям и связаны с первичными данными. Надёжность оценивают экспертной сверкой соответствий и проверкой, что различия не вызваны несовместимыми форматами; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
406Автоматическое построение ETL/ELT-конвейера. — Для этой задачи система объединяет уравнения, эмпирические данные и обученные зависимости в модель, пригодную для анализа чувствительности. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: вычислительная модель или карта для «Автоматическое построение ETL/ELT-конвейера» с результатами сценариев и анализом чувствительности. Критерии приёмки: сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
407Генерация преобразований данных по словесному описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация преобразований данных по словесному описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
408Проверка качества данных по автоматически предложенным правилам. — Механизм: AI сверяет объект с эталоном, правилами и взаимными зависимостями, отмечая пропуски, конфликты и нарушения. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: протокол выполнения «Проверка качества данных по автоматически предложенным правилам» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
409Обнаружение нарушения контрактов данных. — AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. К исходным данным относятся таблицы и события, схемы и определения бизнес-метрик. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение нарушения контрактов данных», с локализацией, уверенностью и признаками срабатывания. Надёжность оценивают по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
410Анализ происхождения показателя и цепочки преобразований. — Для этой задачи система разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Рабочие входы: файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ происхождения показателя и цепочки преобразований» с влияющими факторами, альтернативными трактовками и ссылками на данные. Критерии приёмки: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
411Генерация SQL по вопросу на естественном языке. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Входной контекст включает таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Генерация SQL по вопросу на естественном языке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
412Объяснение SQL-запроса и поиск логических ошибок. — Механизм: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Исходные данные: таблицы и события, схемы и определения бизнес-метрик. Формат результата: объяснимые выводы по задаче «Объяснение SQL-запроса и поиск логических ошибок» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
413Автоматическое построение подходящей визуализации. — AI создаёт вычислительное представление объекта или процесса и проигрывает на нём альтернативные сценарии. К исходным данным относятся SQL, бизнес-метрики, таблицы и события. Формат результата: вычислительная модель или карта для «Автоматическое построение подходящей визуализации» с результатами сценариев и анализом чувствительности. Надёжность оценивают сопоставлением с наблюдениями, тестами чувствительности и воспроизводимостью вычислений; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
414Создание смыслового слоя метрик. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: профилирует источники, связывает преобразования и проверяет согласованность агрегатов. Рабочие входы: таблицы и события, схемы и определения бизнес-метрик. Формат результата: редактируемый артефакт по задаче «Создание смыслового слоя метрик», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
415Объяснение изменения показателя через декомпозицию факторов. — Практическая реализация: AI агрегирует разрозненные сигналы в целостную картину и показывает, какие данные поддерживают каждый вывод. Входной контекст включает таблицы, события, файлы и схемы. Формат результата: объяснимые выводы по задаче «Объяснение изменения показателя через декомпозицию факторов» с влияющими факторами, альтернативными трактовками и ссылками на данные. Ошибки выявляют воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
416Когортный анализ. — Механизм: AI разбирает данные по существенным признакам, выявляет связи и формирует выводы с привязкой к исходным свидетельствам. Исходные данные: события, файлы, схемы и каталоги данных. Формат результата: объяснимые выводы по задаче «Когортный анализ» с влияющими факторами, альтернативными трактовками и ссылками на данные. Проверка: воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
417Анализ воронки и точек потери. — AI сопоставляет наблюдения, отделяет устойчивые закономерности от случайных совпадений и объясняет влияющие факторы. К исходным данным относятся файлы, схемы, каталоги данных и SQL. Формат результата: объяснимые выводы по задаче «Анализ воронки и точек потери» с влияющими факторами, альтернативными трактовками и ссылками на данные. Надёжность оценивают воспроизводимостью расчётов, проверкой источников и сравнением выводов с альтернативными объяснениями; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
418Сегментация объектов по поведению. — Для этой задачи система строит границы между категориями и ранжирует объекты так, чтобы наиболее важные или срочные обрабатывались раньше. Рабочие входы: схемы, каталоги данных, SQL и бизнес-метрики. Формат результата: результат «Сегментация объектов по поведению» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
419Поиск статистически значимых зависимостей. — Практическая реализация: AI индексирует доступные материалы, понимает смысл запроса и ранжирует кандидатов по содержательному совпадению. Входной контекст включает каталоги данных, SQL, бизнес-метрики и таблицы. Формат результата: ранжированный список кандидатов по задаче «Поиск статистически значимых зависимостей» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Ошибки выявляют по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
420Подготовка аналитического отчёта с выводами и оговорками. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: SQL, бизнес-метрики, таблицы и события. Формат результата: редактируемый артефакт по задаче «Подготовка аналитического отчёта с выводами и оговорками», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аналитический набор или запрос. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик.
421Естественно-языковой интерфейс к BI-системе. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. К исходным данным относятся бизнес-метрики, таблицы, события и файлы. Формат результата: ранжированный список кандидатов по задаче «Естественно-языковой интерфейс к BI-системе» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; тестами качества данных, сверкой агрегатов, lineage, повторяемостью запросов и согласованием определения метрик. <a id="section-ii-9"></a>

0 моделей