II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейPP-OCRv6 small text detection MLX — преобразованная для MLX версия компактной модели обнаружения текста PaddleOCR, опубликованная mikoy92 на Hugging Face. Она принимает изображение и возвращает координаты областей с текстом, которые можно передать следующим этапам OCR-конвейера для распознавания и извлечения текста. Модель основана на PaddlePaddle/PP-OCRv6_small_det_safetensors; в метаданных указаны языки en и zh, а лицензия — Apache-2.0. Репозиторий использует формат safetensors и библиотеку MLX.
kredor/punctuate-all — модель классификации токенов на базе дообученной XLM-RoBERTa-base. Она восстанавливает пунктуацию в тексте, предсказывая для токенов знаки препинания, включая точку, запятую, вопросительный знак, дефис и двоеточие. Модель рассчитана на английский, немецкий, французский, испанский, болгарский, итальянский, польский, нидерландский, чешский, португальский, словацкий и словенский языки. В отчёте указаны общая точность 0,98 и F1 0,95 для точки, 0,86 для запятой и 0,86 для вопросительного знака; качество распознавания дефиса и двоеточия ниже. Модель содержит около 305,2 млн параметров, использует контекст до 514 токенов и распространяется по лицензии MIT.
AISE-TUDelft/python-parameters-classifier — модель эмбеддингов на базе MPNet, опубликованная AISE-TUDelft. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска семантически близких текстов, кластеризации и сравнения предложений. Модель обучалась с функцией потерь CosineSimilarityLoss и подходит для построения семантического поиска и группировки текстов по смыслу. Модель содержит 136,7 млн параметров, принимает текст и выдаёт векторы; максимальная длина контекста — 514 токенов. В репозитории указаны веса PyTorch и использование через Sentence-Transformers. Лицензия в предоставленных данных не указана.
lucaswychan/Qwen-2.5-0.5B-SimpleRL-Zoo-Reasoning-Embedding — мультиязычная модель эмбеддингов на архитектуре Qwen2, разработанная Lucas Wun Yu CHAN и дообученная на базе hkust-nlp/Qwen-2.5-0.5B-SimpleRL-Zoo. Она предназначена для кодирования текстов в векторные представления и сравнения предложений по семантическому сходству. Модель содержит 494 млн параметров, использует формат safetensors и поддерживает контекст до 32 768 токенов. В README описаны эксперименты с MTEB и BRIGHT и анализ HRSA: дообучение на базе модели, оптимизированной с помощью RLVR, не показало устойчивого преимущества в качестве эмбеддингов над базовыми моделями при одинаковой контрастивной тренировке. Для загрузки через Sentence Transformers или Transformers карточка советует включить trust_remote_code=True. Лицензия — Apache-2.0.
Модель goofyk/qwen2.5-coder-1c-7b — дообученная разработчиком goofyk версия Qwen2.5-Coder-7B. Это плотная авторегрессионная языковая модель архитектуры Qwen2, предназначенная для генерации текста; базовая модель ориентирована на задачи программирования. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Дообучение выполнено с использованием Unsloth и библиотеки Hugging Face TRL. Модель можно применять для генерации кода и текстовых ответов в сценариях программирования. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.
unsloth/Qwen2.5-Coder-3B-bnb-4bit — квантованная 4-битная версия модели Qwen2.5-Coder, разработанной командой Qwen и опубликованной в формате Unsloth. Модель относится к семейству специализированных языковых моделей для программирования и предназначена для генерации, анализа и исправления кода, а также для задач code completion и fill-in-the-middle. Это базовая модель без дообучения для диалогов, поэтому для чат-сценариев рекомендуется дополнительное обучение или использование подходящего шаблона постобработки. Архитектура основана на causal language model с RoPE, SwiGLU, RMSNorm, смещениями в QKV-проекциях внимания и связанными эмбеддингами слов. В README для данного репозитория приведены характеристики версии 0.5B: около 0,49 млрд параметров, 24 слоя, GQA с 14 головами для Q и 2 для KV, контекст до 32 768 токенов. При этом идентификатор и базовая модель указывают на вариант 3B, а точные архитектурные параметры именно 3B-версии в предоставленных данных не подтверждены. Указан английский язык; мультимодальность не заявлена. К сильным сторонам относятся специализация на генерации, рассуждении и исправлении кода, а также сниженные требования к памяти благодаря 4-битному представлению. Модель может применяться локально и интегрироваться в инструменты разработки, но её базовый, а не диалоговый характер ограничивает использование в роли готового чат-ассистента. Лицензия — Apache-2.0.
BlossomsAI/Qwen2.5-Coder-7B-Instruct-Uncensored — доработанная языковая модель для генерации кода и диалогового общения, созданная на основе Qwen/Qwen2.5-Coder-7B-Instruct. Авторы применили направленное вмешательство для изменения поведения модели и удаления отказов. В метаданных указана архитектура Qwen2, плотная causal language model и 7,1 млрд параметров; контекст — до 32 768 токенов. Модель принимает текст и выдаёт текст, поддерживает английский и вьетнамский языки. Модель предназначена для генерации и обсуждения программного кода, а также ответов на запросы в формате чата. README заявляет о предварительной квантизации и упоминает формат GGFU; метаданные указывают файлы safetensors. Лицензия — MIT. Удаление отказов может привести к выдаче ответов на запросы, которые другие модели отклоняют; результаты следует проверять.
ssmits/Qwen2-7B-Instruct-embed-base — модель эмбеддингов на основе Qwen2, представленная автором репозитория ssmits. Это плотная Transformer-модель класса Qwen2Model с 7,1 млрд параметров; у неё удалён слой lm_head, поэтому она предназначена для получения векторных представлений текста. Модель распространяется в формате safetensors и использует библиотеку sentence-transformers. Её можно применять для извлечения признаков, сравнения сходства предложений и классификации текста. Контекст составляет до 32 768 токенов; в карточке указан английский язык, а серия Qwen2 описана как адаптированная к нескольким естественным языкам и языкам программирования. Лицензия — Apache-2.0. Автор предупреждает, что модель не показывает высокой эффективности без дополнительного дообучения, и отмечает потребление более 24 ГБ видеопамяти в собственных тестах. Для получения эмбеддингов требуется выбрать подходящую операцию pooling поверх контекстных представлений.
TeichAI/Qwen3-14B-DeepSeek-v3.2-Speciale-Distill — плотная языковая модель семейства Qwen3 на 14 млрд параметров, дообученная TeichAI на наборах рассуждений DeepSeek v3.2 Speciale. Она предназначена для генерации текста в диалоге, решения математических задач, программирования и исследовательских запросов. Модель принимает текст и выдаёт текст; метаданные указывают контекст до 40 960 токенов и поддержку интерфейса вызова инструментов. Модель основана на unsloth/Qwen3-14B и распространяется в формате safetensors. В карточке перечислены обучающие наборы OpenCodeReasoning, 1000x и openr1-math. Указаны английский язык и лицензия не приведена в предоставленных данных. Возможности и качество рассуждений, кодирования и вызова инструментов независимо не подтверждены.
Qwen3.6-Max-Preview — проприетарная модель Alibaba Cloud на архитектуре разреженной смеси экспертов (MoE), содержащая примерно 1 трлн параметров. Она предназначена для агентного программирования, использования инструментов и генерации текста. Доступный фрагмент карточки не раскрывает подробности об интерфейсе, поддерживаемых языках или длине контекста. Модель представлена как Preview; условия лицензии в доступных данных не описаны.
Карточка модели ArchiveStudio/Qwen3-Coder-Next-Base на Hugging Face совпадает с карточкой Qwen/Qwen3-Coder-Next-Base, поэтому описание составлено по ней. Qwen3-Coder-Next-Base — базовая языковая модель компании Qwen, предназначенная для разработки кодовых агентов и локальной работы с кодом. Это предварительно обученная авторегрессионная модель семейства Qwen3-Next с гибридной архитектурой: чередует Gated DeltaNet, Gated Attention и разреженные Mixture of Experts. В README указано 80 млрд параметров всего и 3 млрд активируемых; метаданные Hugging Face указывают 2,3 млрд параметров, поэтому размерные сведения источников расходятся. Модель рассчитана на генерацию кода и использование как основы для последующего обучения и создания агентных систем. Заявлены возможности вызова инструментов, адаптации шаблонов и каркасов проектов, а также поиска и восстановления после ошибок. Нативная длина контекста — 262 144 токена; README заявляет поддержку более 370 языков, в том числе языков программирования. Модель работает только в режиме без рассуждений (non-thinking) и не генерирует блоки разметки рассуждений. Репозиторий содержит веса Safetensors, библиотека — Transformers. Лицензия Apache-2.0.
Qwen3-Embedding-4B-4bit-DWQ — модель для создания векторных представлений текста, разработанная сообществом mlx-community на основе Qwen/Qwen3-Embedding-4B от Qwen. Она предназначена для задач семантического сравнения текстов, поиска по смыслу, кластеризации, извлечения признаков и других сценариев, где требуется преобразовать текст в embedding-векторы. Модель конвертирована в формат MLX с использованием mlx-lm версии 0.24.0. Модель имеет размер базовой версии 4B параметров и использует 4-битное квантование DWQ, что ориентировано на более экономичное выполнение на совместимом оборудовании Apple через MLX. В README не указаны поддерживаемые языки, максимальная длина контекста, дополнительные модальности и точные характеристики качества. Лицензия — Apache-2.0. Для работы требуется библиотека mlx-lm; сведения о совместимости с другими фреймворками и ограничениях применения в карточке не приведены.
QZhou-Embedding (Qingzhou Embedding) — плотная модель контекстных текстовых эмбеддингов, разработанная на основе Qwen2.5-7B-Instruct. Разработчики изменили причинное внимание на двунаправленное и построили архитектуру QZhouModel на базе Qwen2Model. Модель содержит 7,1 млрд параметров; метаданные указывают контекст до 32 768 токенов, а README — до 8 тысяч токенов. Модель предназначена для получения векторных представлений текста, поиска и оценки сходства предложений. Она обучалась в два этапа: сначала для задач поиска, затем для нескольких задач представления текста; разработчики сообщают о высоких результатах на бенчмарках MTEB и CMTEB. Поддерживаются английский и китайский языки. Лицензия — Apache-2.0. README отмечает, что MRL в этой версии не поддерживается из-за снижения качества. Для воспроизведения результатов и запуска через vLLM важны версии библиотек и параметры среды; обновлённый скрипт для Transformers 5 требует указанного в карточке набора зависимостей.
ichko/redis-langcache-v1-test — дообученная модель Sentence Transformers на базе redis/langcache-embed-v1 от Redis. Она использует ModernBERT с пуллингом CLS-токена и преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения текстов по косинусному сходству. Максимальная длина последовательности — 8192 токена. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текста, а также для других задач, где нужны векторные представления текстов. Лицензия в предоставленных данных не указана.
rombodawg/rombos_Llama3-8B-Instruct-Replete-Adapted — экспериментальная чат-модель на архитектуре Llama 3, созданная Rombodawg. В README сказано, что к Meta-Llama-3-8B-Instruct применён адаптер Replete-AI/Replete-Coder-Llama3-8B; метаданные указывают 7,5 млрд параметров, формат PyTorch и контекст 8192 токена. Для модели заявлены генерация и объяснение кода, перевод между языками программирования, помощь с математикой, вопросы безопасности кода, вызов функций и общие диалоговые задачи. README описывает исходный обучающий набор как примерно на 75% состоящий из инструкций по программированию и на 25% — из общих инструкций; в метаданных перечислены соответствующие датасеты для кода, математики и диалогов. Модель предназначена для диалогового использования и генерации текста, включая код. Карточка характеризует её как эксперимент и не приводит сравнительных оценок качества. Указанный контекст — 8192 токена; автор предупреждает, что качество за его пределами не гарантируется. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует проверять в репозитории модели.
rubert-mini-frida — компактная модель на архитектуре BERT, опубликованная sergeyzh для построения эмбеддингов предложений на русском и английском языках. Она создана дистилляцией эмбеддингов ai-forever/FRIDA в sergeyzh/rubert-mini-sts: 7 слоёв и размер эмбеддинга 312 вместо 24 слоёв и 1536 у FRIDA. Используется mean pooling; по умолчанию настроен префикс «categorize: », также поддерживаются префиксы FRIDA для разных задач. Модель подходит для семантического поиска и сравнения предложений, выявления перефразирований, классификации и кластеризации текста, анализа тональности и токсичности, а также задач NLI. В карточке приведены результаты ruMTEB: модель уступает FRIDA по указанным метрикам, но превосходит приведённые варианты multilingual-e5 в некоторых из них. Хотя унаследованная длина контекста составляет 2048 токенов, автор рекомендует не превышать 512. Лицензия — MIT.
manu/sentence_croissant_alpha_v0.4 — модель эмбеддингов на базе архитектуры Llama, опубликованная под лицензией MIT. Она преобразует предложения и абзацы в плотные векторы размерности 2048 для семантического поиска, кластеризации и сравнения смысловой близости. Модель рассчитана на работу с французским и английским текстом; максимальная длина контекста — 2048 токенов, число параметров — около 1,3 млрд. Для загрузки и использования подходит библиотека Sentence-Transformers. Модель обучалась с функцией потерь MultipleNegativesRankingLoss и может применяться для поиска текстов по смыслу и группировки семантически похожих фраз. Карточка не приводит численных результатов бенчмарков, поэтому качество на конкретных данных следует проверять отдельно.
Torekhan/sentence_similarity_model — модель Sentence Transformers, дообученная автором Torekhan на Snowflake/snowflake-arctic-embed-m для работы с казахскими текстами. Она преобразует предложения и абзацы в плотные эмбеддинги размерностью 768 и подходит для сравнения смысловой близости, семантического поиска, поиска перефразирований, кластеризации и классификации текстов. Архитектура включает BERT-трансформер, pooling по CLS-токену и нормализацию векторов; сходство оценивается косинусной мерой. Максимальная длина последовательности — 512 токенов. Обучение проводилось на датасете KazakhTextDuplicates из 25 922 примеров с MultipleNegativesRankingLoss. Лицензия в предоставленных данных не указана.
Gflorent/setfit_emotion — модель представлений предложений на базе MPNet, опубликованная автором florentgbelidji. Она преобразует предложения и абзацы в плотные векторы размерности 768; в README указано обучение с BatchHardTripletLoss. Модель предназначена для поиска семантически близких текстов и кластеризации, а также может использоваться как основа для сравнения предложений. Модель содержит 136,7 млн параметров, работает с текстом и имеет контекстное окно 514 токенов. Для применения README рекомендует библиотеку Sentence-Transformers. В метаданных указаны форматы PyTorch и задачи sentence-similarity и feature-extraction. Лицензия не указана в предоставленных данных.
SimCSE-Dist-MPNet-CzEng — компактная модель семантических эмбеддингов, разработанная Seznam.cz и дообученная с целевой функцией SimCSE. Она предназначена для оценки смыслового сходства предложений и может применяться для семантического поиска, извлечения релевантных текстов, кластеризации и классификации. Модель основана на архитектуре BERT, содержит 27,2 млн параметров и принимает текстовые входные данные, формируя векторные представления предложений. Контекст ограничен 512 токенами. В карточке заявлена поддержка чешского и английского языков. Модель опубликована в формате PyTorch под лицензией CC-BY-NC-SA-4.0, которая ограничивает коммерческое использование и требует соблюдения условий распространения.
vitthalbhandari/simcse_retrain_edos_100k_128batch — модель Sentence-Transformers на базе RoBERTa, создающая плотные векторы размерности 768 для предложений и абзацев. Она предназначена для поиска семантически близких текстов, кластеризации и других задач сравнения предложений. Модель содержит 151,8 млн параметров, принимает текст и выдаёт эмбеддинги; максимальная длина контекста — 514 токенов. При обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством. Карточка не уточняет языки обучающих данных и качество на конкретных наборах оценки. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных данных отсутствуют.
Модель Symanto sn-mpnet-base-snli-mnli — сиамская sentence-transformers-модель на базе MPNet, обученная на наборах SNLI и MNLI. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для классификации текста в zero-shot и few-shot сценариях, сравнения семантической близости и извлечения признаков. Модель содержит 136,7 млн параметров, принимает текст на английском языке; длина контекста — 514 токенов. Векторные представления можно использовать для сравнения текста с описаниями классов, поиска похожих фраз и построения классификаторов с небольшим количеством примеров. Для применения доступны Sentence-Transformers и Transformers; при использовании Transformers требуется подходящий pooling контекстуальных представлений. В метаданных указана библиотека PyTorch. Лицензия в предоставленных данных не приведена.
speechless-code-mistral-7b-v1.0-Mistral-7B-Instruct-v0.2-slerp — объединённая методом SLERP модель MaziyarPanahi на архитектуре Mistral, созданная из mistralai/Mistral-7B-Instruct-v0.2 и uukuguy/speechless-code-mistral-7b-v1.0. Она предназначена для диалоговой генерации текста и ответов на инструкции, включая задачи, связанные с программным кодом. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Модель принимает текст и выдаёт текст. Метаданные указывают Apache-2.0; веса доступны в формате safetensors. Данные карточки не уточняют языки, на которых модель лучше всего работает, и не приводят отдельной оценки качества или ограничений по задачам.
Stable Code 3B — авторегрессионная языковая модель Stability AI на основе decoder-only Transformer, близкой к архитектуре LLaMA, с реализацией через GPT-NeoX. Модель содержит около 2,7 млрд параметров и предварительно обучена на 1,3 трлн токенов текстовых и программных данных, включая наборы Falcon RefinedWeb, The Stack GitHub Issues, CommitPackFT, StarCoderData, Proof-Pile-2 и MetaMathQA. Модель предназначена прежде всего для генерации, дополнения и анализа программного кода. Она обучалась на 18 языках программирования и поддерживает сценарий Fill in the Middle (FIM), что позволяет вставлять фрагменты кода между заданными началом и концом. Заявлена поддержка последовательностей длиной до 16 384 токенов. В README явно указаны английский язык и код; сведения о мультимодальности отсутствуют, поэтому модель следует рассматривать как текстовую. В опубликованных результатах MultiPL-E pass@1 модель показывает 32,4% для Python, 30,9% для C++, 32,1% для Java и JavaScript, 24,2% для PHP и 23,0% для Rust. Эти показатели заявлены как конкурентные среди моделей сопоставимого размера, однако отмечены как непроверенные. Ограничениями являются относительно небольшой размер по сравнению с крупными code-моделями, возможные ошибки и небезопасность генерируемого кода, а также отсутствие подтверждений качества для всех 18 поддерживаемых языков. Модель распространяется по Stability AI Community License. Для коммерческого использования README рекомендует обращаться к условиям коммерческой лицензии Stability AI; конкретные требования в карточке не приведены.
cnmoro/static-nomic-384-pten-v2-st — совместимая с Sentence Transformers версия статической модели текстовых эмбеддингов, созданная cnmoro с помощью Tokenlearn на базе nomic-embed-text-v2-moe. Модель выдаёт векторы размерности 384 для текстов на английском и португальском языках и предназначена для семантического поиска, сравнения предложений и извлечения документов. Это дообученная Model2Vec-модель в формате safetensors. Её веса численно совпадают с cnmoro/static-nomic-384-pten-v2; отличие состоит в хранении: матрица эмбеддингов развёрнута по одному ряду на токен, чтобы её мог загружать StaticEmbedding из Sentence Transformers. Исходная упаковка Model2Vec занимает меньше места — 52 МБ против 424 МБ у этой версии. Модель подходит для построения поиска и ранжирования по близости текстовых векторов. Она создаёт эмбеддинги, а не готовые ответы на вопросы. Лицензия — Apache-2.0.
SuperGemma-4-12b-abliterated — дообученный инструкционный чекпойнт на 12 млрд параметров, созданный на основе google/gemma-4-12B-it. Разработчик объединил обработку направления отказов в весовом пространстве с дополнительным постобучением для следования инструкциям, программирования, технических ответов на корейском языке, форматирования JSON и вызовов инструментов. Модель распространяется как единый чекпойнт без необходимости подключать адаптер во время работы. Модель предназначена для диалогов, выполнения инструкций и генерации кода. README описывает снижение лишних отказов и приводит результаты внутренних и публичных проверок, однако они не гарантируют качество на других запросах. В метаданных также заявлена мультимодальная архитектура семейства Gemma 4 с возможностью работы с изображениями, видео и аудио у базовой модели; явное подтверждение этих входов для данного чекпойнта в README отсутствует. Модель загружается через Transformers, веса опубликованы в формате safetensors. Лицензия — Apache-2.0. Карточка указывает английский и корейский языки; дополнительное постобучение особенно ориентировано на технические ответы на корейском.
dbourget/test-6epochs — модель на архитектуре BERT, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 1024, подходящие для семантического поиска, кластеризации и сравнения текстов. В метаданных указаны 433,9 млн параметров и контекст до 512 токенов. Модель можно использовать через библиотеку Sentence-Transformers или Transformers с подходящей операцией pooling. Она обучалась с функцией потерь DenoisingAutoEncoderLoss. Карточка не указывает лицензию или языки обучения, поэтому нельзя определить условия использования и конкретный языковой охват.
Карточка модели Youssefbou62/test_encoder на Hugging Face совпадает с карточкой thenlper/gte-large, поэтому описание составлено по ней. gte-large — модель текстовых эмбеддингов General Text Embeddings, разработанная Alibaba DAMO Academy на основе архитектуры BERT и обученная контрастивным обучением на крупном корпусе пар текстов с оценками релевантности. Она преобразует английские тексты в векторы размерностью 1024 и предназначена для поиска информации, сравнения семантической близости и ранжирования текстов. Модель применима в поисковых системах, семантическом сопоставлении предложений и других задачах, использующих текстовые эмбеддинги. В тесте MTEB для gte-large указана средняя оценка 63,13 по 56 задачам. Контекст ограничен 512 токенами: более длинные тексты обрезаются. Модель рассчитана только на английский язык. Лицензия — MIT.
dinait/test-setfit-model — модель Sentence-Transformers на базе MPNet, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и вычисления сходства. Модель содержит 136,7 млн параметров и поддерживает контекст до 514 токенов; для получения векторов её можно использовать через Sentence-Transformers либо Transformers с соответствующей операцией pooling. Модель подходит для семантического поиска, группировки текстов и сравнения предложений по смыслу. В README указано обучение с CosineSimilarityLoss, однако сведений о языках обучающих данных и результатах оценки не приведено. Репозиторий содержит веса PyTorch; сведения о лицензии отсутствуют в предоставленных данных.
josedossantos/tree-summary-bertimbau — модель Sentence-Transformers на архитектуре BERT, разработанная пользователем josedossantos. Она преобразует предложения и абзацы в плотные векторы размерности 1024 для поиска семантически похожих текстов, кластеризации и семантического поиска. Модель обучена с функцией ContrastiveLoss на косинусном расстоянии; для использования подходят библиотека sentence-transformers или Transformers с корректной операцией pooling. Контекст ограничен 512 токенами, веса опубликованы в формате safetensors; размер модели составляет 433,2 млн параметров. Лицензия в предоставленных данных отсутствует.