II.8Инженерия данных и аналитика

Gistral-16B — разговорная языковая модель ehristoforu для генерации текста. Она создана слиянием нескольких моделей семейства Mistral, включая русскоязычную Saiga, модели для математики и кода, а также варианты с расширенным контекстом и диалоговой настройкой. Архитектура — плотная MistralForCausalLM; размер составляет 16,7 млрд параметров, веса доступны в формате safetensors, модель работает через Transformers. Модель предназначена для диалогов, следования инструкциям, решения математических задач и помощи с кодом. В карточке заявлена поддержка английского, французского, русского, немецкого, японского, китайского, корейского, итальянского и украинского языков. Метаданные указывают на нативный контекст в 32 768 токенов. Модель распространяется по лицензии Apache-2.0. Качество и поведение могут различаться между задачами, поскольку модель объединяет несколько специализированных чекпойнтов. Упоминание варианта Yarn на 128k среди компонентов слияния не меняет указанный в метаданных нативный контекст самой модели — 32 768 токенов.

MoralHazard/GISTsmall — компактная модель Sentence Transformer на базе BERT, предназначенная для преобразования предложений и абзацев в плотные векторы размерностью 384. Она была обучена на 1 244 примерах с anchor, positive и negative текстами; метаданные указывают на использование GISTEmbedLoss. Архитектура включает BERT, пулинг CLS-токена и нормализацию векторов, а сходство текстов оценивается косинусной мерой. Модель подходит для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и получения признаков для классификации текста. Максимальная длина последовательности — 512 токенов; доступны файлы ONNX. Язык обучающих примеров в карточке не установлен, поэтому языковую поддержку определить нельзя. Лицензия в предоставленных данных не указана.

grug-27b — дообученная модель ProCreations на базе Qwen/Qwen3.6-27B с плотной архитектурой семейства Qwen3.5. Разработчик объединил LoRA-адаптер ранга 32, обученный на текстовых линейных слоях, с базовой моделью и сохранил веса в формате bf16. По карточке, обучение было направлено на компактные, адаптивные рассуждения: короткие для простых задач и более подробные для сложных. Модель предназначена для генерации текста в диалогах, программирования, математических задач и агентных сценариев с использованием инструментов. Карточка приводит результаты на HumanEval, MBPP и GSM8K, а также сообщает о снижении расхода токенов на этих тестах и проверках на зацикливание. Эти результаты получены разработчиком и не гарантируют такого же качества на других запросах. Указана поддержка английского языка; базовая Qwen3.6-27B также описана в каталоге как мультимодальная, но README grug-27b говорит об обучении текстового стека, поэтому работу с изображениями для этой версии подтвердить нельзя. Для запуска приведён контекст длиной 32 768 токенов как параметр сервера, а не заявленный нативный предел модели. Лицензия — Apache-2.0.

jina-embeddings-v5-text-small-mlx — мультимодульная по задачам модель эмбеддингов Jina AI для Apple Silicon, основанная на Qwen3 и использующая четыре LoRA-адаптера для переключения задач. Репозиторий содержит базовые веса и адаптеры; при смене задачи адаптеры объединяются с весами на месте. Модель имеет 507,9 млн параметров, работает в float16 и создаёт векторы размерностью до 1024 с поддержкой Matryoshka-размеров 32, 64, 128, 256, 512, 768 и 1024. Максимальная длина последовательности — 32 768 токенов. Модель предназначена для семантического поиска, сравнения текстов и группировки документов; метаданные указывают задачу feature-extraction. Карточка сообщает о высокой близости результатов к предварительно объединённым контрольным точкам и переключении адаптеров примерно за 20 мс. Установка описана через MLX, поэтому применение ориентировано на устройства Apple Silicon. Модель основана на jinaai/jina-embeddings-v5-text-small и распространяется по лицензии CC BY-NC 4.0, которая не разрешает коммерческое использование.

shangrilar/klue-roberta-base-klue-sts — модель на базе RoBERTa, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768, пригодные для сравнения семантической близости. Модель подходит для семантического поиска, кластеризации и других задач, где нужно находить похожие тексты или группировать их по смыслу. Для использования доступны Sentence-Transformers и Transformers с последующим pooling контекстных представлений. Обучение проводилось с CosineSimilarityLoss. Веса представлены в формате safetensors; модель содержит 137,8 млн параметров и поддерживает контекст до 514 токенов. Карточка не сообщает лицензию или конкретный набор языков, поэтому они не указаны.

gemasphi/laprador_f — модель Sentence-Transformers на архитектуре BERT, преобразующая предложения и абзацы в плотные векторы размерности 768. Она предназначена для вычисления семантического сходства, семантического поиска и кластеризации текстов. Число параметров — 136,1 млн, максимальная длина контекста — 512 токенов; модель распространяется в формате PyTorch. Модель можно применять для поиска текстов по смыслу, группировки похожих предложений и сравнения фрагментов текста. README описывает использование через Sentence-Transformers или Transformers с соответствующей операцией pooling. Язык модели и условия лицензии в предоставленных сведениях не раскрыты.

LiLT-SER-JA — дообученная модель на основе nielsr/lilt-xlm-roberta-base, созданная для классификации токенов в документах. Она использует архитектуру LiLT с XLM-RoBERTa и предназначена для извлечения структурированной информации из документов с учётом текста и его расположения на странице. Модель обучена на датасете XFUND; карточка приводит на оценочной выборке F1 0,7928, precision 0,7244 и recall 0,8755. Доступна в формате Safetensors, имеет 305,2 млн параметров и контекст до 514 токенов. Лицензия — MIT. README не раскрывает подробности разметки и целевых типов сущностей.

Locutusque/llama-3-neural-chat-v1-8b — диалоговая языковая модель Locutusque, дообученная на базе Meta Llama 3 8B. Для обучения использовались SFT и DPO, а данные были подобраны с усилением навыков программирования, математики и письма. Модель предназначена для разговорного взаимодействия и генерации текста, включая помощь с кодом, решение математических задач и написание текстов. Это плотная архитектура Llama с 7,5 млрд параметров и контекстом до 8192 токенов; репозиторий содержит веса Safetensors и рассчитан на использование с Transformers. Карточка указывает на широкую языковую поддержку, но не перечисляет конкретные языки. В README приведены результаты нескольких оценок, включая TruthfulQA и GSM8K. Модель унаследовала условия лицензии Llama 3; в метаданных лицензия обозначена как other.

Maestro-10B — языковая модель примерно с 9,9 млрд параметров, созданная suayptalha дообучением Virtuoso-Lite от arcee-ai на датасете OpenOrca. Она использует плотную архитектуру Llama и предназначена для диалогов и генерации текста; унаследованные от базовой модели сильные стороны включают рассуждения, генерацию кода, математические и технические задачи. Поддерживает контекст до 32 768 токенов и ориентирована на английский язык. Модель подходит для диалоговых ассистентов, ответов на вопросы, помощи с кодом и решения математических и технических задач. Файлы представлены в форматах PyTorch и Safetensors. В карточке указана лицензия «other», поэтому конкретные условия использования следует сверить с лицензией репозитория.

gaussalgo/MiniLM-L6-v2-Canard-Fullwiki — модель эмбеддингов на базе BERT, опубликованная пользователем gaussalgo. Она преобразует предложения и абзацы в плотные векторы размерности 384 для семантического поиска, кластеризации и сравнения сходства текстов. Обучение использовало MultipleNegativesRankingLoss с косинусным сходством; модель доступна в формате PyTorch и рассчитана на контекст до 512 токенов. Модель подходит для поиска семантически близких фрагментов и группировки текстов по смыслу. В карточке не приведены поддерживаемые языки и результаты оценки качества, поэтому нельзя уверенно определить языковой охват или сравнительную эффективность. Размер модели — около 40 млн параметров. Условия лицензии в предоставленных данных не указаны.

Карточка модели avsolatorio/MixEmbed-base-20240110225225-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbed-base-20240110225225-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240122103941-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240122154850-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Карточка модели avsolatorio/MixEmbedFinetune-base-20240122212744-best на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Модель jfarray/Model_bert-base-multilingual-uncased_50_Epochs — модель на архитектуре BERT, разработанная с использованием Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 256 для семантического поиска и кластеризации. Модель также подходит для сравнения семантической близости текстов и получения текстовых эмбеддингов. Модель имеет 194,6 млн параметров и принимает последовательности длиной до 512 токенов. В карточке указано обучение с CosineSimilarityLoss; файлы представлены в формате PyTorch. Многоязычность следует из базового семейства multilingual BERT, но конкретный перечень поддерживаемых языков в доступных данных не приведён.

Moe-2x7b-QA-Code — языковая модель команды nextai-team для ответов на вопросы и работы с запросами по программированию. Она использует архитектуру Mixture of Experts семейства Mixtral; в метаданных указан размер 7,1 млрд параметров и контекст до 32 768 токенов. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Модель предназначена для разработчиков, специалистов по данным и исследователей. Её можно использовать для генерации и объяснения кода, помощи при разборе технической документации, ответов в службе поддержки, обучения программированию и поддержки код-ревью. В карточке указано обучение на технической документации, публикациях Stack Overflow и репозиториях GitHub; заявлена поддержка английского языка. Карточка заявляет улучшение ответов на сложные вопросы о коде, но не приводит численных результатов бенчмарков. Ответы могут быть предвзятыми или неточными, особенно за пределами обучающих данных, поэтому их следует проверять перед использованием в критически важных сценариях.

Moe-3x7b-QA-Code-Inst — текстовая модель nextai-team для ответов на вопросы и генерации кода. Она использует архитектуру Mixture of Experts семейства Mixtral; в метаданных указано 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для разработчиков, специалистов по данным и исследователей, которым нужны помощник по программированию, технический бот или инструмент для обучения и проверки кода. В обучении, согласно карточке, использовались техническая документация, открытые репозитории кода и вопросы с ответами Stack Overflow. Модель поддерживает диалог и задачи, связанные с кодом; карточка указывает английский язык. Лицензия — Apache-2.0. Результаты могут быть предвзятыми и зависеть от точности и контекста запроса; сгенерированный код и ответы следует проверять. Карточка заявляет об улучшении по сравнению с предшественником, но не приводит метрик бенчмарков.

Это порт модели ANCE FirstP в формате Sentence Transformers. Разработчики Sentence Transformers адаптировали модель для преобразования предложений и абзацев в плотные векторы размерностью 768. Её можно применять для семантического поиска и кластеризации текстов. Модель построена на архитектуре RoBERTa, содержит 151,8 млн параметров и принимает текст с контекстом до 514 токенов. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO; модель предназначена для получения текстовых эмбеддингов и оценки семантического сходства. Указана лицензия Apache-2.0.

Tool-COLT/msmarco-roberta-base-ance-firstp-v1-ToolBenchG3 — модель на базе RoBERTa, созданная для получения плотных векторных представлений предложений и абзацев. Она преобразует текст в эмбеддинги размерности 768 и подходит для семантического поиска и кластеризации. Обучение с MultipleNegativesRankingLoss и косинусной мерой сходства ориентировано на сопоставление текстов по смыслу. Модель содержит 151,8 млн параметров, использует формат PyTorch и принимает последовательности длиной до 514 токенов. Её можно применять с Sentence-Transformers или Hugging Face Transformers, используя соответствующую операцию pooling. Лицензия в предоставленных данных не указана.

AIDA-UPM — модель sentence-transformers на базе XLM-RoBERTa, обученная сопоставлять предложения и абзацы в общем плотном пространстве эмбеддингов размерности 768. Её можно применять для семантического поиска, кластеризации и оценки смыслового сходства текстов. Модель содержит 305,2 млн параметров, принимает текстовые последовательности с контекстом до 514 токенов и распространяется в формате PyTorch. Модель подходит для поиска близких по смыслу фрагментов в многоязычных корпусах и группировки текстов по тематике. Обучение с CosineSimilarityLoss указывает на настройку для работы с оценкой сходства. Лицензия в предоставленных данных не указана.

Это многоязычная модель Sentence Transformer от mrm8488, дообученная на базе intfloat/multilingual-e5-large на расширенном испаноязычном наборе stsb_multi_es_aug. Модель на архитектуре XLM-RoBERTa преобразует предложения и абзацы в плотные текстовые эмбеддинги; описание указывает размерность 1024, усреднение токенов с последующей нормализацией и сравнение по косинусному сходству. Максимальная длина последовательности составляет 512 токенов по README; метаданные каталога указывают нативный контекст 514 токенов. Модель предназначена для оценки семантического сходства, семантического поиска, поиска перефразирований, кластеризации и классификации текста на основе эмбеддингов. В README приведены результаты оценки сходства на STS для нескольких размерностей в диапазоне 16–768. Модель содержит 658,7 млн параметров и распространяется в формате safetensors. Лицензия в предоставленных данных не указана.

Leonardojdss/my-embedding-gemma — модель Sentence Transformer, дообученная автором Leonardojdss на базе google/embeddinggemma-300m. Она кодирует предложения и абзацы в плотные векторы размерности 768; для сравнения используется косинусное сходство. Модель содержит 302,8 млн параметров, принимает последовательности длиной до 2048 токенов и распространяется в формате safetensors. Модель предназначена для семантического поиска и оценки сходства текстов, поиска перефразировок, классификации и кластеризации. В README описано обучение на трёх примерах с MultipleNegativesRankingLoss, поэтому качество и обобщающую способность следует проверять на собственных данных перед практическим применением. В метаданных указана библиотека sentence-transformers. Лицензия модели в предоставленных данных не указана.

swardiantara/one-crk1-m0.5-e5-b128-L6 — модель на базе BERT, созданная с помощью Sentence-Transformers для преобразования предложений и абзацев в плотные векторы размерности 384. Её можно применять для семантического поиска и кластеризации текстов; метаданные также указывают поддержку извлечения признаков и сходства предложений. Модель содержит 25,9 млн параметров, принимает текст с контекстом до 512 токенов и сохраняется в формате safetensors. Модель обучалась с ContrastiveLoss и косинусной метрикой расстояния. README не называет обучающие данные и конкретные языки, поэтому языковую специализацию установить нельзя. Лицензия в предоставленных данных не указана.

OpenCerebrum-1.0-7B-SFT — языковая модель Locutusque, дообученная на базе alpindale/Mistral-7B-v0.2-hf. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; веса опубликованы в формате Safetensors. Модель предназначена для генерации текста и ответов на вопросы, включая задачи программирования, математики, естественных наук, рассуждений и общего следования инструкциям. Для дообучения использована смесь примерно из 1,2 млн примеров из 14 открытых наборов данных; заявленный основной язык — английский. Модель задумана как открытая реплика возможностей Cerebrum, но её качество может уступать оригиналу. Ответы могут наследовать предвзятость и ограничения обучающих данных, а размер 7B требует учитывать доступные вычислительные ресурсы. Лицензия — Apache 2.0.

OpenCerebrum-2.0-7B — англоязычная языковая модель от Cognitive Computations, дообученная методом SFT и DPO на базе alpindale/Mistral-7B-v0.2-hf. Она предназначена для генерации текста и ответов на вопросы, включая задачи программирования, математики, естественных наук, рассуждений и диалогов с несколькими ходами. Обучающая выборка содержит около 7 тысяч примеров из 15 источников, подобранных для воспроизведения возможностей закрытой модели Cerebrum. Модель имеет плотную архитектуру Mistral с 7,1 млрд параметров и контекстное окно до 32 768 токенов. Карточка заявляет английский язык; репозиторий содержит веса в формате safetensors. Лицензия — Apache 2.0. Это открытая реплика, обученная на подмножестве данных, поэтому она может уступать оригинальной Cerebrum. На ответы могут влиять смещения и ограничения обучающих данных; размер 7B также ограничивает требования к памяти и вычислительным ресурсам по сравнению с более крупными моделями.

PP-DocLayoutV2 — лёгкая модель для анализа структуры документов из семейства PaddleOCR, разработанная PaddlePaddle. Она обнаруживает и классифицирует элементы макета, а затем определяет порядок их чтения. Архитектура состоит из детектора RT-DETR и последующей pointer-сети, которая упорядочивает найденные элементы. Модель предназначена для анализа страниц документов и подготовки их структуры для OCR и дальнейшего извлечения информации. Метаданные указывают поддержку английского и китайского языков, а также мультиязычных сценариев. Репозиторий распространяется по лицензии Apache-2.0.

Карточка модели perplexity-ai/pplx-pii-masking-vllm на Hugging Face совпадает с карточкой perplexity-ai/pplx-pii-masking-vllm-tmp, поэтому описание составлено по ней. Это преобразованная для обслуживания через vLLM версия модели Perplexity AI pplx-pii-masking. Она использует плотную архитектуру Qwen3ForTokenClassification с 507,9 млн параметров и принимает текст, присваивая токенам BIOES-метки для обнаружения имён людей, адресов электронной почты и телефонов, адресов, URL, дат, номеров счетов, секретов и других персональных данных. Дополнительный выход оценивает чувствительность последовательности. Модель поддерживает английский и демонстрирует работу на немецком; контекст по метаданным — 32 768 токенов. Веса перенесены без переобучения и квантизации: изменены формат упаковки и структура голов для совместимости с vLLM. Проверки в карточке показывают совпадение меток с исходной моделью на приведённых примерах. Для декодирования меток и оценки чувствительности нужны сырые логиты без активации. Токенизатор обрезает входы длиннее 4096 токенов, поэтому длинный текст следует обрабатывать частями; границы найденных фрагментов могут не точно совпадать с границами символов, а оценку чувствительности рекомендуется калибровать перед использованием как порога. У репозитория указана лицензия other; карточка сообщает, что модель приватна и ожидает синхронизации с официальным выпуском.

hroth/psais-all-mpnet-base-v2-8shot — модель Sentence-Transformers на архитектуре MPNet, разработанная автором репозитория hroth. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 514 токенов и выдаёт векторные представления. В README указано обучение с CosineSimilarityLoss; веса доступны в формате PyTorch. Сведения о лицензии и поддерживаемых языках в предоставленных данных отсутствуют.

Модель RL-Forgetting-Experiments-3/qwen2.5-3b-code-sft-replay-uniform-lam1-step102 — готовый к инференсу чекпойнт для генерации кода, созданный в ходе экспериментов RL-Forgetting-Experiments-3. Это дообучение Qwen/Qwen2.5-3B методом supervised fine-tuning; модель имеет плотную архитектуру Qwen2, около 3,1 млрд параметров и принимает текст, выдавая текст. Чекпойнт обучен на данных qwen3b_code_sft_data_s300 с упорядоченной последовательностью примеров и равномерным воспроизведением данных (uniform replay, lambda 1.0). Он предназначен для генерации кода и связанных диалоговых сценариев; контекстное окно составляет 32 768 токенов. Карточка не сообщает о специальной лицензии, поэтому условия использования следует сверять с лицензией базовой модели и репозитория.