II.8Инженерия данных и аналитика

Mike0307/text2vec-base-chinese-rag — модель эмбеддингов на архитектуре BERT, предназначенная для сопоставления китайских текстов и поиска релевантных фрагментов в системах RAG. Она обучена с использованием подхода CoSENT и может применяться как компонент LangChain с векторным хранилищем, например FAISS, для построения ретривера по документам. Модель содержит 129,5 млн параметров и принимает текст длиной до 512 токенов. Она выдаёт векторные представления, пригодные для поиска по сходству и ранжирования релевантности; генерацию ответов выполняет подключённая языковая модель. Репозиторий распространяется в формате safetensors по лицензии Apache 2.0.

Tiel-Coder-35B-A3B-GGUF — локальная кодовая модель разработчика peculiar-ragdoll, созданная на базе Ornith-1.5-35B-A3B от Ornith AI. Это пере-квантованная версия с динамической квантизацией, собственной imatrix и встроенным шаблоном диалогов Sharp. Модель распространяется в формате GGUF для llama.cpp и использует MoE-архитектуру с 35 млрд параметров и примерно 3 млрд активных параметров на токен. Модель предназначена прежде всего для агентного программирования, исправления проблем в реальных кодовых базах и длительных многошаговых диалогов. В README заявлены поддержка английского и китайского языков, а также сценарии image-text-to-text и vision, однако подробности о возможностях обработки изображений не приведены. Контекст может использоваться в диапазоне до 131–262 тысяч токенов; при 16-битной точности KV-кэша для контекста 262k требуется менее 5 ГБ оперативной памяти. Сильные стороны модели — высокая скорость для своего класса, хорошая работа в многоходовых диалогах и агентном кодинге, а также возможность запуска с частичной выгрузкой на GPU. В заявленных тестах она исправила 12 из 25 задач SWE-bench-Live и получила 67,2 балла на Claw-Eval. Ограничения — заметно более слабые результаты в викторинах, знаниях и сложном рассуждении: на MMLU-Pro указано 73,7 балла. Качество и требования к памяти зависят от выбранного уровня квантизации; рекомендуемый benchmark-вариант Q4_K_XL занимает около 22,4 ГБ, а более компактные варианты могут существенно терять способности. Модель распространяется по лицензии MIT. Для запуска требуется совместимое ПО, например llama.cpp, и достаточно оперативной памяти и/или видеопамяти; README рекомендует использовать квантизацию не ниже UD-Q4, если это возможно.

Tri-21B-Think-Preview — промежуточный чекпойнт языковой модели Trillion Labs, дообученный на базе Trillion Labs Tri-21B для рассуждений по инструкциям и работы с инструментами. Это плотная авторегрессионная модель с архитектурой Transformer Decoder, RoPE, SwiGLU, RMSNorm и GQA; в ней около 20,1 млрд параметров и 40 слоёв. Контекст составляет 32 768 токенов, с YaRN заявлено расширение до 262 144 токенов. Модель предназначена для диалогов, пошагового решения задач и ответов на сложные вопросы, в том числе по математике и естественным наукам. Она рассчитана прежде всего на английский, корейский и японский языки; для других языков качество может снижаться. Это промежуточная версия: авторы указывают, что финальный вариант — Tri-21B-Think. Для запуска с vLLM и SGLang поддержка, согласно карточке, ещё готовится. Лицензия — Apache-2.0.

Модель nezahatkorkmaz/turkce-embedding-bge-m3 — турецкоязычная версия BAAI/bge-m3, доработанная для семантического сходства, поиска по текстам и RAG. Она построена на XLM-RoBERTa с pooling и нормализацией и преобразует предложения и абзацы на турецком языке в плотные векторы размерности 1024. В метаданных указаны 658,7 млн параметров и контекст длиной до 8194 токенов; модель распространяется в формате safetensors и рассчитана на работу через sentence-transformers. По оценке на турецком наборе STS модель показала корреляцию Пирсона 0,9096 против 0,8535 у базовой BAAI/bge-m3; корреляция Спирмена составила 0,6839 против 0,6814. Это делает её подходящей для сравнения смысловой близости турецких фрагментов, поиска релевантных документов и ранжирования кандидатов по сходству. Лицензия в предоставленных данных не указана.

Xenova/UAE-Large-V1 — это версия модели WhereIsAI/UAE-Large-V1 с весами в формате ONNX, подготовленная для использования через библиотеку Transformers.js. Модель предназначена для построения векторных представлений текстов и может применяться в семантическом поиске, вычислении сходства предложений, кластеризации и других задачах, где нужны sentence embeddings. В README приведён пример использования JavaScript-пайплайна feature-extraction и вычисления cosine similarity. При использовании с pooling cls модель возвращает эмбеддинги размерности 1024. Поддерживаются варианты точности fp32, fp16, q8 и q4, что позволяет выбирать компромисс между качеством, размером и производительностью. Сведения о точной архитектуре, размере, языках, поддерживаемых модальностях, максимальной длине контекста и характеристиках качества в README отсутствуют, поэтому эти параметры нельзя достоверно определить. Модель удобна для запуска в JavaScript-средах и веб-ориентированных сценариях благодаря ONNX-весам и совместимости с Transformers.js. Ограничения включают отсутствие подробной информации о назначении, обучающих данных и результатах оценки; применение для конкретных языков и задач следует дополнительно проверять. Лицензия — MIT.

VelaVec — компактная гибридная модель для поиска и сравнения текстов, созданная автором репозитория xagent2025 на основе дообучения BAAI/bge-small-en-v1.5. Она рассчитана на быстрый поиск на устройствах с ограниченными ресурсами и предоставляет два режима: симметричное сравнение смысла предложений и асимметричный поиск документов по запросу. Модель содержит 9,8 млн параметров и выдаёт эмбеддинги размерности 256. Архитектура включает замороженную таблицу токенов, три блока двунаправленного внимания и две головы пулинга. README описывает англоязычное обучение и оценку на задачах семантического сходства и поиска; предусмотрен путь инференса на Rust без Python во время выполнения. Лицензия репозитория — MIT. В опубликованных оценках модель показывает результаты, близкие к BGE-small на части тестов и превосходит её на Banking77, однако на медицинских, научных и дискуссионных доменах уступает учителю. Лучше всего подходит для коротких запросов длиной до 64 токенов и документов до 256 токенов; инструктивные промпты не поддерживаются. В обучении использовался MS MARCO с исследовательской лицензией, поэтому для коммерческого применения следует отдельно проверить условия использования данных.

phatvucoder/vietnamese-bi-encoder — модель SentenceTransformer, дообученная на базе bkai-foundation-models/vietnamese-bi-encoder. Архитектура основана на RoBERTa с усреднением токеновых представлений; модель кодирует предложения и абзацы в плотные векторы размерности 768 и сравнивает их по косинусному сходству. Число параметров — 162,4 млн, максимальная длина последовательности — 258 токенов по метаданным. Модель предназначена для семантического поиска и извлечения релевантных фрагментов: например, сопоставления запроса с подходящими абзацами. Карточка указывает 120 204 обучающих примера формата «запрос — релевантный текст» и функцию потерь MultipleNegativesRankingLoss. Вход и выход — текст и его векторное представление; основная языковая область — вьетнамский. Лицензия в предоставленных данных не указана.

Это модель Sentence Transformer, разработанная на основе keepitreal/vietnamese-sbert и дообученная на парном наборе данных из 10 200 примеров. Она использует RoBERTa с усреднением токенных представлений и преобразует предложения и абзацы в плотные векторы размерностью 768; близость текстов оценивается косинусным сходством. Модель предназначена для семантического поиска, сравнения предложений, поиска перефразирований, кластеризации и классификации текста, в первую очередь на вьетнамском языке. Максимальная длина последовательности — 256 токенов по карточке модели; метаданные указывают контекст до 258 токенов. В README приведены результаты оценки поиска для векторов размерностью 768 и 512, однако они не гарантируют качество на других данных и сценариях. Лицензия в предоставленных сведениях не указана.

Это модель CLIP с визуальным энкодером Vision Transformer (ViT-B/32), обученная на наборе данных LAION-400M. Она доступна для использования через open_clip и timm; вариант open_clip называется ViT-B-32-quickgelu. Модель сопоставляет изображения и текстовые описания, поэтому подходит для классификации изображений по текстовым меткам без дополнительного обучения и поиска изображений по смысловым запросам. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — MIT.

Это вариант CLIP с визуальным энкодером ViT-H/14, обученный на наборе данных MetaCLIP-2.5B. Модель разработана для использования с библиотеками open_clip и timm; в OpenCLIP она называется ViT-H-14-quickgelu, а в timm — vit_huge_patch14_clip_224.metaclip_2pt5b. Модель сопоставляет изображения с текстовыми описаниями и подходит для классификации изображений по произвольным текстовым меткам без отдельного обучения на этих классах. Её можно применять для поиска изображений по тексту и быстрой категоризации визуального содержимого. Репозиторий содержит веса PyTorch и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческого характера.

patrickvonplaten/wav2vec2-2-bart-large — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-lv60 и bart-large на чистой части датасета LibriSpeech ASR. Архитектура объединяет речевой энкодер wav2vec 2.0 и текстовый декодер BART в модели типа SpeechEncoderDecoderModel. Модель предназначена для преобразования аудиозаписей речи в текст. В карточке приведён результат оценки на тестовом наборе: WER 0,0486 и loss 0,3204. Репозиторий содержит веса PyTorch; данных о лицензии в предоставленных источниках нет.

wav2vec2-xls-r-1b-scandinavian-E3-100h-30-epochs-20250123 — модель распознавания речи, дообученная на базе facebook/wav2vec2-xls-r-1b. Она использует архитектуру Wav2Vec2ForCTC и содержит 1,3 млрд параметров; модель принимает аудио и преобразует речь в текст. Карточка называет данные для дообучения неизвестным датасетом и не уточняет поддерживаемые языки, несмотря на упоминание Scandinavian в названии. На оценочном наборе указаны WER 21,6559 и CER 5,6618. Модель подходит для распознавания речи в аудиозаписях; качество для конкретных языков и условий записи следует проверять отдельно. Распространяется по лицензии Apache-2.0.

WavLM-large-CORAA-pt — модель распознавания речи, созданная дообучением microsoft/wavlm-large на наборе данных CORAA. Она использует архитектуру WavLM Large с декодером CTC и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; карточка указывает португальский язык. На оценочном наборе CORAA указаны loss 0,6144 и WER 0,3840. Модель подходит для транскрибирования португальской речи, в том числе для последующей обработки расшифровок в приложениях. Лицензия — Apache-2.0. Подробности о тренировочных данных, условиях записи и ограничениях применения в карточке не раскрыты.

zuazo/whisper-base-es — дообученная модель распознавания речи, созданная на основе openai/whisper-base и набора данных Mozilla Common Voice 13.0 для испанского языка. Она использует архитектуру Whisper с 51,7 млн параметров и принимает аудио, выдавая распознанный текст. Модель предназначена для автоматической транскрипции испанской речи, например аудиозаписей и голосовых сообщений. На оценочной выборке указана WER 13,5312 и loss 0,3281. Базовая Whisper также умеет переводить речь на английский, но для этой версии карточка подтверждает дообучение именно для распознавания испанской речи. Модель распространяется по лицензии Apache-2.0, которая разрешает использование, изменение и распространение с указанием авторов. Результаты могут зависеть от акцента, качества записи и состава данных; карточка не приводит дополнительных ограничений или подробностей об оценочном протоколе.

anuragshas/whisper-large-v2-bg — модель распознавания речи, дообученная на базе Whisper Large-v2 на болгарской части набора Mozilla Common Voice 11.0. Она преобразует болгарскую речь в текст и подходит для транскрибирования аудиозаписей. Архитектура — WhisperForConditionalGeneration, число параметров — около 905,2 млн; для обучения использована библиотека Transformers, веса представлены в формате PyTorch. На тестовой выборке указана WER 13,404 и loss 0,3208. Модель распространяется по лицензии Apache-2.0.

LoS Whisper-large-v3 — мультиязычная модель автоматического распознавания речи, созданная Лабораторией языковых технологий Барселонского суперкомпьютерного центра (BSC) дообучением openai/whisper-large-v3. Она предназначена для транскрибации речи на испанском, каталанском, галисийском и баскском языках с пунктуацией. Модель имеет архитектуру Whisper и содержит 905,2 млн параметров. При обучении использовали 8 110 часов аудиоданных из публичных и институциональных наборов; объём данных выравнивали между четырьмя языками. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Её можно применять для создания читаемых транскрипций аудиозаписей на поддерживаемых языках. В README отмечено, что демографические сведения о дикторах отсутствуют, поэтому возможны смещения, связанные с институциональными источниками обучающих данных.

bofenghuang/whisper-medium-french — модель распознавания французской речи, полученная дообучением openai/whisper-medium. Она предназначена для преобразования аудиозаписей на французском языке в текст и обучена на составном наборе данных с более чем 2200 часами речи, включая Common Voice, Multilingual LibriSpeech, VoxPopuli, Fleurs, Multilingual TEDx, MediaSpeech и African Accented French. Модель построена на архитектуре Whisper и содержит около 455,8 млн параметров; для входного аудио требуется частота дискретизации 16 кГц. В README приведены результаты оценки на французских поднаборах Common Voice 11.0, Multilingual LibriSpeech, VoxPopuli и Fleurs. Модель не предсказывает регистр букв и пунктуацию, а опубликованные оценки рассчитаны на предварительно отфильтрованных данных. Репозиторий распространяется под лицензией Apache-2.0.

Portuguese Medium Whisper — модель распознавания речи, созданная дообучением OpenAI Whisper Medium автором pierreguillou на наборе Common Voice 11.0. Она преобразует аудио на португальском языке в текст и подходит для транскрибации записей и оценки систем распознавания речи. Модель построена на архитектуре Whisper и содержит около 455,8 млн параметров; в метаданных указан формат PyTorch. На тестовой выборке автор сообщает Loss 0,2628 и WER 6,5987. Модель распространяется по лицензии Apache-2.0. Показатели сравнения с другими версиями Whisper приведены автором на основе сходства тестовых наборов, поэтому их не следует считать прямым сравнением на идентичном тесте.

Это мультиязычная модель распознавания речи Whisper Small, разработанная OpenAI и упакованная loom-ai-org в формат GGUF для запуска через loom.cpp. Веса не изменены относительно openai/whisper-small; репозиторий содержит экспорт модели, а не новое дообучение. Модель принимает аудио и преобразует речь в текст. Она поддерживает распознавание на множестве языков, включая русский, английский, китайский, немецкий, испанский, французский и японский; список языков включает также другие языки. Для запуска предлагается библиотека loom-py-rt, которая обрабатывает необходимые для модели разбиение аудио и сборку результата. Файлы предоставлены в формате GGUF и рассчитаны на выполнение в loom.cpp. Репозиторий распространяется по лицензии Apache-2.0. Характеристики точности и ограничения применения в карточке не приведены.

Компактная модель распознавания речи Whisper Tiny от OpenAI, преобразованная в формат CTranslate2 с точностью float16 и размещённая ctranslate2-4you. Она принимает аудио и преобразует речь в текст, например для транскрибации записей; для запуска в README указана библиотека whisper-s2t-reborn. Базовая модель — openai/whisper-tiny, многоязычная версия Whisper. Репозиторий распространяется по лицензии Apache-2.0.

Yi-1.5-9B-Chat-abliterated — диалоговая языковая модель на 8,6 млрд параметров, созданная на основе 01-ai/Yi-1.5-9B-Chat. Автор сообщает, что модель получена методом «abliteration»; подробности приведены в ноутбуке, на который ссылается карточка. Модель использует плотную архитектуру семейства Llama и библиотеку Transformers. Модель предназначена для генерации текста в диалоге и ответов на запросы. Базовая Yi-1.5-9B-Chat рассчитана на следование инструкциям, рассуждения, математику и программирование; эти возможности унаследованы от основы, но карточка не приводит отдельной оценки их качества после преобразования. Контекст — до 4096 токенов. Указаны китайский и английский языки. Лицензия — Apache-2.0.

zerank-1-small — компактная модель-реранкер компании zeroentropy на 1,7 млрд параметров, дообученная на базе Qwen/Qwen3-4B. Она оценивает релевантность пар «запрос — документ» и сортирует найденные документы, чтобы повысить точность поисковой или RAG-системы. Модель использует плотную архитектуру Qwen3 и библиотеку sentence-transformers; по метаданным поддерживает контекст до 40 960 токенов. Модель предназначена для повторного ранжирования результатов поиска, в том числе в задачах по коду, финансам и диалоговым запросам. В README разработчик сообщает, что она близка по качеству к более крупной zerank-1 и превосходит ряд популярных реранкеров на приведённых оценках NDCG@10. Репозиторий распространяется по лицензии Apache 2.0. Это англоязычная модель общего назначения с прикладными оценками для кода и финансовых запросов. Поскольку она основана на Qwen3-4B и метаданные также указывают на поддержку генерации текста, её архитектурные возможности могут выходить за рамки ранжирования; основное назначение модели — оценка релевантности и сортировка кандидатов.

zerank-2-reranker-seq — производная модель ZeroEntropy на базе Qwen3, преобразованная из zeroentropy/zerank-2-reranker в классификатор последовательностей для ранжирования пар «запрос — документ». Модель выдаёт один логит релевантности; для получения оценки от 0 до 1 к нему применяют sigmoid. Размер — 3,7 млрд параметров, контекст — до 40 960 токенов, веса представлены в safetensors, вычисления выполняются в bfloat16. Модель предназначена для использования как cross-encoder reranker, например для переупорядочивания результатов поиска по соответствию запросу. Она совместима с AutoModelForSequenceClassification и может обслуживаться через системы вроде Infinity. Для наиболее точного соответствия исходной модели рекомендуется передавать запрос в system, документ в user и добавлять префикс assistant; обычная обработка пары классификатором может давать оценки, отличающиеся от исходного режима sentence-transformers. Лицензия — Apache-2.0.

answerai-colbert-small-v1 — экспериментальная модель с несколькими векторами от Answer.AI, обученная по рецепту JaColBERTv2.5 с дополнительными изменениями. Она использует архитектуру BERT и содержит около 40 млн параметров по метаданным; в README авторы указывают размер 33 млн. Модель рассчитана на англоязычный поиск по пассажам и извлечение релевантных документов в RAG-системах, а также может применяться для переранжирования результатов поиска. ColBERT-кодирование хранит несколько векторов для текста и сопоставляет запрос с документами методом позднего взаимодействия. Это даёт модели сильные результаты на приведённых авторами тестах для модели её размера, включая BEIR. Контекст составляет 512 токенов; доступны веса Safetensors и формат ONNX. Лицензия — Apache-2.0. README описывает модель как доказательство концепции, поэтому результаты на бенчмарках не гарантируют качество для конкретного корпуса или сценария.

AREX-2 — мультимодальная модель с 27 млрд параметров, разработанная Пекинской академией искусственного интеллекта (BAAI) для работы в качестве агента с длительным циклом решения задач. Она дообучена на базе Qwen/Qwen3.8-27B и использует плотную архитектуру, совместимую с Qwen3.8; модель принимает текст и изображения и выдаёт текст. Контекст составляет 262 144 токена. Модель рассчитана на итеративное решение задач: она предлагает вариант, анализирует оценки, журналы, ошибки и затраченное время, затем пересматривает решение в нескольких раундах. Обучение охватывает алгоритмическое программирование и инженерные задачи машинного обучения с проверяемой обратной связью, а также данные AREX для глубоких исследований. Авторы сообщают о переносе навыка самоулучшения на задачи глубокого исследования. Модель предназначена прежде всего для исследований длительных агентных циклов, рассуждений и использования инструментов. Репозиторий распространяется под лицензией Apache-2.0. Для запуска README рекомендует актуальную версию Transformers с поддержкой Qwen3.8. Качество зависит от задачи и организации тестовых раундов; модель не следует считать автономным исполнителем без внешней среды, обратной связи и проверки результатов.

BengaliSBERT — модель Sentence-BERT, разработанная L3Cube-Pune в рамках проекта MahaNLP. Она основана на BengaliBERT и дообучена на наборе данных NLI для получения представлений предложений на бенгальском языке. Модель предназначена для вычисления эмбеддингов и оценки семантического сходства предложений; её можно использовать для поиска похожих фраз и сравнения текстов. Архитектура — BERT, размер — 264,8 млн параметров, максимальная длина контекста — 512 токенов. Доступны веса PyTorch и лицензия CC BY 4.0. README упоминает отдельную более качественную модель сходства на основе этого чекпойнта, поэтому эту модель не следует считать лучшим вариантом семейства для оценки сходства.

yosefw/bert-amharic-embed-small — компактная модель Sentence Transformers, дообученная автором на базе rasyosef/bert-small-amharic. Она кодирует предложения и абзацы в плотные векторы размерностью 512 и предназначена для сравнения смысловой близости, семантического поиска, поиска перефразировок, классификации и кластеризации текстов. Архитектура включает BERT, усреднение токенных представлений и нормализацию; максимальная длина входа — 512 токенов, сходство можно оценивать косинусной мерой. Модель обучалась на 40 237 парах «запрос — релевантный текст» и в примерах использует амхарский текст. README указывает язык en, что расходится с амхароязычной базовой моделью и примерами, поэтому реальную языковую область следует проверять на целевых данных. Чекпойнт содержит 31,5 млн параметров, распространяется в формате safetensors по лицензии Apache-2.0.

m3hrdadfi/bert-fa-base-uncased-wikinli-mean-tokens — персидская модель эмбеддингов предложений на базе ParsBERT, представленная Mehrdad Farahani в проекте Sentence Transformers. Она преобразует текст в векторные признаки и предназначена для получения представлений предложений, в том числе для задач семантического поиска и сравнения текстов. Модель построена на архитектуре BERT, содержит 190 млн параметров и принимает последовательности длиной до 512 токенов. Доступны форматы PyTorch и Flax. Модель ориентирована на персидский язык. Репозиторий распространяется по лицензии Apache-2.0. Карточка краткая и не описывает результаты оценки или детальные ограничения качества.

sentence-transformers/bert-large-nli-mean-tokens — модель Sentence-Transformers, разработанная командой Sentence Transformers для преобразования предложений и абзацев в плотные векторные представления размерностью 1024. Она основана на BERT Large и использует усреднение контекстуализированных токенов; число параметров составляет около 433,9 млн, а максимальная длина контекста — 512 токенов. Модель предназначена для сравнения смысловой близости текстов, семантического поиска и кластеризации предложений или абзацев. Её можно применять для получения эмбеддингов и последующего поиска или группировки текстов. Карточка предупреждает, что модель устарела и выдаёт эмбеддинги низкого качества, поэтому для новых систем рекомендуются более современные модели Sentence-Transformers. Лицензия — Apache-2.0.

swardiantara/bert-tiny-sst5-k5-adaptive-cosine — компактная Sentence Transformer-модель на основе BERT, дообученная автором репозитория на 8 894 парах текстов. Она кодирует предложения и абзацы в плотные векторы размерности 128; косинусное сходство между ними подходит для поиска и сравнения текстов. Архитектура включает BertModel с усредняющим pooling. В метаданных указано 4,4 млн параметров и контекст до 512 токенов; в README для Sentence Transformers задан предел последовательности 128 токенов. Модель предназначена для извлечения эмбеддингов и семантического поиска по тексту. Примеры обучающих данных — англоязычные рецензии на фильмы, поэтому в первую очередь она подходит для сравнения и поиска коротких английских текстов. Базовая модель — google/bert_uncased_L-2_H-128_A-2. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.