II.8Инженерия данных и аналитика

Nova-1 Standard (Phase 3 SFT) — компактная авторегрессионная языковая модель Smilyai Labs с 1,27 млрд параметров, обученная с нуля и дообученная для следования инструкциям и многоходового диалога. Она предназначена для генерации текста, ответов в чате, а также задач с кодом и математикой. Модель использует плотную decoder-only архитектуру Nova1ForCausalLM, Mixture-of-Depths, Grouped-Query Attention, SwiGLU и RoPE. Есть собственный токенизатор на основе GPT-2 BPE с маркерами для кода, математики и ChatML. Модель работает через Transformers и выдаёт текст; заявлена поддержка английского языка. В README отмечено, что KV-кэш отключён, поэтому при генерации на каждом шаге передаётся полный контекст, что может снижать скорость вывода. Модель распространяется по лицензии Apache-2.0. README описывает обучение на веб-текстах, коде, математических данных и наборах инструкционных диалогов.

Orion T2 Mini SFT — экспериментальный диалоговый ассистент Project Prism на архитектуре Orion T2, опубликованный Refract Labs. Это плотная причинно-языковая модель примерно на 219 млн параметров, дообученная методом SFT на 700 тысячах примеров: 60% общих и диалоговых, 20% математических и 20% связанных с программированием. Модель предназначена для генерации ответов, следования инструкциям, общения, решения математических задач и помощи с кодом. Для диалога используется встроенный шаблон чата Transformers с текстовыми маркерами ролей. В текущем слое совместимости Transformers кэширование отключено, поэтому при генерации каждого токена префикс вычисляется заново. Модель экспериментальная; заявленные архитектурные особенности следует оценивать на сопоставимых тестах. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

PLaMo-Embedding-1B — модель векторных представлений японского текста, разработанная Preferred Networks, Inc. Она преобразует тексты в эмбеддинги размерностью 2048 и предназначена для поиска информации, сравнения сходства предложений, классификации и кластеризации; особенно сильные результаты показала в задачах поиска на японском бенчмарке JMTEB. Модель имеет плотную архитектуру PlamoBiModel и содержит 1,1 млрд параметров. Максимальная длина контекста составляет 4096 токенов, а для сравнения текстов используется косинусное сходство. README сообщает, что при кодировании длинные тексты обрезаются; для запросов эффективный предел немного меньше из-за добавляемого префикса. Модель рассчитана на японский язык и распространяется по лицензии Apache 2.0, допускающей коммерческое использование.

PP-LCNet_x1_0_doc_ori — модель PaddlePaddle для определения ориентации изображений документов. Она классифицирует документ или удостоверение личности по четырём положениям: 0°, 90°, 180° и 270°. Результат можно использовать для поворота изображения перед запуском OCR, чтобы повысить точность распознавания текста. Модель предназначена для предварительной обработки сканов и фотографий документов, в том числе снимков, сделанных под разными углами поворота. Она входит в экосистему PaddleOCR и может применяться как отдельный модуль или в составе конвейера предварительной обработки документов. Для работы с моделью используется PaddleOCR; карточка указывает поддержку английского и китайского языков. Репозиторий распространяется по лицензии Apache-2.0. В предоставленных материалах не приведены точность, размер модели и ограничения её работы; классификация ориентации сама по себе не исправляет геометрические искажения изображения.

PP-OCRv4_server_rec — модель распознавания строк текста из изображений, разработанная командой PaddleOCR. Она входит в серию PP-OCRv4_rec и предназначена для использования как модуль распознавания в OCR-системах: получает изображение строки и возвращает текст. В полном конвейере PP-OCRv4 этот модуль работает вместе с обнаружением текста и, при необходимости, классификацией ориентации и выравниванием изображений. Модель рассчитана на распознавание китайского и английского текста общего назначения, с основным акцентом на китайский. В PP-OCRv4 по сравнению с PP-OCRv3 оптимизированы данные, структура сети и стратегия обучения для модулей обнаружения и распознавания. Метаданные указывают библиотеку PaddleOCR и задачу image-to-text. Лицензия — Apache 2.0. В README не приведены размер модели и длина контекста; качество распознавания отдельной строки зависит от изображения и может быть недостаточным для сложных документов без полного OCR-конвейера.

PP-OCRv5_server_det — модель обнаружения текстовых областей из семейства PP-OCRv5_det, разработанная командой PaddleOCR. Она предназначена для высокопроизводительного поиска текста на изображениях, включая рукописный, вертикальный, повёрнутый и изогнутый текст, сложные макеты, разный размер надписей и трудный фон. Модель подходит для анализа документов, распознавания текста на номерных знаках и обнаружения текста в сценах; заявлена поддержка упрощённого и традиционного китайского, английского и японского языков. В README приведены оценки по нескольким сценариям обнаружения текста со средним значением 0,827. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Карточка не уточняет размер модели и длину контекста. Это детектор текстовых областей, а не средство полного распознавания содержимого текста.

PP-OCRv6_small_rec — компактная модель распознавания текста из изображений от PaddlePaddle, входящая в семейство PP-OCRv6. Она предназначена для модуля распознавания в OCR-конвейере: получает изображение с текстом, например найденную строку, и преобразует её в текст. Модель использует лёгкий backbone LCNetV4, распознающий блок EncoderWithLightSVTR и декодер с головами CTC и NRTR; размер составляет 5,2 млн параметров. Модель поддерживает 50 языков и рассчитана на разнообразные печатные, рукописные и промышленные сценарии, включая цифровые дисплеи, точечно-матричные символы и маркировку на шинах. Её можно применять как часть конвейера PaddleOCR для извлечения текста из изображений; обнаружение текста и другие этапы конвейера выполняются отдельными модулями. Репозиторий указывает лицензию Apache-2.0.

cnmoro/Qwen2.5-0.5B-Chunk-Compressor — дообученная модель Qwen2.5-0.5B-Instruct для сжатия фрагментов текста. Она предназначена для подготовки более компактных и удобных для чтения фрагментов, сохраняющих информацию для систем поиска с дополненной генерацией (RAG). Модель построена на плотной архитектуре Qwen2ForCausalLM и содержит 494 млн параметров; нативная длина контекста — 32 768 токенов. Модель принимает текст и генерирует сжатый текст. В карточке указан португальский язык. Для применения приведён строгий шаблон использования, поэтому формат входных данных следует соблюдать. Модель распространяется по лицензии MIT.

Qwen3.8-27B Code Analysis Preview (v2) — модель для анализа кода и проверки его на ошибки, созданная hotdogs дообучением hotdogs/Qwen3.8-27B-abliterated с помощью LoRA. Она принимает фрагмент кода и формирует структурированный обзор с найденными дефектами, объяснением на уровне строк, оценкой серьёзности и конкретным исправлением. По карточке, версия v2 обучена на 21 009 примерах кода с ошибками и ответами на пяти языках; она исправляет проблему предыдущей версии, которая воспроизводила шаблонные ответы вместо поиска ошибок. Модель основана на плотной архитектуре семейства Qwen3.5 с 27 млрд параметров и поддерживает диалоговый режим. Веса опубликованы в формате safetensors в bf16; лицензия — MIT. Карточка сообщает о сохранённых тензорах multi-token prediction и раздельной выдаче рассуждений и ответа при соответствующем обслуживании модели. Модель предназначена для поиска ошибок, проверки чистого кода и подготовки исправлений. В README приведены успешные примеры обнаружения ошибок на единицу смещения, пропущенного пути попадания в кэш, необработанного статуса ответа fetch и асинхронных гонок, а также распознавания кода без ошибок. Результаты ограничены заявленными в карточке тестами и не гарантируют обнаружение всех дефектов; для использования нужна базовая модель и совместимый способ загрузки адаптера.

Мультимодальная модель эмбеддингов mlx-community, перенесённая в формат MLX из Qwen/Qwen3-VL-Embedding-2B с помощью mlx-lm. Она предназначена для преобразования текста и изображений в векторные представления, которые можно использовать для поиска и сопоставления по смыслу. В метаданных указаны архитектура семейства Qwen3-VL, 2 млрд параметров у базовой модели Qwen3-VL-2B-Instruct и библиотека Transformers; README подтверждает исходную модель Qwen3-VL-Embedding-2B и конвертацию в MLX. Модель опубликована mlx-community под лицензией Apache-2.0. Карточка не сообщает поддерживаемые языки, длину контекста или конкретные показатели качества.

AM014/qwen-cpp-optimized-16bit — дообученная языковая модель AM014 на базе unsloth/qwen2.5-coder-7b-instruct-bnb-4bit. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. В карточке указано, что обучение выполнялось с помощью Unsloth и библиотеки TRL; модель принимает текст и выдаёт текст, поддерживает английский язык и контекст до 32 768 токенов. Модель подходит для генерации и продолжения кода, помощи с программированием и ответов на запросы в чате. Опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Поскольку описание не приводит результатов оценки или подробностей дообучения, качество на конкретных языках программирования и задачах не установлено.

sergeyzh/rubert-mini-uncased-query — компактный BERT-энкодер, разработанный для симметричного сравнения поисковых запросов. Это дообученная версия sergeyzh/rubert-mini-uncased, обученная дистилляцией эмбеддингов русских и английских текстов с учётом префикса Qwen/Qwen3-Embedding-8B. Модель имеет 38,8 млн параметров, 7 слоёв, размер эмбеддинга 384 и контекст до 512 токенов; регистр букв не учитывается, специальные префиксы для запросов не нужны. Модель предназначена для оценки семантического сходства запросов, кэширования и фильтрации повторяющихся или близких запросов к LLM, а также для сценариев Q2Q RAG. Карточка сообщает об оценке сходства пар поисковых запросов на русском языке относительно Qwen/Qwen3-Embedding-8B; приведённые в таблице метрики относятся к другим вариантам модели и не позволяют судить о точных показателях этой версии. Модель принимает текст и выдаёт векторные представления для сравнения. Поддерживаются русский и английский языки. Лицензия — MIT.

akhooli/sbert_nli_test_m — модель Sentence Transformers на основе AraBERTv0.2-base, дообученная на арабских NLI-триплетах. Она кодирует предложения и абзацы в плотные векторы размерности 768; архитектура включает BERT и усреднение токенных представлений. Для сравнения текстов используется косинусное сходство. Модель предназначена для семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текстов на арабском языке. Максимальная длина последовательности — 512 токенов. Распространяется по лицензии Apache-2.0.

SemCoder — языковая модель для генерации кода с рассуждениями о его семантике, представленная проектом ARiSE-Lab. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и 6,6 млрд параметров; она рассчитана на контекст до 16 384 токенов и запускается через Transformers. Модель предназначена для генерации программного кода и диалоговой работы с запросами о коде. Обучение проводилось на синтетических данных, созданных моделями OpenAI. В README указано, что при использовании модели и датасетов следует учитывать условия использования OpenAI; лицензия в метаданных обозначена как other, поэтому конкретные права использования нужно проверять в репозитории. Карточка не приводит перечень поддерживаемых языков программирования или результаты оценки качества.

Serafim 900m Portuguese PT Sentence Transformer — модель для получения плотных векторных представлений предложений и абзацев на португальском языке. Её разработали Luís Gomes, António Branco, João Silva, João Rodrigues и Rodrigo Santos в рамках семейства энкодеров Serafim PT; работа представлена на EPIA 2024 и опубликована Springer. Модель предназначена для семантического поиска и задач информационного поиска, а также для кластеризации и сравнения сходства текстов. Она построена на DeBERTa-v2, имеет около 1,1 млрд параметров, выдаёт векторы размерностью 1536 и принимает последовательности длиной до 512 токенов. Для работы доступны веса в формате safetensors и библиотека Sentence-Transformers; лицензия MIT. Модель ориентирована на португальский язык. Контекст ограничен 512 токенами, поэтому длинные документы потребуется делить на фрагменты; качество для других языков не заявлено.

Это модель Sentence-Transformers на архитектуре MPNet, разработанная автором репозитория mitra-mir. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации текстов. В метаданных указано 136,7 млн параметров и контекст до 514 токенов; модель распространяется в формате PyTorch. Название репозитория указывает на тему дезинформации о глобальной поддержке, однако README не описывает специализированные функции или результаты классификации по этой теме. Модель подходит для получения текстовых эмбеддингов и поиска семантически близких фрагментов. Для использования описан интерфейс библиотеки Sentence-Transformers. Лицензия в предоставленных данных не указана.

Veritone/siglip2-large-patch16-256-vision — облегчённая копия зрительной башни SigLIP 2 Large от Google, опубликованная Veritone. Модель кодирует изображения и видеокадры в общее пространство эмбеддингов; её можно загружать отдельно для индексирования, экономя память и время загрузки, когда текстовая башня не нужна. Текстовая башня для поиска находится в Veritone/siglip2-large-patch16-256-text. Модель подходит для классификации изображений по кандидатным текстовым меткам без дообучения, поиска изображений по тексту и использования в качестве визуального энкодера мультимодальных моделей. SigLIP 2 обучалась на наборе WebLI и рассчитана на обработку изображений с размером патча 16 и разрешением 256. Репозиторий содержит веса в формате safetensors; для работы предусмотрена библиотека Transformers. Лицензия — Apache-2.0.

SlimHercules-4.0-Mistral-7B-v0.2 — дообученная Locutusque языковая модель на архитектуре Mistral-7B, предназначенная для диалогов и следования инструкциям в научных и технических областях. Она содержит 7,1 млрд параметров, принимает текст и генерирует текст; размер контекста — 32 768 токенов. В README заявлены навыки выполнения многошаговых инструкций, вызова функций, ответов по биологии, химии, физике, математике, медицине и информатике, а также генерации кода. Для дообучения использован набор hercules-v4.0. Модель подходит для учебных ассистентов и специализированных чат-ботов, пошаговых объяснений и помощи при разработке программ. Вызов функций описан как возможность модели, но для его использования нужна совместимая программная обвязка. Модель может выдавать токсичные ответы, галлюцинировать и допускать фактические ошибки, особенно в специализированных темах; ответы требуют проверки. Доступна по лицензии Apache-2.0.

tranhuudan-fullstack-ai-engineer/stage1 — дообученная на vinai/phobert-base-v2 модель Sentence Transformers на базе RoBERTa. Она кодирует предложения и абзацы в плотные векторы размерности 768 и предназначена для вычисления семантического сходства, семантического поиска, поиска перефразирований, классификации текстов и кластеризации. В README указана косинусная мера сходства; метаданные отмечают sentence-similarity как основную задачу и feature-extraction как поддерживаемую. Модель ориентирована на вьетнамский язык и использует среднее объединение токенных представлений. README указывает максимальную длину последовательности 512 токенов, а метаданные каталога — native context 258 токенов; для практического использования следует учитывать более короткое ограничение контекста каталога. При оценке на sts-dev достигнута Spearman-корреляция 0,5148 по косинусному сходству. Веса представлены в формате safetensors; лицензия в предоставленных данных не указана.

TallGemma-Raw — объединённая языковая модель на архитектуре Gemma, созданная автором репозитория с помощью mergekit из google/gemma-2b, google/gemma-1.1-2b-it и google/codegemma-2b. Модель предназначена для генерации текста; в метаданных указаны 6,5 млрд параметров и контекст до 8192 токенов. Объединение включает базовую Gemma, инструкционную Gemma 1.1 и CodeGemma, поэтому модель может быть полезна для генерации обычного текста, диалоговых ответов и кода. Карточка не приводит отдельных оценок качества или результатов тестирования, поэтому пригодность для конкретных задач стоит проверять на собственных примерах. В репозитории указаны веса safetensors и библиотека Transformers. Лицензия в предоставленных данных не указана.

text2vec-large-chinese — модель представления предложений на основе BERT, созданная GanymedeNil. Согласно карточке, в производной версии MacBERT заменён на LERT, а остальные условия обучения сохранены. Модель предназначена для оценки сходства между предложениями и получения векторных представлений текста, которые можно использовать для поиска и сопоставления фраз. Модель содержит 424,3 млн параметров, принимает текст с контекстом до 512 токенов и поддерживает китайский язык. Репозиторий включает веса PyTorch и Safetensors; в README также упомянута версия для ONNX Runtime. Лицензия — Apache-2.0. Карточка не приводит сведения о качестве на конкретных тестах.

TinyBERT_General_4L_312D — компактная модель семейства BERT, опубликованная Huawei Noah’s Ark Lab. Это общий чекпойнт TinyBERT, полученный дистилляцией BERT-base для задач понимания естественного языка. Модель содержит 15,6 млн параметров, имеет 4 слоя и размерность скрытого представления 312; заявлены размер в 7,5 раза меньше и инференс в 9,4 раза быстрее, чем у BERT-base. Длина контекста — до 512 токенов. Модель предназначена для использования как начальная точка для задач понимания текста и последующего дообучения под конкретную задачу. Репозиторий содержит веса PyTorch и Flax. Карточка не сообщает о многоязычной подготовке, поэтому поддерживаемые естественные языки определить нельзя. Лицензия в предоставленных данных не указана.

TomoroAI tomoro-colqwen3-embed-4b — мультимодальная модель для поиска по визуальным документам, созданная на основе Qwen3-VL-4B-Instruct. В README указано, что модель объединена с Qwen3-Embedding-4B и дообучена на наборах данных для визуального поиска. Архитектура ColQwen3 использует позднее взаимодействие в стиле ColPali и проекционную голову размерностью 320 для создания многовекторных представлений текста и визуальных материалов. Модель предназначена для поиска изображений страниц документов, PDF и коротких видео по текстовому запросу. Для страницы поддерживается до 1280 визуальных токенов, для видео рекомендовано до 5120; текстовые запросы ограничены контекстом базовой модели. README сообщает о конкурентных результатах на бенчмарках ViDoRe V1–V3 на английском и многоязычных данных, а также о меньшем размере эмбеддингов по сравнению с некоторыми полноразмерными моделями ColPali. Доступ к весам предоставляется по лицензии Apache-2.0.

Xenova/trocr-small-printed — веб-совместимая версия модели microsoft/trocr-small-printed, подготовленная с весами в формате ONNX для работы через Transformers.js. Модель предназначена для распознавания печатного текста на изображениях и преобразования его в текст, поэтому подходит для сценариев OCR в браузерных и JavaScript-приложениях. Из доступных данных известно, что модель относится к семейству TrOCR и имеет вариант small; поддерживает задачу image-to-text и распространяется с ONNX-весами. Сведения о точной архитектуре, количестве параметров, поддерживаемых языках, размере контекста и конкретных показателях качества в карточке не указаны. Лицензия также не указана; условия использования следует уточнять в исходном репозитории microsoft/trocr-small-printed.

atasoglu/turkish-tiny-bert-uncased-mean-nli-stsb-tr — компактная модель Sentence Transformers на базе BERT, разработанная дообучением ytu-ce-cosmos/turkish-tiny-bert-uncased. Она преобразует предложения и абзацы в плотные векторы размерностью 128 для семантического поиска, сравнения сходства, кластеризации и других задач работы с текстовыми эмбеддингами. Модель содержит 4,6 млн параметров, использует формат PyTorch и принимает последовательности длиной до 512 токенов. Модель обучена на наборах nli_tr и emrecan/stsb-mt-turkish и ориентирована на турецкий язык. Авторы указывают, что тексты перед подачей следует приводить к нижнему регистру с заменой латинской I на турецкую ı; без этой предобработки результаты могут ухудшиться. Лицензия — MIT.

Vela Reranker — дообученный мультиязычный энкодер семейства ModernBERT от vLLM Semantic Router. Модель оценивает релевантность пассажей для поиска, RAG и отбора контекста. Она насчитывает 306,9 млн параметров, принимает пары запросов и текстовых фрагментов и поддерживает контекст до 32 768 токенов. В опубликованных сравнениях Vela превосходит исходный mmBERT Reranker на MIRACL, Natural Questions и SciFact, а также на двух из трёх приведённых инструкционных задач MTEB. Результаты относятся только к указанным задачам и наборам разработки; авторы не заявляют полный балл или рейтинг MTEB. Модель доступна в форматах Safetensors и ONNX под лицензией Apache-2.0.

Это визуальный энкодер ViT-Base с патчами 16×16, обученный как часть CLIP на данных LAION-2B. Модель распространяется через timm; в репозитории находятся только веса image encoder, без текстового энкодера CLIP. Она предназначена для извлечения признаковых векторов из изображений, например для поиска похожих изображений, кластеризации и построения визуальных представлений для последующих моделей. Доступны веса в форматах PyTorch и safetensors; лицензия — Apache-2.0. Энкодер принимает изображения и выдаёт векторы признаков. Для сравнения изображений с текстом или вычисления CLIP-сходства потребуется отдельно получить совместимый текстовый энкодер. Размер модели и точный входной размер в предоставленных сведениях не приводятся.

VultronRetrieverPrime-Qwen3.5-8B — мультиязычная модель поиска по визуальным документам, разработанная Vultr и обученная и оценённая на Vultr Cloud. Это ретривер с поздним взаимодействием ColQwen3_5 на базе Qwen/Qwen3.5-9B: он сопоставляет запросы со страницами PDF, сканов, презентаций и отчётов по тексту, структуре макета, таблицам, диаграммам и изображениям. Модель предназначена для визуального поиска и мультимодальных RAG-систем; она ранжирует найденные страницы, но не генерирует ответы. Модель содержит около 8,4 млрд параметров и формирует многовекторные представления размерности 320 — по одному вектору на токен. Соответствие запроса и страницы оценивается методом MaxSim. В README заявлены поддержка английского, французского, немецкого, испанского, итальянского и португальского языков, обработка до 1792 визуальных токенов и первое место на ViDoRe V3 со средним nDCG@10 64,26. Компактная размерность уменьшает индекс по сравнению с моделями на 2560–4096 измерений, но многовекторный индекс всё равно занимает больше места, чем одно-векторный. Модель не предназначена для текстового семантического поиска без изображений и для генерации ответов; другие языки могут работать хуже. Лицензия — Apache-2.0.

Sagicc/w2v-bert-2.0-sr — модель распознавания речи, дообученная на базе facebook/w2v-bert-2.0 на датасете Common Voice 16.1. Она использует архитектуру Wav2Vec2BertForCTC и принимает аудио, преобразуя речь в текст. В оценке на тестовой выборке указаны loss 0,1469 и WER 0,0534; применимость этих показателей зависит от состава и условий оценки. Модель предназначена для автоматической транскрибации речи. В карточке не уточнены язык записей и условия, для которых получены метрики. Вес модели — около 402,7 млн параметров; опубликована в формате Safetensors. Лицензия — MIT.

WaveCoder Ultra 1.1 6.7B — это языковая модель для генерации и обработки программного кода, разработанная Microsoft. Представленная версия — GGUF-квантизации оригинальной модели microsoft/wavecoder-ultra-6.7b, подготовленные пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для выполнения инструкций, связанных с программированием, включая генерацию кода и задачи, оцениваемые на наборе HumanEval. Модель имеет около 6,7 млрд параметров, работает в формате GGUF и поддерживает англоязычные сценарии. Для взаимодействия рекомендуется шаблон инструкций с секциями «Instruction» и «Response». Доступны варианты квантизации от Q8_0 до IQ1_S, различающиеся размером файлов и качеством: Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и Q4_K_S обозначены как рекомендуемые, а Q8_0 обеспечивает максимально доступное качество при большем размере. Основное преимущество этой версии — возможность локального запуска с выбором компромисса между качеством и требованиями к памяти; наиболее компактные варианты занимают менее 2 ГБ, тогда как Q8_0 — около 7,16 ГБ. Более низкие уровни квантизации снижают качество и могут быть пригодны только при ограниченных ресурсах. Архитектура, размер контекста, поддерживаемые языки программирования и мультимодальные возможности в README не указаны. Распространение заявлено по лицензии MIT.