II.8Инженерия данных и аналитика

bartowski/starcoder2-15b-instruct-GGUF — это набор GGUF-квантизаций модели StarCoder2-15B-Instruct, разработанной TechxGenus и опубликованной в формате для запуска через llama.cpp. Квантизацию выполнил bartowski с использованием llama.cpp release b2354. Модель относится к классу text-generation и предназначена прежде всего для генерации и обработки программного кода, включая локальные сценарии запуска с ограниченными ресурсами. Доступны варианты квантизации Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_0, Q4_K_S, Q4_K_M, Q5_0, Q5_K_S, Q5_K_M, Q6_K и Q8_0. Размер файлов составляет примерно от 6,19 до 16,96 ГБ. Q6_K отмечен как рекомендуемый вариант с очень высоким качеством, Q8_0 обеспечивает максимальное доступное качество, а варианты Q3 и Q2 требуют меньше памяти, но заметно уступают по качеству. Архитектура, поддерживаемые языки программирования, языки естественного языка, модальности и размер контекста в README не указаны. Сильной стороной модели является возможность локального использования в экосистеме llama.cpp с выбором компромисса между качеством и требованиями к памяти. Ограничения связаны с потерями качества при низких уровнях квантизации, а также с отсутствием в представленном README подробностей о возможностях, бенчмарках и контекстном окне. Модель распространяется по лицензии BigCode OpenRAIL-M.

cl-nagoya/sup-simcse-ja-base — японская модель эмбеддингов предложений, разработанная с помощью supervised SimCSE на основе cl-tohoku/bert-base-japanese-v3 и дообученная на наборе JSNLI. Она использует архитектуру BERT с 138,4 млн параметров; для получения векторов применяет pooling по токену CLS. Модель предназначена для представления японских предложений в виде векторов и вычисления сходства между ними, например при поиске семантически близких фраз или группировке текстов. Модель доступна через Sentence-Transformers или Transformers и принимает последовательности длиной до 512 токенов по контекстному ограничению; при обучении использовалась максимальная длина 64. Выход — векторные представления текста. Лицензия CC BY-SA 4.0 требует атрибуции и распространения производных материалов на тех же условиях.

rohit-vt/tink-reranker-minilm — текстовая cross-encoder-модель на основе cross-encoder/ms-marco-MiniLM-L6-v2, дообученная автором с помощью Sentence Transformers. Она принимает пары текстов и вычисляет оценку их релевантности для переранжирования результатов поиска и семантического поиска. Модель построена на архитектуре BERT с классификационной головой и выдаёт один числовой балл на пару; размер — 25,9 млн параметров, максимальная длина последовательности — 512 токенов. README описывает обучение на 11 010 примерах и оценку на 1 505 примерах с бинарными метками. Модель предназначена для включения в поисковые конвейеры, где нужно пересортировать кандидатов по соответствию запросу или сравнить семантическую близость двух текстов. Она обрабатывает только текст; карточка не сообщает о поддерживаемых естественных языках, а базовая модель предназначена для английского. Вес опубликован в формате safetensors. Лицензия в предоставленных данных не указана.

Locutusque/UltraQwen-7B — диалоговая языковая модель на 7,1 млрд параметров, дообученная на примерно 100 000 примерах набора HuggingFaceH4/ultrachat_200k. В метаданных указаны архитектура LlamaForCausalLM, формат safetensors и контекст до 32 768 токенов; модель предназначена для генерации текста в диалоге. Автор сообщает о хороших результатах личных проверок на математике, истории, викторинах и задачах программирования, однако подробные метрики не приведены. Модель не проходила выравнивание DPO. Базовая модель — Qwen/Qwen-7B; в README указана лицензия other в метаданных, без конкретных условий использования.

timm/ViT-SO400M-16-SigLIP2-512 — преобразованная для OpenCLIP модель зрения и языка семейства SigLIP 2, обученная на наборе WebLI. Исходные контрольные точки JAX из Big Vision были конвертированы для использования с OpenCLIP; модель использует контрастивное сопоставление изображений и текста и предназначена для классификации изображений без дополнительного обучения по текстовым описаниям классов. Модель подходит для поиска изображений по текстовым меткам и для классификации с произвольным набором категорий. Карточка указывает многоязычную направленность SigLIP 2, но конкретные поддерживаемые языки и размер модели здесь не приведены. Репозиторий содержит веса PyTorch и Safetensors, библиотека — OpenCLIP. Лицензия — Apache-2.0.

Wav2Vec2-Large-XLSR-53-Romanian — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на румынском языке с использованием Common Voice. Она принимает аудиозапись речи с частотой дискретизации 16 кГц и преобразует её в текст; модель можно применять напрямую, без отдельной языковой модели. Архитектура — Wav2Vec2ForCTC, число параметров — 402,7 млн. В карточке приведён результат оценки 28,43% на тестовой части Common Voice, но метрика не уточнена. Модель распространяется под лицензией Apache-2.0; доступны веса в форматах PyTorch и Flax.

Это модель автоматического распознавания испанской речи на базе Wav2Vec2-Large-XLSR-53 с поддержкой языковой модели. Её подготовил Patrick von Platen как демонстрацию интеграции pyctcdecode с Transformers; в README описана замена стандартного Wav2Vec2Processor на Wav2Vec2WithLMProcessor. Модель предназначена для преобразования аудиозаписей на испанском языке в текст. В сравнении на 512 образцах тестовой части Spanish Common Voice она показала WER 8,44% и CER 2,93%, против 10,20% и 3,24% у указанной базовой модели без языковой модели. Доступны веса PyTorch, TensorFlow и Flax; размер модели — около 402,7 млн параметров. Репозиторий распространяется по лицензии Apache-2.0. Результаты оценки относятся к указанной выборке Common Voice; качество на других типах речи и в иных акустических условиях в карточке не измеряется.

Wav2Vec2-Large-XLSR-53-Ukrainian — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на украинском языке на данных Common Voice. Она принимает аудио и преобразует речь в текст; входной сигнал должен иметь частоту дискретизации 16 кГц. Архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров; доступны веса PyTorch и Flax. Модель предназначена для автоматической транскрибации украинской речи, в том числе для оценки на тестовой выборке Common Voice. В README приведён результат тестирования 32,29 %, однако метрика не уточнена, поэтому это значение нельзя напрямую интерпретировать как точность распознавания. Модель распространяется по лицензии Apache-2.0.

Wav2Vec2-Large-XLSR-53-Turkish — модель распознавания турецкой речи, созданная на основе facebook/wav2vec2-large-xlsr-53 и дообученная на Common Voice. Она использует архитектуру Wav2Vec2ForCTC и предназначена для преобразования аудиозаписей в текст; входную речь следует подавать с частотой дискретизации 16 кГц. Модель содержит 402,7 млн параметров. На тестовой выборке Common Voice для турецкого языка указана доля ошибок слов WER 27,51%. Доступны веса в форматах PyTorch и Flax. Модель распространяется по лицензии Apache-2.0.

WestBreeze-7B-DPO — языковая модель на архитектуре Mistral, созданная PetroGPT слиянием моделей через LazyMergekit. Конфигурация указывает на слияние WestSeverus-7B-DPO-v2 и Breeze-Petro-7B-Instruct-v1 методом slerp; в метаданных базовой моделью указана PetroGPT/WestSeverus-7B-DPO-v2. Репозиторий содержит веса Safetensors, а общий размер модели составляет 14,1 млрд параметров. Модель предназначена для генерации текста и диалоговых ответов. Для базовой модели заявлены справочная помощь по математике, естественным наукам и программированию; эти сценарии могут быть полезны и для WestBreeze, однако отдельные оценки её качества в README не приведены. Контекстное окно составляет 32 768 токенов. Модель принимает текст и генерирует текст; сведения о поддерживаемых естественных языках не приведены. Лицензия — Apache-2.0. Характеристики и области применения частично основаны на описании базовой модели, поэтому качество ответов WestBreeze в отдельных задачах по карточке установить нельзя.

BauyrjanQ/whisper-kk — модель распознавания речи на базе Whisper-small от OpenAI, дообученная для автоматического преобразования речи в текст. Она подходит для транскрибирования аудио; в README приведена оценка WER 24,8145 на тестовом наборе, однако датасет и условия оценки не описаны. Модель содержит 153,1 млн параметров, использует архитектуру WhisperForConditionalGeneration и формат PyTorch. Репозиторий создан 7 июля 2023 года. Лицензия — Apache-2.0.

mlx-community/whisper-large-v3-4bit — версия Whisper large-v3 от сообщества mlx-community, преобразованная из openai/whisper-large-v3 для использования с mlx-audio-plus. Модель предназначена для распознавания речи и преобразования аудио в текст; её можно применять для транскрибации записей и расшифровки речи в приложениях на MLX. В основе лежит мультиязычная архитектура Whisper large-v3 от OpenAI. Название репозитория указывает на представление с 4-битной точностью; карточка сообщает о преобразовании в формат MLX, а метаданные указывают библиотеку mlx-audio-plus и файлы safetensors. Базовая модель поддерживает транскрибацию речи и перевод аудио в текст. Модель распространяется по лицензии Apache-2.0.

mlx-community/whisper-large-v3-fp16 — версия Whisper large-v3 от сообщества mlx-community, преобразованная в формат MLX из openai/whisper-large-v3 с помощью mlx-audio-plus 0.1.4. Модель предназначена для распознавания речи и преобразования аудио в текст; её можно использовать для транскрибации записей и аудиоввода в приложениях на MLX. Это мультиязычная модель семейства Whisper с плотной архитектурой. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. README описывает использование через mlx-audio-plus.

RedHatAI/whisper-large-v3-turbo-FP8-dynamic — это квантизированная версия модели openai/whisper-large-v3-turbo, разработанная Neural Magic. Модель преобразует аудио в текст и предназначена для автоматического распознавания речи, включая транскрибацию аудиозаписей и обработку аудиовходов в приложениях, использующих vLLM. Для развёртывания требуется vLLM версии 0.5.2 или новее; также поддерживается OpenAI-совместимый режим сервинга через vLLM. Архитектура основана на whisper-large-v3-turbo и включает аудио-текстовый вход и текстовый выход. Веса и активации квантизированы в формате FP8 с динамической схемой квантизации; выходной lm_head не квантизируется. README не указывает точный размер модели, максимальную длину контекста и полный список поддерживаемых языков, однако приводит тег языка en и оценки для англоязычной транскрибации и перевода на английский. Ключевое преимущество модели — снижение вычислительных затрат при сохранении качества исходной модели: на LibriSpeech показатель WER составляет 2,2611 на test-clean и 4,3247 на test-other в конфигурации FP8. На test-clean результат сопоставим с BF16, а на test-other немного уступает ему. Ограничения включают зависимость от совместимого стека vLLM и отсутствие в README подробных данных о качестве на других языках и сценариях. Модель распространяется по лицензии Apache-2.0.

cahya/whisper-medium-id — модель распознавания речи на индонезийском языке, созданная дообучением openai/whisper-medium на датасетах Common Voice 11, MagicData, TITML и Google Fleurs. Она использует архитектуру Whisper и содержит 455,8 млн параметров; для работы доступна в формате PyTorch через Transformers. Модель предназначена для преобразования индонезийской речи в текст. В карточке приведён пример транскрибации аудиофайла с настройкой языка распознавания. На тестовых выборках указана частота ошибок слов (WER) 3,83 на Common Voice 11 и 9,74 на Google Fleurs; на Common Voice результат базовой Whisper Medium в той же оценке составил 12,62. Модель распространяется по лицензии Apache-2.0. Описание не приводит сведений о длине контекста или подробных ограничениях; приведённые оценки относятся к конкретным тестовым выборкам и не гарантируют аналогичное качество на других типах аудио.

mlx-community/whisper-small-fp16 — конверсия мультиязычной модели распознавания речи OpenAI Whisper Small в формат MLX, выполненная сообществом mlx-community с помощью mlx-audio-plus версии 0.1.4. Модель принимает аудио и преобразует речь в текст; семейство Whisper также поддерживает перевод речи на английский язык. Модель предназначена для автоматической транскрибации и распознавания речи в приложениях на базе MLX. Репозиторий распространяется под лицензией Apache-2.0. Метаданные указывают формат safetensors и библиотеку mlx-audio-plus.

XProvence-reranker-bgem3-v1 — многоязычная модель Naver Labs Europe для сокращения контекста в системах генерации с дополнением извлечёнными данными (RAG). По вопросу пользователя и найденному текстовому фрагменту она отбирает релевантные предложения, удаляет лишние и выдаёт оценку релевантности, которую можно использовать для переранжирования. Модель рассчитана прежде всего на ответы на вопросы и совместима с разными LLM. Модель основана на BAAI/bge-reranker-v2-m3 и дообучена для предсказания маски предложений при сохранении способности ранжировать пары «вопрос — фрагмент». Архитектура XLM-RoBERTa, около 658,7 млн параметров по метаданным и контекст до 8194 токенов. README сообщает о 16 языках с нативной поддержкой и переносе на более чем 100 языков; среди языков обучения указаны арабский, бенгальский, английский, испанский, персидский, финский, хинди, индонезийский, японский, корейский, русский, суахили, телугу, тайский и китайский. Французский также указан в метаданных и описании обучения. Модель помогает уменьшить шум в контексте и ускорить последующую генерацию. README отмечает, что обучение использовало фрагменты размером примерно с абзац, хотя заявленная длина контекста составляет 8192 токена; эффективность порога отсечения следует настраивать под сценарий. Лицензия в метаданных — CC BY-NC-ND 4.0, которая ограничивает коммерческое использование и распространение производных материалов.

zerank-2 — открытый реранкер ZeroEntropy на базе плотной причинной языковой модели Qwen3-4B с 3,7 млрд параметров. Он оценивает релевантность пар «запрос — документ» и сортирует найденные документы, чтобы улучшить порядок результатов поиска после первичного извлечения. Модель предназначена для повторного ранжирования в поисковых и retrieval-системах, в том числе в диалоговых сценариях и в областях финансов, права, программирования, STEM и медицины. Для запуска доступны Sentence Transformers, API ZeroEntropy и AWS Marketplace. В README приведены сравнительные оценки NDCG@10 на выборке из 100 документов-кандидатов после первичного поиска по эмбеддингам. Контекст модели составляет 40 960 токенов по метаданным. Она принимает текстовые запросы и документы и выдаёт оценки релевантности, пригодные для сортировки; после изменения интерфейса predict возвращает сырые логиты «Yes», а не вероятности, хотя порядок ранжирования сохраняется. Модель дообучена на Qwen/Qwen3-4B и распространяется по лицензии Apache 2.0. Заявленные результаты оценивания зависят от набора данных и настроек поиска; приведённые в карточке оценки охватывают лишь часть описанных областей.

liuyanyi/AlignScore-large-hf — версия AlignScore Large в формате Hugging Face, подготовленная для запуска через Transformers без пакета alignscore. Это производная от yzha/AlignScore модель объёмом 454,1 млн параметров; в репозитории указаны архитектура AlignscoreModel и веса safetensors. Модель предназначена для классификации текста и оценки согласованности между текстовыми фрагментами, например для проверки, подтверждает ли контекст заданное утверждение. Контекст модели — 514 токенов. Модель принимает текст и выдаёт классификационную оценку. Карточка указывает лицензию MIT. README содержит мало сведений о методике использования и качестве, поэтому конкретные метрики и дополнительные сценарии применения подтвердить нельзя.

acayir64/arabic-embedding-model-pair-class2 — модель эмбеддингов предложений на базе XLM-RoBERTa, созданная дообучением symanto/sn-xlm-roberta-base-snli-mnli-anli-xnli с помощью AutoTrain. Она предназначена для преобразования текста в векторы и семантического сравнения предложений, в том числе для поиска похожих фраз. Модель содержит 305,2 млн параметров, использует библиотеку Sentence Transformers и принимает контекст длиной до 514 токенов. Многоязычная базовая модель позволяет применять её к текстам на разных языках; название репозитория указывает на ориентацию этой версии на арабские эмбеддинги. В README приведена метрика потерь 1,103 на валидации, но без описания набора данных и протокола оценки, поэтому качество для конкретных задач по ней оценить нельзя. Лицензия в предоставленных данных не указана.

MaziyarPanahi/BASH-Coder-Mistral-7B-Mistral-7B-Instruct-v0.2-slerp-GGUF — это GGUF-квантизованная версия объединённой модели BASH-Coder-Mistral-7B-Mistral-7B-Instruct-v0.2-slerp, созданная и квантизованная MaziyarPanahi. В её основе лежит Mistral-7B-Instruct-v0.2; модель предназначена для генерации текста и, судя по названию и исходной модели BASH-Coder, может быть ориентирована в том числе на задачи программирования и работу с инструкциями. Модель имеет размер 7 миллиардов параметров и поставляется в формате GGUF, совместимом с llama.cpp и рядом локальных интерфейсов и библиотек, включая text-generation-webui, LM Studio, GPT4All и llama-cpp-python. Доступны варианты квантизации с разной точностью — от 2- и 3-битных до 4-, 5-, 6- и 8-битных, что позволяет выбирать компромисс между размером, скоростью и качеством. Конкретные сведения о поддерживаемых языках, длине контекста и мультимодальности в README не указаны; по представленным данным это текстовая, а не мультимодальная модель. К сильным сторонам относятся локальный запуск, широкий выбор уровней квантизации и совместимость с популярными инструментами инференса. Более агрессивная квантизация уменьшает требования к памяти, но может снижать качество генерации; README также не содержит независимых бенчмарков или подробной оценки возможностей модели. Модель распространяется по лицензии Apache-2.0.

bert-base-nli-cls-token — модель sentence-transformers, обученная командой sentence-transformers на основе BERT. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и сравнения предложений. Архитектура — BERT с 136,7 млн параметров; модель принимает текст, поддерживает контекст до 512 токенов и распространяется в форматах PyTorch, Safetensors, TensorFlow, Flax, ONNX и OpenVINO. Модель может служить базовым компонентом семантического поиска и группировки текстов. Авторы пометили её как устаревшую и предупреждают о низком качестве эмбеддингов; для новых задач рекомендуют выбрать более современные модели sentence-transformers. Лицензия — Apache-2.0.

BAAI/bge-reranker-v2-m3 — многоязычная модель переранжирования от BAAI, построенная на базе bge-m3 и использующая архитектуру XLM-RoBERTa для классификации последовательностей. Она принимает запрос и текстовый фрагмент и выдаёт оценку их релевантности; более высокий балл означает более подходящий фрагмент. При необходимости оценку можно преобразовать сигмоидой в значение от 0 до 1. Модель предназначена для повторной сортировки результатов поиска, например, для уточнения порядка документов, найденных системой извлечения, и повышения качества выдачи в многоязычных сценариях. В README она описана как быстрая и удобная для развёртывания; метаданные указывают 658,7 млн параметров и контекст до 8194 токенов. Карточка характеризует её как многоязычную, но не перечисляет отдельные языки. Модель доступна по лицензии Apache-2.0. Релевантность оценивается для пары «запрос — фрагмент», поэтому для поиска по корпусу сначала нужны кандидаты, полученные отдельной системой извлечения; модель сама не выполняет полный поиск. Скорость и пригодность к развёртыванию заявлены в карточке, но конкретные показатели производительности не приведены.

bge-small-en-v1.5 INT8 ONNX — компактная англоязычная модель для получения векторных представлений текста. Артефакт подготовлен для поиска в ZimaOS Photos на основе модели BAAI/bge-small-en-v1.5; распространяется в формате ONNX с динамической INT8-квантизацией QInt8 и рассчитан на выполнение через ONNX Runtime. Модель преобразует текст в эмбеддинги размерностью 384 и поддерживает последовательности длиной до 512 токенов. Она предназначена для семантического поиска и сопоставления поисковых запросов с текстовыми описаниями или индексированными фрагментами; для запросов требуется добавлять инструкцию «Represent this sentence for searching relevant passages:», а для индексируемых текстов её добавлять не следует. После получения вывода необходимо применять mean pooling с учётом attention mask и L2-нормализацию. К преимуществам относятся небольшой размер около 40 млн параметров, экономичное INT8-выполнение и совместимость с ONNX Runtime. Модель поддерживает английский язык и не является мультимодальной моделью, поэтому сама по себе не обрабатывает изображения. Лицензия — MIT.

Модель carted-nlp/categorization-finetuned-20220721-164940-distilled-20220811-074207 — дообученная Carted NLP модель RoBERTa для классификации текста. Она содержит 36 млн параметров и принимает последовательности длиной до 514 токенов. В README указаны метрики на оценочном наборе: accuracy 0,8771 и F1 0,8763; название предполагает применение для категоризации, но конкретные категории и обучающие данные не описаны. Модель подходит для присвоения текстам категорий в прикладных системах. Доступен формат PyTorch. Лицензия в предоставленных данных не указана.

Chichu 1.5 Flash — компактная языковая модель Sebastianpro88, дообученная методом LoRA на базе HuggingFaceTB/SmolLM2-135M-Instruct. Модель построена на плотной архитектуре семейства Llama, содержит около 134,5 млн параметров и использует контекст до 8192 токенов. Модель предназначена для диалогов и генерации текста, выполнения инструкций, написания кода, математических задач и рассуждений. Для обучения использованы трассы дистилляции от нескольких моделей-учителей по темам математики, кода, рассуждений, инструкций и работы с инструментами. В README указана поддержка английского языка, а генерация кода показана для Python и JavaScript. Веса опубликованы в формате safetensors. Лицензия обозначена как other; конкретные условия использования в предоставленных данных не раскрыты. Компактный размер ориентирован на быстрый запуск, но сам по себе не гарантирует точность: качество ответов и сложных рассуждений следует проверять на целевых задачах.

zeromodels подготовили конверсию CLIP ViT-L/14 с входным разрешением 336 пикселей в формате Keras 3. Модель использует два энкодера — для изображений и текста — которые сопоставляют данные в общем пространстве представлений; веса основаны на openai/clip-vit-large-patch14-336. Модель предназначена для классификации изображений по текстовым категориям, заданным во время выполнения, без отдельного обучения. Её также можно использовать для поиска соответствий между изображениями и текстом и получения эмбеддингов. Реализация Keras 3 работает с TensorFlow, PyTorch и JAX; для инференса подаются изображения и текстовые запросы. Репозиторий распространяется по лицензии MIT. Это конверсия базовой модели, поэтому заявленные возможности и ограничения следуют CLIP ViT-L/14-336; README отсылает за подробностями к карточке исходной модели.

Это преобразованная в формат CTranslate2 версия distil-whisper/distil-large-v3.5, подготовленная deepdml. Модель предназначена для распознавания речи и может использоваться через CTranslate2 и проекты на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке CTranslate2 позволяет выбрать другой тип вычислений через параметр compute_type. Репозиторий указывает английский язык. Лицензия — MIT. Модель создана конвертацией исходной модели в другой формат, а не дообучением.

Sunbird AI подготовила faster-whisper-51-african-languages — версию модели Sunbird/SunflowerASR-51-african-languages в формате CTranslate2 с точностью float16 для запуска через faster-whisper. Базовая модель построена на Whisper large-v3 и дообучена для распознавания речи на 51 африканском языке. Модель принимает аудио и преобразует речь в текст. Для выбора языка нужно передавать в faster-whisper соответствующий стандартный код Whisper из таблицы README; автоматическое определение языка использовать не следует. При загрузке можно выбрать другой compute_type, например int8_float16, с заявленным ориентиром около 1,6 ГБ видеопамяти. Перед применением проверьте качество на целевых языках: экстрактор признаков faster-whisper не выполняет нормализацию, используемую в эталонном конвейере Transformers, поэтому результаты WER могут отличаться. Лицензия — Apache-2.0.

guillaumekln опубликовал конверсию модели распознавания речи Whisper tiny.en от OpenAI в формат CTranslate2. Модель предназначена для транскрибирования английской речи и может использоваться через CTranslate2 и библиотеки на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно выбрать параметром compute_type в CTranslate2. Репозиторий содержит конвертированную модель, а не новое дообучение. Лицензия — MIT.