II.6Документация и сопровождение разработки

SILMA STS Arabic Embedding Model 0.1 — модель Sentence Transformers от SILMA AI для оценки смысловой близости предложений и абзацев. Она преобразует текст в плотные векторы размерности 768; близость векторов рассчитывается косинусным сходством. Модель основана на BERT, дообучена в два этапа: сначала на арабских и английских триплетах, затем на парах текстов с оценками сходства. Базовая модель из карточки — silma-ai/silma-embeddding-matryoshka-0.1; в README также указан aubmindlab/bert-base-arabertv02. Модель подходит для семантического поиска, сопоставления вопроса с абзацем, поиска перефразировок, кластеризации и классификации текста на основе эмбеддингов. Карточка приводит оценку на MTEB STS17 для арабского языка и примеры сценариев на арабском и английском. Максимальная длина последовательности — 512 токенов. Модель распространяется по лицензии Apache-2.0.

use-cmlm-multilingual — версия на PyTorch модели universal-sentence-encoder-cmlm/multilingual-base-br, опубликованная в репозитории sentence-transformers. Она преобразует тексты на 109 языках в векторы общего пространства, чтобы сопоставлять предложения между языками. Модель основана на LaBSE и предназначена для получения эмбеддингов и задач семантического сходства. Модель использует архитектуру BERT и содержит около 498,1 млн параметров. Максимальная длина контекста — 512 токенов. Доступны веса PyTorch, Safetensors и TensorFlow; лицензия — Apache-2.0. Карточка отмечает сопоставимое с LaBSE качество на последующих задачах, но не приводит конкретных оценок или бенчмарков.

Whisper large-v3 — мультиязычная модель распознавания речи на основе Transformer encoder-decoder, разработанная OpenAI. Она предназначена для транскрибирования аудио на исходном языке и перевода речи в текст на другом языке, включая перевод на английский. Модель содержит 905,2 млн параметров; по сравнению с предыдущими версиями использует спектрограммы с 128 Mel-частотными полосами и включает отдельный токен для кантонского языка. Модель обучалась на слабой разметке и псевдоразмеченных аудиоданных и рассчитана на работу с разными языками, акцентами, шумом и предметными областями. При обработке длинных записей требуется последовательная или сегментированная обработка: рецептивное поле модели составляет 30 секунд. Лицензия — Apache-2.0. Возможны ошибки транскрибации и генерация текста, отсутствующего в аудио; качество неодинаково для разных языков, акцентов и диалектов и ниже для языков с малым объёмом обучающих данных. Архитектура также может порождать повторяющийся текст.

Whisper large-v3-turbo — мультиязычная модель распознавания речи OpenAI на архитектуре Transformer encoder-decoder. Это дообученная и ускоренная версия Whisper large-v3: число слоёв декодера сокращено с 32 до 4, что ускоряет вывод с небольшим снижением качества. Модель содержит 905,2 млн параметров и работает с аудио; она поддерживается библиотекой Transformers. Модель предназначена для преобразования речи в текст на языке оригинала и перевода речи между языками, включая перевод на английский. Она обучалась на более чем 5 млн часов размеченных данных и демонстрирует обобщение на новые наборы данных и предметные области. Для длинных записей требуется обработка последовательными окнами или разбиение аудио на сегменты; воспринимаемое окно составляет 30 секунд. Модель может ошибаться, добавлять слова, которых нет в аудио, и повторять фрагменты. Точность различается между языками, акцентами и диалектами и может быть ниже для языков с ограниченными обучающими данными. Лицензия — MIT.

KhaledReda/all-MiniLM-L6-v24-pair_score — англоязычная модель Sentence Transformer, созданная KhaledReda дообучением KhaledReda/all-MiniLM-L6-v23-pair_score. Она преобразует предложения и короткие тексты в плотные эмбеддинги размерности 384, предназначенные для оценки семантического сходства с помощью косинусной близости. Модель основана на архитектуре BERT и содержит 25,9 млн параметров. Модель подходит для сравнения запросов и описаний, поиска похожих текстов и ранжирования пар по смысловой близости, в том числе в сценариях поиска товаров по коротким запросам и развернутым описаниям. Она обучена на парах текстов со скалярными оценками сходства; в README указаны 12,58 млн обучающих примеров. Метаданные задают контекст до 512 токенов, тогда как карточка модели указывает максимальную длину последовательности 256 токенов, поэтому фактическое ограничение следует проверять в используемой конфигурации. Для использования доступна лицензия Apache-2.0. Модель ориентирована на английский язык; качество для других языков не подтверждено. Она выдает эмбеддинги, а не готовые текстовые ответы.

jangedoo/all-MiniLM-L6-v2-nepali — Sanjaya Subedi создал модель Sentence Transformers на основе sentence-transformers/all-MiniLM-L6-v2 и дообучил её для английского и непальского языков на параллельных англо-непальских предложениях, статьях Википедии, новостях и вопросах с ответами о здоровье. Это BERT-модель с 25,9 млн параметров: она кодирует предложения и абзацы в нормализованные плотные векторы размерностью 384 и поддерживает контекст до 512 токенов по метаданным; в карточке модели указана максимальная длина последовательности 256 токенов. Модель предназначена для поиска семантически близких текстов, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текстов на основе эмбеддингов. Английские и непальские тексты можно сопоставлять в общем векторном пространстве; для сравнения применяется косинусное сходство. Архитектура использует усреднение токенных представлений и нормализацию векторов. В README приведены результаты оценки поиска информации, но они не гарантируют качество для других наборов данных и задач. Лицензия в предоставленных материалах не указана. Модель распространяется в формате safetensors.

FlowVec-v1 — мультиязычная модель текстовых эмбеддингов от LingoIITGN, дообученная на базе Qwen/Qwen3-Embedding-8B с помощью трёхэтапного рецепта LoRA и дистилляции относительно замороженной базовой модели. Она предназначена для семантического поиска, ранжирования, кластеризации и сопоставления текстов на индийских языках. Модель использует архитектуру Qwen3 с 7,6 млрд параметров, извлекает векторы размерности 4096 посредством пулинга последнего токена и L2-нормализации. В README указана максимальная длина последовательности 512 токенов; метаданные базовой модели указывают контекст 40960 токенов. Обучение охватывает retrieval, bitext, классификацию, NLI и кластеризацию; модель оценивалась на MTEB(Indic, v1). В README приведены сильные результаты для поиска и ранжирования, но оценки следует трактовать с учётом пересечения обучающих данных с двумя задачами и подбора инструкций на самом бенчмарке. Для подходящих задач важно передавать prompt_name; при поиске и ранжировании запросы кодируются с инструкцией, а документы — без неё. Модель принимает текст и выдаёт эмбеддинги. Лицензия — Apache 2.0.

African-Cross-Lingua-Embeddings-Model — многоязычная модель эмбеддингов компании Sartify LLC на архитектуре BERT. Она отображает тексты более чем на 130 языках в общее векторное пространство, формируя представления предложений для сравнения семантической близости и поиска соответствующих текстов на другом языке. Обучение сочетает masked language modeling и translation language modeling. Модель содержит 498,1 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт векторные представления. Карточка выделяет межъязыковой поиск по парам текстов; метаданные также указывают задачи sentence-similarity и feature-extraction. Распространяется по лицензии Apache-2.0.

paraphrase-spanish-distilroberta — модель sentence-transformers, созданная участниками организации hackathon-pln-es для Hackathon 2022 NLP - Spanish. Это дообученная методом переноса знаний испанская RoBERTa-модель BERTIN, обученная на параллельных испанско-английских предложениях с использованием paraphrase-mpnet-base-v2 в роли учителя. Модель содержит 151,8 млн параметров и преобразует предложения и короткие абзацы в плотные векторы размерностью 768; максимальный контекст — 514 токенов. Векторы подходят для поиска по смыслу, оценки сходства предложений и кластеризации текстов на испанском и английском языках. В README приведены результаты оценки семантического сходства для пар ES-ES и ES-EN на наборах STS-2017. Репозиторий содержит веса PyTorch. Сведения о лицензии в предоставленных источниках отсутствуют.

Это модель Sentence-Transformers на базе XLM-RoBERTa, дообученная для преобразования предложений и абзацев в плотные векторы размерности 768. Она предназначена для поиска семантически близких текстов и кластеризации; в частности, README описывает дообучение с MarginMSELoss на примерах японско-английского и англо-японского сходства с заданными диапазонами косинусного сходства. Модель принимает текст и выдаёт эмбеддинги. Размер — 305,2 млн параметров, контекст — 514 токенов. Для запуска можно использовать Sentence-Transformers или Transformers с подходящей операцией pooling. В карточке указана архитектура XLM-RoBERTa и формат PyTorch. README сообщает о последующей дистилляции отдельной модели, но этот репозиторий описывает исходный этап дообучения. Лицензия в предоставленных данных не указана.

Lajavaness/bilingual-embedding-base — модель эмбеддингов предложений, разработанная Lajavaness для английского и французского языков. Она основана на XLM-RoBERTa и реализована как SentenceTransformer: использует усреднение токенов, затем нормализует векторы. Модель содержит 305,2 млн параметров и кодирует предложения в 1024-мерное векторное пространство; максимальная длина последовательности — 512 токенов по README и 514 токенов по метаданным. Модель предназначена для сравнения семантической близости предложений, семантического поиска, кластеризации текстов и ранжирования похожих фраз на английском и французском. Обучение включало данные SNLI/XNLI и STS Benchmark для обоих языков, а также дообучение с аугментацией пар предложений. Репозиторий использует формат safetensors и лицензию Apache-2.0.

IndicSBERT — модель семейства BERT, разработанная L3Cube-Pune в рамках проекта MahaNLP. Она основана на google/muril-base-cased и дообучена на наборе данных NLI для десяти основных индийских языков; поддерживает также английский и межъязыковое сравнение предложений. Модель создаёт векторные представления предложений для оценки их смыслового сходства и извлечения признаков. Размер составляет 264,8 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для семантического поиска, сравнения предложений и задач, где требуется сопоставлять тексты на разных языках. Карточка описывает применение через Sentence-Transformers или Transformers с подходящей операцией pooling. Доступна по лицензии CC BY 4.0, требующей указания авторства. README отмечает, что отдельная дообученная версия для сходства предложений опубликована отдельно.

LaBSE (Language-agnostic BERT Sentence Encoder) — многоязычная модель на архитектуре BERT, представленная Google и перенесённая из версии v2 на TensorFlow Hub в формат PyTorch для Hugging Face. Модель содержит 498,1 млн параметров и формирует векторные представления предложений для 109 языков; контекст ограничен 512 токенами. Предобучение сочетает маскированное языковое моделирование и моделирование перевода. LaBSE предназначена для сопоставления предложений между языками и поиска соответствующих текстов в двуязычных корпусах. Её можно применять для мультиязычного поиска, поиска семантически близких фраз и построения систем поиска по тексту. Репозиторий предоставляет веса в форматах PyTorch, TensorFlow и Flax, включая safetensors. Лицензия — Apache-2.0.

LEALLA-large — многоязычная модель для получения векторных представлений предложений, разработанная как часть семейства LEALLA и дистиллированная из LaBSE. Это версия, перенесённая с модели v1 на TensorFlow Hub; для неё указана эквивалентность эмбеддингов исходной версии. Модель основана на BERT, содержит 153,5 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для построения многоязычных эмбеддингов предложений и поиска соответствующих текстов на разных языках, включая двуязычный поиск. В README заявлена поддержка 109 языков. Представлены веса в форматах PyTorch, TensorFlow и Flax, включая safetensors. Лицензия — Apache-2.0. При сравнении эмбеддингов для некоторых языков, например японского, могут потребоваться более высокие допуски. Сведения о данных, обучении и метриках приведены в оригинальной научной статье.

BorisTM/loss-guided-static-multi — мультиязычный статический кодировщик предложений для семантического поиска и сравнения текстов. Модель обучена с контрастивной целью и расширенным словарём: полезные пары соседних токенов получают собственные строки эмбеддингов, при этом базовый токенизатор не меняется. При инференсе используются таблица эмбеддингов и усреднение, без Transformer; размерность векторов — 1 024, всего 321,7 млн параметров. Модель рассчитана на CPU-эффективное семантическое сходство, поиск, кластеризацию и классификацию на 176 языках. Каждый текст необходимо предварять языковым маркером, например __rus_Cyrl__; без него обработка завершается ошибкой. Репозиторий включает пользовательский модуль эмбеддингов и требует trust_remote_code=True. Распространяется по лицензии Apache-2.0.

Griffin88/sentence-embedding-LaBSE — PyTorch-порт модели LaBSE, предназначенный для представления предложений на 109 языках в общем векторном пространстве. Модель основана на архитектуре BERT и содержит 498,1 млн параметров; максимальная длина контекста — 512 токенов. Репозиторий предоставляет веса PyTorch и safetensors, а для работы через Sentence-Transformers README рекомендует библиотеку sentence-transformers. Модель подходит для получения эмбеддингов предложений и оценки их семантического сходства, в том числе для сопоставления текстов на разных языках. Лицензия — Apache-2.0. README отсылает к публикации LaBSE, но не уточняет автора этого порта или детали обучения именно этой версии.

Это перенос многоязычного текстового энкодера SONAR в формат Transformers из реализации fairseq2. Модель на архитектуре M2M100 содержит 665 млн параметров и формирует векторные представления текста для оценки сходства предложений. Перенесённые веса должны давать те же эмбеддинги, что и официальная реализация, которая остаётся эталонным источником. Энкодер поддерживает 202 языка, как NLLB-200, и рассчитан на кодирование текстов длиной до 1024 токенов. Его можно использовать для поиска семантически близких предложений и сопоставления текстов на разных языках. Репозиторий содержит веса в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

triBne-e5-small — модель текстовых эмбеддингов, созданная дообучением intfloat/multilingual-e5-small автором istiaqfuad. Она предназначена для семантического поиска, извлечения близких текстов, кластеризации и сравнения предложений на бенгальском языке, английском и бенгальском, записанном латиницей (Banglish), в том числе при вариативном написании слов. Модель основана на архитектуре BERT, содержит 124,3 млн параметров и создаёт нормализованные эмбеддинги размерности 384; для сравнения используется косинусное сходство. Метаданные указывают контекст до 512 токенов, а README — максимальную длину последовательности 128 токенов. Модель дообучена контрастивным методом с LoRA-адаптером, объединённым с базовой моделью. По описанной оценке она особенно хорошо справляется с поиском вариантов написания Banglish и сопоставлением бенгальского текста с Banglish; для поиска между английским и бенгальским показала конкурентные результаты. Лицензия — MIT, библиотека — sentence-transformers. Модель рассчитана на короткие тексты: более длинные последовательности усекаются. Часть обучающих пар Banglish создана с помощью LLM и может наследовать их смещения. Модель не предназначена для генерации текста или классификации.

Карточка модели mijuanlo/faster-whisper-large-v3 на Hugging Face совпадает с карточкой Systran/faster-whisper-large-v3, поэтому описание составлено по ней. Это конверсия модели распознавания речи Whisper large-v3 от OpenAI в формат CTranslate2, опубликованная Systran. Она предназначена для распознавания речи из аудио и используется в CTranslate2 и проектах на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно изменить через параметр compute_type. Модель поддерживает распознавание речи на многих языках, в том числе русском и английском. Репозиторий содержит конвертированные веса, а не исходную реализацию Whisper. Лицензия — MIT.

Systran/faster-whisper-medium — конверсия модели распознавания речи Whisper medium от OpenAI в формат CTranslate2, подготовленная для использования с CTranslate2 и faster-whisper. Модель принимает аудио и преобразует речь в текст; семейство Whisper поддерживает многоязычное распознавание, включая русский и английский, а также перевод речи на английский язык. Веса сохранены в FP16. При загрузке в CTranslate2 можно выбрать другой тип вычислений через параметр compute_type. Репозиторий распространяется по лицензии MIT; для сведений о возможностях исходной модели следует обращаться к её карточке OpenAI.

Карточка модели Cutting3dg3/LaBSE-TID на Hugging Face совпадает с карточкой sentence-transformers/LaBSE, поэтому описание составлено по ней. LaBSE — перенос многоязычной модели LaBSE в PyTorch, опубликованный командой sentence-transformers. Модель на архитектуре BERT содержит 498,1 млн параметров и отображает предложения на общем векторном пространстве, чтобы сопоставлять их смысл на разных языках. Поддерживает 109 языков; максимальная длина контекста — 512 токенов. Модель подходит для поиска семантически близких предложений, сопоставления текстов на разных языках и построения многоязычных эмбеддингов для семантического поиска и кластеризации. Доступна через библиотеку sentence-transformers и в форматах PyTorch, TensorFlow, Flax и ONNX. Лицензия — Apache-2.0. README указывает на публикацию LaBSE, но не приводит подробностей обучения или сравнительных результатов.

Smaug-Mini — мультимодальная модель Abacus.AI, дообученная на основе Qwen/Qwen3.8-27B для надёжного многошагового использования инструментов и автоматизации. Это плотная модель с архитектурой Qwen3_5ForConditionalGeneration и сохранённой башней зрения; она принимает текст и изображения и поддерживает контекст до 262 144 токенов. Модель работает в формате диалога и предоставляет интерфейс вызова инструментов. Обучение проводилось методом GRPO на многошаговых эпизодах автоматизации с проверкой результата; LoRA-адаптер языковой части был объединён с базовыми весами. По данным карточки, модель улучшает результаты ряда тестов на использование инструментов и автоматизацию, сохраняя общие возможности базовой модели примерно на прежнем уровне. Она подходит для агентных сценариев, где нужно рассуждать, вызывать инструменты и завершать задачи в среде. Лицензия — Apache-2.0. Головка многотокенного предсказания унаследована от базовой модели и не переобучалась, поэтому для неё не следует включать спекулятивное декодирование; обычное декодирование не затронуто. Данные обучения не раскрыты.

Модель OpenVINO/whisper-large-v3-turbo-fp16-ov подготовлена OpenAI на основе Whisper large-v3-turbo и преобразована в формат OpenVINO IR с весами FP16. Архитектура Whisper имеет около 905 млн параметров; в варианте large-v3-turbo число слоёв декодера сокращено с 32 до 4, что ускоряет распознавание при небольшом снижении качества. Модель предназначена для преобразования речи в текст на многих языках. Её можно использовать для расшифровки аудиозаписей и транскрибирования речи в приложениях на базе OpenVINO; совместимость указана для OpenVINO 2026.1.0 и выше и Optimum Intel 1.27.0 и выше. Модель принимает аудио и выдаёт текст. Поддерживает русский, английский и множество других языков. Распространяется по лицензии MIT. В README отмечено, что качество может быть несколько ниже, чем у полной Whisper large-v3; прочие ограничения отсылают к карточке исходной модели.

Это мультиязычная модель распознавания речи Whisper large-v3-turbo, представленная Intel в формате OpenVINO IR с весами, сжатыми до INT4. Она преобразует аудио в текст и подходит для локального инференса через OpenVINO и Optimum Intel; совместимость заявлена с OpenVINO 2026.1.0 и новее и Optimum Intel 1.27.0 и новее. Модель основана на OpenAI/whisper-large-v3-turbo и содержит около 905,2 млн параметров. В исходной архитектуре Whisper large-v3-turbo число слоёв декодера сокращено с 32 до 4, что ускоряет распознавание с небольшим снижением качества; дополнительное сжатие весов выполнено в режиме INT4_ASYM с размером группы 128. Поддерживаются многие языки, включая русский и английский. Модель распространяется по лицензии MIT.

mlx-community/whisper-small-asr-fp16 — преобразованная сообществом mlx-community в формат MLX модель OpenAI Whisper Small для распознавания речи. Она предназначена для преобразования аудиозаписей в текст; репозиторий использует библиотеку mlx-audio и содержит веса в формате safetensors. Модель насчитывает 153,1 млн параметров и поддерживает распознавание речи на множестве языков, включая русский и английский. Модель основана на openai/whisper-small и преобразована в формат MLX с помощью mlx-audio 0.2.10; это конверсия формата, а не новое дообучение. Лицензия репозитория — Apache-2.0. Карточка отсылает к исходной модели за подробностями о её характеристиках; отдельные ограничения в предоставленных данных не описаны.

A.X 3.1 Light — компактная языковая модель SKT, обученная с нуля на многоязычном корпусе с приоритетом корейского языка. В метаданных указаны 6,8 млрд параметров, архитектура Llama с плотной авторегрессионной моделью и контекст до 32 768 токенов; доступны веса в формате Safetensors. Модель предназначена для диалогов, понимания корейского языка и корпоративного развёртывания, а интерфейс поддерживает вызов инструментов. SKT сообщает, что модель обучалась на 1,65 трлн токенов и показывает результаты на корейских языковых бенчмарках KMMLU и KoBALT-700. Компания также заявляет о снижении вычислительных затрат относительно моделей со сравнимыми результатами. В карточке приведён пример использования с Transformers версии 4.46.0 или новее и vLLM для функций вызова инструментов. Лицензия — Apache 2.0.

michaelfeil/ct2fast-LaBSE — версия модели LaBSE, подготовленная для быстрого инференса через CTranslate2. Это BERT-энкодер предложений, разработанный Google: модель строит многоязычные эмбеддинги предложений и подходит для поиска соответствий между текстами на разных языках. Исходная LaBSE обучалась для 109 языков с использованием masked language modeling и translation language modeling. Вариант CTranslate2 предназначен для снижения потребления памяти и ускорения инференса на CPU или GPU; в README заявлено сокращение памяти в 2–4 раза при использовании int8. Размер модели — около 498,1 млн параметров, длина контекста — 512 токенов. Репозиторий указывает лицензию Apache-2.0. Метаданные включают языковые теги для 60 языков, а карточка описывает исходную LaBSE как модель для 109 языков.

MarkSelles/dutch-minilm-l6-v2 — компактная модель эмбеддингов предложений для нидерландского языка, созданная Mark Selles на основе sentence-transformers/all-MiniLM-L6-v2. Это энкодер BERT с шестью слоями и mean pooling; модель содержит 25,7 млн параметров по метаданным и формирует векторы размерности 384. Для нидерландского текста обучен отдельный WordPiece-токенизатор с 30 тысячами токенов. Модель дистиллирована на параллельных англо-нидерландских данных так, чтобы её векторы совпадали с векторами англоязычной модели-учителя; это позволяет сопоставлять нидерландские запросы с англоязычными документами и выполнять поиск между этими языками. Контекст по метаданным — 512 токенов, при этом README сообщает об усечении последовательностей длиннее 128 токенов. Модель предназначена для семантического поиска, сравнения сходства и кластеризации предложений на нидерландском языке, а также для межъязыкового поиска между нидерландским и английским текстом. В README приведены результаты на наборах STSb-multi-mt Dutch и STS17 nl-en, но это не гарантирует такого же качества на других данных. Модель оптимизирована только для нидерландского; для других языков и специализированных предметных областей качество может быть ниже, а некоторые пары нидерландских предложений с общими словами получают завышенную оценку сходства. Лицензия — Apache-2.0.

Карточка модели luolixiehui/faster-whisper-large-v3 на Hugging Face совпадает с карточкой Systran/faster-whisper-large-v3, поэтому описание составлено по ней. Это конверсия модели распознавания речи Whisper large-v3 от OpenAI в формат CTranslate2, опубликованная Systran. Она предназначена для распознавания речи из аудио и используется в CTranslate2 и проектах на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно изменить через параметр compute_type. Модель поддерживает распознавание речи на многих языках, в том числе русском и английском. Репозиторий содержит конвертированные веса, а не исходную реализацию Whisper. Лицензия — MIT.

Карточка модели SihJJJ/faster-whisper-medium на Hugging Face совпадает с карточкой Systran/faster-whisper-medium, поэтому описание составлено по ней. Systran/faster-whisper-medium — конверсия модели распознавания речи Whisper medium от OpenAI в формат CTranslate2, подготовленная для использования с CTranslate2 и faster-whisper. Модель принимает аудио и преобразует речь в текст; семейство Whisper поддерживает многоязычное распознавание, включая русский и английский, а также перевод речи на английский язык. Веса сохранены в FP16. При загрузке в CTranslate2 можно выбрать другой тип вычислений через параметр compute_type. Репозиторий распространяется по лицензии MIT; для сведений о возможностях исходной модели следует обращаться к её карточке OpenAI.