II.6Документация и сопровождение разработки
В разделе собраны самостоятельные задачи, где AI помогает поддерживать понятную техническую документацию и ускорять передачу знаний. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
38 015 моделейOPENER-ZS — модель эмбеддингов для распознавания и типизации именованных сущностей в режиме zero-shot open-world NER. Её разработчик дообучил Nomic Embed Text v1.5 контрастивным обучением: сначала на фрагментах CoNLL-2003, затем с подбором сложных отрицательных примеров для типов сущностей, которые модель часто путает. Модель использует архитектуру NomicBert и создаёт векторы упоминаний в контексте, выделенных маркерами [ENT] и [/ENT], и названий типов с префиксом classification:. Контекст — до 2048 токенов. В составе конвейера OPENER детектор GLiNER-L находит упоминания, после чего OPENER-ZS сопоставляет их с прототипами названий типов по косинусному сходству. Система не требует целевых размеченных примеров: пользователь задаёт текст и возможные типы сущностей. Предусмотрены уточнение результатов по неразмеченным входным данным и объединение оценок с предсказаниями детектора. В карточке сообщается результат 39,4 end-to-end AMI на бенчмарке из 13 наборов данных и скорость около 180 мс на предложение. Модель предназначена для zero-shot извлечения и типизации сущностей с пользовательскими категориями. Это дообучение nomic-ai/nomic-embed-text-v1.5; для запуска полного конвейера требуется GLiNER-L, а для удобного использования автор предлагает пакет opener-ner. Репозиторий распространяется по лицензии MIT; базовая модель указана в README как Apache-2.0.
bleysg/Qwen3.5-122B-A10B-int4-fp8-hybrid — гибридный квантованный чекпойнт модели Qwen3.5-122B-A10B, созданный на основе весов Intel/Qwen3.5-122B-A10B-int4-AutoRound и официального Qwen/Qwen3.5-122B-A10B-FP8. Модель предназначена для генерации текста и оптимизирована для запуска на NVIDIA DGX Spark с GB10, SM121 и 128 ГБ унифицированной памяти через vLLM, прежде всего для эффективного декодирования с ограниченной пропускной способностью памяти и поддержки speculative decoding. Маршрутизируемые эксперты и attention представлены в формате INT4 GPTQ/AutoRound, а 144 слоя общих экспертов, постоянно используемых при обработке каждого токена, преобразованы из BF16 в FP8 E4M3 с размером блока 128. Embeddings, norms и выходная голова сохранены от INT4-базы. По данным README, такая компоновка повышает скорость базового декодирования без speculative decoding на GB10 с 28,2 до 36,0 токена в секунду, или примерно на 28%, однако преимущество уменьшается при высокой доле принятых спекулятивных токенов. Для работы требуется специализированный проект qwen3.5-122B-A10B-on-spark, профиль dense и патч vLLM 0.23 с поддержкой смешанной схемы INT4/FP8; стандартная версия vLLM не умеет корректно загружать этот чекпойнт. В README не указаны языки, длина контекста и поддерживаемые модальности, поэтому модель следует рассматривать как текстовую. Производная работа наследует условия лицензирования исходной Qwen3.5-122B-A10B и Intel AutoRound; конкретные условия определяются лицензиями upstream-моделей.
Qwen3-VL-Embedding-8B — мультимодальная модель эмбеддингов семейства Qwen, разработанная командой Qwen и дообученная на базе Qwen/Qwen3-VL-8B-Instruct. Она предназначена для поиска и сопоставления информации между текстом, изображениями, скриншотами и видео, а также для кластеризации мультимодального контента. Модель принимает отдельные модальности и их сочетания и кодирует их в общее векторное пространство. Модель содержит 8 млрд параметров, имеет архитектуру Qwen3-VL и контекст длиной до 32 тысяч токенов. Размерность эмбеддинга достигает 4096; поддерживаются настраиваемые размерности от 64 до 4096. Заявлена поддержка более 30 языков, а среди сценариев — мультимодальный и межъязыковой поиск, сопоставление текста с изображениями и видео и визуальный поиск по документам. Модель распространяется под лицензией Apache-2.0. Эмбеддинги подходят для первичного поиска и кластеризации; для уточнения порядка найденных результатов карточка рекомендует отдельную модель Qwen3-VL-Reranker. Для многоязычных сценариев README советует формулировать инструкции на английском, поскольку большинство инструкций при обучении были на этом языке.
LingoIITGN разработала qwen-indic-v1 — мультиязычную модель текстовых эмбеддингов для 22 официально запланированных индийских языков. Она дообучена методом LoRA на базе Qwen/Qwen3-Embedding-8B, после чего адаптер объединён с базовыми весами. Модель содержит 7,6 млрд параметров, использует архитектуру Qwen3, pooling последнего токена и L2-нормализацию; размер эмбеддинга — 4096, длина контекста — до 40 960 токенов. Модель предназначена для получения векторных представлений текста, семантического поиска, ранжирования и сравнения предложений на индийских языках. В оценке MTEB(Indic, v1) она показала средний результат 73,80 по 20 задачам. Для классификации и оценки семантического сходства предусмотрены соответствующие префиксы инструкций, применяемые через sentence-transformers. Качество может быть ниже для языков с малым объёмом обучающих данных, включая кашмири, манипури, бодо и сантали; кластеризация уступает современным лидерам MTEB(Indic). Модель наследует возможности и смещения базовой Qwen3-Embedding-8B. Для инференса в bf16 требуется около 16 ГБ VRAM. Лицензия — Apache 2.0.
DeepPavlov/rubert-base-cased-sentence — русскоязычный кодировщик предложений на базе RuBERT, разработанный DeepPavlov. Это 12-слойная модель семейства BERT с 768 скрытыми измерениями и 12 головами внимания; метаданные указывают 205,1 млн параметров и контекст до 512 токенов. Модель дообучена на переведённом на русский SNLI и русской части dev-набора XNLI. Представление предложения получается усреднением векторных представлений токенов, как в Sentence-BERT. Модель предназначена для получения эмбеддингов русских предложений и использования их в семантическом поиске, сравнении сходства и задачах, где требуется сопоставлять значения предложений. Доступны версии в форматах PyTorch и Flax. В README сведения о лицензии не приведены.
Sentence-CamemBERT-Large — модель эмбеддингов французских предложений, разработанная La Javaness. Она преобразует текст предложений в векторы, отражающие их смысл, и предназначена для семантического поиска и сравнения предложений. Модель построена на архитектуре CamemBERT Large с 435,4 млн параметров; карточка указывает контекст до 514 токенов. Это дообучение facebook/camembert-large с помощью Siamese BERT-сетей на датасете STS-B. В README приведены высокие результаты корреляции Пирсона и Спирмена на французской оценке STS-B. Модель рассчитана на французский язык и выдаёт векторные представления текста. Лицензия — Apache-2.0. Она предназначена для получения эмбеддингов и оценки сходства предложений; README не описывает её как генеративную модель.
Карточка модели dunzhang/stella-large-zh-v3-1792d на Hugging Face совпадает с карточкой infgrad/stella-base-zh-v3-1792d, поэтому описание составлено по ней. infgrad/stella-base-zh-v3-1792d — плотная модель семейства BERT от разработчика Infgrad, предназначенная для получения векторных представлений текста и поиска семантически близких предложений. Её можно загружать через Sentence Transformers; README описывает её как универсальный кодировщик для китайского текста. Размер по метаданным — 129,5 млн параметров, контекст — до 1024 токенов; в карточке модели указаны 1792 измерения эмбеддинга и максимум 512 токенов. Модель подходит для семантического поиска, сопоставления предложений и построения текстовых эмбеддингов для retrieval-систем. README сообщает результат 67,96 на C-MTEB. Для длинных текстов автор рекомендует разбиение на фрагменты; для классификационных задач эмбеддинги следует нормализовать. Лицензия — MIT.
tcepi/sts_bertimbau — модель Sentence Transformers, дообученная на базе neuralmind/bert-base-portuguese-cased. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения текстов по косинусному сходству. Архитектура включает BERTimbau Base с mean pooling; максимальная длина входа — 512 токенов. Модель предназначена для семантического сходства текстов, семантического поиска, поиска перефразировок, классификации и кластеризации текстов на португальском языке. Она выдаёт эмбеддинги, которые можно использовать в поисковых системах и других задачах сравнения текстов. Лицензия в предоставленных данных не указана.
MiniMaxAI/SynLogic-Mix-3-32B — языковая модель MiniMaxAI для многоэтапных рассуждений в логике, математике и программировании. Она основана на Qwen2.5-32B-Base и дообучена методом Zero-RL на смеси проверяемых задач: логике из SynLogic, математике и коде. Веса имеют плотную архитектуру Qwen2, размер модели — 32 млрд параметров, максимальный контекст — 131 072 токена. Модель генерирует текст; карточка указывает поддержку английского языка и интерфейс для диалога и вызова инструментов. По описанию автора, модель обучалась без этапа instruction tuning, только с подкреплением от базовой модели. Приведённые результаты охватывают бенчмарки логического рассуждения, математики, программирования и общих знаний; автор сообщает об улучшениях при добавлении логических данных. Это специализированный чекпойнт для задач рассуждения, а README не приводит полную таблицу результатов для этой версии. Лицензия — MIT.
atasoglu/turkish-mini-bert-uncased-mean-nli-stsb-tr — модель Sentence Transformers на основе BERT, дообученная для получения векторных представлений предложений и абзацев на турецком языке. Она преобразует текст в плотные эмбеддинги размерности 256 для семантического поиска, сравнения предложений и кластеризации. Базовая модель — ytu-ce-cosmos/turkish-mini-bert-uncased; при дообучении использованы наборы данных nli_tr и emrecan/stsb-mt-turkish. Модель содержит 12,4 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch по лицензии MIT. Тексты для модели следует предварительно приводить к нижнему регистру; авторы указывают заменять заглавную турецкую I на ı перед применением lower().
Модель unsup-simcse-bert-base-uncased разработана группой Princeton NLP и представляет собой BERT-base-uncased, дообученный методом unsupervised SimCSE для получения векторных представлений предложений. Она предназначена для извлечения признаков и построения эмбеддингов, которые можно использовать в задачах семантического сходства и последующей обработки текста. Модель содержит 136,7 млн параметров, принимает текст на английском языке и поддерживает контекст до 512 токенов. Опубликованы варианты весов PyTorch и Flax. README указывает, что для обучения использовались случайно выбранные предложения из англоязычной Википедии; оценивание эмбеддингов проводилось на задачах семантического сходства и переноса на другие задачи. README не приводит лицензию. Эмбеддинги могут отражать вредные стереотипы и предубеждения, поэтому результаты следует проверять с учётом возможного смещения.
victormuryn/use-translation-no-pt — модель эмбеддингов предложений из коллекции украинских Sentence Embeddings. Она дообучена методом контрастивного обучения на украинском корпусе UberText 2.0 с аугментацией обратным переводом без целевых текстов пула; исходная архитектура — XLM-RoBERTa, используемая через Sentence Transformers. Модель преобразует предложения и абзацы в векторы для семантического сравнения и поиска. В README показан пример кодирования украинских предложений; каталог также отмечает многоязычную поддержку и контекст длиной до 514 токенов. Распространяется по лицензии Apache-2.0.
Это модель Sentence Transformers, дообученная автором tintnguyen на вьетнамской bi-encoder-модели bkai-foundation-models/vietnamese-bi-encoder. Она использует архитектуру RoBERTa с mean pooling, содержит 162,4 млн параметров и преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения по косинусному сходству. Максимальная длина последовательности составляет около 256 токенов. Модель предназначена для поиска семантически близких текстов на вьетнамском языке: семантического поиска, оценки сходства предложений, поиска перефразировок, кластеризации и классификации текста. В обучении использовались пары запросов и релевантных текстов с MultipleNegativesRankingLoss; обучающая выборка содержала около 1,58 млн примеров. Для применения нужны тексты, а результатом служат векторные представления. Лицензия в предоставленных данных не указана.
WeMM-Embedding-2B-GGUF — GGUF-квантизированная версия мультимодальной модели эмбеддингов tencent/WeMM-Embedding-2B. Модель предназначена для преобразования текста, изображений и видео в векторные представления, которые можно использовать для семантического поиска, сравнения смысловой близости, кластеризации и других задач, основанных на эмбеддингах. Для мультимодального ввода требуется отдельный визуальный проектор mmproj-WeMM-Embedding-2B-BF16.gguf. Модель поддерживается в llama.cpp и доступна в вариантах BF16, Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и IQ3_M. Выходом служит L2-нормализованный вектор размерности 2048; заявлена поддержка matryoshka-размерностей 64, 128, 256, 512, 1024 и 2048. README не указывает точный контекст, список поддерживаемых языков и архитектурные детали базовой модели. Для запуска доступны командная утилита llama-embedding и OpenAI-совместимый HTTP-сервер llama-server. По результатам теста STS-B варианты Q8_0, Q6_K, Q5_K_M и IQ4_XS практически не уступают BF16 по качеству, поэтому подходят как компактные замены исходной версии. Q4_K_M демонстрирует небольшое снижение качества, а IQ3_M — наиболее заметную потерю точности и подходит главным образом при жёстких ограничениях по объёму хранения. Модель распространяется по лицензии Apache-2.0.
Xenova/all-mpnet-base-v2 — модель для извлечения признаков, представляющая собой ONNX-версию модели sentence-transformers/all-mpnet-base-v2. Репозиторий подготовлен Xenova для совместимости с библиотекой Transformers.js и запуска в JavaScript-средах, включая веб-приложения. Модель предназначена для преобразования текстовых входов в числовые представления, которые могут использоваться в задачах семантического поиска, сравнения текстов, кластеризации и других сценариях обработки естественного языка. В README приведён пример запуска через pipeline feature-extraction в Transformers.js. Из доступных данных известно, что используются ONNX-веса и поддерживается работа через Transformers.js. Размер модели, точная архитектура, языки, максимальная длина контекста, набор модальностей, показатели качества и лицензия в README не указаны. Отдельно отмечено, что размещение ONNX-весов в отдельном репозитории рассматривается как временное решение до более широкого распространения WebML.
allnli-GroNLP-bert-base-dutch-cased — модель Sentence-Transformers на основе BERT, предназначенная для получения плотных векторных представлений предложений и абзацев. Модель разработана для нидерландского языка и содержит 136,3 млн параметров; размерность выходных векторов — 768, максимальная длина контекста — 512 токенов. Векторы можно использовать для семантического поиска и кластеризации текстов. Модель обучалась с функцией потерь MultipleNegativesRankingLoss и косинусной мерой сходства. Она принимает текст и выдаёт эмбеддинги; для использования доступны Sentence-Transformers и Transformers с подходящей операцией pooling. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана. Модель ориентирована на нидерландский язык, поэтому качество для других языков не подтверждено.
Это арабоязычная модель Sentence Transformers от Omartificial-Intelligence-Space, дообученная на наборе arabic-n_li-triplet на основе tomaarsen/mpnet-base-all-nli-triplet. Архитектура MPNet формирует плотные векторы размерностью 768 для предложений и абзацев; сходство можно оценивать косинусной мерой. Максимальная длина входа — 512 токенов. Модель предназначена для семантического сравнения арабских текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Обучение на парах и тройках текстов и результаты оценки на STS-тестах поддерживают её применение для задач сходства, но качество зависит от данных и сценария. Распространяется по лицензии Apache-2.0.
Arabic-STS-Matryoshka — модель Sentence Transformers, разработанная на основе FacebookAI/xlm-roberta-large и дообученная для получения эмбеддингов арабских предложений и абзацев. Она кодирует текст в плотные векторы размерностью до 1024, а обучение с MatryoshkaLoss позволяет использовать также укороченные представления размерностью 786, 512, 128 или 64. Для сравнения векторов применяется косинусное сходство; максимальная длина входной последовательности — 512 токенов. Модель предназначена для оценки семантического сходства, семантического поиска, поиска перефразировок, классификации и кластеризации арабских текстов. В README приведён результат на sts-dev: Spearman по косинусному сходству — 0,8275. Модель принимает текст и выдаёт векторы; она не предназначена для генерации ответов. Лицензия — Apache-2.0.
bge-small-zh-v1.5-gguf — это модель для создания векторных представлений текста (embeddings), основанная на BAAI/bge-small-zh-v1.5. Репозиторий GGUF-файлов подготовлен Compendium Labs. Модель предназначена для семантического поиска, сравнения текстов, кластеризации, retrieval-сценариев и других задач, где требуются embedding-векторы. По названию и исходной модели она ориентирована на китайский язык, однако точный перечень поддерживаемых языков в README не указан. Модель доступна в форматах GGUF с представлениями F32, F16, Q8_0 и Q4_K_M; размеры файлов составляют примерно от 15 до 91 МБ. Она совместима с llama.cpp и llama-cpp-python, поддерживает получение embedding-векторов для одной строки или списка строк и автоматическую пакетную обработку. Архитектура, число параметров, размерность векторов, максимальная длина контекста и перечень модальностей в README не указаны; по представленным данным это текстовая, а не мультимодальная модель. К сильным сторонам относятся компактность, возможность локального запуска и ускорение на CPU при использовании квантованных вариантов: заявлено до 30% прироста скорости при минимальной потере точности. На GPU преимущество над ONNX описано как умеренное и зависящее от приложения, а из-за небольшого размера модели выгода от квантования может быть ограниченной. Лицензия — MIT, если соблюдаются её условия.
ByT5-large — предварительно обученная модель Google на архитектуре T5, работающая непосредственно с последовательностями UTF-8 байтов без токенизатора. Модель содержит около 1,2 млрд параметров и обучалась на mC4 с задачей маскирования фрагментов; supervised-обучение для прикладных задач не проводилось, поэтому перед использованием её нужно дообучить под целевую задачу. Модель предназначена для дообучения на задачах преобразования текста, особенно когда данные содержат опечатки, шум или нестандартное написание. Она поддерживает многоязычный текст и может быть полезна в сценариях, чувствительных к орфографии и произношению; в карточке отмечено превосходство над mT5-large на TweetQA. Работа с байтами избавляет от отдельного токенизатора, но последовательности обычно длиннее токенизированных, что может повышать вычислительные затраты. Лицензия — Apache-2.0.
nickprock/cross-encoder-italian-bert-stsb — модель на основе архитектуры BERT, обученная с помощью класса Cross-Encoder библиотеки Sentence Transformers. Она оценивает семантическое сходство пары предложений на итальянском языке, выдавая оценку от 0 до 1; обучалась на итальянском переводе набора STS Benchmark, обозначенном в метаданных как stsb_multi_mt. Модель содержит 137,1 млн параметров и принимает пары текстов длиной до 512 токенов контекста. Модель подходит для ранжирования результатов поиска по смысловому сходству и сравнения итальянских предложений. В отличие от двухбашенных энкодеров, Cross-Encoder совместно обрабатывает оба текста, поэтому оценка относится к конкретной паре и может использоваться для переранжирования кандидатов. Базовая модель — dbmdz/bert-base-italian-uncased. Распространяется по лицензии MIT.
MJPansa/DeepSeek-V4-Flash-0731-NVFP4 — общественная конверсия официальной модели DeepSeek-V4-Flash-0731, разработанной DeepSeek. Конверсия сохраняет архитектуру, токенизатор, DSpark/MTP-конфигурацию, механизм внимания, shared experts, router, head и прочие компоненты исходной модели, изменяя представление весов маршрутизируемых экспертов на NVIDIA-style NVFP4. Репозиторий не связан с DeepSeek или NVIDIA и не является их официальным продуктом. Модель предназначена для сложных задач программирования, разработки с агентами, работы с инструментами, автоматизации, терминальных сценариев, математики, Triton, CUDA/Nsight и научных задач. Она относится к MoE-архитектурам и содержит 43 основных transformer-слоя; в структуру включён модуль speculative decoding. В README не указаны общий и активный размер модели, поддерживаемые языки и точный перечень модальностей. Заявлен максимальный контекст до 250 000 токенов в протестированной конфигурации. Сильная сторона версии — компактное представление маршрутизируемых экспертных весов NVFP4 при сохранении исходных 4-битных значений и проверенной совместимости с vLLM на двух системах NVIDIA DGX Spark с tensor parallelism. Работоспособность подтверждена загрузкой и базовой генерацией через OpenAI-compatible API, но это не является сертификацией производительности; протестированный eager-режим показал низкую скорость декодирования. Для запуска требуется совместимая инфраструктура NVIDIA, распределённая конфигурация vLLM и специальное кодирование сообщений, поскольку Jinja-шаблон чата не включён. Лицензия — MIT.
denniscraandijk/dutch-english-multilingual-e5-large-instruct — сжатая удалением параметров версия multilingual-e5-large-instruct, созданная с помощью mtem-pruner для задач на нидерландском языке. Модель на архитектуре XLM-RoBERTa содержит 450,6 млн параметров и формирует плотные текстовые эмбеддинги для семантического поиска, извлечения релевантных фрагментов и сравнения предложений. Она рассчитана прежде всего на нидерландский; README также указывает английский в названии, но не подтверждает его качество. Контекст — до 514 токенов. По данным карточки, модель на 37,2% меньше исходной и должна сохранять близкое качество на нидерландских задачах при меньших требованиях к памяти. Удаление токенов из словаря может ухудшить работу на других языках исходной многоязычной модели. Модель распространяется по лицензии MIT.
Finnish ModernBERT tiny — компактная предобученная модель-энкодер архитектуры ModernBERT, разработанная TurkuNLP. Модель содержит 51 млн параметров и обучена на 447,9 млрд токенов. Она рассчитана на финский, шведский, английский, северносаамский, латинский языки и код; метаданные указывают языки fi, sv и en. Для задачи заполнения пропусков заявлен контекст 16 000 токенов, а в карточке отмечена теоретическая возможность экстраполяции до 128 000 токенов. Модель подходит для предсказания скрытых токенов, анализа текста и получения контекстных представлений, в том числе для задач поиска по текстам. В оценках семейство моделей показало конкурентные результаты на коротких задачах понимания финского, шведского и английского языков, а также сильные результаты в поиске вне обучающего домена. Обучение проводилось на суперкомпьютере LUMI на разнообразных текстовых данных. Модель распространяется по лицензии Apache-2.0. В обучающих данных могли присутствовать предвзятые и вредоносные материалы, не проводилась фильтрация токсичного или оскорбительного содержания; выходы и представления модели следует оценивать с учётом возможного влияния на уязвимые группы.
German_Semantic_V3 — модель эмбеддингов предложений, созданная Аароном Чиббом на основе gbert-large от deepset. Она предназначена для получения векторных представлений немецких текстов и сравнения их семантической близости, в том числе для длинных текстов и запросов о Германии. Модель использует архитектуру JinaBert и CLS-пулинг; объём параметров — 434,5 млн, контекст — до 8192 токенов. Модель обучена только для немецкого языка и рассчитана на тексты с немецким культурным контекстом. Matryoshka-обучение позволяет сокращать размер эмбеддингов с 1024 до 64 измерений; при уменьшении размерности качество может снижаться. По README, V3 лучше подходит для длинных текстов и учитывает более новые события, но уступает версии V3b в некоторых бенчмарках; численные результаты оценки пока не приведены. Лицензия — Apache 2.0.
Indonesia Islamic Sentence-BERT — модель Sentence Transformers на базе BERT, дообученная авторами репозитория ramadita на firqaaa/indo-sentence-bert-large. Она преобразует предложения и абзацы на индонезийском языке в плотные эмбеддинги размерностью 2048 для сравнения смысловой близости, семантического поиска, поиска перефразировок и кластеризации. Архитектура включает BertModel и слои pooling; максимальная длина входа — 512 токенов, для сравнения эмбеддингов предусмотрена косинусная близость. Модель также можно применять для классификации текста на основе эмбеддингов. В README приведены результаты TripletEvaluator на dev- и test-наборах, однако они не гарантируют качество на других данных и сценариях. Модель принимает текст и выдаёт векторные представления; опубликована под лицензией Apache-2.0.
ddobokki/klue-roberta-base-nli-sts-ko-en — модель эмбеддингов предложений на основе архитектуры RoBERTa, дообученная на данных NLI и STS для корейского и английского языков. Она предназначена для получения векторных представлений текстов и вычисления семантического сходства, например, для сравнения запроса с набором предложений по косинусному сходству. Модель содержит 137,8 млн параметров и принимает последовательности длиной до 514 токенов. Модель подходит для поиска семантически близких предложений и сопоставления текстов на корейском и английском. Карточка демонстрирует сравнение корейского запроса с английскими и корейскими предложениями. Доступна в форматах PyTorch и safetensors. Лицензия в предоставленных данных не указана.
jhgan/ko-sbert-nli — модель Sentence-Transformers на архитектуре BERT, обученная для получения плотных векторных представлений предложений и абзацев. Она предназначена для поиска семантически близких текстов, кластеризации и сравнения сходства. Модель содержит 137,8 млн параметров, формирует векторы размерности 768 и принимает последовательности длиной до 512 токенов. Модель обучена на корейском наборе KorNLI с MultipleNegativesRankingLoss и оценивалась на KorSTS. В README приведены результаты корреляции для косинусной меры сходства: Pearson 82,24 и Spearman 83,16. Поддерживаются PyTorch и TensorFlow. Карточка не сообщает лицензию.
KR-SBERT-V40K-klueNLI-augSTS — модель семейства Sentence-BERT на архитектуре BERT, представленная SNUNLP. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения семантического сходства, поиска по смыслу и кластеризации. Модель также подходит для классификации документов; в приведённом в карточке сравнении она достигла точности 0,8628. Модель содержит 144 млн параметров, принимает текст и поддерживает контекст длиной до 512 токенов. Карточка и метаданные указывают корейский язык. Для применения доступны веса PyTorch и библиотека Sentence-Transformers. Лицензия в предоставленных данных не указана.
nikitast/lang-classifier-roberta — модель классификации текста по языку, созданная дообучением RoBERTa. Она принимает текст и определяет, к одному из поддерживаемых языков он относится: русскому, украинскому, белорусскому, казахскому, азербайджанскому, венгерскому, армянскому, грузинскому, ивриту, английскому или немецкому. Модель основана на XLM-RoBERTa, содержит около 305,2 млн параметров и рассчитана на последовательности длиной до 514 токенов. Модель дообучена на небольших выборках Open Subtitles, OSCAR и Tatoeba — примерно по 9 тысяч примеров на язык. В README приведены результаты проверки на отдельных выборках примерно по тысяче примеров на язык; для показанных классов F1 составляет от 0,976 до 0,998. Размер обучающих выборок ограничивает уверенность в качестве на текстах, которые отличаются от использованных данных. Репозиторий содержит веса PyTorch; сведения о лицензии в доступных данных отсутствуют.