I.3Извлечение и структурирование данных
В разделе собраны самостоятельные задачи, где AI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
25 791 модельichko/redis-langcache-v1-test — дообученная модель Sentence Transformers на базе redis/langcache-embed-v1 от Redis. Она использует ModernBERT с пуллингом CLS-токена и преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения текстов по косинусному сходству. Максимальная длина последовательности — 8192 токена. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текста, а также для других задач, где нужны векторные представления текстов. Лицензия в предоставленных данных не указана.
Карточка модели Barleysack/rtdb_embedder на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.
sergeyzh/rubert-mini-uncased — компактная BERT-модель автора sergeyzh для получения эмбеддингов предложений на русском и английском языках. Она создана дистилляцией эмбеддингов ai-forever/FRIDA: модель имеет 7 слоёв, размер эмбеддинга 384 и контекст до 512 токенов. Веса доступны в формате safetensors, лицензия — MIT. Модель предназначена для оценки семантического сходства предложений, поиска и сравнения текстов, а также задач классификации и кластеризации на основе эмбеддингов. README указывает поддержку префиксов FRIDA, включая search_query: и search_document:, и приводит результаты по STS, идентификации перефразирований, выводу по тексту, анализу тональности и выявлению токсичности. Модель uncased: регистр букв не влияет на токенизацию. В приведённых сравнениях она уступает FRIDA по ряду метрик; максимальная длина контекста ограничена 512 токенами.
Semantic Highlight Bilingual — модель Zilliz для семантического выделения релевантных предложений в тексте по запросу. Она дообучена на базе BAAI/bge-reranker-v2-m3 и использует архитектуру OpenProvence с весами в формате safetensors. Модель принимает запрос и текстовый контекст, оценивает релевантность токенов, агрегирует оценки по предложениям и возвращает релевантные предложения и показатели сжатия текста. Предназначена для подсветки результатов поиска и сокращения контекста в системах RAG. Модель поддерживает китайский и английский языки. В README указаны размер около 0,6 млрд параметров и вывод за миллисекунды; порог релевантности можно настраивать. Лицензия — MIT. Размер и скорость приведены в карточке модели; фактическая производительность зависит от оборудования и параметров инференса.
hunkim/sentence-transformersklue-bert-base — модель семейства BERT, представленная в формате Sentence-Transformers. Она кодирует предложения и абзацы в плотные векторы размерности 768 для сравнения смысла, семантического поиска и кластеризации. Модель содержит 137,8 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Модель обучена с функцией CosineSimilarityLoss и рассчитана на получение эмбеддингов текста. Её можно применять для поиска похожих фрагментов и группировки текстов; в Transformers поверх контекстных представлений требуется использовать подходящий pooling. Репозиторий содержит веса PyTorch. Языковая специализация и лицензия в предоставленных данных не указаны.
CultriX/SeQwence-14B-EvolMerge — объединённая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом DARE TIES. В слиянии использованы CultriX/SeQwence-14Bv1 как базовая модель, а также CultriX/Qwestion-14B и CultriX/Qwen2.5-14B-Wernicke. Модель содержит 14 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие; доступен интерфейс для вызова инструментов. Модель принимает текст и выдаёт текст. Заявленный родной размер контекста — до 131 072 токенов. В метаданных указан английский язык, поэтому её можно применять для англоязычных запросов и диалогов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.
SImi-2B — генеративная языковая модель, разработанная Dakuwon Moody. Это публичное распространение только весов модели SImiModel без исходного кода архитектуры, обучающего кода и полного внутреннего дерева восстановления. Модель предназначена для генерации текста, следования инструкциям, агентских сценариев и использования инструментов, включая задачи с tool use и function calling. Модель представляет собой decoder-only causal language model в стиле Llama, реализованную на JAX/Flax. Она содержит примерно 2,32 млрд параметров, 30 слоёв, скрытую размерность 2560, GQA с 20 query heads и 4 KV heads, RoPE, RMSNorm и SwiGLU. Используется untied token embedding и LM head, токенизатор GPT-2 BPE с 50 257 токенами и максимальная длина последовательности 1024 токена. Вычисления и веса имеют тип bfloat16. В README указан английский язык модели. Сильными сторонами являются обучение на полноразмерных потоках данных для инструкционного, агентского и инструментального использования, а также компактный размер по сравнению с крупными языковыми моделями. Ограничения включают отсутствие поддержки hosted inference, отсутствие исходного кода и несовместимость с Transformers AutoModel.from_pretrained; для восстановления требуются JAX/Flax и специфические процедуры работы с Orbax. Модель обучалась на AMD Instinct MI300X. Распространяется по лицензии Apache-2.0.
JatinkInnovision/snowflake-arctic-embed-l-v2.0_all-nli — модель Sentence Transformers, дообученная на наборе all-nli на основе Snowflake/snowflake-arctic-embed-l-v2.0. Она преобразует предложения и абзацы на английском языке в плотные векторы размерности 1024; архитектура включает XLM-RoBERTa, пулинг CLS-токена и нормализацию. Максимальная длина последовательности — 8192 токена, сходство векторов можно оценивать косинусной мерой. Модель предназначена для семантического поиска, сравнения текстов и поиска перефразировок. Также её можно применять для кластеризации и классификации текстов на основе эмбеддингов. В README приведена точность cosine_accuracy 0,9558 на TripletEvaluator для all-nli-test. Для использования нужны Sentence Transformers или совместимая среда инференса эмбеддингов. Метаданные указывают лицензию не указывают; условия лицензии по предоставленным данным определить нельзя. Оценка на all-nli не гарантирует качество на других языках и предметных областях.
Solar Open2 250B — Nota NVFP4 — это 4-битная квантованная версия большой языковой модели Solar Open2 250B, разработанной Upstage и подготовленной Nota AI с использованием собственной технологии квантования Mixture-of-Experts (MoE). Модель предназначена для генерации текста и может обслуживать задачи рассуждения, программирования, следования инструкциям, работы с англоязычными и корейскоязычными заданиями, а также другие сценарии применения больших языковых моделей. В заявленных метаданных указаны английский, корейский и японский языки; модальность — текстовая. Размер контекста в README не указан. Модель использует формат NVFP4 с 4-битным квантованием весов и активаций (W4A4), group_size=16 и упаковкой compressed-tensors для прямого запуска через vLLM. Заявленный объём весов составляет 153,3 ГБ против 500,6 ГБ у версии BF16. Ключевое преимущество — существенно меньшие требования к памяти и более высокая пропускная способность при близком к BF16 качеству на приведённых тестах; средний результат составил 81,35 против 81,57 у BF16. Ограничение — необходимость GPU архитектуры NVIDIA Blackwell с поддержкой FP4 tensor cores, например B200 или GB200; Hopper, Ada и Ampere не поддерживаются. Для развёртывания требуется vLLM и Blackwell-класс GPU. Модель распространяется по лицензии Upstage Solar License. Для производных моделей указаны требования использовать префикс Solar в названии, размещать заметную атрибуцию «Built with Solar» в публичных материалах и включать копию лицензии Upstage Solar.
Myric/Spark-X2.5-4B-GGUF — это GGUF-конверсия модели XHToken/Spark-X2.5-4B, предназначенная для генерации текста и работы в сценариях рассуждений, включая агентное программирование. Модель выпускается в нескольких вариантах точности и квантования для запуска через llama.cpp. Модель имеет плотную архитектуру примерно на 4,11 млрд параметров, 36 слоёв, скрытое пространство размером 2560, 16 query-heads и 4 KV-heads. Она использует чередующееся sliding-window attention: 27 слоёв с окном 512 токенов и 9 слоёв с полным вниманием. Заявлен максимальный контекст до 1 048 576 токенов, однако качество на таком контексте в README не измерялось. Модель поддерживает текстовую модальность, имеет словарь на 131 072 токена и выдаёт блок рассуждений. Сильными сторонами являются сравнительно низкие требования к памяти при длинном контексте, наличие вариантов от BF16 до Q4_K_M и оптимизация квантований с importance matrix. Для запуска требуется специально пропатченная ветка llama.cpp с поддержкой архитектуры spark2_5; стандартная upstream-версия не загрузит модель. Необходимо явно задавать размер контекста, иначе может быть предпринята попытка выделить память под полный контекст в 1 млн токенов. Производительность и результаты в README измерены на ограниченном наборе задач, поэтому их нельзя считать универсальными оценками. Модель и конверсия распространяются по лицензии Apache-2.0.
Speechless Code Mistral Orca 7B v1.0 — языковая модель на архитектуре Mistral с 7,1 млрд параметров, опубликованная uukuguy. Это дообучение Open-Orca/Mistral-7B-OpenOrca на наборе из 201 981 примера: данные охватывают программирование, рассуждения и планирование, включая примеры Python и SQL. Модель предназначена для генерации кода и диалоговых ответов на текстовые инструкции; заявленная длина контекста — 32 768 токенов. В карточке приведён результат 47,561 на HumanEval Python, а также оценки ARC, HellaSwag и MMLU. Они описывают результаты автора и не гарантируют качество на других задачах. Модель распространяется с лицензией Llama 2; перед применением следует соблюдать её условия.
Star-Command-R-Lite-32B-v1 — плотная языковая модель на 32,3 млрд параметров, полученная автором репозитория методом SLERP-слияния Star-Command-R-32B-v1 и Cohere Command R от Cohere. Она предназначена для генерации текста и диалогового общения; метаданные также указывают интерфейс вызова инструментов. Модель работает через Transformers, использует формат safetensors и поддерживает контекст до 131 072 токенов. Слияние призвано смягчить поведение Star-Command-R и сохранить больше характеристик Command R. Это позволяет использовать модель для диалогов, генерации текста и сценариев с вызовом инструментов. Карточка не сообщает лицензию и не уточняет поддерживаемые естественные языки, поэтому эти характеристики здесь не приводятся.
stella_en_400M_v5 — англоязычная модель эмбеддингов от автора stella, обученная на основе Alibaba-NLP/gte-large-en-v1.5 и Alibaba-NLP/gte-Qwen2-1.5B-instruct. Она предназначена для поиска релевантных фрагментов по запросу, оценки семантического сходства предложений и извлечения текстовых признаков в системах поиска и RAG. Модель содержит 433,9 млн параметров, принимает текст и выдаёт векторы размерностью 512, 768, 1024, 2048, 4096, 6144 или 8192. Для поиска по запросу и сравнения текстов предусмотрены отдельные шаблоны инструкций; автор рекомендует длину последовательности 512 токенов, хотя контекст модели составляет 8192 токена. Модель доступна в форматах PyTorch и safetensors и распространяется по лицензии MIT. В README отмечена хорошая производительность на MTEB, но результаты на специализированных задачах поиска по длинным текстам могут быть слабыми. Подробности обучения и датасеты на момент публикации README не раскрыты.
sdadas/st-polish-paraphrase-from-mpnet — польская модель Sentence-Transformers, разработанная SDadas. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска семантически близких текстов, кластеризации и сравнения перефразировок. Архитектура основана на RoBERTa; модель содержит 151,6 млн параметров и принимает последовательности длиной до 514 токенов. Модель подходит для семантического поиска по польским текстам, группировки похожих документов и оценки сходства предложений. Для использования через Hugging Face Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов. Опубликована под лицензией LGPL.
SuperGemma4 E4B Abliterated — производная от Google Gemma 4 E4B Instruct модель Jiunsong для генерации текста в диалоге. По данным карточки, модель прошла абляцию и дополнительную настройку для улучшения форматирования, качества кода и исправления ошибок, структурированных JSON-ответов и скорости первого токена. Метаданные указывают архитектуру Gemma4ForConditionalGeneration и поддержку чата, следования инструкциям и интерфейса вызова инструментов; исходная Gemma 4 E4B также описана как мультимодальная модель для анализа изображений и обработки аудио, однако в метаданных этой модели подтверждена только задача text-generation. Разработчик позиционирует её для помощников по программированию и отладке, выдачи JSON по схеме и серверных агентных сценариев. В README приведены высокие результаты внутренних оценок, но методика и независимая проверка не описаны, поэтому их нельзя считать гарантией качества. Карточка называет релиз приватным; лицензия указана как Gemma. Ослабление отказов от ответов может влиять на поведение модели в чувствительных сценариях.
princeton-nlp/sup-simcse-bert-base-uncased — модель Princeton NLP для получения эмбеддингов предложений методом SimCSE. Это BERT-base, дообученный с учителем на парах из наборов данных для вывода на естественном языке: пары следствий используются как положительные примеры, а противоречия — как сложные отрицательные. Модель содержит 136,7 млн параметров, принимает текстовые токены и поддерживает контекст до 512 токенов. Модель предназначена для сравнения смысловой близости предложений, поиска семантически похожих текстов и извлечения признаков текста. Разработчики приводят средний результат 81,57 на задачах семантического сходства предложений (STS). Суффикс uncased указывает на регистр-независимую обработку английского текста. Это текстовый энкодер, а не генеративная модель; сведений о лицензии в предоставленных метаданных и использованных источниках нет.
Tien09/tiny_bert_ft_sim_score — дообученная модель Sentence Transformers на базе prajjwal1/bert-tiny, созданная для сравнения сходства английских предложений и текстовых фрагментов. Она кодирует каждый текст в плотный вектор размерности 128; сходство векторов оценивается косинусной мерой. Модель обучена на наборе pair_similarity из 8 959 примеров и принимает последовательности длиной до 512 токенов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации текстов, сравнения пар предложений и классификации на основе эмбеддингов. Архитектура объединяет BertModel и mean pooling. Репозиторий использует формат safetensors, библиотеку sentence-transformers и лицензию Apache-2.0. README содержит несоответствие в заголовке, где упомянут MPNet и AllNLI, тогда как основное описание и метаданные указывают на дообучение bert-tiny на pair_similarity.
omarelsayeed/tsdae_small_40mb — модель на базе BERT, опубликованная в формате PyTorch и обученная с помощью Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 256 для сравнения их смыслового сходства. Модель подходит для семантического поиска, группировки текстов и других сценариев, где нужно находить близкие по смыслу предложения или документы. Архитектура содержит 12,4 млн параметров, максимальная длина контекста — 512 токенов. Для использования доступны Sentence-Transformers и Hugging Face Transformers с соответствующей операцией pooling. В карточке указано обучение с DenoisingAutoEncoderLoss. Языки обучения или поддержки и лицензия в предоставленных данных не подтверждены. Ограничение контекста — 512 токенов; README не сообщает результатов оценки качества.
Карточка модели swardiantara/two-stage-cdk10-MiniLM-L6-v2 на Hugging Face совпадает с карточкой swardiantara/two-stage-k10-MiniLM-L6-v2, поэтому описание составлено по ней. swardiantara/two-stage-k10-MiniLM-L6-v2 — модель Sentence-Transformers на архитектуре BERT, преобразующая предложения и абзацы в плотные векторы размерности 384. Её можно применять для семантического поиска и кластеризации текстов, а также сравнивать смысловую близость предложений. Модель содержит 25,9 млн параметров и принимает последовательности длиной до 512 токенов. Модель обучалась с ContrastiveLoss, использующей косинусное расстояние. В карточке не указаны языки обучения и оценки качества, поэтому нельзя подтвердить её пригодность для конкретного языка или домена. Файлы представлены в формате safetensors; лицензия в предоставленных данных не указана.
Sakalti/ultiima-108B — языковая модель для генерации текста, созданная автором репозитория с помощью mergekit из слоёв Sakalti/ultiima-72B. Использован метод passthrough: в итоговую модель включены диапазоны слоёв базовой модели, а веса записаны в формате float16. Архитектура — плотная Qwen2ForCausalLM с 106,6 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для диалогов и генерации текста; метаданные также указывают интерфейс вызова инструментов. Лицензия обозначена как other, поэтому условия использования следует уточнять по карточке репозитория. README описывает способ сборки, но не приводит оценки качества или подробные ограничения применения.
Yi-1.5-34B-Chat-16K-GGUF — GGUF-квантизированная версия диалоговой языковой модели Yi-1.5-34B-Chat-16K, разработанной 01-ai и квантизированной компанией Second State Inc. Модель предназначена для генерации текста и ведения диалогов, включая локальное развёртывание через LlamaEdge. Она использует архитектуру Yi, поддерживает шаблон запросов ChatML и контекст длиной до 16 384 токенов. Доступны варианты с точностью от 2 до 16 бит и размером файлов примерно от 12,8 до 36,5 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с очень небольшой потерей качества. Более сильное сжатие уменьшает требования к памяти, но приводит к заметной потере качества; полноформатные F16-файлы требуют существенно больше ресурсов. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Модель распространяется по лицензии yi-license; подробные условия приведены в файле LICENSE. Для работы требуется совместимый рантайм, например LlamaEdge версии 0.10.0 или выше, с использованием соответствующего GGUF-файла.
Zamba2-7B-Instruct — диалоговая языковая модель Zyphra, дообученная на наборах данных для следования инструкциям и общения на основе Zyphra/Zamba2-7B. Это плотная гибридная архитектура, сочетающая слои пространства состояний Mamba2 с блоками внимания Transformer; общие веса внимания и LoRA-проекции помогают ограничить дополнительные параметры. В метаданных указано 16,8 млрд параметров, а базовый контекст составляет 4096 токенов. Модель предназначена для генерации ответов в чате, выполнения инструкций, рассуждений и других задач общего назначения. В README описан экспериментальный режим контекста до 16 тысяч токенов с резким снижением качества примерно после 18 тысяч. Разработчик заявляет о низкой задержке генерации и меньших затратах памяти по сравнению с сопоставимыми трансформерными моделями, однако оптимизированные ядра Mamba2 требуют отдельной установки; без них задержка и расход памяти значительно выше. Также README предупреждает о временной реализации Hugging Face, совместимость которой с некоторыми инструментами может быть неполной. Лицензия — Apache-2.0.
Карточка модели JaehyeokLee/20m_em_checkpoint_epoch_1_step_3440 на Hugging Face совпадает с карточкой BAAI/bge-m3-unsupervised, поэтому описание составлено по ней. BAAI/bge-m3-unsupervised — мультиязычная модель эмбеддингов от BAAI на архитектуре XLM-RoBERTa с 658,7 млн параметров. Она обучена контрастивным методом на основе BAAI/bge-m3-retromae и предназначена для поиска по текстам и документам, включая сценарии RAG. Модель формирует плотные эмбеддинги, а также поддерживает разреженные представления с весами токенов и многовекторные представления в стиле ColBERT. Модель поддерживает более 100 языков и принимает последовательности длиной до 8192 токенов; размерность плотного эмбеддинга — 1024. Её можно применять для многоязычного, межъязыкового и длиннодокументного поиска, а также для вычисления сходства текстовых пар. Для гибридного поиска её разреженные и плотные представления можно сочетать с BM25, а после извлечения результатов использовать отдельную модель reranker. По данным карточки, BGE-M3 может уступать моделям, специально обученным для поиска на одном языке. Для работы с разреженными представлениями поддержка библиотек ограничена. Лицензия — MIT.
gte-tiny — компактная модель для получения эмбеддингов предложений и абзацев, опубликованная avsolatorio. Она основана на архитектуре BERT, содержит 25,9 млн параметров и преобразует текст в плотные векторы размерности 384. Модель дистиллирована из thenlper/gte-small; по данным карточки, её качество сопоставимо с базовой моделью, но немного ниже при примерно вдвое меньшем размере. Эмбеддинги подходят для семантического поиска, кластеризации и сравнения сходства предложений. Контекст модели — 512 токенов. Для использования доступны веса safetensors; README описывает работу через Sentence-Transformers или Transformers с соответствующей операцией pooling. Сведения о лицензии и поддерживаемых языках в предоставленных данных отсутствуют.
Это англоязычная модель Sentence Transformers, созданная сообществом overfitting-co путём дообучения sentence-transformers/all-MiniLM-L6-v2 на 4 505 парах предложений с контрастивной функцией потерь. Энкодер на архитектуре BERT преобразует предложения и абзацы в нормализованные плотные векторы размерности 384; сходство между ними оценивается косинусной мерой. Метаданные указывают размер модели 25,9 млн параметров и контекст до 512 токенов, а карточка README заявляет максимальную длину последовательности 256 токенов. Модель предназначена для семантического сравнения текстов, поиска по смыслу, поиска перефразировок, кластеризации и классификации текстов на основе векторов. Её можно применять для подбора похожих предложений и построения семантического поиска. В README приведены высокие значения точности и F1 на бинарной оценке сходства, однако они относятся к указанным в карточке оценочным наборам и не гарантируют такого же качества на других данных. Опубликованы форматы Safetensors и ONNX; библиотека — Sentence Transformers. Лицензия в предоставленных данных не указана.
Albatrox7B — объединённая языковая модель на архитектуре Mistral, созданная сообществом с помощью mergekit. Она получена методом SLERP из NousResearch/Nous-Hermes-2-Mistral-7B-DPO и mlabonne/AlphaMonarch-7B; в репозитории указана конфигурация bfloat16. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на инструкции и рассуждения. Число параметров — 7,1 млрд, заявленный контекст — до 32 768 токенов. Лицензия и поддерживаемые языки в предоставленных данных не указаны.
AtesiT/all-MiniLM-L6-v2-ru-adapted — русскоязычная доменно-адаптированная модель на базе sentence-transformers/all-MiniLM-L6-v2, созданная автором AtesiT для семантического поиска. Это энкодер предложений архитектуры BERT с 25,9 млн параметров: он преобразует текст в эмбеддинги размерностью 384, пригодные для сравнения по семантической близости. Модель принимает текст, поддерживает русский язык и рассчитана на последовательности длиной до 512 токенов по метаданным; в README указано ограничение 256 токенов. Модель дообучена на русских парафразах из deepvk/ru-HNP с TripletLoss. Её можно применять для поиска похожих фраз и документов, ранжирования кандидатов по сходству и построения семантического поиска по коллекциям русскоязычных текстов. Лицензия — Apache-2.0. Качество дообученной версии в README ещё не оценено: приведены только низкие результаты базовой модели на rubq-retrieval. Обучение охватывало 20 тысяч примеров и три эпохи, а различие между обучающими парафразами и задачами поиска по QA может ограничивать перенос качества.
deepset/all-mpnet-base-v2-table — модель эмбеддингов предложений на основе MPNet, выпущенная компанией deepset. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для сравнения смысловой близости, семантического поиска и кластеризации текстов. Модель содержит 136,7 млн параметров и поддерживает контекст до 514 токенов. Обучение использовало MultipleNegativesRankingLoss с косинусной функцией сходства. Векторы можно применять для ранжирования текстов по смысловой близости и поиска похожих фрагментов. Модель принимает текст и выдаёт векторные представления; сведений о специализации на конкретном языке в карточке нет. Лицензия в предоставленных данных не указана.
LazarusNLP/all-nusabert-large-v4 — модель эмбеддингов предложений на базе архитектуры BERT, выпущенная LazarusNLP и реализованная на Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 для сравнения смысловой близости, семантического поиска и кластеризации. Модель обучалась с функцией CachedMultipleNegativesRankingLoss и косинусным сходством; поддерживает контекст до 512 токенов и содержит 435,5 млн параметров. Модель подходит для построения поиска по смыслу и сопоставления индонезийских текстов, включая поиск документов, кластеризацию и задачи сходства предложений. В карточке указаны обучающие наборы данных для индонезийских задач и многоязычного NLI, но полный перечень поддерживаемых языков не приведён. Лицензия в предоставленных данных не указана.
pritamdeka/assamese-bert-nli-v2 — модель Sentence Transformers на архитектуре BERT, дообученная на sentence-transformers/all-nli от базовой модели l3cube-pune/assamese-bert. Она преобразует предложения и абзацы в плотные векторы размерности 768, которые можно сравнивать косинусной мерой сходства. Модель рассчитана на семантический поиск, оценку сходства текстов, поиск перефразирований, кластеризацию и классификацию текстов. Модель принимает текст на английском языке, использует среднее объединение токенных представлений и поддерживает последовательности длиной до 512 токенов. В README приведены оценки Spearman 0,8483 на STS-dev и 0,823 на STS-test. Для эмбеддингов длиннее лимита контекста потребуется обрезка или разбиение текста; заявленная языковая специализация — английский, несмотря на название базовой модели. Лицензия в предоставленных данных не указана.