II.8Инженерия данных и аналитика

CrystalChat — англоязычная инструкцияная языковая модель от LLM360 из серии Pebble, дообученная на основе LLM360/Crystal с контрольной точки CrystalCoder второго этапа. Модель имеет плотную архитектуру CrystalCoder, совместимую по описанию с LLaMA-7B, и рассчитана на генерацию текста по инструкциям, диалог и задачи программирования. Контекст модели составляет 2048 токенов; доступен формат PyTorch. Модель обучалась на смесях диалоговых, общих инструкционных и кодовых данных, включая наборы SlimOrca, ShareGPT, CodeAlpaca и данные по программированию; в обучении также использован созданный LLM360 набор инструкций по HTML. В карточке приведены результаты языковых и кодовых бенчмарков, включая HumanEval и MBPP. Модель ориентирована прежде всего на английский язык. CrystalChat выпущена под лицензией Apache 2.0. Разработчики отмечают, что модель не прошла RLHF-выравнивание по человеческим предпочтениям и не имеет фильтрации ответов, поэтому может выдавать проблемный контент; приведённые оценки не гарантируют качество для конкретного применения.

Это англоязычный разреженный CSR-кодировщик текста, созданный авторами Sentence Transformers и дообученный на Natural Questions от базовой модели mixedbread-ai/mxbai-embed-large-v1. Он преобразует запросы и документы в разреженные векторы размерностью 4096 с максимум 256 активными измерениями; близость оценивается скалярным произведением. Модель предназначена для семантического поиска и разреженного информационного поиска, в том числе по коллекциям вопросов и ответов. Модель основана на архитектуре BERT, содержит около 433,9 млн параметров, принимает текст длиной до 512 токенов и работает через библиотеку Sentence Transformers. В карточке приведены оценки поиска на наборах Natural Questions, MS MARCO, NFCorpus и NanoBEIR. Лицензия — Apache-2.0.

DeepSeek-R1-Distill-Qwen-32B-3MPER0RR-abliterated — экспериментально модифицированная версия модели DeepSeek-R1-Distill-Qwen-32B от 3MPER0RR. Это плотная авторегрессионная языковая модель семейства Qwen2 для генерации текста и диалогового взаимодействия. В метаданных указаны 32 млрд параметров и контекст до 131 072 токенов; репозиторий содержит веса в формате safetensors. Модель предназначена для генерации ответов и ведения диалога. Автор сообщает, что модель модифицирована методом «abliteration», протестирована и сохранена; подробности метода, тестирования и измерений качества в карточке не раскрыты. Основа — DeepSeek-R1-Distill-Qwen-32B, дистиллированная модель на базе Qwen2.5, ориентированная на рассуждения, математику и программирование. Лицензия — MIT.

Карточка модели Sieddi/deepset-mxbai-embed-de-large-v1 на Hugging Face совпадает с карточкой mixedbread-ai/deepset-mxbai-embed-de-large-v1, поэтому описание составлено по ней. deepset-mxbai-embed-de-large-v1 — открытая модель эмбеддингов предложений, разработанная Mixedbread совместно с deepset. Она основана на intfloat/multilingual-e5-large и дообучена с функцией потерь AnglE на более чем 30 млн пар немецких данных. Модель использует архитектуру XLM-RoBERTa, содержит около 585,8 млн параметров и принимает текстовый контекст длиной до 514 токенов. Модель предназначена для поиска по смыслу и извлечения релевантных документов на немецком и английском языках. Для запросов требуется префикс «query: », для документов — «passage: ». Она поддерживает Matryoshka Representation Learning и бинарную квантизацию, что позволяет уменьшать размер эмбеддингов и затраты на хранение при сохранении значительной части качества. По данным авторов, средний результат на NDCG@10 составляет 51,7. Модель распространяется по лицензии Apache-2.0. Она рассчитана на получение векторных представлений текста; качество и применимость за пределами немецкого и английского языков в предоставленных материалах не описаны.

Dolphin 3.0 Llama 3.2 1B — модель для диалогов и выполнения инструкций, подготовленная Eric Hartford, Ben Gitter, BlouseJury и Cognitive Computations на основе Meta Llama 3.2 1B. Это плотная авторегрессионная языковая модель семейства Llama с 1,2 млрд параметров и контекстом до 131 072 токенов; используется формат ChatML. Модель предназначена для локального применения в качестве универсального помощника: она подходит для генерации кода, решения математических задач, вызова функций и общения на общие темы. Её можно настраивать системным промптом; обучающие данные включают наборы для кода, математики, агентных инструкций и диалогов. Карточка перечисляет английский язык. Доступны веса в формате safetensors. Модель лицензирована по условиям llama3.2. Это компактная модель с существенно меньшим числом параметров, чем крупные универсальные ассистенты; карточка не содержит результатов оценивания, поэтому качество для конкретных задач не подтверждено приведёнными тестами.

kalle07/embedder_collection — подборка более чем 25 моделей для создания текстовых эмбеддингов, опубликованная пользователем kalle07. Репозиторий содержит практические рекомендации по выбору модели, подготовке документов, разбиению текста на фрагменты и настройке локального RAG. Главная задача моделей в подборке — вычислять векторные представления текста и поддерживать поиск похожих предложений и фрагментов документов. Модели ориентированы на локальное использование с программами вроде AnythingLLM и LM Studio; в репозитории представлены файлы GGUF в форматах BF16, F16, F32 и Q8_0. Автор также упоминает применение через Ollama и KoboldCpp, но совместимость зависит от конкретной модели и среды запуска. В качестве языков в метаданных указаны английский и немецкий; подборка включает модели разных семейств, поэтому характеристики контекста и качество различаются. Подборка пригодится для семантического поиска по документам и построения RAG-систем, но сама по себе не гарантирует улучшения ответов: на результат влияют подготовка текста, разбиение на фрагменты, настройки поиска и основная языковая модель. Автор отмечает, что подходящую модель следует выбирать с учётом языка и предметной области. Лицензия в предоставленных данных не указана.

en_PP-OCRv4_mobile_rec — модель распознавания строк текста из семейства PP-OCRv4_rec, разработанная командой PaddleOCR. Она обучена на основе PP-OCRv4_mobile_rec и предназначена для распознавания английского текста на изображениях; результатом работы модели является текстовая строка. Модель используется как модуль распознавания в конвейере OCR: после обнаружения текстовых областей другие модули конвейера передают ей изображения строк. PP-OCRv4 также может включать коррекцию ориентации и искажений, однако эти возможности относятся к конвейеру из нескольких моделей, а не к данной модели распознавания строк. Репозиторий предназначен для использования с PaddleOCR и распространяется по лицензии Apache-2.0.

Experiment28M7_YamshadowT3q — объединённая языковая модель семейства Mistral, созданная на основе automerger/Experiment28M7-7B и automerger/YamshadowT3q-7B. Она предназначена для генерации текста и может использоваться для составления ответов на запросы, в том числе математические. Модель содержит 7,1 млрд параметров, построена на плотной архитектуре Mistral и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Parallia/Fairly-Multilingual-ModernBERT-Embed-BE-EN — англоязычная версия модели эмбеддингов предложений семейства Fairly Multilingual ModernBERT Embedding Model, созданной Parallia. Модель основана на ModernBERT и представлена как Sentence Transformer с mean pooling; она преобразует английские предложения и абзацы в плотные векторы размерности 768 для семантического сравнения и поиска. Контекст составляет до 8192 токенов. Модель обучена на параллельных парах английского с французским, нидерландским и немецким языками. README указывает, что эта версия использует веса исходной многоязычной модели с английским токенизатором и таблицей эмбеддингов, оптимизированными для английского; сама версия рассчитана на английские входные тексты. Подходящие сценарии — поиск семантически близких документов, оценка сходства предложений, поиск перефразирований, кластеризация и классификация текста на основе эмбеддингов. Модель использует архитектуру ModernBERT и распространяется в формате safetensors под лицензией Apache-2.0. Её эмбеддинги предназначены прежде всего для текстового сопоставления; несмотря на обучение на переводных парах, эта конкретная версия описана как англоязычная, поэтому её не следует считать универсальной мультиязычной моделью. Практическое качество зависит от предметной области и данных поиска.

Это конверсия модели OpenAI Whisper Base в формат CTranslate2, опубликованная Guillaume Klein. Она предназначена для распознавания речи и может использоваться через CTranslate2 или проекты на его основе, например faster-whisper. Модель принимает аудио и выдаёт текст; поддерживает многоязычное распознавание, включая русский. Веса сохранены в FP16, а тип вычислений можно выбирать при загрузке через параметр compute_type. Репозиторий распространяется по лицензии MIT.

Systran/faster-whisper-small — конверсия модели openai/whisper-small в формат CTranslate2, опубликованная для использования с CTranslate2 и проектами на его основе, включая faster-whisper. Это модель распознавания речи, которая преобразует аудио в текст и поддерживает распознавание речи на множестве языков, включая русский и английский. Веса сохранены в FP16; при загрузке через CTranslate2 тип вычислений можно выбирать с помощью параметра compute_type. Репозиторий предназначен для эффективного запуска Whisper в совместимых инструментах. Модель распространяется по лицензии MIT.

yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF — локальная модель для генерации текста, программирования и агентских сценариев. Она основана на google/gemma-4-12B-it и распространяется в формате GGUF. Модель создана независимым автором; его имя в README не указано. Модель предназначена для написания и отладки кода, выполнения многошаговых технических задач, работы с инструментами и терминалом, а также сценариев, где требуется цикл «изучить состояние — диагностировать проблему — внести исправление — проверить результат». По заявлению автора, она поддерживает нативный формат вызова инструментов Gemma 4 и может работать полностью локально, без облачных API. Заявленный размер — 12 млрд параметров; сведения о поддерживаемых языках, максимальном контекстном окне и дополнительных модальностях не приведены. В качестве ключевого результата указана оценка около 55% на 20 заданиях tau2-bench telecom в варианте Q8_0 против примерно 15% у базовой gemma-4-12B-it. Этот тест отражает агентские задачи технической диагностики, но не характеризует все возможности модели. Автор рекомендует Q4_K_M как оптимальный вариант и считает Q3_K_M минимальной надёжной квантизацией; заявлена возможность запуска примерно при 4,5 ГБ свободной VRAM или unified memory. Ограничения включают неполное тестирование tau2-bench, возможные проблемы при неправильной настройке клиента или сэмплера и отсутствие подробных данных о качестве в общих задачах. Лицензия — Apache-2.0.

cafepm/GLM-4.7-Flash-REAP-23B-A3B-Q3Q4-GGUF — квантованная GGUF-версия разреженной языковой модели GLM-4.7-Flash-REAP-23B-A3B, подготовленная TNT.Chat. Базовая модель с 23 млрд параметров, из которых активируются 3 млрд на токен, создана удалением 25% экспертов методом REAP из GLM-4.7-Flash; в этой версии веса распределены между точностями Q3_K и Q4_K: около 20% квантованы до 4 бит, остальные — до 3 бит. README заявляет, что такой вариант рассчитан на запуск примерно в 12 ГБ видеопамяти и контекст до 150 000 токенов; базовая карточка указывает контекст 202 752 токена. Модель предназначена для генерации текста и кода, агентного программирования, понимания репозиториев и вызова функций в локальных и ограниченных по ресурсам средах. Она использует архитектуру Sparse Mixture-of-Experts с 47 слоями, 48 экспертами и четырьмя активируемыми экспертами на токен. Указана совместимость с llama.cpp; метаданные отмечают чат-возможности. README заявляет близкое к Q4 качество при размере, близком к Q3, однако количественные результаты оценок в предоставленных данных отсутствуют. Модель распространяется по лицензии MIT.

GLM-5.1-GGUF — квантованное распространение модели GLM-5.1, подготовленное Unsloth на базе zai-org/GLM-5.1. Это текстовая генеративная модель, ориентированная прежде всего на агентную разработку программного обеспечения и сложные инженерные задачи. Модель предназначена для написания и анализа кода, генерации репозиториев, работы с терминалом и многоэтапного решения задач с использованием инструментов. Согласно README, GLM-5.1 сохраняет эффективность на длинных сессиях, умеет разбивать неоднозначные задачи на этапы, проводить эксперименты, анализировать результаты, находить блокеры и пересматривать стратегию на протяжении сотен итераций и тысяч вызовов инструментов. Заявлена поддержка английского и китайского языков, режим text-generation и архитектурная маркировка GLM MoE DSA; точный размер модели и объём контекста не указаны. К сильным сторонам относятся агентное программирование, задачи SWE-Bench Pro, генерация репозиториев и реальные терминальные сценарии. Ограничения включают отсутствие в представленных данных сведений о мультимодальности, точном числе параметров, требованиях к оборудованию и качестве в других прикладных областях; приведённые результаты являются заявленными benchmark-показателями и не гарантируют аналогичную производительность в каждом сценарии. Распространение указано по лицензии MIT.

Granite Vision 3.3 2B Embedding — мультимодальная модель эмбеддингов IBM, дообученная на базе ibm-granite/granite-vision-3.3-2b для поиска по визуальным и текстовым данным в документах. Она предназначена для извлечения релевантных страниц в RAG-системах, в том числе по таблицам, графикам, инфографике и сложной вёрстке. Модель принимает изображения PNG и JPEG и инструкции на английском языке, формируя 729 векторов размерности 128 на изображение. Поиск использует многовекторное представление ColBERT и позднее взаимодействие MaxSim; отдельное OCR-извлечение текста не требуется. Модель подходит для корпоративного поиска по отчётам, презентациям, руководствам, изображениям и другим документам, как самостоятельно, так и в сочетании с текстовым поисковиком. В README приведены результаты сравнений на наборах ViDoRe V2 и REAL-MM-RAG, но они не гарантируют качество на конкретных данных. Модель выпущена IBM 11 июня 2025 года и распространяется по лицензии Apache 2.0. Среди ограничений указаны возможные неточности и смещения; входные инструкции поддерживаются на английском языке.

Heartly Qwen-Code v3 — дообученная разговорная языковая модель для генерации и обсуждения кода, разработанная автором репозитория eivintobias на основе Qwen2.5-Coder-1.5B. Она использует архитектуру Qwen2 dense с 1,5 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель обучена полным дообучением в формате fp16 на 5 200 разговорных примерах; в карточке описан специальный формат вывода Heartly, предназначенный для снижения галлюцинаций, а также инструменты для очистки ответа перед показом пользователю. Модель подходит для диалоговых запросов о коде, включая написание и исправление программ. Для работы с сырым выводом может потребоваться обработчик, который удаляет служебную грамматику Heartly; README предупреждает, что некоторые интерфейсы могут некорректно отображать её теги. Репозиторий распространяется по лицензии MIT.

HelpingAI-Lite-1.5T — языковая модель семейства Llama, разработанная OEvortex и предназначенная для генерации текста, диалогов и помощи с программированием. По карточке модели, она обучена на корпусе объёмом 1,5 трлн токенов; метаданные указывают 1 млрд параметров, архитектуру LlamaForCausalLM и контекст длиной 2048 токенов. Модель работает с текстом и ориентирована на английский язык. В обучающих данных указаны SlimPajama, UltraChat, StarCoderData, UltraFeedback, vortex-mini и OpenOrca. Модель доступна в форматах PyTorch и Safetensors через Transformers. Лицензия — HelpingAI Simplified Universal License (HSUL); условия следует проверять в тексте лицензии перед использованием.

Hercules-1.0-Mistral-7B — диалоговая языковая модель на основе Mistral-7B, дообученная Locutusque на наборах Hercules и OpenOrca. Она предназначена для генерации ответов в диалоге и других текстовых задач; метаданные также отмечают поддержку сценариев с кодом. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и поддерживает контекст до 32 768 токенов. Автор позиционирует её как улучшенную версию OpenHermes-7B и сообщает о сопоставимом качестве с OpenHermes 2; приведены результаты сравнения и тестовая потеря, но подробности протокола оценки в карточке не раскрыты. Модель распространяется в формате safetensors по лицензии Apache-2.0.

ROME — агентная языковая модель, представленная FutureLivingLab и созданная в рамках экосистемы ALE (Agentic Learning Ecosystem). Она предназначена для автономного выполнения многошаговых задач с использованием инструментов, в том числе работы в терминале и программной разработки. В карточке заявлены результаты 24,72% на Terminal-Bench 2.0 и 57,40% на SWE-bench Verified. Модель построена на архитектуре Qwen3 MoE и имеет 2,4 млрд параметров по метаданным; README описывает вариант ROME-30B-A3B с 30 млрд общих и 3 млрд активных параметров. Метаданные указывают контекст до 262 144 токенов, поддержку диалогов и интерфейс вызова инструментов. Лицензия — Apache-2.0. В README описаны обучение с подкреплением и алгоритм IPA для улучшения устойчивости и выполнения длительных задач. Заявления о безопасности и качестве приводятся разработчиком; независимая проверка этих характеристик в предоставленных данных не описана. Также есть расхождение в числе параметров между README и метаданными.

internlm3-8B-Nex-N1 — чат-модель серии Nex-N1 от разработчиков платформы Nex, представленная в работе о создании агентных моделей. Это плотная авторегрессионная модель InternLM3 с 8,3 млрд параметров, опубликованная в формате Safetensors; карточка указывает контекст до 131 072 токенов и лицензию Apache-2.0. Модель предназначена для агентных сценариев: программирования, вызова инструментов и функций, веб-поиска и многошаговых задач. Разработчики также заявляют применение для создания мини-приложений, сайтов и слайдов. В README описана поддержка function calling и приведены результаты серии Nex-N1 на агентных бенчмарках, однако таблица не содержит отдельной строки с результатами именно этой 8B-модели. Модель принимает текстовые запросы и генерирует текстовые ответы; в метаданных отмечен режим чата. Языковая поддержка отдельно не описана. Для запуска разработчики рекомендуют SGLang; для function calling предлагается специальный парсер инструментов. Качество в конкретных задачах и совместимость с окружением агента могут зависеть от конфигурации и инструментов.

jina-embeddings-v5-text-nano-text-matching — компактная модель для получения текстовых эмбеддингов, разработанная Jina AI и являющаяся квантованной версией базовой модели jina-embeddings-v5-text-nano. Она предназначена для сопоставления текстов, оценки семантической схожести, поиска и других сценариев, где требуется сравнивать смысловое содержание запросов и документов. Модель поддерживает мультиязычные тексты; в README приведены примеры на английском, арабском, китайском, французском, немецком, греческом, хинди, итальянском, японском и корейском языках. Модель содержит 239 млн параметров, обрабатывает последовательности длиной до 8192 токенов и формирует эмбеддинги размерностью 768. Используется pooling по последнему токену, предусмотрены матрёшечные размерности 32, 64, 128, 256, 512 и 768, что позволяет выбирать компромисс между качеством и эффективностью хранения или поиска. Модель ориентирована на высокую производительность при небольшом размере и доступна для интеграции через sentence-transformers, vLLM и специальную ветку llama.cpp с поддержкой формата GGUF. README не содержит подробных сведений о конкретных ограничениях качества, кроме ориентации исключительно на задачу text-matching, поэтому применимость к другим задачам эмбеддингов не гарантируется. Модель распространяется по лицензии CC BY-NC 4.0, предусматривающей некоммерческое использование.

jinaai/jina-reranker-v3.5 — многоязычная модель-реранкер от Jina AI для повторной сортировки списка документов по релевантности запросу. Она дообучена на Qwen/Qwen3-0.6B и содержит около 508 млн параметров. Архитектура Qwen3 дополнена проектором MLP; модель оценивает кандидатов совместно в одном проходе, используя listwise-подход и косинусное сравнение. Контекст — до 131 072 токенов. Модель предназначена для второго этапа поиска: она уточняет порядок документов, уже найденных поисковой системой, и рассчитана на многоязычный поиск, устойчивую работу в разных предметных областях и ранжирование структурированных данных. По результатам сравнений в карточке она превосходит предыдущую jina-reranker-v3 на ряде наборов тестов, включая BEIR и Struct-IR; скорость инференса также улучшена для списков разной длины. Для локального запуска карточка рекомендует Transformers; также доступен API Jina AI. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование без отдельного разрешения. Модель выдаёт оценки и порядок релевантности, а не готовые ответы на запросы.

alfaneo/jurisbert-base-portuguese-sts — модель на основе BERT, разработанная для представления предложений и абзацев на португальском языке в виде плотных векторов размерности 768. Её можно использовать для семантического поиска, сравнения текстов и кластеризации; для работы доступны форматы PyTorch и Safetensors. Модель содержит 136,1 млн параметров и принимает последовательности длиной до 512 токенов. В README описано обучение с CosineSimilarityLoss. Лицензия в предоставленных данных не указана.

KAT-Coder-V2.5-Dev-REAP-205E-MTP-GGUF — это квантизированная и структурно обрезанная GGUF-версия модели Kwaipilot/KAT-Coder-V2.5-Dev, опубликованная автором gbuzhf. Модель предназначена для генерации и обработки программного кода, включая code-instruct, исправление ошибок, использование инструментов и задачи рассуждения. Заявлена поддержка английского и китайского языков; модель мультимодальность не заявлена. Это Mixture-of-Experts-модель с 205 экспертами на слой вместо исходных 256, при этом для каждого токена активируются 8 экспертов. Число параметров уменьшено примерно с 34,7 до 28,3 млрд, сохранены исходная архитектура, словарь размером 262 тысячи токенов и контекстное окно базовой модели, точный размер которого в README не указан. Обрезка выполнена методом REAP на 2,6 млн токенов собственных ответов KAT-Coder-V2.5-Dev. Дополнительно встроена MTP-голова, заимствованная из Qwen/Qwen3.6-35B-A3B; её обрезка выполнена по величине весов без калибровочных данных, поэтому является приближённой. По измерениям относительно исходной BF16-модели совпадение наиболее вероятного токена составляет около 94,6%, а рост perplexity — 3,62%; автор оценивает потерю качества как сопоставимую с хорошей 4-битной квантизацией. Эти результаты получены на текстах, близких к калибровочным данным, и могут быть оптимистичными; downstream-бенчмарки для программирования не проводились, поэтому сохранение качества на HumanEval, MBPP или SWE-bench не подтверждено. Доступны мастер-версия BF16 и несколько GGUF-вариантов квантизации, включая IQ4_XS, Q4_K_XL, Q5_K_S и Q6_K. В README указана лицензия other, без дополнительных условий.

Это Sentence Transformer на базе RoBERTa, разработанный автором byKim93 и дообученный на базе byKim93/klue-roberta-base-klue-sts-2. Модель преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения смысловой близости текстов, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Для оценки близости используется косинусное сходство. Архитектура включает RobertaModel и усредняющий пулинг токенов; число параметров — 137,8 млн. Максимальная длина последовательности составляет 512 токенов в README и 514 контекстных токенов по метаданным. README приводит результаты оценки сходства: Spearman 0,8454 и Pearson 0,8517. Данные обучения и примеры в карточке на корейском языке; метаданные не подтверждают поддержку других языков. Репозиторий содержит веса в формате safetensors и опубликован под лицензией, указанной в метаданных Hugging Face.

ddobokki/klue-roberta-base-nli-sts — модель эмбеддингов предложений на базе архитектуры RoBERTa, представленная в формате Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для оценки семантического сходства, семантического поиска и кластеризации текстов. Модель содержит 137,8 млн параметров и принимает текстовые последовательности длиной до 514 токенов. В карточке описано обучение с функцией потерь CosineSimilarityLoss. Файлы доступны в форматах PyTorch и Safetensors; для использования подходят Sentence-Transformers или Transformers с соответствующим pooling. Это производная модель на основе KLUE-RoBERTa-base, дообученная для задач сходства предложений и семантического представления текста. Основной язык — корейский, что следует из KLUE в названии базовой модели. Условия лицензирования в предоставленных данных не указаны.

ko-sroberta-multitask — корейская модель эмбеддингов предложений на базе архитектуры RoBERTa, опубликованная jhgan. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения текстов и кластеризации. Модель содержит 137,8 млн параметров и принимает контекст до 514 токенов. Модель обучалась в режиме нескольких задач на наборах KorSTS и KorNLI; в README приведены результаты оценки на KorSTS. Она предназначена прежде всего для корейского языка. Для использования в Transformers поверх выходов модели требуется применить подходящую операцию pooling; доступны форматы PyTorch, TensorFlow, ONNX и OpenVINO. Сведения о лицензии в предоставленных материалах отсутствуют.

jhgan/ko-sroberta-multitask-mrl — корейская модель эмбеддингов предложений на базе RoBERTa, дообученная автором с использованием Matryoshka Representation Learning. Она создаёт векторы размерности 768; первые 512, 256, 128, 64 или 32 компонента также служат представлениями предложений, позволяя уменьшать объём хранения и задержку с возможной потерей точности. Модель обучена на KorNLI и KorSTS в многозадачном режиме и предназначена для сравнения семантической близости корейских предложений и других задач поиска по эмбеддингам. В тестах KorSTS для полного вектора показана корреляция Спирмена 85,07% при косинусном сходстве; для 512 измерений — 85,00%. Модель содержит 137,8 млн параметров, использует архитектуру RoBERTa, реализована для sentence-transformers и поддерживает контекст до 514 токенов. Лицензия — CC-BY-SA-4.0.

LaBSE-en-ru — сокращённая версия LaBSE, созданной Google и перенесённой в Sentence Transformers, адаптированная автором cointegrated для английского и русского языков. Это плотная модель семейства BERT с 155,5 млн параметров и контекстом до 512 токенов; в словаре оставлены токены только для английского и русского, что сократило словарь до 10% исходного, а число параметров — до 27% исходного размера LaBSE. Модель предназначена для получения векторных представлений предложений на английском и русском языках. Такие эмбеддинги можно использовать для поиска семантически близких текстов и оценки сходства между предложениями, в том числе между языками. В README указано, что сокращение не ухудшило качество эмбеддингов для этих двух языков. Модель распространяется в форматах PyTorch, Safetensors и TensorFlow. Лицензия в предоставленных данных не указана.

Blaxzter/LaBSE-sentence-embeddings — копия setu4993/LaBSE с выдачей векторных представлений предложений через pooler_output и кэшированием. Это мультиязычная модель на архитектуре BERT, предназначенная для получения сопоставимых эмбеддингов предложений на 109 языках и поиска соответствующих фрагментов между языками. В метаданных указаны 498,1 млн параметров и контекст до 512 токенов; доступны веса в форматах PyTorch, TensorFlow и Flax. Модель подходит для межъязыкового поиска по предложениям и сравнения их семантического сходства, в том числе в многоязычных коллекциях. Обучение исходной LaBSE сочетало masked language modeling и translation language modeling; данная копия также реализует кэширование эмбеддингов. Лицензия — Apache-2.0. Возможности зависят от поддерживаемых языков и качества исходного текста; README не приводит метрик этой копии.