I.14Автоматизация процессов и AI-агенты

MaziyarPanahi/Llama-3-70B-Instruct-32k-v0.1-GGUF — набор файлов модели в формате GGUF для MaziyarPanahi/Llama-3-70B-Instruct-32k-v0.1. Модель разработана и квантизирована MaziyarPanahi, относится к семейству Llama 3 и предназначена для генерации текста и выполнения инструкций. В названии указаны 70 миллиардов параметров и контекст до 32 тысяч токенов; сведения о поддерживаемых языках и точной архитектуре в README не приведены. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством работы. Формат поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов для локального запуска, включая сценарии с GPU-ускорением и OpenAI-совместимым API. README не содержит результатов оценивания, подробного описания сильных и слабых сторон, а также информации о лицензии, поэтому эти характеристики нельзя определить по предоставленным данным.

LamaDiab разработал дообученную модель Sentence Transformers на основе sentence-transformers/all-MiniLM-L6-v2. Это компактный BERT-энкодер с 25,9 млн параметров: он преобразует предложения и абзацы в плотные векторы размерности 384, нормализованные для сравнения по косинусному сходству. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В README указана максимальная длина последовательности 256 токенов; метаданные каталога задают native context 512 токенов. В оценке TripletEvaluator приведена cosine accuracy 0,9631. Данных о поддержке языков в карточке нет, а базовая модель описана как англоязычная, поэтому её применение к другим языкам не подтверждено. Модель доступна в формате safetensors; лицензия в предоставленных сведениях не указана.

MisCalmity-v0.1-model_stock — языковая модель на архитектуре Mistral, созданная слиянием нескольких моделей с помощью LazyMergekit: Mistral-7B-v0.1, Calme-7B-Instruct-v0.9 и The-Trinity-Coder-7B. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и может применяться для диалоговых ответов и генерации кода благодаря включению инструкционной модели и модели для программирования в слияние. В карточке не приведены результаты оценки качества или сведения о лицензии, поэтому пригодность для конкретных сценариев и условия использования следует проверять по исходным моделям и репозиторию.

Mistral-7B-Instruct-demi-merge-v0.3-7B — объединённая языковая модель на архитектуре Mistral, созданная автором репозитория с помощью mergekit методом SLERP из mistralai/Mistral-7B-v0.3 и mistralai/Mistral-7B-Instruct-v0.3. Модель сочетает базовую и инструктивную версии и предназначена для дальнейшего дообучения или объединения, а также для генерации текста и диалогов. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors; указана лицензия Apache-2.0. В метаданных и README не приведены отдельные сведения о языковом охвате и ограничениях качества.

TheBloke/Mistral-7B-Instruct-v0.2-AWQ — это 4-битная AWQ-квантизированная версия Mistral 7B Instruct v0.2, разработанной Mistral AI и подготовленной для публикации TheBloke. Модель предназначена для генерации текста и диалоговых сценариев с инструкциями, включая локальный запуск через text-generation-webui, vLLM, Transformers, TGI и AutoAWQ. Для работы используется шаблон запросов Mistral: <s>[INST] {prompt} [/INST]. Модель относится к семейству Mistral, содержит около 7 млрд параметров и поддерживает контекст длиной 4096 токенов. Указана только текстовая модальность; сведения о языках в README отсутствуют. AWQ-квантизация снижает требования к памяти и обеспечивает быстрый инференс на совместимых NVIDIA GPU, при этом заявляется сопоставимое или лучшее качество по сравнению с распространёнными настройками GPTQ. Размер опубликованной сборки составляет около 4,15 ГБ. Основные ограничения связаны с аппаратной и программной совместимостью: AWQ-версия рассчитана на Linux и Windows с NVIDIA GPU, а для macOS рекомендуется использовать формат GGUF. В README также указана лицензия Apache-2.0. Поддержка и качество конкретных задач зависят от исходной модели, настроек инференса и используемого программного окружения.

mistral-7b-neuralhermes-2.5-dpo — разговорная модель семейства Mistral, созданная CorticalStack дообучением teknium/OpenHermes-2.5-Mistral-7B методом DPO на наборе Intel/orca_dpo_pairs. Она предназначена для диалогов и генерации ответов на текстовые запросы; метаданные также отмечают возможность общения в формате чата. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. В карточке указаны параметры LoRA: r=16, alpha=16 и dropout=0,05. Модель распространяется по лицензии Apache-2.0. README не описывает отдельные специализированные области применения или подтверждённые языки.

MaziyarPanahi/mistral-7b-v0.1-layla-v1-Mistral-7B-Instruct-v0.2-slerp — диалоговая текстовая модель, полученная слиянием Mistral-7B-Instruct-v0.2 и Layla v1 методом SLERP с помощью MergeKit. Она предназначена для генерации текста и ответов на инструкции в чат-сценариях. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка не сообщает о специализации на отдельных языках или предметных областях. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

AMD Mixtral-8x7B-Instruct-v0.1-w4a16-llmcompressor — это квантизированная версия языковой модели Mixtral-8x7B-Instruct-v0.1 от Mistral AI, подготовленная AMD для оптимизированного CPU-инференса. Модель реализует архитектуру MixtralForCausalLM, принимает текст и генерирует текст, ориентирована на задачи диалоговой генерации и общего следования инструкциям на английском языке. Модель использует разреженную Mixture-of-Experts-архитектуру Mixtral-8x7B и 4-битное квантизирование весов W4A16 методом GPTQ. Веса хранятся в формате INT4 с симметричным групповым квантизированием и размером группы 128, а активации остаются в BF16. Маршрутизатор MoE и lm_head сохранены в BF16. Объём весов уменьшен примерно с 87,0 до 22,8 GiB, то есть примерно на 74%. Данные о максимальной длине контекста в README не указаны; для калибровки использовалась длина последовательности до 2048 токенов. Основной сценарий использования — инференс на процессорах AMD EPYC под Linux с применением vLLM, ZenDNN и ZenTorch. По приведённой оценке на GSM8K модель сохранила 98,83% результата BF16-базовой версии: 0,6331 против 0,6406. Ограничения включают зависимость от совместимого программного стека и аппаратной платформы, а также возможное снижение качества из-за квантизации. Модель распространяется по лицензии Apache-2.0.

MMLW-e5-small — компактный текстовый энкодер для польского языка, разработанный авторами семейства MMLW. Модель построена на архитектуре BERT и преобразует текст в векторы размерности 384 для семантического поиска и других задач сопоставления текстов. Она была инициализирована мультиязычным чекпойнтом E5 и дистиллирована с помощью мультиязычного метода на 60 миллионах польско-английских пар текстов; учителями служили английские модели FlagEmbeddings (BGE).

Карточка модели coderancer/movie-recommender-model на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

gongysh2004/mpnet-base-all-nli-triplet — англоязычная модель Sentence Transformers на базе MPNet, обученная разработчиком репозитория на триплетах набора AllNLI для сопоставления предложений. Она кодирует предложения и абзацы в плотные векторы размерности 768; близость оценивается косинусным сходством. Модель содержит 136,7 млн параметров, использует mean pooling и принимает последовательности длиной до 512 токенов. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. В README приведены результаты TripletEvaluator на AllNLI: точность косинусного сходства 0,9124 на dev и 0,9239 на test. Для задач вне английского языка и предметных областей качество не установлено. Лицензия — Apache-2.0.

Это модель Sentence Transformers, дообученная авторами tomaarsen на парах запросов и ответов из набора Natural Questions. Она основана на microsoft/mpnet-base: архитектура MPNet с примерно 136,7 млн параметров преобразует текст в плотные эмбеддинги размерности 768; для представления последовательности используется среднее объединение токенов, а сходство обычно оценивается косинусной мерой. Максимальная длина входа — 512 токенов. Модель предназначена для поиска по смыслу и сравнения текстов на английском языке. Её можно применять для поиска ответов на запросы, семантического сходства, поиска перефразировок, кластеризации и классификации текстов; README также приводит оценки на наборах для информационного поиска. Это модель эмбеддингов, а не генератор ответов: сама по себе она возвращает векторы, которые обычно индексируют или сравнивают в отдельной системе. Модель распространяется по лицензии Apache-2.0. Результаты приведённых в карточке оценок различаются в зависимости от набора данных, поэтому качество для конкретного корпуса следует оценивать отдельно; английский язык и ограничение в 512 токенов также ограничивают область применения.

flax-sentence-embeddings/mpnet_stackexchange_v1 — модель SentenceTransformers на основе MPNet-base, разработанная в рамках Community Week Hugging Face для проекта по обучению моделей эмбеддингов предложений. Её дообучили сиамским методом с контрастивной целью на парах вопросов и ответов StackExchange, а также на данных MS MARCO, NQ и других наборов вопросов и ответов. В репозитории указана архитектура MPNet, размер около 136,7 млн параметров и контекст до 514 токенов. Модель кодирует текст в векторы, отражающие его смысл. Она предназначена для семантического поиска и поиска ответов по вопросам; эмбеддинги также можно применять для оценки сходства предложений и кластеризации. Обучение ограничивало длину последовательности 128 токенами, поэтому качество на более длинных текстах может снижаться. Формат весов — PyTorch; лицензия в предоставленных данных не указана.

dinab/multilingual-e5-base-Q4_K_M-GGUF — квантизированная версия мультиязычной модели эмбеддингов multilingual-e5-base, разработанной intfloat и представленной в формате GGUF. Модель предназначена для преобразования текстов в векторные представления и подходит для семантического поиска, сопоставления предложений, кластеризации, классификации и задач retrieval, включая использование через llama.cpp. Модель поддерживает множество языков, в том числе русский, английский, немецкий, французский, испанский, китайский, японский и другие. В названии указана квантизация Q4_K_M, которая уменьшает требования к памяти и делает модель удобнее для локального запуска, но может снижать точность по сравнению с полноразмерной версией. Размер параметров, архитектура, максимальная длина контекста и точные требования к оборудованию в README не указаны. Приведены результаты оценки на ряде наборов MTEB для классификации и поиска, однако они относятся к базовой модели multilingual-e5-base. Модель распространяется под лицензией MIT. README не содержит подробного описания ограничений, поэтому качество следует дополнительно проверять на целевых языках, доменах и сценариях применения.

groonga/multilingual-e5-base-Q4_K_M-GGUF — это квантизированная в формате GGUF версия multilingual-e5-base, разработанная на основе модели intfloat/multilingual-e5-base и предназначенная для создания векторных представлений текста. Модель ориентирована на задачи семантического сходства, поиска и извлечения документов, классификации текстов и других сценариев, где требуется сравнивать смысл текстовых фрагментов. Она совместима с llama.cpp и связанной экосистемой инструментов. Модель поддерживает широкий набор языков, включая русский, английский, немецкий, французский, испанский, китайский, японский и многие другие. В README указана оценка на бенчмарке MTEB, включающем задачи классификации отзывов и контрфактических высказываний, а также задачи информационного поиска. Квантизация Q4_K_M снижает требования к памяти и может упростить локальный запуск, однако потенциально уменьшает точность по сравнению с исходной версией. Размер модели, точная архитектура, максимальная длина контекста и другие параметры в предоставленных данных не указаны. Модель распространяется по лицензии MIT. Она подходит для многоязычного семантического поиска, построения систем рекомендаций, кластеризации, дедупликации и классификации текстов. Ограничения включают зависимость качества от языка и типа данных, возможные потери качества из-за квантизации, а также отсутствие в README подробных инструкций по применению и сведений о поддерживаемых модальностях, кроме текстовой.

checkiejan/multi-qa-mpnet-base-dot-v1-covidqa-search-multiple-negatives-loss — модель на базе MPNet, опубликованная в формате PyTorch и предназначенная для создания эмбеддингов предложений и абзацев. Она преобразует текст в плотные векторы размерностью 768 и подходит для семантического поиска и кластеризации; метаданные указывают на поддержку задач извлечения признаков и вычисления сходства предложений. Число параметров — 136,7 млн, максимальная длина контекста — 514 токенов. В README указано обучение с MultipleNegativesRankingLoss и косинусной мерой сходства. Для применения предлагается библиотека Sentence-Transformers либо Transformers с подходящей операцией pooling. Карточка не сообщает о языках обучения или лицензии, поэтому их условия здесь определить нельзя.

Карточка модели Griffin88/my_new_model3 на Hugging Face совпадает с карточкой Griffin88/sentence-embedding-LaBSE, поэтому описание составлено по ней. Griffin88/sentence-embedding-LaBSE — PyTorch-порт модели LaBSE, предназначенный для представления предложений на 109 языках в общем векторном пространстве. Модель основана на архитектуре BERT и содержит 498,1 млн параметров; максимальная длина контекста — 512 токенов. Репозиторий предоставляет веса PyTorch и safetensors, а для работы через Sentence-Transformers README рекомендует библиотеку sentence-transformers. Модель подходит для получения эмбеддингов предложений и оценки их семантического сходства, в том числе для сопоставления текстов на разных языках. Лицензия — Apache-2.0. README отсылает к публикации LaBSE, но не уточняет автора этого порта или детали обучения именно этой версии.

MaziyarPanahi/neural-chat-7b-v3-Mistral-7B-Instruct-v0.1 — объединённая модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и Intel/neural-chat-7b-v3. Она предназначена для генерации текста в ответ на инструкции и для диалогового общения. Модель содержит 7,1 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. В метаданных указан английский язык, а репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

ggml-org/Nomic-Embed-Text-V2-GGUF — это версия модели nomic-ai/nomic-embed-text-v2-moe, преобразованная в формат GGUF с помощью llama.cpp через сервис GGUF-my-repo от ggml.ai. Модель предназначена для создания векторных представлений текста и задач семантического сходства, включая поиск, сравнение и извлечение признаков; использовать её можно с инструментами и библиотеками, поддерживающими GGUF, в частности llama.cpp. В карточке указана интеграция с sentence-transformers и широкий набор поддерживаемых языков, включая английский, русский, китайский, японский, арабский, испанский, немецкий, французский и многие другие. Архитектура, количество параметров, размер контекста, размерность эмбеддингов и точные характеристики базовой модели в README не приведены, поэтому оценить производительность и ограничения по длине входа по этим данным нельзя. Модель предназначена для текстовых задач и не заявлена как мультимодальная. Лицензия — Apache-2.0.

cahya/NusaBert-v1.2-sts — модель Sentence Transformers, дообученная разработчиком на базе cahya/NusaBert-v1.2 на наборе STSB. Она использует трансформер ModernBERT с mean pooling и кодирует предложения и абзацы в плотные векторы размерностью 768; сходство оценивается косинусной мерой. Модель предназначена прежде всего для оценки семантического сходства текстов, а также для семантического поиска, поиска перефразирований, кластеризации и классификации текста. Модель принимает текст на английском языке и поддерживает последовательности длиной до 8192 токенов. В README приведены результаты на STS-B: Spearman correlation 0,815 на dev и 0,7533 на test. Для прикладных сценариев качество может зависеть от домена и языка; подтверждена настройка на англоязычном STSB. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

NVIDIA Nemotron 3.5 Lightning 30B-A3B W4A16 — это посттренировочная квантизированная версия модели NVIDIA Nemotron 3.5 Lightning 30B-A3B, подготовленная и упакованная проектом useful-quants. Модель предназначена для генерации текста и диалоговых сценариев, включая следование инструкциям, ответы на вопросы и высокопроизводительное развёртывание на NVIDIA GPU с использованием vLLM. Архитектура сочетает Mamba-2, Mixture-of-Experts и attention; общий размер составляет 30B параметров, из которых активно используется около 3B. Применяется квантизация W4A16 с размером группы 64, веса занимают около 16,60 GiB. Заявлена поддержка английского, испанского, французского, немецкого, итальянского и японского языков. Архитектурное ограничение контекста — до 1 млн токенов; на одной NVIDIA RTX 3090 объём 640K токенов рекомендован для эксплуатации, а 744K проверен как предельный тестовый вариант. Сильные стороны модели — сравнительно небольшие требования к памяти, высокая пропускная способность и возможность работы с очень длинным контекстом на одной 24-гигабайтной видеокарте. Артефакт проверен с vLLM и compressed-tensors; прямой запуск через Transformers в исходных материалах не документирован. Показатели на отдельных тестах включают нормированную точность 0,87 на PIQA, 0,678 на HellaSwag и строгую instruction-level оценку 0,813 на IFEval, однако результаты зависят от конфигурации и не описывают все возможности модели. Модель распространяется по лицензии OpenMDW 1.1. NVIDIA является разработчиком исходной модели, а useful-quants выполнил квантизацию; он не обучал, не дообучал и не выравнивал модель. Условия предполагаемого использования, безопасности и полное описание исходной модели определяются лицензией и карточкой базовой версии NVIDIA.

NVIDIA-Nemotron-3-Ultra-550B-A55B-Base-BF16 — базовая большая языковая модель, разработанная NVIDIA Corporation и выпущенная в версии v1.0 GA. Она предназначена для разработчиков и исследователей, которые создают и адаптируют LLM. Модель предварительно обучена на данных по программированию, математике, науке и общим знаниям; заявлены 550 млрд параметров всего и 55 млрд активных параметров. Архитектура Nemotron Hybrid LatentMoE сочетает слои Mamba-2, MoE и выборочные слои Attention. Слои Multi-Token Prediction помогают ускорить генерацию, в том числе посредством speculative decoding. Метаданные указывают контекст до 262 144 токенов; в README заявлена поддержка до 1 млн токенов. Модель принимает и генерирует текст и поддерживает английский, французский, испанский, итальянский, немецкий, португальский, японский, корейский, хинди, арабский, китайский и иврит согласно тегам метаданных; README отдельно называет бразильский вариант португальского и не упоминает арабский и иврит. Модель заявлена для коммерческого и некоммерческого использования, однако в метаданных лицензия обозначена как «other», поэтому конкретные условия следует проверить на странице модели. Для запуска NVIDIA рекомендует GPU-ускоренные системы; README перечисляет интеграцию с NeMo и совместимое оборудование NVIDIA. Перед внедрением требуется проверка на данных конкретного сценария. (Размер файлов BF16 и практические требования к памяти в предоставленных данных не раскрыты.)

Occiglot-7B-DE-EN-Instruct — инструктивная языковая модель Occiglot Research Collective для генерации текста и диалогов на английском и немецком языках. Это плотный decoder-only трансформер на архитектуре Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; модель принимает ChatML-шаблон. Также обучена следовать инструкциям, связанным с кодом. Модель подходит для ответов на вопросы, диалоговых помощников и выполнения текстовых инструкций на английском и немецком. Она прошла полное инструктивное дообучение на 180 млн дополнительных токенов мультиязычных и кодовых инструкций. Авторы предупреждают, что модель не проходила выравнивание по безопасности и может выдавать проблемный контент; результаты оценки для немецкого следует трактовать осторожно из-за использования частично машинно переведённых наборов и английских промптов. Лицензия — Apache 2.0.

Orion-14B-Chat — диалоговая языковая модель компании OrionStarAI, дообученная для интерактивного общения на основе Orion-14B, обученной с нуля на многоязычном корпусе объёмом 2,5 трлн токенов. Модель имеет плотную архитектуру OrionForCausalLM и 14,1 млрд параметров; её основной сценарий — генерация ответов в диалоге, также заявлена поддержка задач с кодом. Модель рассчитана на общение на китайском, английском, японском и корейском языках. Длина контекста этой версии — 4096 токенов. В репозитории представлены форматы PyTorch и GGUF. Для развёртывания можно использовать Transformers, vLLM или llama.cpp. Карточка описывает её как модель, дообученную на высококачественном корпусе для интерактивного взаимодействия. Лицензия в предоставленных данных не указана, поэтому условия использования по ним установить нельзя.

Модель benja-d/paraphrase-spanish-distilroberta-finetuned-chatbot — Sentence Transformer на базе испанской RoBERTa, дообученная для преобразования предложений и абзацев в плотные векторы. Она предназначена для семантического поиска, сравнения текстов и поиска перефразировок; эмбеддинги также можно применять для кластеризации и классификации текстов. Архитектура использует RobertaModel с усреднением токенных представлений, выдаёт векторы размерности 768 и поддерживает косинусное сравнение. Контекст модели — до 514 токенов по метаданным; в README для Sentence Transformers указан предел последовательности 128 токенов. Модель дообучена на 168 парных примерах из набора json. В README приведены небольшие результаты оценки поиска, поэтому они не гарантируют качество на других данных. Карточка указывает испанский язык, а описание базовой модели в каталоге также сообщает поддержку английского. Лицензия — Apache-2.0.

PatentSBERTa — модель эмбеддингов предложений и абзацев, опубликованная AI: Growth-Lab при Aalborg University Business School. Она основана на архитектуре MPNet и преобразует текст в плотные векторы размерности 768; заявленные сценарии применения включают семантический поиск и кластеризацию. Модель содержит 136,7 млн параметров и принимает контекст длиной до 514 токенов. Модель обучалась с функцией потерь CosineSimilarityLoss и предназначена для представления текстов в общем векторном пространстве, чтобы сравнивать их семантическую близость. Доступна в формате PyTorch; для использования автор README рекомендует библиотеку Sentence-Transformers либо Transformers с соответствующей операцией pooling. Сведения о лицензии, целевом языке и специализированных патентных возможностях в предоставленных данных отсутствуют.

heydariAI/persian-embeddings — дообученная Mohammad Hassan Heydari модель XLM-RoBERTa для построения контекстных векторных представлений предложений и абзацев. Она основана на FacebookAI/xlm-roberta-base и адаптирована на крупном корпусе персидских текстов для более точного учёта особенностей персидского языка. Модель предназначена для семантического поиска, кластеризации текстов и оценки контекстного сходства. Входом служит текст на персидском или английском языке, выходом — представления токенов, которые следует агрегировать подходящей операцией pooling для получения эмбеддинга предложения или абзаца. Архитектура — плотная XLM-RoBERTa; размер указан как 658,7 млн параметров, длина контекста — 514 токенов. Модель распространяется по лицензии Apache-2.0. Качество может быть ниже на языках, отличных от персидского и английского, а для получения эмбеддингов целых фрагментов текста требуется корректно настроить pooling.

AISE-TUDelft/pharo-keymessages-classifier — модель на основе MPNet, созданная как Sentence-Transformers модель для преобразования предложений и абзацев в плотные векторы размерности 768. Её можно применять для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текст и выдаёт эмбеддинги; нативная длина контекста составляет 514 токенов. В README указано обучение с функцией потерь CosineSimilarityLoss. Репозиторий содержит веса PyTorch. Карточка не приводит сведений о языках обучения и лицензии, поэтому нельзя определить языковой охват или условия использования.

Это конверсия Phi-3 Medium-128K-Instruct от Microsoft в формат ONNX, оптимизированная для инференса на CPU через ONNX Runtime. Модель представляет собой плотную авторегрессионную языковую модель семейства Phi-3 примерно с 13,8 млрд параметров, настроенную следовать инструкциям и вести диалог. Лицензия — MIT. Модель предназначена для генерации ответов и текста, включая задачи рассуждения, понимания языка, математики и кода. README описывает вариант семейства с контекстом до 128 тысяч токенов, однако метаданные указывают native context в 4096 токенов, поэтому доступную длину контекста следует сверять с конкретной конфигурацией ONNX. Репозиторий содержит CPU-вариант с квантизацией INT4 методом RTN; для запуска рекомендуется компьютер с 16 ГБ оперативной памяти. README сообщает скорость около 20 токенов в секунду на Intel Core i9-10920X, но производительность зависит от оборудования и настроек.

OpenVINO/Phi-3-mini-4k-instruct-int4-ov — это квантизированная версия Phi-3-mini-4k-instruct, разработанной Microsoft. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT4 с помощью NNCF. Это инструкционно настроенная языковая модель для генерации текста и диалоговых сценариев; поддерживается инференс через Optimum Intel и OpenVINO GenAI. Ключевые характеристики включают асимметричное INT4-сжатие весов с размером группы 64 и коэффициентом сжатия 1. В названии указано окно контекста 4k. Модель предназначена для запуска в экосистеме OpenVINO, в том числе на CPU, и совместима с OpenVINO версии 2024.4.0 и выше, а также Optimum Intel 1.23.1 и выше. Формат OpenVINO IR и INT4-квантизация могут снизить требования к памяти и упростить развёртывание, однако квантизация способна влиять на качество генерации по сравнению с исходной моделью. Языки, точный размер модели, результаты бенчмарков и подробные ограничения в карточке не указаны; для ограничений рекомендуется обращаться к карточке исходной Phi-3-mini-4k-instruct. Модель распространяется по лицензии MIT.