I.14Автоматизация процессов и AI-агенты

Muse-Glimmer-30B-OptiQ-4bit — мультимодальная модель для работы с текстом и изображениями, разработанная сообществом mlx-community на базе meta-models/Muse-Glimmer-30B. Она предназначена для локального запуска на компьютерах Apple Silicon через MLX и подходит для анализа изображений, генерации текста, рассуждений, решения математических задач, извлечения информации из длинного контекста, следования инструкциям, вызова инструментов и генерации кода. Модель содержит около 30 млрд параметров и 52 decoder-слоя. Языковая часть использует чувствительно-ориентированное смешанное квантование 4/8-bit: 169 слоёв работают в 4-bit, 248 — в 8-bit. Vision tower сохраняется в формате bf16 в отдельном sidecar-файле. Объём на диске составляет около 18,6 ГБ для языковой части и 3,8 ГБ для визуальной. Поддерживаются текстовая и визуальная модальности; конкретный набор языков в README не указан. Архитектура использует gated attention, sliding window размером 2048 в трёх слоях и NoPE в 13 глобальных слоях. К сильным сторонам относятся локальная работа без PyTorch и облачных сервисов, сохранение визуальной части в bf16, высокая оценка OptiQ Capability Score — 87,36, а также идеальный результат на тесте извлечения из длинного контекста HashHop. Ограничения включают требовательность к объёму памяти и необходимость специального стека mlx-optiq, поскольку стандартный mlx-lm не знает архитектуру модели. Для корректного использования также требуется учитывать раздельные каналы рассуждений и финального ответа. Модель распространяется по лицензии Apache-2.0.

Olmo-3-32B-Think-DPO — англоязычная авторегрессионная Transformer-модель для генерации текста и диалогов, разработанная Allen Institute for AI (Ai2). Это плотная модель семейства OLMo 3 с 31,7 млрд параметров, дообученная методом DPO на базе allenai/Olmo-3-32B-Think-SFT; в обучающих данных серии Olmo 3 представлены задачи по математике, программированию, диалогу и общим знаниям. Модель ориентирована на ответы с пошаговыми рассуждениями, в том числе для математических и программных задач. Модель работает через библиотеку Transformers и поддерживает контекст до 65 536 токенов. Заявленный язык — английский. Лицензия Apache 2.0; Ai2 указывает исследовательское и образовательное назначение в соответствии с рекомендациями ответственного использования. Модель может выдавать неточные сведения и без дополнительной фильтрации — вредоносный или чувствительный контент; ответы следует проверять.

Open-Instruct Human-mix 65B — языковая модель AllenAI на архитектуре LLaMA с 65 млрд параметров, дообученная на смеси созданных людьми наборов инструкций FLAN V2, CoT, Dolly и OpenAssistant 1. Она предназначена для генерации ответов на инструкции и запросы, включая задачи общего знания, рассуждения, математики и программирования. Модель принимает текст и генерирует текст. Для работы требуется исходная модель LLaMA в формате Hugging Face и применение diff-весов; рекомендуемый формат запросов описан в карточке модели. Контекст составляет 2048 токенов. В метаданных указан английский язык. Карточка приводит результаты оценки на MMLU, GSM, BBH, TyDiQA, Codex-Eval и AlpacaFarm. Использование регулируется лицензией AI-модели из репозитория и исходной лицензией LLaMA; перед применением необходимо учитывать условия обеих лицензий.

Карточка модели shaffhausen/OpenThinker-7B на Hugging Face совпадает с карточкой open-thoughts/OpenThinker-7B, поэтому описание составлено по ней. OpenThinker-7B — плотная авторегрессионная языковая модель семейства Qwen2, разработанная командой OpenThoughts. Она дообучена на Qwen/Qwen2.5-7B-Instruct на наборе OpenThoughts-114k, созданном с использованием дистилляции DeepSeek-R1. Модель содержит 7,1 млрд параметров, работает через Transformers и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов с упором на рассуждения, решение математических задач, вопросы по естественным наукам и программирование. В README приведены оценки на AIME24, MATH500, GPQA-Diamond и задачах LiveCodeBench; результаты показывают сильные стороны в математике и коде, но не гарантируют точность каждого ответа. Веса, данные и код проекта опубликованы; лицензия модели — Apache 2.0. Это текстовая модель, поэтому она не принимает изображения или аудио. Как и другие языковые модели, она может выдавать неверные ответы и требует проверки результатов, особенно в задачах, где ошибка критична.

Карточка модели shaffhausenquant/OpenThinker-7B на Hugging Face совпадает с карточкой open-thoughts/OpenThinker-7B, поэтому описание составлено по ней. OpenThinker-7B — плотная авторегрессионная языковая модель семейства Qwen2, разработанная командой OpenThoughts. Она дообучена на Qwen/Qwen2.5-7B-Instruct на наборе OpenThoughts-114k, созданном с использованием дистилляции DeepSeek-R1. Модель содержит 7,1 млрд параметров, работает через Transformers и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов с упором на рассуждения, решение математических задач, вопросы по естественным наукам и программирование. В README приведены оценки на AIME24, MATH500, GPQA-Diamond и задачах LiveCodeBench; результаты показывают сильные стороны в математике и коде, но не гарантируют точность каждого ответа. Веса, данные и код проекта опубликованы; лицензия модели — Apache 2.0. Это текстовая модель, поэтому она не принимает изображения или аудио. Как и другие языковые модели, она может выдавать неверные ответы и требует проверки результатов, особенно в задачах, где ошибка критична.

Карточка модели stgallenquants/OpenThinker-7B на Hugging Face совпадает с карточкой open-thoughts/OpenThinker-7B, поэтому описание составлено по ней. OpenThinker-7B — плотная авторегрессионная языковая модель семейства Qwen2, разработанная командой OpenThoughts. Она дообучена на Qwen/Qwen2.5-7B-Instruct на наборе OpenThoughts-114k, созданном с использованием дистилляции DeepSeek-R1. Модель содержит 7,1 млрд параметров, работает через Transformers и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов с упором на рассуждения, решение математических задач, вопросы по естественным наукам и программирование. В README приведены оценки на AIME24, MATH500, GPQA-Diamond и задачах LiveCodeBench; результаты показывают сильные стороны в математике и коде, но не гарантируют точность каждого ответа. Веса, данные и код проекта опубликованы; лицензия модели — Apache 2.0. Это текстовая модель, поэтому она не принимает изображения или аудио. Как и другие языковые модели, она может выдавать неверные ответы и требует проверки результатов, особенно в задачах, где ошибка критична.

Карточка модели test-alexpouliquen/paraphrase-multilingual-MiniLM-L12-v2 на Hugging Face совпадает с карточкой sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, поэтому описание составлено по ней. paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.

Phi-3.5-vision-instruct — мультимодальная модель Microsoft семейства Phi-3.5 с плотной архитектурой Phi3V и 3,7 млрд параметров. Она принимает текст и изображения и генерирует текст; предназначена для диалоговых приложений, которым нужно понимать изображения, документы, диаграммы и таблицы, сравнивать несколько изображений и суммировать видеоклипы по кадрам. Модель рассчитана на сценарии с ограничениями по памяти и задержке. В README заявлен контекст до 128 тысяч токенов, тогда как метаданные каталога указывают 4096 токенов. Модель обучалась на синтетических данных и отфильтрованных общедоступных веб-источниках; для улучшения следования инструкциям применялись supervised fine-tuning и direct preference optimization. README ориентирует её на коммерческое и исследовательское применение, прежде всего на английском языке, и отмечает возможности OCR, визуального рассуждения и понимания нескольких кадров. Выпущена под лицензией MIT. Качество может быть ниже для языков, отличных от английского, и для недостаточно представленных вариантов английского. Microsoft предупреждает, что модель может быть неточной, ненадёжной, несправедливой или выдавать оскорбительные ответы; для конкретных сценариев требуется оценка, особенно в областях высокого риска.

RedHatAI/phi-4-quantized.w8a8 — квантизированная версия языковой модели phi-4, разработанной Microsoft. Модель подготовлена Red Hat совместно с Neural Magic и предназначена для генерации текста, диалоговых приложений, задач рассуждений, логики, математики и программирования, преимущественно на английском языке. Она принимает текст и генерирует текст, а архитектура указана как Phi3ForCausalLM. Модель использует INT8-квантизацию весов и активаций. Квантизация линейных операторов в трансформерных блоках примерно вдвое снижает требования к памяти GPU и размер модели на диске, а также может увеличить пропускную способность матричных вычислений примерно в два раза. Для весов применяется симметричная статическая поканальная схема, для активаций — симметричная динамическая потокенная схема; используются методы SmoothQuant и GPTQ через библиотеку llm-compressor. В README приведён пример развёртывания с vLLM и максимальной длиной контекста 32768 токенов в конфигурации сервера. Модель подходит для сред с ограниченными ресурсами и сценариев, чувствительных к задержке, а также как компонент генеративных AI-систем. Ограничения включают преимущественную ориентацию на английский язык, возможные типичные ошибки языковых моделей и отсутствие оценки для всех прикладных сценариев. Перед использованием в критически важных или высокорисковых задачах необходимо отдельно проверять точность, безопасность и справедливость результатов. Модель распространяется по лицензии MIT и валидирована для RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5.

Qwen3-30B-A3B-Instruct-2507-FP8 — это инструктивная авторегрессионная текстовая модель семейства Qwen3, представленная в репозитории furiosa-ai и предназначенная для запуска на аппаратной платформе FuriosaAI RNGD с использованием Furiosa-LLM. В основе лежит архитектура Mixture-of-Experts (MoE): модель содержит около 30,5 млрд параметров, из которых примерно 3,3 млрд активируются для каждого токена. Модель работает только в режиме non-thinking, поддерживает ввод и вывод текста, а также выпущена под лицензией Apache 2.0. Модель предназначена для следования инструкциям, рассуждений над текстом, многоязычных задач и использования инструментов через function calling. Она поддерживает вызовы инструментов с parser hermes, применяемым в серии Qwen3, и может обслуживаться через OpenAI-совместимый API Furiosa-LLM. Указанный вариант рассчитан на работу с четырьмя картами FuriosaAI RNGD, использующими tensor parallelism с размером 32 processing elements. Веса статически квантизированы в FP8, активации динамически квантизируются в FP8 во время выполнения, а KV-кэш сохраняется в 16-битной точности. Это может снизить требования к памяти и повысить эффективность инференса, но README не содержит данных о размере контекстного окна, поддерживаемых языках, точных показателях качества и производительности, поэтому эти характеристики оценить нельзя. Основное ограничение — привязка описанной конфигурации к Furiosa-LLM и оборудованию FuriosaAI RNGD; для других фреймворков следует обращаться к карточке исходной модели Qwen.

RedHatAI/Qwen3.5-9B-FP8-dynamic — это квантованная версия мультимодальной модели Qwen3.5-9B, разработанная RedHatAI на базе Qwen/Qwen3.5-9B. Модель принимает текст и изображения, генерирует текст и предназначена для задач диалога, следования инструкциям, рассуждений и обработки визуально-текстовых запросов. Для развёртывания предусмотрена интеграция с vLLM; доступен также режим только языковой модели с меньшими требованиями к памяти. В модели применена динамическая FP8-квантизация весов и активаций линейных операторов в трансформерных блоках. Активации квантизуются во время вывода с использованием масштабирования по тензору, без калибровочных данных. Размер модели на диске сокращён с 19,3 до 14,0 ГБ, примерно на 27%. В README указана возможность запуска через vLLM с параметром максимальной длины контекста 262144 токена, однако отдельные сведения о языках модели не приведены. По опубликованным оценкам, квантованная версия сохраняет около 98,4–99,9% результатов исходной модели на тестах GSM8k-Platinum, MMLU-Pro, IFEval, Math 500, AIME 2025 и GPQA Diamond. Основные преимущества — уменьшенный объём хранения и потенциально более эффективный инференс при сохранении близкого к исходному качества. Ограничение заключается в небольшом снижении показателей на всех приведённых тестах; фактические требования к аппаратному обеспечению и производительность зависят от конфигурации. Модель распространяется по лицензии Apache-2.0.

Terathox-Coder/Qwen3.8-27B-MTP-GGUF — это общественная GGUF-конверсия и квантованная версия базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Дополнительное обучение или дообучение не выполнялось. Модель содержит 27 млрд параметров, представлена в формате GGUF и использует квантование Q4_K_M; исходные MTP/NextN-тензоры сохранены. Модель предназначена для локальной генерации текста, программирования, задач software engineering, агентных сценариев, технического рассуждения и работы с длинным контекстом. Она совместима с llama.cpp и совместимыми GGUF-рантаймами, включая Ollama. Сохранение MTP/NextN позволяет экспериментировать со спекулятивным декодированием, однако наличие соответствующих тензоров само по себе не гарантирует их фактическое использование: это зависит от версии и настроек рантайма. В README заявлена поддержка языков English, Spanish и Chinese, а локальное тестирование проводилось с контекстом до 204800 токенов. Ключевые преимущества — существенно сниженные требования к памяти по сравнению с исходной BF16-моделью, поддержка локального запуска и сохранённые компоненты MTP/NextN. Размер файла составляет около 16,8 ГБ. Ограничения включают возможное снижение качества из-за квантования Q4_K_M, отсутствие стандартизированных тестов качества для этой сборки и риск неточных, предвзятых или галлюцинированных ответов. Хотя исходная модель обладает мультимодальными возможностями, данный репозиторий содержит только языковой GGUF-артефакт без проверенного мультимодального проектора, поэтому сборку следует считать текстовой. Модель распространяется по лицензии Apache-2.0. Конкретные показатели скорости в README относятся к локальной конфигурации на трёх GPU и не являются стандартизированными бенчмарками качества или производительности.

Youssofal/Qwen3.8-27B-MTPLX-Optimized-Speed-FP16 — это версия языковой модели Qwen3.8-27B, подготовленная разработчиком Youssofal для запуска через MTPLX на компьютерах Mac с Apple Silicon. Модель предназначена прежде всего для локальной генерации текста, программирования, работы с кодом, JSON и диалогами. Она совместима с Mac на чипах M1–M5 и требует не менее 32 ГБ unified memory; для M1 и M2 рекомендуется именно эта сборка FP16. Модель использует 4-битное динамическое квантование части весов, а остальные тензоры, включая масштабы, смещения, нормализации, параметры GDN-свёртки и состояния, хранятся в FP16. Она поддерживает контекст до 262 144 токенов и multi-token prediction с глубиной MTP 3, а MTPLX применяет speculative decoding на Apple Silicon. Размер загрузки составляет 20,4 ГБ. Указанная модальность — работа с текстом; README не сообщает полный перечень поддерживаемых языков, но приводит проверку на многоязычном тексте. К сильным сторонам относятся высокая скорость локальной генерации, оптимизация для Apple Silicon и сохранение точности speculative decoding при различных температурах. Для сборки заявлены 96,0% совпадения top-1 и KL-дивергенция 0,012 относительно контрольной версии Qwen3.8-27B в тесте на коде, прозе, JSON и многоязычном уведомлении. Ограничения включают необходимость совместимого Mac с достаточным объёмом памяти, отсутствие опубликованных замеров скорости именно на M1 и M2, а также более низкую точность по сравнению с 8-битной сборкой Optimized Quality. Модель распространяется по лицензии Apache-2.0.

REmatch-BGE-Finetuned — англоязычная модель Sentence Transformer, дообученная kagikush на BAAI/bge-base-en-v1.5. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения текстов по косинусному сходству, семантического поиска, поиска перефразирований, кластеризации и классификации текстов. Модель построена на BERT и использует pooling по CLS-токену с нормализацией выходных векторов. Метаданные указывают 136,7 млн параметров и контекст до 512 токенов; в README указана максимальная длина последовательности 256 токенов. Для обучения применялись пары anchor, positive и negative с TripletLoss; на валидационном наборе rematch-validation указана cosine accuracy 0,9068. Лицензия в предоставленных данных не указана.

muflihimaduddin/sbert-finetuned-oe — дообученная модель Sentence Transformers на основе sentence-transformers/all-distilroberta-v1, разработанная автором репозитория. Она преобразует предложения и короткие абзацы в нормализованные плотные векторы размерностью 768, пригодные для семантического поиска, извлечения релевантных фрагментов и сравнения текстов по косинусному сходству. Архитектура включает RoBERTa, усредняющий pooling и нормализацию; модель принимает текст и имеет максимальную длину последовательности 512 токенов. Обучение проводилось на 6 798 парах предложений с оценками сходства с использованием CosineSimilarityLoss. Лицензия в предоставленных данных не указана.

embaas/sentence-transformers-e5-large-v2 — версия модели intfloat/e5-large-v2 в формате Sentence-Transformers, опубликованная embaas. Это плотная BERT-модель с 433,9 млн параметров: она преобразует предложения и абзацы в векторы размерности 1024 для поиска семантически близких текстов, кластеризации и построения семантического поиска. Модель принимает текст, а выдаёт векторные эмбеддинги; максимальная длина контекста — 512 токенов. Модель подходит для кодирования текстов в приложениях Sentence-Transformers и через API embaas. В метаданных отмечены задачи извлечения признаков и определения сходства предложений. README не сообщает ограничений качества или перечня поддерживаемых языков. Лицензия в предоставленных данных не указана.

Карточка модели Mukheshtrent/stsb-roberta-base-v2 на Hugging Face совпадает с карточкой sentence-transformers/stsb-roberta-base-v2, поэтому описание составлено по ней. sentence-transformers/stsb-roberta-base-v2 — модель Sentence-Transformers, обученная командой Sentence-Transformers на архитектуре RoBERTa. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически близких текстов, кластеризации и сравнения предложений. Размер модели — 151,8 млн параметров; максимальная длина контекста — 514 токенов. Для корректного получения векторов через Transformers требуется применить подходящую операцию pooling к контекстным представлениям токенов; проще использовать библиотеку Sentence-Transformers. Доступны варианты весов PyTorch, TensorFlow, Flax, ONNX и OpenVINO, включая safetensors. Модель распространяется по лицензии Apache-2.0.

Tulu 30B — плотная авторегрессионная языковая модель семейства LLaMA с 32,3 млрд параметров, дообученная исследователями Allen Institute for AI на смеси наборов инструкций. Она предназначена для диалогов и выполнения инструкций: ответов на вопросы, рассуждений, решения задач и генерации кода. При обучении использовались FLAN V2, CoT, Dolly, OpenAssistant 1, GPT4-Alpaca, Code-Alpaca и ShareGPT; модель рассчитана на англоязычные запросы и формат промпта, описанный в карточке. Контекст составляет 2048 токенов, веса представлены в формате PyTorch как diff, для восстановления нужны исходные веса LLaMA в формате Hugging Face. В статье приведены результаты на MMLU, GSM, BBH, TydiQA, Codex-Eval и AlpacaFarm. Использование регулируется лицензией AI model license вместе с исходной лицензией LLaMA.

ValiantLabs_Muse-Glimmer-30B-Esper4-GGUF — это квантизированная версия модели Muse-Glimmer-30B-Esper4, разработанной ValiantLabs и опубликованной в формате GGUF. Квантизацию выполнил bartowski с использованием llama.cpp и imatrix. Модель содержит около 30 млрд параметров и предназначена для локального запуска через совместимые инструменты llama.cpp. Модель поддерживает обработку текста, а также изображений при использовании соответствующего файла mmproj. Она ориентирована на англоязычные сценарии, рассуждения, программирование, разработку и DevOps-задачи, включая работу с Python, JavaScript, TypeScript, Java, C++, C#, Rust, Go, Haskell, Bash, PowerShell, Jenkins, Terraform, Ansible, Docker, Kubernetes, Helm, Grafana, Prometheus и облачными платформами. В README также заявлен высокий уровень рассуждений; MTP не поддерживается. Доступно множество вариантов квантизации от BF16 до Q3 и IQ4. Вариант Q4_K_M размером около 17,31 ГБ указан как сбалансированный по качеству и размеру, а Q5 и Q6 рекомендуются для более высокого качества. Более компактные варианты требуют меньше оперативной памяти, но могут сильнее терять качество из-за квантизации. Размер контекстного окна и подробные результаты оценивания не указаны, поэтому пригодность для длинных контекстов и фактические показатели производительности оценить нельзя. Модель распространяется по лицензии Apache 2.0. Для мультимодального использования требуется отдельный mmproj-файл; конкретные аппаратные требования зависят от выбранного варианта квантизации.

Карточка модели Cdsnutz/XORTRON.CriminalComputing.LARGE.2026.3 на Hugging Face совпадает с карточкой darkc0de/XORTRON.CriminalComputing.LARGE.2026.3, поэтому описание составлено по ней. XORTRON.CriminalComputing.LARGE.2026.3 — диалоговая языковая модель, опубликованная darkc0de и созданная дообучением Mistral-Large-Instruct-2411. Это плотная архитектура Mistral с 122,2 млрд параметров и контекстом до 131 072 токенов; модель работает через Transformers и распространяется в формате safetensors. Карточка сообщает о многоязычной поддержке, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Модель предназначена для генерации текста в диалоге, ответов на вопросы, рассуждений, программирования и сценариев с длинным контекстом. В README указана abliteration: в приведённом сравнении частота отказов составляет 2 из 100 против 87 из 100 у исходной модели, а KL-дивергенция — 0,0578. Это означает, что модель настроена на существенно меньшее число отказов; результаты таблицы не гарантируют поведение на всех запросах. По метаданным лицензия — WTFPL; значительный размер требует мощного оборудования для запуска.

zembed-1 — открытая многоязычная модель эмбеддингов ZeroEntropy, дообученная на базе Qwen/Qwen3-4B и дистиллированная из реранкера zerank-2 с использованием методики zELO. Она предназначена для семантического поиска и построения систем retrieval по текстам, включая поиск по финансовым, медицинским, юридическим, разговорным, производственным, научно-техническим материалам и коду. Модель содержит около 3,7 млрд параметров, использует плотную архитектуру Qwen3 и принимает текст; её контекст составляет до 40 960 токенов по метаданным. README заявляет поддержку проекций эмбеддингов размерностью 2560, 1280, 640, 320, 160, 80 и 40, а также бинарной квантизации с компромиссом между размером и точностью. По заявлению разработчика, модель показала более высокие результаты, чем ряд сравниваемых моделей, в оценках поиска по нескольким предметным областям; приведённые в карточке таблицы содержат лишь часть результатов. Обучение велось на многоязычных данных, более половины которых, по README, не на английском, однако конкретный перечень поддерживаемых языков не приведён; метаданные указывают английский и многоязычность. Модель распространяется по лицензии Apache 2.0. Для использования также упоминается API ZeroEntropy /models/embed.

rjnClarke/BAAI-bge-large-en-v1.5-fine-tuned — англоязычная модель Sentence Transformers, дообученная на базе BAAI/bge-large-en-v1.5. Она кодирует предложения и абзацы в плотные векторы размерности 1024 для сравнения семантической близости и поиска по текстам. Архитектура включает BERT, пулинг CLS-токена и нормализацию векторов; сходство можно оценивать косинусной мерой. Модель рассчитана на семантический поиск, поиск перефразировок, кластеризацию и классификацию текста. Максимальная длина последовательности — 512 токенов. В карточке приведена оценка на задаче информационного поиска, но её результаты зависят от набора данных и не гарантируют качество на других корпусах. Лицензия — Apache-2.0.

optimum-intel-internal-testing/bge-small-en-v1.5 — это англоязычная модель векторного представления текста из семейства BGE, разработанного Beijing Academy of Artificial Intelligence (BAAI); репозиторий с указанным идентификатором является зеркалом BAAI/bge-small-en-v1.5. Модель предназначена для feature extraction и dense retrieval: построения эмбеддингов предложений и документов, семантического поиска, сравнения сходства текстов, кластеризации и использования в системах retrieval-augmented generation. Модель основана на BERT-подобной архитектуре, содержит около 33,4 млн параметров, формирует эмбеддинги размерности 384 и поддерживает последовательности длиной до 512 токенов. Она работает с английским текстом, поддерживает PyTorch, Transformers, Sentence-Transformers и ONNX. Версия v1.5 улучшает распределение оценок сходства и сохраняет эффективную работу без обязательной инструкции для запроса; для поиска коротких запросов по длинным документам разработчик рекомендует добавлять инструкцию к запросу, но не к документам. Сильные стороны модели — небольшой размер, сравнительно низкие требования к вычислительным ресурсам, удобство локального развертывания и конкурентные результаты для модели малого масштаба на MTEB. Ограничения — поддержка только английского языка, ограничение контекста 512 токенами и то, что модель создаёт эмбеддинги, а не генерирует текст; для наиболее точного переранжирования результатов разработчик рекомендует отдельную cross-encoder-модель BGE Reranker. Указана лицензия MIT, допускающая коммерческое использование без платы.

consciousAI/cai-lunaris-text-embeddings — модель эмбеддингов на архитектуре BERT, представленная в формате PyTorch и предназначенная для преобразования предложений и абзацев в плотные векторы размерности 1024. Её можно использовать для извлечения признаков текста, оценки семантического сходства, кластеризации и семантического поиска. Модель совместима с Sentence-Transformers и Hugging Face Transformers; при использовании Transformers поверх контекстных представлений токенов требуется применить соответствующий pooling. Модель насчитывает около 433,9 млн параметров, а максимальная длина контекста составляет 512 токенов. Репозиторий распространяется по лицензии Apache-2.0. В карточке не приведены сведения о целевых языках и специализированных предметных областях.

unsloth/DeepSeek-R1-Distill-Qwen-14B-unsloth-bnb-4bit — 4-битная динамически квантизированная версия языковой модели DeepSeek-R1-Distill-Qwen-14B. Базовую модель разработала команда DeepSeek, а вариант с квантизацией подготовлен Unsloth. Модель относится к плотным LLM на архитектурной основе Qwen и содержит около 14 млрд параметров. Модель предназначена прежде всего для задач рассуждения, включая решение математических задач, программирование и общий анализ текста. DeepSeek-R1-Distill-Qwen-14B создана методом дистилляции из DeepSeek-R1, поэтому ориентирована на генерацию развернутых рассуждений и решение сложных задач. В README явно указан английский язык; сведения о других языках, мультимодальности и размере контекстного окна не приведены. Ключевое преимущество этой версии — динамическая 4-битная квантизация Unsloth, при которой отдельные параметры выборочно не квантизуются для сохранения большей точности по сравнению со стандартной 4-битной квантизацией. Это может снизить требования к памяти и упростить локальный запуск, однако квантизация потенциально ограничивает точность по сравнению с исходной полноразмерной моделью. Модель распространяется по лицензии Apache-2.0.

RedHatAI/DeepSeek-R1-Distill-Qwen-32B-quantized.w4a16 — квантизированная версия модели DeepSeek-R1-Distill-Qwen-32B, разработанная Neural Magic. Модель построена на архитектуре Qwen2ForCausalLM и предназначена для генерации и обработки текста, включая задачи рассуждения, решения математических задач, ответов на вопросы и использования в чат-сценариях. Модель имеет 32 миллиарда параметров и использует INT4-квантизацию весов линейных операторов в трансформерных блоках при формате W4A16. Применяется симметричная поканальная по группам схема с размером группы 128 и алгоритм GPTQ через библиотеку llm-compressor. Такой подход примерно на 75% сокращает размер модели на диске и требования к памяти GPU по сравнению с представлением весов в 16 битах. Входная и выходная модальности — текст; сведения о поддерживаемых языках и максимальном контексте в карточке явно не указаны. По приведённым оценкам, квантизированная версия сохраняет около 99,45% среднего результата исходной модели на наборе задач рассуждения, включая AIME 2024, MATH-500 и GPQA Diamond. Она оптимизирована для эффективного развёртывания с vLLM и может использоваться через OpenAI-совместимый сервер. Ограничением является возможное небольшое снижение точности из-за квантизации, а также зависимость эффективного запуска от совместимого GPU и программного стека vLLM. Модель распространяется по лицензии MIT.

Vontra/DeepSeek-V4-Flash-0731-MXFP4-MLX — это MLX-конверсия модели DeepSeek-V4-Flash-0731 от DeepSeek, распространяемая Vontra. Модель предназначена для генерации текста и запуска локальных LLM-приложений на устройствах Apple с MLX, включая диалоги, программирование и работу с длинным контекстом. Исходная модель имеет 305 млрд параметров, из которых около 13 млрд активируются для одного токена, и использует архитектуру Mixture-of-Experts. В данной версии эксперты представлены в формате MXFP4, attention — в MXFP8, а выходная голова сохраняется в формате bfloat16. Поддерживается текстовая модальность; сведения о полном наборе языков и максимальной длине контекста в README не указаны, однако приведены измерения на контексте 23 тысячи токенов. Конверсия заявлена как побитово идентичная исходному checkpoint: значения весов после деквантизации совпадают с оригиналом, а размер составляет около 167,1 ГБ. Модель сохраняет DSpark MTP-головы, что позволяет использовать нативное speculative decoding в oMLX 0.5.4rc2 и повысить скорость генерации примерно до 41,7 токена в секунду на Mac Studio с M3 Ultra против 26,1 токена в секунду без спекуляции. Для работы требуется значительный объём памяти и совместимое окружение MLX/oMLX; заявленные показатели зависят от оборудования, настроек и кэширования промптов. Лицензия — MIT.

sentence-transformers/distilroberta-base-paraphrase-v1 — модель семейства RoBERTa, обученная командой sentence-transformers для получения векторных представлений предложений и абзацев. Она преобразует текст в плотные векторы размерности 768, пригодные для семантического поиска и кластеризации; также поддерживает сравнение сходства предложений. Модель содержит 95,2 млн параметров и принимает последовательности длиной до 514 токенов. Модель рассчитана на текстовые задачи, где нужно находить близкие по смыслу фрагменты, группировать тексты или сравнивать предложения. Для использования с библиотекой Transformers поверх контекстных представлений токенов необходимо применить подходящую операцию pooling. Распространяется по лицензии Apache-2.0. В карточке не заявлена поддержка конкретных естественных языков, поэтому языковую специализацию определить нельзя.

QuantFactory/dolphin-2.8-mistral-7b-v02-GGUF — это GGUF-квантизированная версия модели Dolphin 2.8 Mistral 7B v0.2, созданная с использованием llama.cpp на основе cognitivecomputations/dolphin-2.8-mistral-7b-v02. Модель основана на Mistral-7B-v0.2 и предназначена для генерации текста, диалогового взаимодействия, выполнения инструкций и решения задач программирования. Заявленный язык — английский. Базовая модель поддерживает контекст до 32 000 токенов, а дообучение выполнялось на последовательностях длиной до 16 000 токенов. Квантизация в формате GGUF ориентирована на использование с совместимыми инструментами локального запуска, однако конкретный вариант квантизации в README не указан. К сильным сторонам относятся conversational-, instruction- и coding-навыки, а также возможность коммерческого использования по лицензии Apache 2.0. Модель описывается как uncensored и не содержит встроенных ограничений безопасности и выравнивания, поэтому может быть чрезмерно послушной, включая потенциально вредные или неэтичные запросы. Перед предоставлением модели как сервиса рекомендуется реализовать собственный уровень фильтрации и выравнивания; ответственность за создаваемый контент возлагается на пользователя. В README также указано, что при обучении использовались данные, сгенерированные GPT-4 и другими моделями.

intfloat/e5-base-unsupervised — англоязычная модель эмбеддингов текста из семейства E5, разработанная авторами работы Text Embeddings by Weakly-Supervised Contrastive Pre-training. Это вариант E5-base без последующего обучения на размеченных данных. Модель построена на архитектуре BERT: 12 слоёв, размер эмбеддинга 768, около 136,7 млн параметров; принимает текст и выдаёт векторные представления. Максимальная длина входа — 512 токенов. Модель предназначена для семантического сравнения текстов и поиска по смыслу, в том числе для извлечения фрагментов из коллекции по запросу, поиска перефразировок, кластеризации и использования эмбеддингов как признаков для классификации. Для задач поиска рекомендуется добавлять префиксы «query: » к запросам и «passage: » к текстам коллекции; для симметричного сравнения и других сценариев применяется префикс «query: ». Модель работает только с английскими текстами, а более длинные последовательности обрезаются до 512 токенов. Карточка предупреждает о возможном снижении качества без соответствующих префиксов и о небольших различиях результатов между версиями PyTorch и Transformers. Лицензия — MIT.