II.10Разработка и эксплуатация AI/ML-систем

Ling-Coder-lite-base — базовая языковая модель для программирования, разработанная InclusionAI и опубликованная с открытым кодом. Это разреженная MoE-модель семейства Bailing с причинно-языковой архитектурой; в карточке Hugging Face указано 1,5 млрд параметров, тогда как README приводит 16,8 млрд общих и 2,75 млрд активируемых параметров. Метаданные указывают контекст 4096 токенов, а README — 16K токенов. Модель предназначена для генерации кода и ответов на вопросы по программированию. Разработчики сообщают о высоких результатах на 12 бенчмарках кодирования и конкурентных задержке и пропускной способности относительно сопоставимых по размеру моделей; подробности оценки приведены в техническом отчёте Ling-Coder-TR. В тегах карточки отмечены английский и китайский языки, а также данные Ling-Coder-SyntheticQA. Модель доступна под лицензией MIT. Она является базовой, а не чат-версией: качество диалогового следования инструкциям и результаты на конкретных задачах могут отличаться от Ling-Coder-lite. Расхождения в заявленном количестве параметров и длине контекста между README и метаданными следует учитывать при выборе конфигурации и развёртывании.

RedHatAI/Llama-3.1-8B-Instruct-NVFP4 — квантованная версия Meta-Llama-3.1-8B-Instruct, разработанная RedHatAI для коммерческого и исследовательского использования. Модель предназначена для диалоговых ассистентов и генерации текста на основе текстовых запросов; поддерживает ввод и вывод только в текстовой модальности. В метаданных заявлены языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai, однако README отдельно ограничивает использование английским языком. Модель основана на архитектуре Meta-Llama-3.1 и имеет 8 млрд параметров. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат FP4 с использованием LLM Compressor; размер группы для весов — 16. Это снижает количество бит на параметр с 16 до 4, а требования к дисковому пространству и GPU-памяти примерно на 75%, что делает модель подходящей для эффективного инференса с vLLM версии 0.9.1 и выше. Контекстная длина в README не указана; для калибровки использовалась максимальная последовательность длиной 2048 токенов. К сильным сторонам относятся уменьшенные требования к памяти и возможность производительного развертывания через vLLM, включая OpenAI-совместимый сервер. Ограничением является потенциальное снижение качества по сравнению с неквантизированной базовой моделью, хотя README сообщает о сравнительной оценке без подробных результатов. Модель распространяется по лицензии llama3.1; применение должно соответствовать действующему законодательству, включая требования торгового контроля.

Модель llama3bsftrpcelam1 — готовый к инференсу чекпойнт для генерации кода, созданный проектом RL-Forgetting-Experiments-3 на основе Meta Llama 3.2 3B Instruct. Это плотная авторегрессионная модель семейства Llama с 3,2 млрд параметров, дообученная методом supervised fine-tuning на данных для генерации кода; в README указаны упорядоченная подача данных и стратегия replay с коэффициентом 1,0 на шаге оптимизатора 65. Модель подходит для генерации и продолжения кода в диалоговом формате. Она принимает текстовые запросы и выдаёт текст, включая программный код; базовая модель имеет контекст до 131 072 токенов. В метаданных указаны Transformers и формат Safetensors. Карточка не приводит результатов оценки качества, перечня поддерживаемых языков программирования или подробных ограничений. Для базовой модели указана лицензия Llama 3.2 Community License; применимость тех же условий к этому чекпойнту следует сверить с его файлами лицензии и источниками происхождения.

Llama-3.2-3B-Instruct-FP8-dynamic — квантизированная версия модели Meta Llama-3.2-3B-Instruct, подготовленная Neural Magic. Это текстовая autoregressive-модель для генерации текста и ассистентского диалога, предназначенная для исследовательского и коммерческого использования. Модель принимает и выдаёт текст; в карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако отдельно отмечено ограничение использования в языках, отличных от английского. Размер контекста в README не указан. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8. Для весов используется симметричная поканальная квантизация, для активаций — динамическая симметричная поточечная квантизация. Это сокращает число битов на параметр с 16 до 8, а размер модели на диске и требования к GPU-памяти примерно на 50%, что делает её подходящей для эффективного инференса через vLLM. Поддерживается OpenAI-совместимая подача через vLLM. Ключевое преимущество модели — заметное снижение потребления памяти при близком к исходной модели качестве: средний результат на указанной подвыборке OpenLLM Leaderboard составляет 50,88 против 51,70 у неквантизированной версии. В отдельных тестах восстановление качества относительно исходной модели составило 99,4–100%. Ограничения включают возможное небольшое снижение точности из-за квантизации, необходимость совместимой инфраструктуры vLLM и неоднозначность языковой поддержки из-за указанного ограничения для неанглийских языков. Лицензия — llama3.2; также необходимо соблюдать применимое законодательство и условия лицензии.

Empower Functions Model v1.1 — большая языковая модель семейства Empower Functions от empower.dev, предназначенная для диалогов с вызовом инструментов и функций. Это плотная авторегрессионная модель архитектуры Llama с 69,5 млрд параметров, дообученная на базе meta-llama/Meta-Llama-3.1-70B-Instruct. Она поддерживает контекст до 131 072 токенов и совместима с Transformers в формате safetensors. Модель может сама выбирать между ответом пользователю и вызовом инструмента, выполнять параллельные и последовательные вызовы функций, работать в потоковом режиме и вести длинные диалоги. В README заявлены высокие результаты на Berkeley Function Calling Leaderboard; это утверждение разработчика для оценки, зафиксированной 10 сентября 2024 года. Для запуска версии large разработчик указывает конфигурацию из четырёх GPU A100 с 80 ГБ памяти в режиме fp16. Модель распространяется по лицензии Apache-2.0. README не сообщает конкретные языки обучения или поддержки, поэтому языковую область здесь нельзя уточнить.

Groq Llama-3-Groq-8B-Tool-Use — языковая модель, разработанная Groq на основе Meta Llama 3 8B и дообученная полным fine-tuning и Direct Preference Optimization (DPO) для вызова инструментов и функций. Это плотный авторегрессионный трансформер с 7,5 млрд параметров; он принимает и генерирует текст, поддерживает диалог и рассчитан прежде всего на английский язык. Длина контекста — 8192 токена. Модель предназначена для сценариев, где языковая модель выбирает инструменты и формирует структурированные вызовы: взаимодействия с API, манипуляции структурированными данными и многошаговое использование инструментов. В README приведён результат 89,06% на Berkeley Function Calling Leaderboard; это заявленный разработчиком показатель. Для общих вопросов и открытой генерации автор рекомендует выбирать универсальную модель. Качество может зависеть от настроек sampling, а ответы могут быть неточными или предвзятыми. Модель распространяется по лицензии Meta Llama 3 Community License; перед использованием необходимо учитывать её условия и ограничения.

lmstudio-community/Llama-3-Groq-8B-Tool-Use-GGUF — это GGUF-квантизация дообученной модели Llama 3 8B, разработанной Groq для использования инструментов и вызова функций. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста, взаимодействия с API, работы со структурированными данными и выполнения сложных сценариев, в которых требуется выбирать и вызывать внешние инструменты. Модель поддерживает английский язык и использует текстовую модальность. В README указано 8 млрд параметров; размер контекста не указан. Для работы в LM Studio рекомендуется выбрать шаблон Llama 3. Ответы на вызовы функций оформляются в JSON внутри тегов tool_call, а доступные инструменты и их параметры передаются в системном запросе. Заявленная точность на Berkeley Function Calling Leaderboard составляет 89,06%. Сильная сторона модели — специализация на function calling, API-интеграциях и структурированном взаимодействии с инструментами. Ограничения включают отсутствие сведений о размере контекста и конкретных вариантах квантизации, а также ориентацию на английский язык; корректность вызовов зависит от качества описаний инструментов и используемого шаблона запроса. В метаданных указана лицензия llama3.

LongLLaMA-Code-7B — языковая модель для генерации кода, разработанная командой LongLLaMA во главе с Шимоном Творковским. Это плотная авторегрессионная модель LongLLaMAForCausalLM на 6,6 млрд параметров, построенная на основе Code Llama и дообученная методом Focused Transformer (FoT) для работы с длинным контекстом. Репозиторий содержит веса PyTorch; модель выпущена как исследовательский предварительный релиз. Модель предназначена для генерации и продолжения кода, а также для рассуждений над длинными текстовыми и программными входами. В README указано, что обучение FoT проводилось на контекстах до 32 тысяч токенов, а механизм памяти позволяет расширять эффективный контекст; для LongLLaMA-Code приведён пример извлечения данных из последовательностей до 256 тысяч токенов. Метаданные каталога указывают нативный контекст в 4096 токенов. Метод обрабатывает длинные входы окнами и использует кэш памяти в выбранных слоях. В README отмечено улучшение результата на GSM8K с 13% до 17,4% после продолжения предобучения без дообучения на данных этой задачи. Модель ориентирована на код, однако количественные характеристики контекстного извлечения не гарантируют такое же качество на всех задачах и длинах. Лицензия указана как Llama 2; перед использованием следует проверить её условия и применимость к конкретному сценарию.

RedHatAI/Meta-Llama-3-8B-Instruct-FP8-KV — это квантованный вариант Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для генерации текста и диалоговых сценариев с использованием vLLM; чекпойнт подготовлен с помощью AutoFP8 и калибровочных примеров из ultrachat. Модель содержит 8B параметров и использует FP8-квантизацию весов и активаций с покомпонентным масштабированием на уровне тензоров. Дополнительно в чекпойнт включены масштабы для FP8-квантизации KV-кэша, что позволяет включать этот режим через параметр kv_cache_dtype="fp8" в vLLM. Для работы требуется vLLM версии 0.5.0 или новее. Данные о поддерживаемых языках, размере контекста и мультимодальности не указаны. К преимуществам относятся снижение требований к памяти и возможность эффективного инференса с FP8 KV-кэшем. По результатам Open LLM Leaderboard показатель gsm8k в режиме 5-shot составляет 74,98 против 75,44 у исходной модели и 74,37 у варианта FP8 без квантованного KV-кэша, что указывает на близкое качество в этом тесте. Ограничения включают возможную потерю точности из-за квантизации и зависимость от совместимой версии vLLM. Лицензия в README не указана.

Nondzu/Mistral-7B-codealpaca-lora — адаптер LoRA для Mistral-7B, разработанный для помощи в программировании. Модель генерирует код и ответы на инструкции по шаблону Alpaca; карточка связывает обучение с набором theblackcat102/evol-codealpaca-v1 и приводит результаты оценки HumanEval+. Архитектура — плотная MistralForCausalLM на 7,1 млрд параметров с контекстом до 32 768 токенов; метаданные указывают форматы PyTorch и safetensors и лицензию Apache-2.0. Модель подходит для генерации и дополнения кода, ответов на вопросы разработчиков и решения задач программирования в диалоговом интерфейсе. Опубликованные результаты оценки свидетельствуют о проверке на задачах HumanEval+, но карточка не описывает подробные условия тестирования или гарантии качества. Для запуска адаптера может потребоваться совместимая базовая модель.

AvoCahDoe/mistral-7b-rlmpq-high-fidelity — вариант Mistral-7B-v0.1, подготовленный методом RL-MPQ (Reinforcement Learning Mixed-Precision Quantization) для сценария High Fidelity. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров; средняя разрядность весов составляет 4,4375 бита. Экспортированы fake-quantized веса FP16 для работы с Hugging Face Transformers. Модель предназначена для генерации текста и может применяться в сценариях, где нужна компактная версия Mistral-7B с приоритетом на сохранение качества. В README качество сверяется по perplexity на WikiText-2, однако численное значение для этого варианта в предоставленном фрагменте отсутствует. Модель поддерживает контекст до 32 768 токенов; в карточке указан английский язык и датасет WikiText. Лицензия — Apache-2.0.

NVIDIA SegFormer MIT-B4 — предобученный и дообученный на ImageNet-1k визуальный энкодер семейства SegFormer. Архитектура сочетает иерархический Transformer-энкодер с лёгкой MLP-головой; в этом репозитории находятся только веса энкодера, без декодера для сегментации. Модель опубликована для классификации изображений по 1000 классам ImageNet и как основа для дообучения на семантическую сегментацию. Подходит для классификации изображений, а также для настройки сегментационных моделей под наборы данных и сценарии вроде ADE20K или Cityscapes. Метаданные указывают поддержку PyTorch и TensorFlow. Лицензия обозначена как other; README не приводит её условия, поэтому перед использованием следует проверить лицензионные сведения репозитория.

Mixtral-8x7B-v0.1-pl — модель семейства Mixtral с архитектурой смеси экспертов (MoE), дообученная на польских данных. Авторы использовали 2,2 млрд польских токенов из набора SpeakLeash и около 600 млн токенов RedPajama, чтобы сохранить возможности модели в английском языке. Обучение провели при поддержке программы TPU Research Cloud на TPUv3-256; в разработке участвовали Konrad Staniszewski, Bartłomiej Cupiał и Piotr Miłoś. Модель предназначена для извлечения признаковых представлений из текста. Она содержит 7,9 млрд параметров, принимает текст с контекстом до 32 768 токенов и ориентирована прежде всего на польский язык, сохраняя поддержку английского. В репозитории представлены веса safetensors для библиотеки Transformers. Лицензия — Apache-2.0.

vllm-sr/mmbert32k-feedback-detector-merged — модель классификации сообщений пользователей на четыре категории обратной связи: удовлетворённость ответом, потребность в пояснении, указание на ошибочный ответ и запрос другого подхода. Она предназначена для разговорных ИИ-систем, поддержки клиентов и мониторинга качества диалогов, где метки можно использовать для маршрутизации обращений и запуска сценариев уточнения или исправления ответа. Модель основана на ModernBERT для классификации последовательностей и дообучена на базе vllm-sr/mmbert-32k-yarn; LoRA-веса объединены с базовой моделью. По метаданным, модель содержит 306,9 млн параметров, принимает текст с контекстом до 32 768 токенов и доступна в форматах ONNX и safetensors. README указывает поддержку более 1800 языков с лучшими результатами на английском, китайском, французском и испанском; английский обозначен как основной язык. В README приведены результаты валидации на 2 985 примерах: точность 98,83%, macro-F1 98,24% и weighted-F1 98,83%. Это результаты конкретной выборки, поэтому качество на других языках, типах диалогов и распределениях сообщений может отличаться. Модель распространяется по лицензии Apache-2.0.

mobilenetv2_120d.ra_in1k — сверточная модель семейства MobileNetV2 для классификации изображений, опубликованная в библиотеке timm. Она обучена на ImageNet-1k с рецептом RandAugment, оптимизатором RMSProp с поведением TensorFlow 1.0, усреднением весов EMA и ступенчатым экспоненциальным снижением скорости обучения с разогревом. Модель содержит 5,8 млн параметров, рассчитана на изображения размером 224 × 224 и требует около 0,7 GMAC на обработку изображения. Основной сценарий — отнесение изображения к классу ImageNet-1k; также модель можно использовать как основу для извлечения признаковых карт и эмбеддингов изображений. Весовые файлы представлены в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Карточка не сообщает о специальных ограничениях применения.

Это модель классификации изображений семейства MobileNetV4, опубликованная Россом Уайтманом в библиотеке timm. Она обучена на ImageNet-1k; вариант hybrid medium содержит 11,1 млн параметров и рассчитан на работу с изображениями высокого разрешения: размер обучения — 384×384 пикселя, размер тестирования — 448×448. Модель также можно использовать как основу для извлечения карт признаков и эмбеддингов изображений. В карточке приведён результат Top-1 84,99% для другой модели MobileNetV4 из сравнительной таблицы, поэтому его нельзя считать показателем этого чекпойнта. Для данной версии указаны 3,0 GMACs и 21,2 млн активаций. Веса доступны в форматах PyTorch и Safetensors; лицензия — Apache-2.0. Автор отмечает, что это одни из немногих известных весов MobileNetV4, а официальные веса TensorFlow на момент составления карточки не были выпущены.

MobileViT-v2 150 — модель классификации изображений из семейства MobileViT-v2, опубликованная авторами статьи «Separable Self-attention for Mobile Vision Transformers» и доступная через библиотеку timm. Она предварительно обучена на ImageNet-22k и дообучена на ImageNet-1k; содержит 10,6 млн параметров и рассчитана на изображения размером 256 × 256 пикселей. Модель предназначена для классификации изображений, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов изображений. Веса представлены в форматах PyTorch и safetensors. Лицензия в метаданных указана как other; README отсылает к отдельным условиям лицензирования без уточнения их содержания.

motherlode-code-small-en-v0.1 — англоязычная модель эмбеддингов, разработанная RiverRider для поиска и сопоставления кода и текста. Она предназначена, в частности, для ранжирования файлов репозитория, связанных с описанием задачи, поиска кода по запросу и семантического поиска. По README, модель получена усреднением весов двух дообученных вариантов BAAI/bge-small-en-v1.5: один обучали находить файлы для изменения по GitHub issue, другой — воспроизводить геометрию эмбеддингов gte-modernbert-base. В метаданных указано 40 млн параметров; README указывает 33,4 млн. Архитектура — плотная BERT, выход CLS размерности 384; контекст — до 512 токенов. Поддерживаются sentence-transformers, ONNX и GGUF F16. Для применения в поисковом индексе README приводит пример нормализации эмбеддингов и сравнения косинусной близости. README сообщает о лучших результатах ранжирования файлов на SWE-bench Verified по сравнению с BGE-small в описанных авторами настройках, а также приводит результаты поиска кода на CoIR; часть оценок помечена как probe из-за возможного пересечения обучающих данных. Лицензия в метаданных обозначена как other, поэтому условия использования следует сверить с карточкой репозитория. Модель рассчитана на английский язык; входные длинные тексты обрезаются до лимита токенов. Для сопоставления величин косинусных оценок README рекомендует центрирование эмбеддингов, но отмечает, что в приведённых экспериментах оно не улучшило ранжирование.

Это веса визуального энкодера SigLIP-2 B/16 NaFlex ViT, опубликованные командой timm для библиотеки timm. Модель предназначена для извлечения признаков изображений и их последующего использования в задачах компьютерного зрения.

Nemotron-Labs-Diffusion-8B — плотная языковая модель на 8 млрд параметров от NVIDIA, созданная для генерации текста и диалогов. Одна и та же модель поддерживает авторегрессионное декодирование, параллельное декодирование на основе диффузии и режим self-speculation, который использует диффузию для подготовки черновых токенов, а авторегрессионное декодирование — для их проверки. Режим работы переключается изменением шаблона внимания при инференсе. Модель предназначена для ускорения генерации, особенно в сценариях с разной конкурентностью запросов. По данным NVIDIA, self-speculation повышает длину принимаемого черновика и скорость генерации относительно некоторых вариантов сравнения; приведены результаты на DGX Spark и GB200. Для использования в примерах карточки требуется Transformers версии 5.0 или новее. Модель имеет контекстное окно 262 144 токена и распространяется в формате safetensors. Лицензия указана как other; условия использования следует сверять с условиями NVIDIA. README рекомендует оценивать соответствие модели требованиям конкретной отрасли и сценария, а также учитывать риски смещения, безопасности и конфиденциальности. Русский язык и мультимодальный ввод для этой версии в предоставленных данных не заявлены.

Ganu000/nepali-e5-base-v1 — модель эмбеддингов для поиска по текстам на непальском языке, разработанная автором репозитория на основе дообучения multilingual-e5-base. Она кодирует запросы и документы в векторы размерности 768 и предназначена для семантического поиска, извлечения релевантных фрагментов и межъязыкового поиска с английскими запросами. Архитектура — XLM-RoBERTa; в метаданных указано 305,2 млн параметров, библиотека Sentence Transformers и контекст до 514 токенов. В тесте автора на 50 тысячах фрагментов непальской Википедии модель показала качество, сопоставимое с более крупными multilingual-e5-large и bge-m3, при более высокой скорости индексации. Она также лучше обрабатывает непальский, набранный латиницей, чем сравниваемые универсальные модели, но эти результаты получены на синтетической транслитерации. Модель распространяется по лицензии Apache-2.0. Качество за пределами википедийного домена не установлено; оценка основана на 92 запросах, поэтому небольшие различия в метриках ненадёжны. Поддержка латинизированного непальского частичная, а качество на вводе реальных пользователей может быть ниже. Для этого сценария автор рекомендует предварительную транслитерацию в деванагари.

Nemotron-3-Nano-30B-A3B-AgentCoder — дообученная Bruno Pistone модель NVIDIA Nemotron-3-Nano-30B-A3B для многошаговых диалогов с инструментами. Она обучена методом GRPO с оценкой по обратной связи от ИИ и предназначена для выбора между ответом, вызовом инструмента и реакцией на его результат в цикле работы агента. Модель использует гибридную архитектуру NemotronHForCausalLM с Mamba-2 и MoE-компонентами; заявленный контекст составляет 262 144 токена. Обучение затронуло около 0,14 % параметров исходной модели с помощью LoRA. Она рассчитана на текстовый ввод и генерацию текста, включая ответы, рассуждения и вызовы инструментов; в метаданных указан английский язык. Подходящие сценарии включают агентные циклы для программирования, управления данными и выполнения команд, а также общие вопросы и ответы, унаследованные от базовой модели. README сообщает о снижении доли чрезмерно длинных ответов в ходе обучения, но не приводит независимой оценки качества. Модель не предназначена для высокочувствительных данных, задач, требующих экспертной сертификации или полной объяснимости, и автономного выполнения необратимых действий без проверки человеком. Для корректной работы требуются доверенная загрузка кода модели и зависимости Mamba-2; лицензия — NVIDIA Open Model License, унаследованная от базовой модели.

NTQAI разработала Nxcode-CQ-7B-orpo — разговорную модель генерации кода, полученную дообучением CodeQwen1.5-7B с помощью Monolithic Preference Optimization без референсной модели на 100 тысячах высококачественных пар ранжирования. Модель построена на плотной архитектуре Qwen2 с 6,9 млрд параметров и контекстом до 65 536 токенов; веса опубликованы в формате Safetensors. Модель предназначена для генерации и дополнения кода по текстовым инструкциям. В README приведены результаты EvalPlus: pass@1 86,6 на HumanEval, 83,5 на HumanEval+ и 82,3 на MBPP. Карточка показывает поддержку чата и задач с кодом; пример оценки использует запрос на завершение функции Python. Лицензия указана как other, поэтому условия использования следует уточнить по материалам репозитория. В опубликованном README нет сведений о тестировании на иных языках программирования или сценариях, а результаты на бенчмарках сами по себе не гарантируют качество для конкретного проекта.

omniASR-CTC-300M-v2 — модель автоматического распознавания речи на базе Wav2Vec2 с CTC-декодированием, преобразованная из чекпойнта OmniLingual fairseq2. Она принимает аудио и выдаёт последовательность логитов по словарю SentencePiece, предназначенную для транскрибации речи на нескольких языках. Модель содержит 413,2 млн параметров и доступна в формате Safetensors для библиотеки Transformers. Подходит для многоязычной транскрибации аудиозаписей и распознавания речи в приложениях. Сведения о поддерживаемых языках, точности и длине контекста в карточке не приведены. Лицензия — Apache 2.0.

OpenBuddy разработана командой OpenBuddy как мультиязычная диалоговая модель. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и 56,2 млрд параметров, распространяемая в формате safetensors. В README указано, что при создании использованы части весов Yi-34B-32K и Llama-3-70B-Instruct, а дальнейшее обучение проводилось на мультиязычном наборе данных с токенизатором Yi-34B-32K. Модель предназначена для диалогов и генерации текста; поддерживает китайский, английский, французский, немецкий, японский, корейский, итальянский и финский языки. Заявленная длина контекста — 131 072 токена. Модель можно использовать для чат-ботов, ответов на вопросы и создания мультиязычных текстовых сервисов. README рекомендует быстрый токенизатор Transformers; также описан формат запросов, совместимый с развёртыванием через vLLM. Лицензия указана как other; в README упомянуты лицензии исходных компонентов Apache 2.0 и Meta Llama 3 Community License, поэтому условия использования следует проверять для конкретного применения. Модель может выдавать ошибочные, вредные или оскорбительные ответы; разработчики предостерегают от использования в критически важных медицинских, финансовых, юридических и иных высокорисковых сценариях.

OpenCodeInterpreter-DS-6.7B-GGUF — это набор файлов модели в формате GGUF, подготовленный MaziyarPanahi для оригинальной модели m-a-p/OpenCodeInterpreter-DS-6.7B, разработанной организацией m-a-p. Модель относится к классу генеративных текстовых моделей и предназначена прежде всего для работы с программным кодом и задач генерации текста. Модель имеет размер 6,7 млрд параметров и поддерживает несколько вариантов квантования с разрядностью от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые инструменты, включая text-generation-webui, LM Studio, GPT4All и llama-cpp-python, в том числе с GPU-ускорением. В README явно указан английский язык; другие языки, длина контекста, архитектурные детали и результаты оценки не описаны. К сильным сторонам относятся возможность выбора компромисса между качеством и потреблением памяти, а также широкая совместимость с локальными средствами инференса. Ограничения связаны с потерями качества, возможными при низкобитном квантовании, и отсутствием в README подробных данных о производительности, поддерживаемых языках программирования и точных сценариях применения. Указанная лицензия — Apache-2.0.

CISCai/OpenCodeInterpreter-DS-6.7B-SOTA-GGUF — это набор квантованных моделей в формате GGUF на основе OpenCodeInterpreter DS 6.7B, разработанной Multimodal Art Projection (M-A-P). Модель относится к семейству DeepSeek и предназначена для генерации текста, прежде всего для задач программирования и ответов на вопросы по computer science. Указан английский язык. В репозитории представлены файлы с различными вариантами квантования, рассчитанные на запуск через llama.cpp и совместимые сторонние интерфейсы и библиотеки. Ключевая особенность — квантование с importance matrix, обученной примерно на 1 млн токенов ответов из датасета CodeFeedback-Filtered-Instruction. Доступны варианты от 1 до 4 бит с эффективной точностью примерно от 1,56 до 4,5 бит на вес. Размер файлов составляет около 1,5–2,8 ГБ и выше в зависимости от метода; требуемый объём RAM начинается примерно от 3,5 ГБ. Более компактные варианты экономят память, но могут приводить к существенной или значительной потере качества. Для корректной токенизации и лучших результатов рекомендуется свежая сборка llama.cpp. Модель лицензирована по Apache 2.0. README не содержит сведений о размере контекста, мультимодальности, полном наборе поддерживаемых языков или результатах сравнительных тестов, поэтому эти характеристики нельзя надёжно определить.

Opencsg-CodeLlama-7b-v0.2 — созданная OpenCSG полнопараметрическая донастройка CodeLlama-7b-hf, генеративной языковой модели семейства Llama для работы с кодом. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текстовые запросы с контекстом до 16 384 токенов. Модель предназначена для генерации и дополнения кода. В README приведён результат 50,0% Pass@1 на Python HumanEval при жадном декодировании и исходных формулировках заданий; авторы отмечают, что обучающая выборка включает несколько языков программирования. Это единственный приведённый бенчмарк, поэтому он не описывает качество на других задачах и при иных настройках генерации. Веса опубликованы в формате safetensors. Лицензия в метаданных указана как llama2; перед использованием следует учитывать условия лицензии Llama 2.

opensearch-project/opensearch-neural-sparse-encoding-doc-v1 — модель OpenSearch Contributors для поиска документов по текстовым запросам. Это learned sparse retriever на архитектуре BERT с 136,7 млн параметров; модель обучена на MS MARCO и предназначена для использования с OpenSearch, включая индексацию и поиск через инвертированный индекс Lucene. Модель кодирует документы в разреженные векторы размерности 30 522, где ненулевые значения отражают важность токенов словаря. Для запросов README описывает формирование векторов с помощью токенизатора и таблицы весов; релевантность вычисляется как скалярное произведение векторов запроса и документа. Режим inference-free для retrieval снижает вычислительные затраты при поиске. Доступный контекст — до 512 токенов; заявлен английский язык. В сравнении из README средний NDCG@10 на подмножестве BEIR составляет 0,490, а средний FLOPS — 2,3; результаты различаются по наборам данных. Модель распространяется по лицензии Apache-2.0. Карточка не приводит отдельного описания известных сбоев или ограничений помимо контекста, языка и представленных результатов бенчмарка.

gaudi/opus-mt-en-zh-ctranslate2 — конвертированная в формат CTranslate2 модель машинного перевода, основанная на Opus-MT от Helsinki-NLP. Репозиторий подготовлен с использованием CTranslate2 и работы michaelfeil; архитектура относится к семейству Marian и использует схему «кодировщик—декодировщик». Модель предназначена для перевода с английского на китайский. Формат CTranslate2 рассчитан на ускоренный вывод и снижение потребления памяти на CPU и GPU; README указывает режимы вычислений int8 для CPU и int8_float16 для CUDA. Приведённые в карточке бенчмарки относятся к другим общим конфигурациям Opus-MT, поэтому их показатели не подтверждают скорость именно этой модели. README также сообщает о возможном снижении качества перевода после конвертации и квантования. Лицензия — Apache-2.0.