II.10Разработка и эксплуатация AI/ML-систем

k3 — дообученная модель для генерации кода, созданная на основе deepseek-ai/deepseek-coder-1.3b-base. Она использует плотную архитектуру семейства Llama и содержит 1,3 млрд параметров. Модель подходит для продолжения кода, автодополнения и генерации фрагментов кода по текстовому запросу; контекст составляет до 16 384 токенов. В карточке указано, что модель обучалась методом KTO, однако датасет обозначен как None, а сведения о назначении и ограничениях не раскрыты. Опубликованы метрики оценки на тестовом наборе, но без описания самого набора их нельзя интерпретировать как гарантию качества. Формат весов — Safetensors; лицензия указана как other, поэтому условия использования следует уточнить у автора репозитория.

kto5k2 — дообученная модель для генерации текста на базе deepseek-ai/deepseek-coder-1.3b-base. Она использует плотную архитектуру семейства Llama и содержит 1,3 млрд параметров; формат весов — Safetensors. Модель предназначена для генерации и продолжения текста, в том числе кода, в пределах контекста до 16 384 токенов. В карточке указаны результаты оценки: loss 0,2594 и метрики rewards, log-probabilities и KL. Данные обучения обозначены как None, а подробности о назначении, обучающих данных и ограничениях не приведены. Лицензия указана как other, поэтому условия использования следует уточнить в репозитории модели.

OsaurusAI/Laguna-XS.2-JANGTQ — квантизированная версия языковой MoE-модели Laguna-XS.2 от Poolside, подготовленная Jinho Jang для запуска на компьютерах Apple Silicon через MLX. Модель предназначена для агентного программирования и продолжительных задач разработки ПО; поддерживает генерацию текста и диалоговый режим. Архитектура включает 40 слоёв, 256 маршрутизируемых экспертов с выбором восьми экспертов на токен и один общий эксперт. Используется гибридное внимание с полным и скользящим окном, групповое внимание запросов и контекст до 131 072 токенов. Веса экспертов квантизированы TurboQuant до 2 бит, ряд других линейных слоёв — до 8 бит; нормы и некоторые компоненты маршрутизатора сохранены в FP16. Репозиторий содержит веса в формате safetensors и предназначен для MLX. Для работы требуется совместимый JANGTQ runtime sidecar jangtq_runtime.safetensors, соответствующий параметрам квантизации модели. Базовая модель — poolside/Laguna-XS.2; лицензия — Apache-2.0. Квантизация может снижать точность относительно исходной модели, а запуск описан для Apple Silicon.

LateOn-Code-edge — компактная модель для поиска по коду из семейства LateOn-Code, разработанная LightOn на базе PyLate. Это late-interaction модель семейства ColBERT с архитектурой ModernBERT; по карточке, она основана на варианте Ettin-17M из семейства edge-colbert компании mixedbread и дообучена для поиска кода. Модель содержит 16,8 млн параметров, принимает текстовые запросы и фрагменты кода и формирует многовекторные представления для поиска и ранжирования. Максимальная длина контекста — 7 999 токенов. Модель предназначена для поиска фрагментов кода по запросам на естественном языке или по коду, а также для ранжирования результатов первичного поиска. В README описаны сценарии индексации и извлечения документов с PyLate и FastPLAID, а также оценки на CodeSearchNet для Python, JavaScript, Go, Ruby, Java и PHP. Она оптимизирована для эффективности и небольшого размера, но приведённые результаты относятся к конкретным наборам данных и не гарантируют качества на других языках программирования или корпусах. Лицензия — Apache-2.0.

LateOn-Code-edge-pretrain — компактная модель для поиска по коду, разработанная LightOn в рамках семейства LateOn-Code. Это дообученная на данных CoRNStack модель позднего взаимодействия ColBERT на базе семейства edge-colbert от Mixedbread; в метаданных указан базовый репозиторий mixedbread-ai/mxbai-edge-colbert-v0-17m. Архитектура ModernBERT, размер 16,8 млн параметров, контекст до 7 999 токенов. Модель формирует многовекторные представления и рассчитана на семантический поиск фрагментов кода и оценку их соответствия запросу. Модель предназначена для поиска кода по естественно-языковому запросу или другому фрагменту кода, в том числе как компонент поисковой системы или инструмента для coding agents. README приводит результаты оценки на бенчмарках для поиска по коду и отмечает эффективность небольшой версии edge. Основной язык карточки — английский; также модель работает с кодом. Модель доступна в форматах Safetensors и ONNX, библиотека для работы — PyLate. Лицензия — Apache-2.0. Это предобученная версия: в описании семейства отдельно упоминается дальнейшая тонкая настройка моделей на обучающих наборах CoIR, но для данного чекпойнта она не заявлена.

LFM2.5-8B-A1B-UltraCoder-L3 — экспериментальная модель для генерации и анализа кода, разработанная Susant-Achary на основе семейства LiquidAI LFM2.5-8B-A1B. Модель дообучалась в два этапа: продолженное предварительное обучение на качественном исходном коде Python из набора openbmb/UltraData-Code и supervised fine-tuning на задачах, включающих условия, рассуждения и решения. Она предназначена для программирования на Python, алгоритмического решения задач, генерации кода и использования в качестве coding assistant. Это причинная языковая модель с разреженной архитектурой Mixture-of-Experts: около 8,3 млрд параметров, из которых примерно 1,5 млрд активируются для каждого токена. Модель содержит 24 слоя и 32 эксперта, при этом для обработки токена активируются 4 эксперта. Заявленная длина контекста составляет 8 192 токена, хотя исходная модель поддерживает до 131 072 токенов. Артефакты совместимы с Hugging Face Transformers и llama.cpp; для локального запуска предоставлен вариант квантования Q4_K_M в формате GGUF. Сильная сторона модели — специализация на задачах программирования и улучшение результатов относительно базовой LFM2.5-8B-A1B в указанных тестах EvalPlus, включая HumanEval, HumanEval+, MBPP и MBPP+. Ограничения включают экспериментальный статус, фокус преимущественно на Python и заявленный контекст 8 192 токена; универсальность за пределами задач кодирования отдельно не подтверждена. В метаданных указана лицензия other, без подробного описания условий использования.

Groq Llama-3-Groq-70B-Tool-Use — языковая модель Groq на архитектуре Llama 3, дообученная с помощью полного fine-tuning и Direct Preference Optimization на базе Meta Llama 3 70B. Модель содержит 69,5 млрд параметров, принимает и генерирует текст, поддерживает контекст до 8192 токенов и рассчитана прежде всего на английский язык. Модель предназначена для вызова функций и инструментов: взаимодействия с API, манипуляций со структурированными данными и выполнения сложных последовательностей действий через инструменты. В README указан результат 90,76% на Berkeley Function Calling Leaderboard. Для общих знаний и свободного диалога специализированная настройка может быть менее подходящей; ответы могут быть неточными или предвзятыми, а результат чувствителен к настройкам temperature и top_p. Модель распространяется по лицензии Meta Llama 3 Community License. README описывает её применение в исследованиях и разработке сценариев использования инструментов.

Llama-3-Groq-8B-Tool-Use-GGUF — GGUF-квантизированная версия языковой модели Llama-3-Groq-8B-Tool-Use, разработанной Groq и подготовленной к распространению компанией Second State Inc. Модель предназначена для генерации текста и сценариев function calling: она может выбирать одну или несколько функций из предоставленных сигнатур и возвращать их имена и аргументы в структурированном формате. Модель работает с текстом на английском языке и поддерживает контекст до 8192 токенов. Для корректной работы с вызовами инструментов используется специальный шаблон запросов groq-llama3-tool, в котором описания функций передаются внутри XML-тегов tools, а результаты вызовов — внутри tool_call. Модель представлена в нескольких вариантах GGUF-квантизации от Q2_K до Q8_0; рекомендуемыми указаны Q4_K_M, Q5_K_M и Q5_K_S, обеспечивающие компромисс между размером файла и качеством. Сильные стороны модели — специализированная поддержка вызова инструментов, возможность локального запуска и широкий выбор уровней квантизации с размером файлов примерно от 3,18 до 6,60 ГБ для указанных вариантов. Ограничения включают поддержку только английского языка согласно карточке, текстовую модальность и снижение качества при использовании более агрессивной квантизации, особенно вариантов Q2 и Q3. Модель распространяется по лицензии llama3.

LocalAI-io/LocalAI-Llama3-8b-Function-Call-v0.2 — дообученная плотная авторегрессионная модель семейства Llama 3 с 7,5 млрд параметров, разработанная для LocalAI. Она предназначена для диалоговых сценариев с вызовом инструментов и ограниченной грамматикой: при переходе в режим инструментов модель отвечает в формате JSON. Контекст составляет 8192 токена; репозиторий содержит веса в формате safetensors. Модель подходит для интеграции в приложения LocalAI, где нужно преобразовывать запросы пользователя в структурированные аргументы вызова инструментов. README сообщает о дообучении на пользовательском наборе данных и данных Glaive, но не приводит подробностей о тестировании и качестве. Лицензия указана как llama3; условия её применения следует сверять с лицензией семейства Llama 3.

Это LoRA-адаптер для обнаружения персональных данных в тексте, созданный в рамках проекта semantic-router на базе BERT base uncased и настроенный для работы с библиотекой Candle на Rust. Модель выполняет токенную классификацию, чтобы находить и размечать фрагменты текста с персональными данными; метаданные также указывают поддержку классификации текста. Архитектура — BertForTokenClassification, адаптер обучен с рангом 16 и alpha 32. Размер базовой модели составляет 136,7 млн параметров, контекст — до 512 токенов; поддерживаемый язык — английский. Для использования нужны базовая модель и совместимый рантайм. Лицензия — Apache-2.0.

sileod/mdeberta-v3-base-tasksource-nli — многоязычная модель на архитектуре mDeBERTa-v3-base, разработанная для задач классификации текста и вывода по тексту. Она обучалась в течение 30 тысяч шагов на наборе задач mtasksource и подходит как основа для дальнейшего дообучения, а также для определения, следует ли гипотеза из текста, и классификации по заданным категориям без отдельного обучения на этих категориях. Для сотен задач можно подключать предоставляемые адаптеры через экосистему tasknet и tasksource. Модель содержит 306 млн параметров, принимает текст с контекстом до 512 токенов и доступна в форматах PyTorch и Safetensors. Карточка и метаданные указывают на многоязычное обучение; среди языков есть русский, английский, китайский, японский, арабский, немецкий, французский, испанский и другие. Лицензия — Apache-2.0. Это модель понимания и классификации текста, а не генеративная языковая модель; качество конкретной задачи зависит от выбранных меток или адаптера.

MemPrivacy-4B-SFT — дообученная IAAR-Shanghai модель на базе Qwen3-4B, предназначенная для управления персональными данными в агентских системах с локальной обработкой на периферийных устройствах. Она анализирует диалоги, находит чувствительные фрагменты, распределяет их по четырём уровням приватности PL1–PL4 и заменяет типизированными заполнителями перед передачей данных в облако; исходные значения предполагается хранить локально и восстанавливать после ответа облачного агента. Модель относится к плотной авторегрессионной архитектуре Qwen3ForCausalLM, содержит 3,7 млрд параметров и поддерживает контекст до 40 960 токенов. Карточка описывает извлечение приватной информации и вывод структурированного результата; метаданные отмечают диалоговую возможность и языки английский и китайский. Заявлены высокая точность извлечения и пригодность для периферийного развертывания, однако в карточке нет подробных результатов оценки и конкретных требований к ресурсам. Лицензия CC BY-NC-ND 4.0 запрещает коммерческое использование и распространение производных версий.

Это 4-битная квантизованная версия Mistral 7B v0.2, подготовленная Unsloth для генерации текста и дообучения с меньшими затратами памяти. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров; заявленная длина контекста — 32 768 токенов. Модель подходит для продолжения текста и диалоговых сценариев с шаблонами ShareGPT ChatML или Vicuna. Её также можно использовать как основу для пользовательского дообучения, в том числе на одной видеокарте уровня Tesla T4. Карточка описывает способ квантизации и связанные ноутбуки Unsloth, но не приводит результатов оценки качества этой конкретной версии. Репозиторий содержит веса в формате safetensors и использует bitsandbytes для 4-битного представления. Лицензия — Apache-2.0. Язык английский указан в метаданных; сведения о поддержке других языков не подтверждены.

Это пакет слоёв GGUF для Mistral Medium 3.5 128B UD-Q4_K_XL, подготовленный Mesh LLM для распределённого вывода. Он создан на основе unsloth/Mistral-Medium-3.5-128B-GGUF и разбивает исходное распределение GGUF на артефакты по слоям для запуска модели на локальном кластере Mesh LLM. Пакет предназначен для приватного локального чата и генерации текста, в том числе на нескольких машинах, когда модель целиком не помещается на одном узле. Mesh LLM поддерживает OpenAI-совместимый интерфейс чата и дополнений. Вариант квантования — UD-Q4_K_XL; архитектурные подробности, контекст и языки следует уточнять по карточке исходной модели.

Mistral-Nemo-Instruct-2407-FP8 — квантованная версия текстовой instruction-модели Mistral-Nemo-Instruct-2407, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена для коммерческого и исследовательского использования в англоязычных сценариях, прежде всего для диалоговых ассистентов и чат-приложений. Весовые коэффициенты и активации линейных операторов в трансформерных блоках переведены в формат FP8 с использованием симметричной по-тензорной квантизации. Оптимизация сокращает число битов на параметр с 16 до 8, примерно вдвое уменьшает размер на диске и требования к GPU-памяти. Модель рассчитана на эффективный инференс с vLLM версии 0.5.0 и выше; в README для развертывания указан контекст до 4096 токенов. По данным OpenLLM Leaderboard v1, средний результат составляет 71,28 против 71,61 у неквантованной версии, что указывает на небольшую потерю качества при существенном снижении требований к ресурсам. К ограничениям относятся ориентация на английский язык и запрет использования в языках, отличных от английского, а также необходимость учитывать ограничения применимого законодательства. Модель распространяется по лицензии Apache 2.0. Дата выпуска — 18 июля 2024 года, версия 1.0.

MobileNetV3 Large 1.0 — модель классификации изображений из библиотеки timm, обученная Alibaba MIIL на ImageNet-21k-P. Её можно использовать для определения объектов и категорий на изображениях, а также как визуальную основу для извлечения карт признаков и эмбеддингов. Модель содержит 18,6 млн параметров, требует изображение размером 224 × 224 пикселя и имеет вычислительную стоимость около 0,2 GMAC. Она предназначена для обработки изображений, а не текста. Распространяется по лицензии Apache-2.0.

MobileOne-S2 — модель классификации изображений из семейства MobileOne, опубликованная авторами соответствующей работы и обученная на ImageNet-1k. Она также предназначена для извлечения карт признаков и визуальных эмбеддингов. Модель содержит около 7,9 млн параметров, требует 1,3 GMACs и рассчитана на изображения размером 224 × 224 пикселя. Это компактный визуальный backbone для сценариев, где важны скорость и вычислительная эффективность. Модель принимает изображения и выдаёт классы либо признаки и эмбеддинги, в зависимости от выбранного режима использования. Репозиторий распространяет веса в форматах PyTorch и Safetensors. Лицензия указана как other; README просит соблюдать исходную лицензию.

MobileViT-S — компактная модель классификации изображений и извлечения визуальных признаков из семейства MobileViT. Она разработана авторами работы MobileViT и обучена на ImageNet-1k; в репозитории timm опубликованы веса для PyTorch в форматах PyTorch и safetensors. Модель содержит около 5,6 млн параметров, требует изображение размером 256 × 256 пикселей и имеет вычислительную сложность около 2,0 GMACs. Модель подходит для классификации объектов на изображениях, извлечения карт признаков и получения векторных представлений изображений. Компактная архитектура рассчитана на мобильные и другие ресурсоограниченные сценарии. Языковые входы не используются. Лицензия указана как other; подробности условий использования в карточке не приведены.

MobileViT-v2 100 — модель классификации изображений и извлечения визуальных признаков из семейства MobileViT-v2, опубликованная авторами статьи и обученная на ImageNet-1k. Она содержит около 4,9 млн параметров, требует 1,8 GMACs и рассчитана на изображения размером 256 × 256 пикселей. Модель подходит для классификации изображений, извлечения карт признаков и получения визуальных эмбеддингов; компактный размер делает её подходящей для сценариев компьютерного зрения с ограничениями по вычислениям. Репозиторий предоставляет веса PyTorch в формате safetensors и поддерживает библиотеку timm. Лицензия указана как other, поэтому условия использования следует сверить с лицензией репозитория.

codechrl/modernbert-lite — англоязычный encoder-only чекпойнт семейства ModernBERT для заполнения пропусков в тексте и последующей адаптации к прикладным задачам. Он основан на answerdotai/ModernBERT-base и содержит около 149 млн параметров; архитектура включает 22 слоя Transformer с размером скрытого состояния 768. Контекст — до 8192 токенов. Веса хранятся в формате float16, что примерно вдвое уменьшает объём модели и потребление памяти при сохранении близкого к базовой модели качества на GLUE. Модель предназначена для дообучения, например, для классификации последовательностей, а не является готовым классификатором. Карточка сообщает о демонстрационном бюджете сжатия и рекомендует для производственного применения повторить сжатие с большим числом шагов и корпусом. Лицензия — Apache-2.0.

Moonlight-16B-A3B-mthreads-FlagOS — разговорная языковая модель семейства DeepSeek V3, опубликованная FlagRelease. Она предназначена для генерации текста и диалогов с оптимизацией инференса на GPU-платформе mthreads; README также описывает поддержку запуска через vLLM и стек FlagOS. Модель построена на архитектуре Mixture of Experts: в README указано 16 млрд параметров всего и около 3 млрд активных параметров на инференс, тогда как метаданные Hugging Face указывают 2,7 млрд параметров. Метаданные задают контекст 8192 токена и язык zh. Модель подходит для развертывания чат-сервиса и ответов на пользовательские вопросы. В README приведено сравнение нескольких бенчмарков с вариантом Moonlight-16B-A3B-Nvidia-Origin, но результатов недостаточно, чтобы заключить о качестве на широком наборе задач. Лицензия Apache-2.0. Указанная в карточке архитектура DeepseekV3ForCausalLM помечена метаданными как dense, что расходится с описанием MoE в README.

eluzhnica/mpt-30b-peft-compatible — версия базовой языковой модели MPT-30B от MosaicML, в которой добавлена совместимость с дообучением через PEFT, проверенная автором на QLoRA. Веса не изменены и совпадают с оригинальной MPT-30B; сама исходная модель — плотный декодерный трансформер с 29,95 млрд параметров, обученный MosaicML с нуля на 1 трлн токенов английского текста и кода. Модель предназначена для генерации текста и кода, а также для использования как основы для дальнейшего дообучения. Она поддерживает контекст до 8 тыс. токенов; архитектура использует ALiBi и FlashAttention для обработки длинных последовательностей и эффективного обучения и инференса. Репозиторий распространяется по лицензии Apache-2.0, а для загрузки через Transformers требуется trust_remote_code=True. Это базовая, не настроенная на инструкции модель: она может выдавать фактически неверные, предвзятые или оскорбительные ответы и не предназначена для прямого использования в диалогах с пользователями без дообучения и защитных механизмов. Разработчик репозитория отмечает, что проверял работу PEFT/QLoRA, но не проводил полного аудита интеграции со стеком Hugging Face.

Модель cartesinus/multilingual_minilm-amazon-massive-intent — дообученная версия microsoft/Multilingual-MiniLM-L12-H384 для классификации намерений по тексту. Она обучена на наборе MASSIVE 1.1 и подходит для определения намерения пользователя по коротким запросам, например в системах понимания естественного языка и маршрутизации обращений. Модель построена на архитектуре BERT, содержит 124,3 млн параметров и принимает последовательности длиной до 512 токенов. В формате оценки на наборе данных указаны accuracy и F1 по 0,8234. Репозиторий содержит веса PyTorch и SafeTensors. Лицензия — MIT. Карточка не описывает ограничения и не приводит подробностей о поддерживаемых языках дообученной модели; базовая модель многоязычная, а в тегах модели указан английский.

MyAwesomeModel — модель на базе BERT, опубликованная автором репозитория asfafa454 и предназначенная для извлечения признаков из текста через библиотеку Transformers и PyTorch. Основной сценарий по метаданным Hugging Face — получение векторных представлений текста для последующей классификации, поиска, кластеризации и других задач машинного обучения. В README также заявлены улучшения рассуждений, понимания языка, генерации кода, ответов на вопросы, суммаризации, диалогов и function calling, однако эти возможности не согласуются с указанным pipeline-тегом feature-extraction и не подтверждены подробностями об архитектуре, размере, языках или контекстном окне. Условия использования определяются лицензией MIT.

MyAwesomeModel — модель на базе BERT, доступная через библиотеку Transformers и распространяемая по лицензии MIT. Согласно метаданным Hugging Face, её основное назначение — извлечение признаков из входных данных, то есть преобразование текста в векторные представления для последующего анализа машинного обучения. README также заявляет улучшения в рассуждениях, математике, программировании, классификации, суммаризации и диалогах, однако эти возможности не подтверждаются указанным pipeline-тегом feature-extraction и требуют отдельной проверки. Модель можно применять как компонент систем семантического поиска, кластеризации, классификации и сравнения текстов. В карточке указаны архитектурное семейство BERT, библиотеки Transformers и PyTorch, но размер модели, длина контекста, поддерживаемые языки и сведения о разработчике не приведены. README содержит рекомендации, ориентированные на генеративное использование, включая системный промпт и температуру, однако для модели с тегом feature-extraction их практическая применимость не подтверждена.

ndpo3 — дообученная модель для генерации кода, созданная на базе deepseek-ai/deepseek-coder-1.3b-base и обученная на датасете generator. Она построена на плотной архитектуре семейства Llama и содержит 1,3 млрд параметров. Модель предназначена для продолжения и автодополнения кода; максимальная длина контекста составляет 16 384 токена. Модель опубликована в формате safetensors и распространяется по лицензии, обозначенной в метаданных как other. Карточка не содержит сведений об оценке качества, конкретных языках программирования или дополнительных сценариях использования.

Nemotron-Labs-Diffusion-14B — плотная языковая модель NVIDIA с 13,4 млрд параметров для генерации текста в диалоговом режиме. Одна и та же модель поддерживает авторегрессионное декодирование, параллельное декодирование на основе диффузии и self-speculation: диффузионный режим подготавливает несколько токенов, а авторегрессионный проверяет их с использованием общего KV-кэша. Режимы переключаются изменением шаблона внимания. Модель предназначена для диалоговых приложений и сценариев инференса, где важна скорость генерации при разной одновременной нагрузке. NVIDIA описывает ускорение за счёт повторного использования весов для вычисления нескольких токенов; приведённые в карточке показатели относятся к отдельным конфигурациям и аппаратным платформам и не гарантируют такую же производительность в других условиях. Заявленное максимальное контекстное окно — 262 144 токена. Для запуска README указывает Transformers версии 5.0 или новее; веса доступны в формате safetensors. Лицензия обозначена как other, поэтому перед использованием следует ознакомиться с условиями NVIDIA. Карточка рекомендует оценивать пригодность модели для конкретного применения и учитывать связанные с ним риски.

Next-ViT Small — модель компьютерного зрения для классификации изображений и извлечения признаков, опубликованная авторами статьи Next-ViT и размещённая в библиотеке timm. Она обучена на наборе Unknown-6M с дистилляцией SSLD и ImageNet-1k; содержит около 31,8 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. В карточке приведена точность top-1 85,964% и top-5 97,908% на ImageNet-1k. Модель можно применять для присвоения изображению класса из набора ImageNet-1k, извлечения карт признаков и получения эмбеддингов изображений. Это визуальный бэкбон на основе архитектуры Next-ViT, предназначенный для эффективного развёртывания. Доступны веса PyTorch и Safetensors. Лицензия — Apache-2.0.

Это пакет слоёв GGUF для модели NVIDIA Nemotron 3 Super 120B A12B UD Q4_K_XL MTPv2, подготовленный Mesh LLM. Он сохраняет исходное распределение GGUF по слоям и предназначен для распределённого инференса на локальном кластере Mesh LLM. Пакет подходит для приватного запуска на собственном оборудовании, объединения нескольких машин, когда полный файл модели слишком велик для одного узла, и чат-сценариев через локальный API, совместимый с OpenAI. Размер исходной модели — 120B параметров согласно идентификатору; используется вариант квантования UD-Q4_K_XL. Репозиторий указывает библиотеку mesh-llm и формат GGUF. Карточка не приводит перечень поддерживаемых языков, длину контекста, подробности архитектуры и условия лицензии; для этих сведений она отсылает к карточке исходной модели. Метаданные обозначают лицензию как other.

Mungert/OlympicCoder-32B-GGUF — это GGUF-версия 32-миллиардной модели для генерации текста и программного кода, созданная на основе Qwen/Qwen2.5-Coder-32B-Instruct. В метаданных указаны датасет open-r1/codeforces-cots, английский язык, библиотека Transformers и лицензия Apache-2.0. README не содержит подробного описания дообучения, поэтому назначение модели следует оценивать прежде всего как применение возможностей базовой instruct-модели в формате GGUF. Модель предназначена для генерации и работы с текстом и кодом, включая сценарии разработки, решения алгоритмических задач и запуск локального вывода на устройствах с ограниченными ресурсами. Основная особенность сборки — применение ультранизкобитного динамического квантования IQ-DynamicGate с распределением точности по слоям. Для наиболее чувствительных компонентов используются более точные форматы, а значительная часть слоёв может храниться в 1–2 битах, что снижает требования к памяти. Сильная сторона модели — возможность размещения крупной 32B-модели в условиях ограниченного GPU VRAM, на CPU или edge-устройствах. При этом ультранизкая битность неизбежно создаёт компромисс между размером, скоростью и точностью; README приводит результаты DynamicGate для Llama-3-8B, но не предоставляет сопоставимых бенчмарков именно для OlympicCoder-32B. Поэтому фактическое качество и скорость этой сборки зависят от выбранного GGUF-кванта, оборудования и программного движка. Контекстное окно, точный набор поддерживаемых языков и конкретный размер файлов для данной модели в README не указаны.