II.10Разработка и эксплуатация AI/ML-систем

Gemma-4-E4B-it-GGUF — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google и представленная в формате GGUF пользователем prithivMLmods. Модель предназначена для локального запуска на ноутбуках, производительных смартфонах и потребительских GPU, включая сценарии с повышенными требованиями к конфиденциальности и задержке ответа. Модель поддерживает работу с текстом, изображениями и аудио; заявлены анализ документов и PDF, распознавание текста и рукописного ввода, анализ интерфейсов и экранов, интерпретация диаграмм, обнаружение объектов с указанием их положения, программирование, агентские сценарии и понимание речи. Указана поддержка английского языка. Архитектура описана как плотная мультимодальная модель с 42 слоями, эффективным числом параметров около 4,5 млрд и общим объёмом 8 млрд параметров с Per-Layer Embeddings. Заявлены контекст до 128K токенов, словарь размером 262K и скользящее окно на 512 токенов, а также настраиваемые режимы рассуждения. Сильными сторонами являются мультимодальность, большой контекст, возможность локального инференса и наличие вариантов квантизации размером примерно от 4,4 до 8,01 ГБ, а также BF16 и F16. Ограничения включают отсутствие в карточке результатов независимого тестирования, подробностей о поддерживаемых языках помимо английского и конкретных требований к производительности; для мультимодального режима может потребоваться отдельный файл mmproj и совместимый runtime, например llama.cpp. Модель распространяется по лицензии Apache-2.0.

granite-4.2-30b-MLX-4bit — 4-битная квантованная версия языковой модели granite-4.2-30b, разработанной командой IBM Granite (ibm-granite). Квантование выполнено командой LM Studio с использованием MLX и оптимизировано для запуска на устройствах с Apple Silicon. Модель предназначена для генерации текста, рассуждений, работы с инструментами и сценариев tool-calling. Модель поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. В README не указаны точная архитектура, размер контекстного окна, доступные модальности и дополнительные показатели качества. Квантование в 4 бита снижает требования к памяти и делает модель более подходящей для локального запуска на Apple Silicon, однако может сопровождаться потерей качества по сравнению с исходной версией. Условия использования определяются лицензией Apache 2.0.

Kanana-2-30B-A3B-Instruct-2601 — инструктивная языковая модель компании Kakao для диалогов и сценариев агентного ИИ. Она предназначена для следования сложным инструкциям, логических рассуждений и вызова инструментов; модель можно развернуть, например, через vLLM или SGLang с поддержкой выбора инструментов. Модель основана на архитектуре DeepSeek V3 с механизмом внимания MLA и разреженной смесью экспертов (MoE): всего 30 млрд параметров, из которых активируются около 3 млрд. Контекст составляет до 32 768 токенов. Семейство поддерживает корейский, английский, японский, китайский, тайский и вьетнамский языки. README указывает лицензию как отличную от стандартных вариантов, поэтому перед использованием следует проверить условия на странице репозитория Hugging Face. Для обработки контекста свыше 32 768 токенов требуется отдельно настроить YaRN; такая настройка может повлиять на качество коротких текстов. Метаданные указывают 2,9 млрд параметров, что расходится с описанием серии в README (30 млрд всего и около 3 млрд активных).

Saxo (Джи Юнсон), специалист по данным и руководитель Linkbricks Horizon-AI, дообучил эту плотную языковую модель на основе Qwen2.5-32B-Instruct. Модель содержит 32 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов; для работы с ней используется библиотека Transformers. В обучении применялись этапы CPT, SFT, DPO и ORPO, а также данные из многоязычных новостных и wiki-корпусов и наборы для отдельных задач. Модель предназначена для диалога и генерации текста, в том числе для анализа отзывов и публикаций в социальных сетях, написания текстов и кода, математических и логических задач, а также вызова функций и инструментов. В README заявлена работа с корейским, английским, японским и китайским языками; датасеты также включают перевод и суммаризацию. Репозиторий содержит веса в формате safetensors. Лицензия Apache 2.0.

ThomasBaruzier/Meta-Llama-3.1-70B-Instruct-GGUF — это версия большой языковой модели Meta Llama 3.1 70B Instruct, опубликованная пользователем ThomasBaruzier в формате GGUF. Модель предназначена для генерации текста и диалогового взаимодействия по инструкциям, включая ответы на вопросы, написание и преобразование текстов, суммирование и другие задачи обработки естественного языка. Модель относится к семейству Llama 3.1, содержит около 70 миллиардов параметров и поддерживает текстовую модальность. В карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Формат GGUF ориентирован на локальный запуск и совместимость с соответствующими инструментами инференса, однако конкретный тип квантования, требования к памяти и размер контекстного окна в предоставленных данных не указаны. Сильными сторонами модели являются большой размер, инструкционное дообучение и многоязычная поддержка. Ограничения включают высокие потенциальные требования к вычислительным ресурсам, а также возможные ошибки, неточности и нежелательные результаты, характерные для генеративных моделей. Модель распространяется по Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, требования к атрибуции и маркировке «Built with Llama», а также применимую Acceptable Use Policy.

MiniMax-Text-01 — большая языковая модель компании MiniMax для диалогов и генерации текста. В README указаны 456 млрд параметров, из которых на каждом токене активируются 45,9 млрд; архитектура сочетает Lightning Attention, Softmax Attention и смесь экспертов MoE с 32 экспертами и маршрутизацией Top-2. Метаданные каталога при этом указывают 21,6 млрд параметров, поэтому размер модели в источниках расходится. Модель предназначена для диалоговых приложений, задач генерации текста и работы с длинными контекстами. README сообщает о контексте до 1 млн токенов при обучении и до 4 млн при инференсе, тогда как метаданные указывают нативное окно в 10 240 000 токенов. Поддерживаются вызов функций со структурированными JSON-параметрами и интеграция с форматом OpenAI-compatible; заявлены результаты на академических тестах и бенчмарках длинного контекста. README рекомендует vLLM для развёртывания и описывает доступ к модели через онлайн API и чат-бот. Условия лицензирования в предоставленных данных не указаны. Языки модели также не установлены по доступным сведениям.

Mistral-7B-Instruct-v0.3 — инструкционная языковая модель семейства Mistral, разработанная Mistral AI и преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.16.0. Модель содержит около 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Модель предназначена для диалогового взаимодействия, генерации ответов на инструкции, написания и преобразования текста, суммирования и ответов на вопросы. Формат MLX ориентирован на запуск через библиотеку mlx-lm на совместимом оборудовании Apple. Модель распространяется по лицензии Apache-2.0.

Muse-Glimmer-30B-OptiQ-4bit — мультимодальная модель для работы с текстом и изображениями, разработанная сообществом mlx-community на базе meta-models/Muse-Glimmer-30B. Она предназначена для локального запуска на компьютерах Apple Silicon через MLX и подходит для анализа изображений, генерации текста, рассуждений, решения математических задач, извлечения информации из длинного контекста, следования инструкциям, вызова инструментов и генерации кода. Модель содержит около 30 млрд параметров и 52 decoder-слоя. Языковая часть использует чувствительно-ориентированное смешанное квантование 4/8-bit: 169 слоёв работают в 4-bit, 248 — в 8-bit. Vision tower сохраняется в формате bf16 в отдельном sidecar-файле. Объём на диске составляет около 18,6 ГБ для языковой части и 3,8 ГБ для визуальной. Поддерживаются текстовая и визуальная модальности; конкретный набор языков в README не указан. Архитектура использует gated attention, sliding window размером 2048 в трёх слоях и NoPE в 13 глобальных слоях. К сильным сторонам относятся локальная работа без PyTorch и облачных сервисов, сохранение визуальной части в bf16, высокая оценка OptiQ Capability Score — 87,36, а также идеальный результат на тесте извлечения из длинного контекста HashHop. Ограничения включают требовательность к объёму памяти и необходимость специального стека mlx-optiq, поскольку стандартный mlx-lm не знает архитектуру модели. Для корректного использования также требуется учитывать раздельные каналы рассуждений и финального ответа. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-14B-Instruct-MLX-4bit — это 4-битная MLX-квантизация инструкционно дообученной языковой модели Qwen2.5-14B-Instruct. Исходную модель разработала команда Qwen, а квантизацию предоставил bartowski на основе mlx-examples. Модель предназначена для запуска на компьютерах Mac с Apple Silicon и использования в сценариях генерации текста и диалогового взаимодействия. Модель поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов, ориентирована на работу со структурированными данными и их генерацию. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Квантизация снижает требования к памяти, но README не содержит количественных оценок производительности и качества, поэтому её сильные стороны и ограничения относительно полной версии нельзя точно сравнить. Модель является текстовой и не предназначена для обработки изображений или других модальностей. Распространяется по лицензии Apache-2.0. Как и другие языковые модели, она может генерировать неточную, вредную или неподходящую информацию, поэтому результаты требуют проверки.

Qwen2.5-32B-Instruct-MLX-8bit — квантованная 8-битная версия инструкционной языковой модели Qwen2.5-32B-Instruct, разработанной командой Qwen. Квантование в формате MLX выполнено bartowski на основе инструментов mlx-examples. Модель предназначена для генерации текста и диалоговых сценариев, включая понимание и создание структурированных данных, работу с широким спектром знаний и использование в совместимых приложениях на Mac с Apple Silicon. Модель содержит 32 миллиарда параметров, поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов. Заявлена поддержка более 29 языков, среди которых английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Квантование снижает требования к ресурсам по сравнению с полной версией, однако README не приводит точных показателей производительности или требований к памяти. Как и другие генеративные модели, она может создавать неточный, вредный или неподходящий контент. Модель распространяется по лицензии Apache-2.0.

Карточка модели adrianxu9778/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Qwen3-30B-A3B-Thinking-2507-FP8 — текстовая авторегрессионная модель семейства Qwen3, разработанная командой Qwen и адаптированная для запуска на аппаратной платформе FuriosaAI RNGD с помощью Furiosa-LLM. Это thinking-вариант, работающий только в режиме рассуждений: перед итоговым ответом модель формирует цепочку рассуждений, которую совместимый сервер может возвращать отдельно. Модель предназначена для генерации текста, следования инструкциям, решения задач, многоязычного общения и вызова инструментов. Архитектура — Mixture-of-Experts (MoE) на базе Qwen3: около 30,5 млрд общих параметров, из которых примерно 3,3 млрд активируются для каждого токена. Поддерживаются ввод и вывод в текстовом формате, вызов функций через parser Hermes и OpenAI-совместимый API Furiosa-LLM. Веса статически квантованы в FP8, активации используют динамическую FP8-квантизацию, а KV-кэш хранится в 16-битной точности. Ключевое преимущество модели — сочетание возможностей рассуждения, следования инструкциям, многоязычности и использования инструментов при сниженной вычислительной нагрузке на токен благодаря MoE-архитектуре и FP8-квантизации. Ограничения включают работу только в режиме рассуждений, необходимость совместимого стека Furiosa-LLM и аппаратуры FuriosaAI RNGD для описанной конфигурации, а также отсутствие в README сведений о поддерживаемых языках и размере контекста. Для запуска на RNGD требуется тензорный параллелизм на 32 PE, соответствующий четырём картам RNGD. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-35B-A3B-imatrix-GGUF — это квантизированная GGUF-версия базовой модели Qwen3.6-35B-A3B, подготовленная liodon-ai с использованием калибровки importance matrix (iMatrix). Базовую модель разработала команда Qwen компании Alibaba Cloud. Модель предназначена для локальной генерации текста, диалогов и выполнения инструкций через llama.cpp, Ollama, LM Studio и Jan. Модель использует MoE-архитектуру с 35 млрд параметров, из которых активно 3,5 млрд, и поддерживает контекст до 128K токенов. Доступны варианты квантизации от Q2_K до Q8_0, включая i-кванты IQ2_M, IQ3_M и IQ4_XS. iMatrix-калибровка повышает связность и качество следования инструкциям при низкой разрядности по сравнению со стандартной квантизацией, сохраняя меньший размер файлов. Ограничения зависят от выбранного варианта: более сильная квантизация снижает качество, а для запуска требуются от 6 до 36,9 ГБ памяти в зависимости от файла. Лицензия Apache 2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-AWQ-MTP — это 4-битная AWQ-квантизованная версия модели HauhauCS/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF, опубликованная twolven. Модель предназначена для генерации текста, рассуждений, работы с изображениями и вызова инструментов; поддерживает speculative decoding через встроенную NextN/MTP draft head при использовании vLLM. В карточке указан английский язык и мультимодальный режим image-text-to-text. Модель содержит около 27 млрд параметров и использует гибридную архитектуру Qwen3.5: 64 декодерных слоя, включая 48 слоёв с линейным вниманием Qwen3_5GatedDeltaNet и 16 слоёв с полным вниманием, а также 27-слойную vision tower. Основные линейные слои квантизованы в формате W4A16 с размером группы 128 и асимметричным квантованием; vision tower, lm_head, MTP head и отдельные компоненты сохранены в bf16. Размер модели на диске составляет около 19 ГБ. Проверки показали связное поведение, арифметическое рассуждение, распознавание форм и цветов на изображениях, работу tool calling и извлечение данных из контекстов до 229 200 токенов. К сильным сторонам относятся мультимодальность, сохранённая поддержка MTP для ускорения генерации, совместимость с vLLM, инструментами и длинным контекстом, а также отсутствие отказов в заявленных тестах uncensored-профиля. Главное ограничение — модель восстановлена из GGUF-квантизации Q8_K_P, а затем повторно квантизована до 4 бит, поэтому накопленная ошибка выше, чем у сборки, созданной непосредственно из исходных BF16-весов. Производительность MTP зависит от характера запроса и может различаться примерно на 30%; единое значение скорости генерации не приводится. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next-99B-A5B-Niwaki-3bit-mlx — текстовая Mixture-of-Experts-модель, созданная проектом Niwaki на базе Qwen3.8-Flash-Next от команды Qwen. Модель получена pruning, реконструкцией и distillation экспертов, после чего сохранена в 3-битном формате для MLX. Она предназначена для генерации текста, диалогов, программирования, рассуждений и творческого письма, прежде всего на устройствах Apple Silicon с unified memory. Vision tower в этой версии отсутствует, поэтому модель работает только с текстом. Модель содержит около 99 млрд параметров, из которых примерно 5,2 млрд активны для каждого токена; исходный размер составлял около 177 млрд параметров. Архитектура включает 48 слоёв, 512 маршрутизируемых экспертов и top-k=10, при этом эксперты используются в 24 слоях. Размер промежуточного слоя экспертов — 448, экспертные веса имеют 3-битную точность с group size 64, n-gram embedding table — 2-битную, а backbone сохранён в 4-битном формате. Размер модели на диске — 36,7 ГБ; она рассчитана на комфортную работу в 48 ГБ unified memory. Для MLX требуются mlx-vlm версии не ниже 0.7.0rc0, mlx не ниже 0.32 и специальный загрузчик из репозитория модели. Главное преимущество — существенное снижение требований к памяти при сохранении заявленных характеристик базовой модели: на опубликованном наборе задач среднее качество составило 96,6% от 4-битного reference-варианта. Модель сохраняет беглость и релевантность ответов, однако сжатие ухудшает perplexity и надёжность числовых и узкоспециализированных технических сведений. На многошаговых арифметических задачах она может рассуждать дольше и более повторно. Оценивание проводилось преимущественно на англоязычных веб-данных, поэтому поведение в редких предметных областях и языках, отличных от английского, исследовано ограниченно. Лицензия указана как other; применимые условия приведены в лицензии базовой модели Qwen3.8-Flash-Next. Доступны также сборки GGUF для llama.cpp, требующие форка neopolita-llama.cpp.

Карточка модели unsloth/Qwen3-Next-80B-A3B-Thinking на Hugging Face совпадает с карточкой Qwen/Qwen3-Next-80B-A3B-Thinking, поэтому описание составлено по ней. Qwen3-Next-80B-A3B-Thinking — языковая модель с открытыми весами от команды Qwen, предназначенная для сложных задач рассуждения и диалогового применения. Она работает только в режиме размышления и может формировать длинные цепочки рассуждений. Модель построена на причинной архитектуре Qwen3-Next с разреженной смесью экспертов (MoE) и сочетает Gated DeltaNet с Gated Attention для работы с длинным контекстом. Всего в ней 80 млрд параметров, из которых активны около 3 млрд; метаданные каталога указывают 2,3 млрд параметров. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000 токенов. Поддерживаются генерация текста, чат и интерфейс вызова инструментов. Модель подходит для многошагового анализа, решения сложных задач и работы с большими текстовыми контекстами. В README заявлены высокие результаты на тестах рассуждения и эффективность инференса, но эти сравнения приведены разработчиком. Для запуска нужны совместимые версии Transformers, SGLang или vLLM и значительные вычислительные ресурсы; README рекомендует несколько GPU и отмечает риск нехватки памяти при длинном контексте. Лицензия — Apache 2.0.

cyankiwi/Qwen3-VL-2B-Instruct-AWQ-4bit — это 4-битная AWQ-квантизованная версия мультимодальной instruct-модели Qwen3-VL-2B-Instruct, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, а также заявлена для понимания видео, визуального рассуждения и взаимодействия с графическими интерфейсами. Она может использоваться для описания изображений, визуального и текстового анализа, OCR, STEM- и математических задач, генерации кода и выполнения агентных сценариев с инструментами. Модель относится к плотной архитектуре и имеет 2 млрд параметров в базовой версии; применённая 4-битная AWQ-квантизация снижает требования к памяти и может упростить локальное развёртывание, потенциально ценой некоторого снижения точности по сравнению с полной версией. В README указаны контекст до 256K токенов с возможностью расширения до 1M, поддержка видео с временной индексацией и OCR на 32 языках, однако конкретный список языков для данной сборки не приведён. Среди архитектурных компонентов упомянуты Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Сильные стороны модели — сочетание текстового и визуального понимания, анализ пространственных отношений, работа с длинным контекстом, документами и видео, а также поддержка визуального управления интерфейсами. Ограничения включают возможные потери качества из-за 4-битной квантизации и отсутствие в представленном README детальных результатов тестирования именно этой AWQ-сборки. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-VL-4B-Instruct-bnb-4bit — это 4-битно квантованная версия мультимодальной инструкционной модели Qwen3-VL-4B-Instruct, подготовленная Unsloth на базе модели Qwen Team. Модель предназначена для задач, в которых требуется совместная обработка текста и изображений, включая визуальные вопросы и ответы, описание изображений, OCR, анализ документов, визуальное рассуждение, работу с видео и взаимодействие с графическими интерфейсами. Модель имеет плотную архитектуру и около 4 миллиардов параметров; поддерживает текстово-визуальный ввод и вывод текста. Для семейства Qwen3-VL заявлены нативный контекст до 256 тысяч токенов с возможностью расширения до 1 миллиона, анализ продолжительных видео, распознавание текста на 32 языках, улучшенное пространственное рассуждение, временная привязка событий в видео и генерация кода HTML/CSS/JS или схем Draw.io по визуальным материалам. В README также указаны механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками, однако конкретные языки интерфейса и точные параметры именно этой квантованной сборки не уточняются. К сильным сторонам относятся сочетание визуального восприятия и текстового понимания, работа с документами и видео, распознавание текста в сложных условиях, а также возможность применения в агентских сценариях и на устройствах с ограниченными ресурсами благодаря 4-битной квантизации. Ограничения включают возможное снижение точности по сравнению с полноформатной моделью и неуточнённые требования к аппаратному обеспечению и совместимости. Лицензия — Apache-2.0.

Qwopus3.6-35B-A3B-v1-GGUF — экспериментальная мультимодальная модель, разработанная Jackrong на базе Qwen3.6-35B-A3B от Alibaba Cloud. Она дообучена методом SFT с применением LoRA для усиления рассуждений, структурированности ответов и согласованности поведения. Модель предназначена для генерации текста, глубокого рассуждения, программирования, агентских сценариев, диалогов, работы с изображениями и вызова инструментов. В основе лежит разреженная MoE-архитектура: 35 млрд параметров всего и около 3 млрд активных параметров на токен, с маршрутизацией через 256 экспертов. Архитектура сочетает линейное внимание Gated DeltaNet со стандартными слоями gated attention и поддерживает контекст до 262 тысяч токенов. Заявлена поддержка английского, китайского, испанского, русского и японского языков. Для работы с изображениями требуется отдельный файл mmproj.gguf. Сильными сторонами заявлены качество и надёжность рассуждений, высокая эффективность инференса и поддержка длинного контекста, мультимодальности и tool calling. Модель распространяется в формате GGUF и ориентирована на запуск через совместимые инструменты, включая llama.cpp. При этом она не прошла полную оценку производительности и безопасности, поэтому подходит прежде всего для исследований и экспериментов; заявленные результаты получены в независимом тестировании квантованной версии и могут зависеть от условий. Лицензия — Apache-2.0.

ERNIE-4.5-300B-A47B-2Bits-TP4-Paddle — текстовая MoE-модель семейства ERNIE 4.5, разработанная Baidu и размещённая в формате SafeTensors для запуска на PaddlePaddle. Она предназначена для диалогов, понимания языка и генерации текста; README также описывает веб-поиск с передачей вопроса, даты и найденных ссылок в промпте. Модель содержит 300 млрд параметров, из которых для каждого токена активируются около 47 млрд, и поддерживает контекст до 131 072 токенов. В README говорится о мультимодальном обучении семейства ERNIE 4.5, однако эта версия обозначена как текстовая, поэтому не следует считать, что она принимает изображения. Репозиторий указывает 47,1 млрд параметров; это расходится с общим описанием 300 млрд параметров и 47 млрд активированных параметров, вероятно, из-за способа учёта параметров. Для эксплуатации README приводит пример FastDeploy с квантизацией WINT4 и параллелизмом по тензорам. Лицензия — Apache-2.0.

pszemraj/granite-4.0-h-7b-heretic — производная диалоговая модель на основе IBM Granite 4.0 H Tiny. В метаданных указаны архитектура GraniteMoeHybridForCausalLM (гибридная MoE), 500,2 млн параметров, контекст до 131 072 токенов и формат Safetensors; README описывает абляцию, направленную на снижение отказов отвечать. По приведённому сравнению доля отказов составляет 6 из 100 против 98 из 100 у базовой модели, а KL-дивергенция — 0,03. Модель предназначена для генерации диалоговых ответов и может использоваться для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и многоязычного общения. Наследует возможности Granite по следованию инструкциям и вызову инструментов, однако результаты приведены для ограниченного набора проб и сами по себе не подтверждают качество на других задачах. В карточке указаны английский как язык модели; README базовой модели перечисляет также немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский, но не устанавливает их поддержку именно этой производной модели. Лицензия — Apache 2.0. Как и базовая модель, она может выдавать неточные, предвзятые или небезопасные ответы; снижение числа отказов требует тщательной проверки применения.

Josiefied-DeepSeek-R1-0528-Qwen3-8B-abliterated-v1 — разработанная Гёкденизом Гюльмезом дообученная языковая модель семейства Qwen3, созданная на основе deepseek-ai/DeepSeek-R1-0528-Qwen3-8B. Модель имеет плотную архитектуру Qwen3ForCausalLM и 7,6 млрд параметров; она предназначена для генерации текста в диалоговом и инструктивном режимах, включая использование интерфейса вызова инструментов. Заявленный контекст — до 131 072 токенов. Модель ориентирована на открытое следование инструкциям и менее ограниченную генерацию, сохраняя возможности работы с инструментами. Подходит для диалогов, ответов на вопросы, генерации кода и рассуждений; её базовая модель обучена на цепочках рассуждений и рассчитана также на математические и логические задачи. В репозитории указаны веса Safetensors, а для семейства доступны сторонние варианты GGUF и MLX. Фильтры безопасности снижены, поэтому модель может выдавать чувствительные или спорные ответы. README рекомендует использовать её ответственно и на свой риск. Лицензия в предоставленных данных не указана.

giannisan/llama3.1-70B-upscaled-105B — плотная авторегрессионная языковая модель семейства Llama 3.1, созданная методом passthrough-сборки в mergekit из двух перекрывающихся диапазонов слоёв предобученной Llama 3.1 70B. Веса сохранены в формате safetensors; размер модели — около 103,7 млрд параметров, длина контекста — до 131 072 токенов. Модель предназначена для генерации текста и диалогового взаимодействия, включая интерфейс вызова инструментов. Большой контекст подходит для работы с длинными документами и многоходовыми диалогами. Карточка не описывает отдельное обучение или специализированную предметную область. Лицензия в предоставленных данных не указана.

LLaMa-3.1-Instruct-Zeroed-13B — объединённая языковая модель семейства Llama, созданная сообществом mergekit методом passthrough на основе unsloth/Meta-Llama-3.1-8B-Instruct. Она предназначена для диалогов и генерации текста по инструкциям; поддерживает интерфейс вызова инструментов. Модель содержит 12,5 млрд параметров, принимает текст и имеет контекстное окно до 131 072 токенов. Модель подходит для чат-ботов, ответов на вопросы и других сценариев генерации текста. В репозитории указаны веса Safetensors для Transformers. Лицензия в предоставленных данных не указана.

llm-jp-4-33b-thinking-gguf — большая языковая модель серии LLM-jp-4, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это Transformer-модель для генерации текста, диалоговых сценариев, решения инструкций и многошаговых задач на японском и английском языках. Модель представлена в формате GGUF и предназначена для локального или серверного запуска совместимых средств вывода. Модель имеет плотную архитектуру с 33,2 млрд параметров, 64 слоями, размером скрытого состояния 5120 и 40 головами внимания. Максимальная длина контекста составляет 65 536 токенов. Токенизатор основан на Unigram byte-fallback и совместим с шаблоном чата в формате OpenAI Harmony, однако для корректной работы следует использовать токенизатор из репозитория модели. Обучение включало предварительное и промежуточное обучение на 11,7 трлн токенов, а также дообучение SFT и DPO. Сильными сторонами модели являются большой контекст, поддержка японского и английского языков, а также ориентация thinking-варианта на рассуждения и выполнение сложных инструкций. README не содержит итоговых численных оценок качества, поэтому сравнивать производительность с другими моделями по этим данным нельзя. Для запуска через llama.cpp требуется специальный fork от LLM-jp с исправлениями обработки токенизатора; стандартная upstream-версия может некорректно обрабатывать чат. Модель распространяется по лицензии Apache-2.0.

Meta-Llama-3.1-8B-Instruct-GGUF — это квантизированная в формате GGUF инструкционная языковая модель семейства Llama 3.1, разработанная Meta. Версия GGUF подготовлена bartowski на основе llama.cpp и предназначена для локального запуска, в частности через LM Studio. Модель поддерживает генерацию текста и диалоговые сценарии, включая работу с инструкциями и многоязычными запросами на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Модель содержит около 8 миллиардов параметров и имеет контекстное окно до 128 000 токенов. Она обучалась на 15 триллионах токенов, включая 25 миллионов синтетически созданных примеров. К сильным сторонам относятся улучшенная производительность по сравнению с предыдущими моделями Llama 3 и развитые возможности для многоязычных задач. При этом модель может генерировать неточную, вредную или неподходящую информацию, а качество и скорость работы зависят от используемой квантизации и локального оборудования. Для работы в LM Studio требуется версия 0.2.29 или новее и шаблон запроса Llama 3. Модель распространяется по лицензии Llama 3.1. README не уточняет условия коммерческого использования и конкретные ограничения лицензии, поэтому перед применением необходимо ознакомиться с её полным текстом.

MiniCPM4.1-8B-GPTQ — квантизированная в формате GPTQ версия большой языковой модели MiniCPM4.1-8B, разработанной командой OpenBMB. Модель предназначена для генерации и обработки текста, включая диалоговые приложения, следование инструкциям, задачи, требующие рассуждений, понимание длинных текстов и вызов инструментов. Она поддерживает китайский и английский языки и рассчитана на эффективное использование на периферийных устройствах и конечных пользовательских системах. Модель содержит 8 миллиардов параметров и относится к гибридным reasoning-моделям: её можно использовать в режиме глубокого рассуждения и в обычном режиме без рассуждений. В архитектуре заявлен механизм разреженного внимания InfLLM v2, при котором при обработке текста длиной до 128K токенов каждый токен взаимодействует менее чем с 5% токенов, что должно снижать вычислительные затраты. GPTQ-квантизация уменьшает требования к памяти и может ускорить инференс на совместимом оборудовании, однако README не содержит точных требований к ресурсам, результатов тестирования именно этой сборки или подробностей о влиянии квантизации на качество. К сильным сторонам относятся ориентация на эффективный инференс, поддержка длинного контекста, гибридный режим рассуждений и наличие оптимизаций для локального запуска. Ограничения и перечень конкретных поддерживаемых аппаратных платформ в README не раскрыты. Модель распространяется по лицензии Apache-2.0.

Mistral-Small-3.2-24B-Instruct-2506-GGUF — квантизированная GGUF-версия инструкционной модели Mistral-Small-3.2-24B-Instruct-2506, разработанной Mistral AI и подготовленной пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для диалоговых приложений, генерации и обработки текста, а также, согласно метаданным, для сценариев image-text-to-text. Поддерживаются английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский и другие языки, перечисленные в карточке модели. Модель содержит около 24 млрд параметров и доступна в вариантах от BF16 до различных уровней Q3–Q8, что позволяет выбирать между качеством, размером файлов и требованиями к оборудованию. Размер файлов варьируется примерно от 13,5 ГБ для компактных квантизаций до 47,15 ГБ для BF16. Версия поддерживает запуск через llama.cpp, LM Studio и совместимые проекты. Исправленный chat template добавляет поддержку tool calling; для корректной работы требуется соответствующий шаблон Mistral-Small-3.2-24B-Instruct-2506.jinja и актуальная поддержка со стороны llama.cpp. К сильным сторонам относятся широкий выбор квантизаций, возможность локального запуска и высокое заявленное качество вариантов Q5–Q8. Ограничения включают значительные требования к памяти даже у компактных вариантов, зависимость от совместимого llama.cpp-окружения и необходимость правильной настройки шаблона чата для вызова инструментов. Размер контекста и подробные характеристики архитектуры в README не указаны. Модель распространяется по лицензии Apache-2.0.

MyAwesomeModel — языковая модель, опубликованная в репозитории mcptester0606/MyAwesomeModel-TestRepo. Разработчик явно не указан. Модель реализована на базе библиотеки Transformers и ориентирована на задачи рассуждения, понимания и генерации текста, включая математику, программирование, логику, ответы на вопросы, классификацию, анализ тональности, суммаризацию, перевод, диалоговую генерацию и следование инструкциям. Также заявлены поддержка function calling, системных промптов, загрузки файлов и генерации с использованием результатов веб-поиска через специальные шаблоны запросов. По данным README, обновлённая версия получила более глубокое рассуждение и улучшенные алгоритмы постобучения. На тесте AIME 2025 точность выросла с 70% до 87,5%, а средний объём рассуждений увеличился примерно с 12 до 23 тысяч токенов на задачу. В сравнительных оценках модель показывает наиболее заметные результаты в логическом рассуждении, генерации кода, понимании текста и следовании инструкциям, однако README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках и размере контекста. Увеличенная глубина рассуждений может повышать вычислительные затраты и задержку ответа; конкретные ограничения и результаты независимой оценки не указаны. Лицензия модели — MIT.

OpenAi-GPT-oss-20b-MODERATE-uncensored-NEO-Imatrix-gguf — текстовая generative-модель, разработанная DavidAU на базе huizimao/gpt-oss-20b-uncensored-bf16. Она предназначена для диалогов, общего решения задач, рассуждений, мозгового штурма, генерации текста и кода, включая программирование. Модель ориентирована на более свободную генерацию контента с меньшим количеством отказов, чем исходная версия OpenAI, однако не является полностью abliterate и в некоторых случаях требует более подробных инструкций. Заявлены архитектура Mixture of Experts с 24 экспертами, размер около 20B параметров, поддержка контекста до 128K токенов и английского языка. Распространяется в формате GGUF с вариантами квантования IQ4_NL, Q5_1 и Q8_0, включая версии с одной, двумя или тремя Imatrix-матрицами NEO, NeoCODE и Horror. По утверждению автора, NEO-, DI- и TRI-Matrix-варианты могут улучшать качество, стабильность и креативность, а производительность на совместимом оборудовании может достигать более 80 токенов в секунду. К сильным сторонам относятся широкий набор сценариев, генерация кода, творческие задачи и относительно низкая склонность к отказам. Ограничения включают возможную нестабильность отдельных генераций, зависимость результата от температуры, repetition penalty, числа экспертов и длины промпта, а также необходимость дополнительных указаний для получения выраженной ненормативной, графичной или сексуальной лексики. Модель лицензирована по Apache-2.0; конкретные требования к аппаратному обеспечению в README не указаны.