II.10Разработка и эксплуатация AI/ML-систем

GPT-4.1 Mini — среднемасштабная модель OpenAI, рассчитанная на задачи с изображениями и текстом. Она сочетает производительность, сопоставимую с GPT-4o, с меньшей задержкой и стоимостью. В карточке также заявлено контекстное окно в 1 миллион токенов. Модель подходит для обработки текстовых запросов и изображений в сценариях, где важны скорость и стоимость. Доступный фрагмент карточки не раскрывает поддерживаемые языки, конкретные возможности работы с изображениями, ограничения или лицензионные условия.

unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF — модель в формате GGUF, подготовленная Unsloth на основе Meta Llama 4 Maverick 17B-128E-Instruct. Она предназначена для работы в режиме instruct: диалогов, следования инструкциям и решения широкого спектра текстовых задач. В README указана поддержка арабского, немецкого, английского, испанского, французского, хинди, индонезийского, итальянского, португальского, тайского, тагальского и вьетнамского языков. Из доступных данных известны обозначенные в названии характеристики: 17B и 128E, а также формат GGUF, обычно ориентированный на локальный инференс в совместимом программном обеспечении. Сведения о длине контекста, точной архитектуре, модальностях, вариантах квантования, требованиях к оборудованию, результатах тестирования и ограничениях качества в README не приведены, поэтому их нельзя оценить по имеющимся данным. Модель распространяется в соответствии с Llama 4 Community License от Meta. Лицензия предоставляет ограниченные безвозмездные права на использование, копирование, распространение и создание производных работ при соблюдении условий, включая передачу текста лицензии, указание «Built with Llama» при распространении материалов или продуктов, сохранение обязательного уведомления об атрибуции и соблюдение Acceptable Use Policy. Для продуктов с более чем 700 миллионами ежемесячно активных пользователей предусмотрено дополнительное лицензионное условие Meta.

Карточка модели WariHima/llm-jp-4-33b-thinking на Hugging Face совпадает с карточкой llm-jp/llm-jp-4-33b-thinking, поэтому описание составлено по ней. LLM-jp-4-33b-thinking — плотная трансформерная языковая модель семейства Llama, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Она предназначена для диалогов, генерации ответов и решения задач с рассуждением на японском и английском языках; поддерживает интерфейс вызова инструментов. Модель содержит 32,2 млрд параметров, имеет 64 слоя и контекст до 65 536 токенов. Она обучалась на этапах предварительного и промежуточного обучения на 11,7 трлн токенов, затем прошла SFT и выравнивание DPO без обучения с подкреплением. Доступна в формате Safetensors для Transformers, лицензия — Apache-2.0. Разработчики отмечают, что модель находится на раннем этапе исследований и разработок и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Для корректной работы следует использовать приложенный токенизатор: он отличается от предположений библиотеки openai-harmony, несмотря на совместимость шаблона диалога с Harmony.

StanFurrer/merlinite-7B-slerp — объединённая языковая модель, созданная Stan Furrer с помощью LazyMergekit. Она сочетает веса ibm/merlinite-7b и mistralai/Mistral-7B-Instruct-v0.2 методом slerp и предназначена для генерации текста и ответов на инструкции в диалоговом формате. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Поддерживает контекст до 32 768 токенов, распространяется в формате safetensors; в конфигурации слияния указан тип данных bfloat16. README не сообщает о специализированной предметной области или дополнительных модальностях. Лицензия в предоставленных данных не указана.

Meta-Llama-3.1-8B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Meta-Llama-3.1-8B-Instruct, разработанной Meta Llama и подготовленной для распространения компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций и работу в приложениях на базе GaiaNet. Для взаимодействия используется шаблон llama-3-chat, а запуск поддерживается llama.cpp. Модель основана на архитектуре Llama и содержит 8 миллиардов параметров. Она работает в текстовой модальности, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленный размер контекста составляет 128 000 токенов. Квантизация выполнена с использованием llama.cpp b4466, что делает модель более подходящей для запуска в средах с ограниченными ресурсами, однако README не уточняет конкретный формат квантизации, требования к оборудованию и возможные компромиссы между скоростью, качеством и потреблением памяти. Модель распространяется по лицензии llama3.1. README не содержит подробностей о дополнительных ограничениях лицензии и не приводит результаты оценки качества, поэтому её преимущества и ограничения можно описать только на общем уровне: это компактная инструкционная модель с широкой поддержкой языков и большим контекстом, но без подтвержденных характеристик производительности для отдельных задач.

Это сегментированная по файлам копия Mistral-7B-Instruct-v0.1 от filipealmeida, предназначенная для запуска при ограниченной памяти CPU. В основе лежит плотная трансформерная модель Mistral с 7,1 млрд параметров, дообученная следовать инструкциям на открытых диалоговых наборах данных. Архитектура использует Grouped-Query Attention и Sliding-Window Attention; карточка указывает контекст до 32 768 токенов. Модель принимает текстовые инструкции в формате с маркерами [INST] и [/INST] и генерирует текстовые ответы в диалоговых сценариях. Её можно применять для вопросов и ответов, ведения диалога, составления черновиков и выполнения текстовых инструкций. Разбиение весов на шарды снижает требования к памяти CPU при загрузке, но не является квантизацией и само по себе не меняет вычислительные требования модели во время генерации. Лицензия — Apache-2.0.

Это квантованная сборка модели NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16, подготовленная FreedomAISVR в формате GGUF. Она предназначена для генерации текста и диалогов, включая задачи рассуждения. Архитектура сочетает Mamba2 и Transformer и использует MoE: из 128 экспертов для каждого токена выбираются шесть. Всего в модели около 30 млрд параметров, из которых активно около 3 млрд; контекст — до 262 тыс. токенов. Веса экспертов хранятся в MXFP4, плотные веса — в Q8_0, а тензоры Mamba2 — в F16 для совместимости с CUDA-ядрами SSM. В репозитории также есть F16-проектор SigLIP для обработки изображений. Для полноценного запуска требуется среда с поддержкой GGUF и мультимодального проектора, например llama.cpp. Гибридный формат экономит память, однако операции Mamba2 на CUDA могут переходить на CPU, что снижает скорость. README не уточняет лицензию производной сборки; метаданные указывают лицензию «other», поэтому условия следует сверить с карточкой модели и условиями базовой модели.

Nex-N2.5-Pro-GGUF — квантизированная мультимодальная версия модели Nex-N2.5-Pro, разработанная nex-agi и преобразованная в формат GGUF командой qtum с использованием llama.cpp. Модель предназначена для генерации и понимания текста, а также анализа изображений в сценариях локального запуска через llama.cpp. Модель содержит 397 млрд параметров и использует гибридную архитектуру: 45 слоёв линейного внимания Gated DeltaNet и 15 слоёв полного внимания с GQA. Это MoE-модель: для каждого токена выбираются 10 из 512 экспертов и общий эксперт. Контекст — до 262 144 токенов, словарь — 248 320 токенов. Поддерживаются английский и китайский языки. Для обработки изображений используется отдельный 27-слойный vision encoder с входом 768 пикселей и патчами 16 пикселей; проектор поставляется в формате BF16. Модель доступна в вариантах IQ4_XS, Q2_K и IQ2_XS, занимающих примерно 200,1, 138,9 и 113,2 ГиБ соответственно. IQ4_XS обеспечивает качество, близкое к BF16-версии, Q2_K является более сбалансированным вариантом и рекомендуется для инференса только на CPU, а IQ2_XS предназначен для систем с жёсткими ограничениями по памяти, но с заметно большей потерей точности. Для работы с изображениями рекомендуется выделять не менее 1024 image tokens. Необходима сборка llama.cpp с поддержкой Qwen3.5-MoE; все 19 шардов выбранной квантизации нужно хранить в одной директории. Модель распространяется по лицензии Apache-2.0.

rbinrs/Qwen2.5-14B-Instruct-abliterated-v2 — диалоговая языковая модель на архитектуре Qwen2 с 14 млрд параметров, созданная на основе Qwen/Qwen2.5-14B-Instruct методом abliteration. Она предназначена для генерации текста и общения в формате чата; заявленная особенность версии — снижение отказов отвечать на запросы. Модель поддерживает интерфейс вызова инструментов и контекст длиной до 32 768 токенов, работает с текстом и рассчитана на многоязычные сценарии, включая русский, английский, китайский, французский, испанский, португальский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Модель можно применять в чат-ботах, для свободной генерации и структурированных ответов, а также в приложениях с вызовом инструментов. Разработчик сообщает, что эта версия улучшена по сравнению с предыдущей, однако оценивание ещё продолжается, поэтому опубликованных результатов качества в карточке нет. Доступна по лицензии Apache-2.0.

Qwen3-30B-A3B-Instruct-2507-MLX-4bit — это 4-битная квантованная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантование в формате MLX выполнила команда LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и использования в инструкционно-ориентированных сценариях, включая локальные приложения и диалоговые системы, совместимые с MLX и LM Studio. В исходных данных указано, что базовая модель имеет обозначение 30B-A3B, однако дополнительные сведения об архитектуре, поддерживаемых языках, размере контекста, модальностях и производительности отсутствуют. Ключевое преимущество этой версии — уменьшенный размер представления благодаря 4-битному квантованию и оптимизация для Apple Silicon, что делает её подходящей для локального инференса при ограниченных ресурсах. При этом квантование может снижать точность по сравнению с исходной моделью, а фактические требования к памяти и качество зависят от конкретного устройства и сценария. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A3B-Instruct-2507-MLX-6bit — это 6-битная квантованная версия инструкционной языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантование в формате MLX выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях использования, включая работу через совместимые инструменты на устройствах Apple Silicon. Она относится к семейству text-generation и использует архитектуру и характеристики исходной модели Qwen3-30B-A3B-Instruct-2507, однако README не содержит сведений о языках, длине контекста, поддерживаемых модальностях и других архитектурных деталях. Ключевое преимущество версии — снижение требований к памяти по сравнению с полноразмерными весами благодаря 6-битному квантованию и оптимизации под MLX. Ограничения включают возможную потерю точности из-за квантования, зависимость от платформы Apple Silicon и отсутствие в README подробных данных о качестве, производительности и бенчмарках. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-4B Claude-Distill — дообученная методом полной настройки параметров плотная модель семейства Qwen, разработанная автором репозитория clzoro на базе Qwen/Qwen3.5-4B. Модель содержит 4 млрд параметров и предназначена для генерации текста в диалоге. В обучении использовались примерно 14,9 тыс. примеров с рассуждениями, дистиллированными из Claude Opus; заявлены задачи по математике, логике, программированию, STEM, творческому письму и многошаговым инструкциям. Модель унаследовала от базовой Qwen3.5 возможности понимания изображений и использует архитектуру с визуальным энкодером, однако карточка указывает основной сценарий как генерацию текста. В метаданных заявлены английский и китайский языки. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Качество рассуждений зависит от качества и разнообразия сравнительно небольшого набора дистилляции; модель может наследовать смещения обучающих данных и обобщать хуже за пределами представленных примеров. Ответы по медицине, праву и финансам требуют проверки.

Qwen3.5-9B-GGUF — это квантизированная версия языковой модели Qwen3.5-9B, распространяемая в формате GGUF. Исходную модель разработала команда Qwen; преобразование и квантизацию выполнила unsloth. Репозиторий tinnlab/Qwen3.5-9B-GGUF является зеркалом без изменений: Tin Nguyen Lab не обучала, не дообучала и не квантизировала модель. В поставке доступен один файл Qwen3.5-9B-Q4_K_M.gguf размером около 5,68 ГБ с квантизацией Q4_K_M. Модель предназначена для локальной генерации текста, текстового диалога и использования инструментов без API-ключа. В данном репозитории поддерживаются только текстовые сценарии; мультимодальный проектор отсутствует, поэтому обработка изображений и видео невозможна. Дополнительные сведения об архитектуре, языках и размере контекста в предоставленной карточке не указаны. Модель распространяется по лицензии Apache-2.0. Репозиторий общедоступен и не требует токена, учётной записи или соглашения о доступе. Зеркало содержит только вариант Q4_K_M, поэтому для других уровней квантизации и мультимодальных компонентов необходимо обращаться к исходному репозиторию unsloth.

Qwen3.8-27B-Uncensored-Q4_K_M-GGUF — это квантованная в формате GGUF версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем qaqab и предназначенная для запуска через llama.cpp и совместимые среды. Модель ориентирована на генерацию текста, включая диалоги, написание и анализ текстов, а также другие сценарии применения многоцелевой языковой модели. В README указаны поддержка английского и китайского языков и наличие vision-возможностей у базовой архитектуры, однако для обработки изображений требуется соответствующий vision-файл. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, одним MTP-слоем и контекстом до 262 144 токенов. Файл Q4_K_M имеет размер около 16,8 ГБ и сохраняет MTP-компонент для speculative decoding; также опубликована версия без MTP. Квантование выполнено с использованием importance matrix. По измерениям perplexity на wikitext-2 показатель для Q4_K_M составляет 7,1814, но этот тест не оценивает напрямую рассуждения, программирование, мультиязычность или поведение отказов. Вариант Uncensored создан с существенным снижением склонности к отказам с помощью Heretic без дополнительного обучения и новых данных; это поведение не устранено полностью. Возможное снижение acceptance rate черновой MTP-модели может немного повлиять на ускорение speculative decoding, но не должно ухудшать качество проверяемого целевой моделью вывода. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Qwen3-Next-80B-A3B-Instruct-MLX-5bit — это 5-битная квантованная версия инструкционной языковой модели Qwen3-Next-80B-A3B-Instruct, разработанной Qwen. Квантование выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon через MLX. Она относится к классу моделей генерации текста и предназначена для диалогов, следования инструкциям и других задач, где требуется создание текстового ответа. В основе лежит модель с заявленным размером 80B и обозначением A3B; README не содержит дополнительных сведений об архитектуре, фактическом числе активируемых параметров, максимальном контексте, поддерживаемых языках или мультимодальных возможностях. Ключевое преимущество этой версии — снижение требований к памяти по сравнению с полной точностью и адаптация к экосистеме Apple Silicon. Ограничения включают возможные потери качества из-за 5-битного квантования, зависимость производительности от оборудования Apple Silicon и стандартные риски генеративных моделей: ответы могут быть неточными, вредными или неуместными. Модель распространяется по лицензии Apache-2.0.

Qwen3-Swallow-32B-CPT-v0.2 — плотная языковая модель на 29,7 млрд параметров, разработанная проектом Swallow на базе Qwen3-32B. Это вариант continual pre-training (CPT), обученный для улучшения японского языка и японско-английского перевода при сохранении и усилении навыков математики и программирования. В обучении использовались японские и английские корпуса, параллельные тексты, а также наборы данных по математике, коду, STEM и диалогам. Модель принимает текст и генерирует текст; поддерживает японский и английский языки. Метаданные указывают контекст до 40 960 токенов, а карточка рекомендует ограничивать длину контекста 32 768 токенами или меньше. Модель рассчитана на генерацию текста, диалог, перевод и задачи рассуждения, математики и программирования. Для инференса авторы преимущественно проверяли vLLM. Модель находится на раннем этапе разработки; авторы предупреждают, что её не настраивали для надёжного следования человеческим намерениям и требований безопасности. Использование инструментов явно не обучалось, а переключатель режима рассуждений не поддерживается. Лицензия — Apache-2.0.

Это GGUF-квантизованная версия Qwen3-Next-80B-A3B-Instruct — инструкционной текстовой модели, разработанной Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы в диалоговых и прикладных сценариях, где требуется запуск через совместимые локальные инструменты, включая llama.cpp, LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. Доступны варианты квантизации от Q8_0 до Q3_K и IQ3/IQ4, с размером файлов примерно от 36,6 до 84,8 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие позволяют снизить требования к оперативной памяти за счёт большей потери качества. Для работы необходимо использовать указанный шаблон промпта с ролями system, user и assistant. Архитектура, максимальный контекст, поддерживаемые языки и дополнительные модальности в README не указаны. К сильным сторонам относятся широкий выбор уровней квантизации, поддержка распространённого формата GGUF и возможность локального запуска в нескольких приложениях. Ограничениями являются значительный объём файлов и неизбежный компромисс между качеством и экономией памяти при выборе низкобитных вариантов; совместимость с отдельными инструментами может зависеть от их обновления. Модель распространяется по лицензии Apache 2.0.

Rhea-72b-v0.5 — языковая модель, разработанная David Kim в рамках проекта Rhea. Это дообученная версия abacusai/Smaug-72B-v0.1: автор использовал SFT на открытых наборах данных и DPO с данными предпочтений, частично созданными методом SGD. Модель занимает 71 млрд параметров, построена на плотной архитектуре Llama и предназначена для генерации текста. Она принимает контекст до 32 768 токенов и работает с текстом на английском языке. Модель подходит для диалоговых ответов, рассуждений, вопросов и ответов, а также текстовых задач, представленных в обучающих наборах, включая математику, код и отдельные медицинские и финансовые примеры. В README приведены результаты Open LLM Leaderboard, включая среднее значение 81,22, но эти показатели относятся к указанной автором оценке и не гарантируют качество в конкретном применении. Часть обучающих данных закрыта или недоступна; независимые ограничения качества в карточке не описаны. Лицензия — Apache-2.0.

Salamandra-2B-Instruct — разговорная версия многоязычной языковой модели Salamandra, разработанной Barcelona Supercomputing Center. Это декодерный трансформер семейства Llama с 24 слоями и примерно 2,25 млрд параметров; он дообучен следовать инструкциям и использует шаблон ChatML. Базовая модель предварительно обучена с нуля на 12,875 трлн токенов текста на 35 европейских языках и кода. Контекст модели — до 8192 токенов. Модель предназначена для диалогов и работы в качестве универсального текстового помощника: она может отвечать на вопросы, генерировать и преобразовывать текст, а также помогать с кодом. Поддерживает множество европейских языков, включая русский, и распространяется под лицензией Apache 2.0 для исследовательского и коммерческого применения. Это ранняя демонстрационная версия инструкционного дообучения без RLHF. В неоднозначных сценариях выявлены социальные предубеждения; модель может выдавать вредный или неподходящий контент, поэтому для прикладного использования необходимы оценка рисков и настройка безопасности.

Synatra-7B-Instruct-v0.2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением mistralai/Mistral-7B-Instruct-v0.2 и maywell/Synatra-7B-Instruct-v0.2 методом SLERP с помощью MergeKit. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста в диалогах и выполнения инструкций. Она принимает текст и выдаёт текст; заявленная длина контекста составляет до 32 768 токенов. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0.

Typhoon2-Qwen2.5-7B-Instruct — инструктивная языковая модель, разработанная командой Typhoon AI и дообученная на базе Qwen2.5-7B. Это плотная авторегрессионная модель архитектуры Qwen2 с 7,1 млрд параметров, предназначенная для диалога и выполнения инструкций на тайском и английском языках. Метаданные указывают контекст до 32 768 токенов; для более длинных текстов README описывает расширение контекста с помощью YaRN. Модель подходит для диалоговых помощников, вызова функций, решения математических задач, программирования и работы с длинными текстами. В приведённых разработчиками оценках она показывает результаты на тайском и английском языках, включая задачи следования инструкциям и переключения между языками. Модель принимает текст и генерирует текст. Это развивающаяся модель: ответы могут быть неточными, предвзятыми или нежелательными, поэтому её следует оценивать применительно к конкретному сценарию. Расширение контекста YaRN может ухудшить качество на коротких запросах при статическом масштабировании. Распространяется по лицензии Apache-2.0.

ZEUS-8B-V7 — языковая модель семейства Llama 3.1, созданная объединением нескольких моделей методом DARE TIES. Автор стремился улучшить предыдущую версию ZEUS, повысив плотность слияния и включив менее ограниченную модель Llama 3.1. В качестве базовой использована unsloth/Meta-Llama-3.1-8B-Instruct; также в слияние вошли LLAMA-3_8B_Unaligned_BETA, Llama-3.1-Storm-8B и Llama-3.1-SuperNova-Lite. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и работает через Transformers. Она предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Заявленная длина контекста — до 131 072 токенов. README приводит результаты оценивания, включая IFEval и BBH, но не сообщает языковой охват. Модель распространяется в формате Safetensors по лицензии Llama 3.1. Показатели слияния и отдельные результаты бенчмарков не гарантируют качество на конкретных задачах; README не описывает систематические ограничения или языки, на которых модель проверена.

DictaLM 3.0 24B Thinking — разговорная reasoning-модель семейства Mistral, разработанная Dicta. Она предназначена для диалога и генерации ответов с предварительным рассуждением в отдельном блоке; также поддерживает вызов внешних инструментов и API. Модель содержит 23,4 млрд параметров, использует плотную архитектуру Mistral и принимает текстовые запросы, выдавая текстовые ответы. Она обучена на обширных корпусах на иврите и английском; длина контекста составляет 65 280 токенов. Для работы с инструкциями следует использовать шаблон чата модели. В карточке указаны веса safetensors и лицензия Apache-2.0.

Gemma-4-12B-Heretic-Abliterated-GGUF — набор GGUF-квантизаций модели culturerevolt/gemma-4-12b-heretic-abliterated, созданной на основе архитектуры Google Gemma-4 12B Instruction Tuned. Репозиторий разработан culturerevolt; в README также отмечен вклад Google DeepMind в архитектуру и Philipp Emanuel Weidmann в разработку подхода Heretic abliteration. Модель предназначена для локальной генерации текста, диалогов, рассуждений, творческого письма и агентских сценариев, включая обработку структурированного вывода и JSON. Поддержка изображений заявлена через отдельный мультимодальный проектор gemma-4-12b-it-mmproj-f16.gguf. Доступны варианты Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и IQ3_XS с разным соотношением качества, скорости и требований к памяти. Для части вариантов использована калибровка iMatrix, ориентированная на сохранение логики, синтаксиса, инструментального вызова и качества повествования при квантовании. Точный список языков и базовый размер контекстного окна в README не указаны; для IQ4_XS упоминается возможность работы с контекстом до 131 тысяч токенов в определённых конфигурациях. Сильные стороны модели — широкий выбор степеней квантования, возможность запуска на локальном оборудовании и оптимизация низкобитных вариантов с помощью importance matrix. Ограничения связаны с неизбежной потерей точности при более агрессивном квантовании, зависимостью мультимодального режима от совместимого backend и отдельного projector-файла, а также с тем, что аблитерированная версия позиционируется как decensored и может иметь меньше встроенных отказов от нежелательных запросов. Лицензия — Apache-2.0.

Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-MTP — модификация Gemma 4 31B-it, разработанная HauhauCS на основе официальных QAT-весов модели Google DeepMind. Это плотная модель на 31 млрд параметров с 4-битной квантизацией Q4_K_M, контекстом до 256K токенов и поддержкой изображений через отдельный mmproj-модуль. В README заявлен английский язык; модель распространяется в формате GGUF и совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-рантаймами. Модель предназначена для агентного программирования, рассуждений, творческого письма, ролевого общения и диалоговых сценариев, где важны следование инструкциям и надежность. Вариант Balanced ориентирован на широкий круг пользователей и описан как полностью uncensored-модификация без изменений исходных датасетов и базовых возможностей. В комплект входит MTP draft head для speculative decoding; по данным автора, при использовании через llama.cpp это дает примерно 53% ускорения генерации без изменения проверяемого результата. К сильным сторонам относятся большой контекст, поддержка визуального ввода, 4-битная QAT-квантизация с заявленным близким к полноточному качеством и ускорение генерации с MTP. Ограничения включают крупный размер файлов: основная модель занимает около 18,7 ГБ, mmproj — 1,2 ГБ, а MTP-модуль — 280 МБ. Работа MTP-технологии проверялась автором через llama.cpp, а для LM Studio отмечены возможные сбои в режиме tensor-split при использовании нескольких GPU; рекомендуется использовать одну GPU с layer-split или приоритетным порядком. Лицензия указана как Gemma. В README также отмечено, что заявления об отсутствии отказов основаны на тестах автора и не исключают редких случаев уклонения от ответа на отдельных запросах.

Это GGUF-квантизированная версия инструкционной модели Gemma 3 12B IT, разработанной Google и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска в LM Studio, llama.cpp и совместимых проектах. Модель поддерживает текстовые сценарии и работу с изображениями через vision-компонент, для которого требуется отдельный файл MMPROJ в формате GGUF. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций объёмом примерно от 6 до 23,5 ГБ; версии Q4–Q6 отмечены как рекомендуемые благодаря балансу качества и требований к памяти. Архитектура, максимальный контекст и список поддерживаемых языков в представленном README не указаны. Основные преимущества — возможность локального запуска, широкий выбор уровней квантизации и поддержка анализа изображений при использовании совместимой сборки llama.cpp. Ограничения связаны с необходимостью подбора квантизации под доступную память, а для мультимодальной работы — с отдельным vision-компонентом и специальной поддержкой Gemma 3. Модель распространяется по лицензии Google Gemma; для доступа на Hugging Face требуется принять условия этой лицензии.

google_gemma-4-31B-it-GGUF — это квантизированная версия instruction-tuned модели Gemma 4 31B-it, разработанной Google. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель опубликована как google/gemma-4-31B-it. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp, LM Studio, Ollama-подобные и другие совместимые инструменты. По указанной классификации pipeline_tag это модель для преобразования изображений и текста в текст, однако подробные сведения о поддерживаемых модальностях и языках в README не приведены. Доступны варианты с точностью от BF16 до Q3 и IQ3, включая Q4, Q5, Q6 и Q8. Размер файлов составляет примерно от 13,84 до 61,41 ГБ; варианты Q4–Q6 заявлены как обеспечивающие хороший или очень высокий уровень качества при меньшем потреблении памяти, а Q3 ориентированы на системы с ограниченными ресурсами и отличаются более низким качеством. Архитектура, максимальная длина контекста и точное число параметров, помимо обозначения 31B, в README не уточняются. Сильными сторонами являются широкий выбор уровней квантизации, совместимость с экосистемой llama.cpp и возможность локального инференса. Ограничения включают значительные требования к памяти, особенно для BF16 и высокоточных вариантов, а также возможное снижение качества у компактных Q3-вариантов. Для недавно поддерживаемых моделей может потребоваться обновление используемого программного обеспечения. Лицензия указана как Apache-2.0; при этом для Gemma также приведена отдельная ссылка на лицензионные условия Google.

Hermes2pro-mistral-saul-instruct-slerp — объединённая разговорная языковая модель, созданная с помощью mergekit методом SLERP из NousResearch/Hermes-2-Pro-Mistral-7B и Equall/Saul-Instruct-v1. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для диалогов и генерации текста по инструкциям. Она принимает текст и выдаёт текст; нативное окно контекста составляет 32 768 токенов. Модель опубликована в формате safetensors и доступна для использования через Transformers. Карточка не уточняет лицензию и языковой охват объединённой модели.

LiquidAI/LFM2.5-8B-A1B-MLX-8bit — языковая text-generation модель, разработанная Liquid AI и преобразованная в формат MLX из базовой модели LiquidAI/LFM2.5-8B-A1B с использованием mlx-lm 0.31.3. Она предназначена для запуска локально, в том числе в качестве персонального ассистента на ноутбуке, генерации текста, диалогового взаимодействия и сценариев с function calling. Модель использует архитектуру Mixture of Experts (MoE); обозначение 8B-A1B указывает на конфигурацию базовой модели, однако подробности архитектуры в README не приведены. Веса квантизированы до 8 бит с group size 64 и affine mode, а MoE-gates сохранены в 8-битном формате. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский, испанский и португальский языки. Модель работает через mlx-lm, использует ChatML-подобный шаблон и поддерживает явные рассуждения перед итоговым ответом, а также вызов функций. К сильным сторонам относятся оптимизация для MLX, 8-битная квантизация, возможность локального использования и поддержка многоязычного диалога и инструментов. Ограничения связаны с отсутствием в README сведений о размере контекста, точных характеристиках производительности, требованиях к памяти и результатах оценивания; модель также ориентирована на экосистему MLX. Условия использования определяются лицензией LFM Open License v1.0.

Ling-3.0-tiny-MLX-4bit — MLX-конверсия модели inclusionAI/Ling-3.0-tiny, опубликованная rapid-mlx. Это языковая модель для генерации текста, рассуждений и вызова инструментов, рассчитанная на локальный запуск на компьютерах Apple Silicon через MLX и rapid-mlx. Модель использует разреженную MoE-архитектуру: всего 7,9 млрд параметров, из которых 1,3 млрд активируются для каждого токена; применяются 128 экспертов с выбором top-8 и одним общим экспертом. В архитектуре используется гибридный стек внимания KDA и MLA, контекст поддерживает до 131 072 токенов. Квантование выполнено в 4 битах с размером группы 64, размер файла составляет около 4,2 ГБ, поэтому модель помещается и работает на Mac с 8 ГБ unified memory. Языки и специализированные модальности в README не указаны; модель предназначена для работы с текстом. Сильными сторонами являются большое контекстное окно, низкое число активных параметров при сохранении общей ёмкости 7,9 млрд параметров, поддержка рассуждений и нативного разбора вызовов инструментов. Ограничения связаны с зависимостью от MLX и Apple Silicon, а также с необходимостью использовать rapid-mlx, поскольку архитектура bailing_hybrid пока не входит в upstream mlx-lm. 4-битное квантование может снижать точность по сравнению с полной версией, однако в README приведены результаты проверки соответствия реализации официальному коду. Модель распространяется по лицензии MIT, унаследованной от базовой модели.