II.10Разработка и эксплуатация AI/ML-систем

Llama3.1-SuperNovaLite-HuatuoSkywork-o1-8B — языковая модель для генерации текста, созданная методом слияния SLERP с помощью mergekit. В неё объединены grimjim/HuatuoSkywork-o1-Llama-3.1-8B и arcee-ai/Llama-3.1-SuperNova-Lite; архитектура — плотная LlamaForCausalLM семейства Llama. Модель содержит 7,5 млрд параметров, работает через Transformers и распространяется в формате Safetensors. Модель предназначена для диалогов и генерации текста по запросу; каталог также отмечает интерфейс вызова инструментов. Контекст модели составляет до 131 072 токенов. Базовая SuperNova Lite описана как англоязычная чат-модель на базе Llama 3.1 8B Instruct; языковые возможности итогового слияния отдельно не уточняются. Лицензия — Llama 3.1.

LLM-jp-4-33b-thinking — плотная трансформерная языковая модель семейства Llama, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Она предназначена для диалогов, генерации ответов и решения задач с рассуждением на японском и английском языках; поддерживает интерфейс вызова инструментов. Модель содержит 32,2 млрд параметров, имеет 64 слоя и контекст до 65 536 токенов. Она обучалась на этапах предварительного и промежуточного обучения на 11,7 трлн токенов, затем прошла SFT и выравнивание DPO без обучения с подкреплением. Доступна в формате Safetensors для Transformers, лицензия — Apache-2.0. Разработчики отмечают, что модель находится на раннем этапе исследований и разработок и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Для корректной работы следует использовать приложенный токенизатор: он отличается от предположений библиотеки openai-harmony, несмотря на совместимость шаблона диалога с Harmony.

mlx-community/Meta-Llama-3.1-70B-Instruct-8bit — 8-битная версия инструкционно дообученной большой языковой модели Meta Llama 3.1 с 70 миллиардами параметров, подготовленная сообществом mlx-community для использования в экосистеме MLX. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы, написание и преобразование текста. В карточке указаны поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель относится к классу text-generation и использует библиотеку Transformers; модальность — текстовая. Ключевая особенность варианта — 8-битное представление весов, которое может снизить требования к памяти по сравнению с полноразмерной моделью, сохраняя принадлежность к крупной 70B-модели. При этом для запуска всё равно требуются значительные вычислительные ресурсы, а конкретные показатели качества, производительности и максимального контекста в README не указаны. Как и другие языковые модели, она может генерировать неточные или нежелательные ответы, поэтому результаты требуют проверки. Модель распространяется по Llama 3.1 Community License от Meta. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ при соблюдении её условий, включая передачу текста лицензии, указание «Built with Llama», атрибуцию и соблюдение Acceptable Use Policy. Для продуктов и сервисов с более чем 700 миллионами активных пользователей в месяц предусмотрено требование запросить отдельную лицензию у Meta.

Mungert/Mistral-Small-3.1-24B-Instruct-2503-GGUF — это GGUF-квантизованная instruct-модель на базе Mistral-Small-3.1-24B-Base-2503 от Mistral AI, подготовленная пользователем или организацией Mungert с использованием llama.cpp. Модель предназначена для генерации текста в диалоговых и прикладных сценариях, а также, согласно указанному pipeline tag, для задач image-text-to-text, то есть обработки сочетаний изображений и текста. Доступны варианты с разной степенью квантизации, включая форматы Q4, Q6, Q8 и ультранизкобитные IQ1–IQ3, ориентированные на снижение потребления памяти и запуск на CPU, устройствах с ограниченной VRAM и edge-оборудовании. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Размер модели составляет 24B параметров по обозначению в имени. README не указывает точную архитектуру и размер контекстного окна для этой модели; приведённые бенчмарки относятся к другой модели, Llama-3-8B-Instruct, поэтому их нельзя напрямую считать характеристиками данного экземпляра. Сильной стороной являются варианты квантизации, позволяющие выбирать компромисс между качеством, скоростью и требованиями к памяти; особенно низкобитные варианты рассчитаны на ресурсоограниченные среды и исследование ультранизкобитного вывода. Ограничения включают возможное снижение точности при агрессивной квантизации и зависимость производительности от конкретного формата и оборудования. Модель распространяется по лицензии Apache-2.0.

Nemotron-3.5-Lightning-30B-A3B-CRACK-GGUF — производная GGUF-версия модели NVIDIA Nemotron-3.5-Lightning-30B-A3B, подготовленная Dealign.ai для запуска через llama.cpp. Это языковая модель для генерации текста, рассуждений и исследовательских сценариев, включая авторизованное red-teaming. Поддерживаются английский и китайский языки. Модель использует гибридную архитектуру Mamba-2 SSM, Mixture-of-Experts и attention: 52 слоя, включая 23 слоя Mamba-2, 23 MoE-слоя и 6 attention-слоёв; всего 128 маршрутизируемых экспертов, около 3 млрд активных параметров. Заявлен контекст до 262K токенов, а режим рассуждений включён по умолчанию. Репозиторий содержит квантизации Q8_0, Q4_K_M и Q2_K размером около 35,0, 25,4 и 18,7 ГБ соответственно; Q4_K_M обозначена как сбалансированный рекомендуемый вариант. Во все варианты встроена native MTP-голова для спекулятивного декодирования без отдельной draft-модели. Abliteration CRACK удаляет поведение отказа при сохранении знаний, рассуждений и многоязычности, однако по тесту MMLU результат снизился с 78,3% у базовой модели до 74,2%, особенно в STEM и гуманитарных дисциплинах. По HarmBench модель продемонстрировала 100% выполнения вредоносных запросов без отказов, поэтому имеет существенно сниженные защитные ограничения и требует ответственного и законного применения. Лицензия — NVIDIA Open Model License; модель является производной квантизированной версией базовой модели NVIDIA.

Это версия NVIDIA Nemotron 3 Ultra 550B A55B в формате GGUF BF16, опубликованная DevQuasar как копия модели NVIDIA. Она предназначена для генерации текста и диалоговых сценариев, включая сложные рассуждения, работу с длинным контекстом и агентные приложения. В метаданных указана возможность чата, а README называет версию Zeroshot. Модель основана на nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16. Репозиторий описывает её как квантованную версию, хотя формат указан как GGUF BF16; подробности о способе квантования и аппаратных требованиях не приведены. Лицензия в предоставленных данных не указана.

MaziyarPanahi выпустил эту диалоговую модель как слияние Mistral-7B-Instruct-v0.2 и OpenHermes-2.5-neural-chat-7b-v3-1-7B методом SLERP. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, рассчитанная на диалог и генерацию текста по инструкциям; заявленная длина контекста — до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и создания текстов по запросу. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Карточка не сообщает о специализированной предметной области или ограничениях качества.

plato-9b — диалоговая языковая модель на 9 млрд параметров, разработанная DeepVK дообучением google/gemma-2-9b-it. Она предназначена прежде всего для генерации ответов на русском языке и общения в формате диалога. Модель обучали с supervised fine-tuning и оптимизацией предпочтений на инструкционных данных, включавших диалоги, математику, биологию, химию, код и общие знания. Архитектура — плотная Gemma 2 для причинной генерации текста; контекст — до 8192 токенов. Метаданные указывают поддержку русского и английского языков. В карточке приведены оценки на русскоязычных наборах arena-general-ru и arena-hard-ru с оцениванием LLM-as-a-judge. Эти результаты характеризуют конкретные тесты и не гарантируют качество для каждой задачи. Модель принимает текст и генерирует текст. Распространяется по лицензии Apache-2.0.

Qwen2.5-14B-Instruct-4bit — преобразованная в формат MLX 14-миллиардная instruct-модель семейства Qwen2.5, опубликованная mlx-community. Она предназначена для диалоговой генерации текста и работы с запросами в формате чата; в метаданных также отмечен интерфейс вызова инструментов. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Репозиторий создан 18 сентября 2024 года, использует формат safetensors и лицензию Apache-2.0. README указывает, что конверсия выполнена из Qwen/Qwen2.5-14B-Instruct с помощью mlx-lm 0.18.1. Русский язык не заявлен в языковых тегах карточки; в метаданных указан английский.

Qwen2.5-95B-Instruct — плотная языковая модель для генерации текста и диалогов, созданная ssmits как self-merge модели Qwen/Qwen2.5-72B-Instruct с помощью MergeKit. Веса собраны методом passthrough из диапазонов слоёв исходной модели; модель содержит 93,4 млрд параметров и опубликована в формате safetensors. Метаданные указывают контекст 32 768 токенов и интерфейс чата с поддержкой вызова инструментов. Модель предназначена для диалогов, генерации текстов, творческого письма, математических и пространственных рассуждений. Автор README сообщает об улучшениях на отдельных задачах относительно Qwen2.5-72B-Instruct, но также отмечает, что исходная модель превосходит её во многих общих языковых и рассуждательных сценариях. Оценка модели пока ограничена, поэтому результаты на конкретной задаче следует проверять отдельно. Карточка указывает лицензию other, без уточнения её условий. README описывает шаблон чата Qwen и заявляет окно контекста 128K, тогда как метаданные Hugging Face указывают native context 32 768 токенов; фактическое поддерживаемое окно следует сверять с конфигурацией и используемым ПО.

Qwen3-30B-A3B-Instruct-2507-MLX-8bit — 8-битная квантованная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon через MLX. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях: диалоговых системах, подготовке и преобразовании текстов, ответах на вопросы и других задачах, поддерживаемых исходной instruct-моделью. README не содержит сведений о точной архитектуре, числе активируемых параметров, размере контекста, поддерживаемых языках и модальностях, поэтому эти характеристики нельзя достоверно уточнить. Ключевое преимущество модели — 8-битное представление, ориентированное на более эффективный запуск на Apple Silicon по сравнению с полноразмерной версией. Ограничения включают зависимость от экосистемы MLX и Apple Silicon, а также типичные для генеративных моделей риски неточных, вредных или неподходящих ответов. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-4B-heretic — доработанная модель coder3101 на базе мультимодальной Qwen/Qwen3.5-4B от Qwen. Это плотная модель с причинным языковым ядром и визуальным энкодером: она принимает текст и изображения и генерирует текст. Базовая архитектура насчитывает 4 млрд параметров и сочетает Gated Delta Networks с механизмом внимания; нативный контекст составляет 262 144 токена, с расширением до 1 010 000 токенов. В карточке заявлена поддержка 201 языка и диалекта для семейства Qwen3.5. Модель предназначена для диалога, рассуждений, работы с изображениями и вызова инструментов. Вариант heretic получен методом abliteration и заметно реже отказывается отвечать: в приведённом сравнении отказы снизились с 94 из 100 у исходной модели до 4 из 100, при KL-дивергенции 0,0406. Это изменение поведения может повысить риск нежелательных ответов; результаты приведены в README и не описывают качество на широком наборе задач. Репозиторий содержит веса в формате Safetensors для Transformers и совместимых движков. Лицензия — Apache-2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — это производная модель семейства Qwen3.5-9B, основанная на DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Она создана автором модели совместно с Nightmedia с использованием многоэтапной донастройки и слияния нескольких моделей на локальном оборудовании. Модель предназначена для общего диалогового использования, следования инструкциям, рассуждений, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Заявлены режимы thinking и instruct, а также полностью uncensored-поведение. Поддерживаются английский и китайский языки. Модель имеет контекст до 256k токенов и активированное зрение: для обработки изображений требуется отдельный файл mmproj. GGUF-квантизации совместимы со стандартными приложениями для запуска локальных моделей. Доступны обычные GGUF и MTP-GGUF-варианты с NEO IMATRIX-квантизацией, которая, по заявлению автора, повышает точность и качество работы в длинном контексте. MTP-варианты могут ускорять генерацию благодаря multi-token prediction, но их эффективность зависит от оборудования, настроек и показателя token acceptance; при низком acceptance обычные варианты могут работать быстрее. Сильными сторонами заявлены высокая производительность для модели такого размера, улучшенное следование инструкциям, рассуждения и результаты на ряде тестов. Ограничения включают зависимость скорости и качества от выбранной квантизации, аппаратного обеспечения и параметров генерации, а также отсутствие гарантии превосходства над более крупными моделями во всех задачах. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-40B-Grand-Intelligence-Fable-Fusion-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — это 40-миллиардная модель на базе Qwen3.6, разработанная DavidAU при участии Nightmedia, TeichAI, armand0e, trohrbaugh и nbeerbower. Модель создана как результат многоэтапного fine-tuning, объединения нескольких версий Qwen3.6-27B Fable Fusion и последующей настройки с использованием Unsloth. Доступны обычные GGUF-квантизации и варианты с поддержкой MTP, включая 4-битные и 8-битные версии; заявлена совместимость с потребительским оборудованием. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, анализа, программирования, творческого письма, ролевых сценариев и работы с текстом. В README также заявлена поддержка vision, однако конкретные форматы входных данных и ограничения мультимодальности не описаны. Указаны английский и китайский языки. Модель ориентирована на более глубокие рассуждения, подробные ответы, улучшенное следование инструкциям и общую интеллектуальную производительность; заявлено сокращение числа токенов в thinking-блоке по сравнению с обычными Qwen. К сильным сторонам относятся крупный размер, многоэтапная настройка, наличие разных GGUF-квантизаций и акцент на reasoning, instruction following и универсальность. Модель обозначена как uncensored и heretic, поэтому уровень защитных ограничений может отличаться от оригинальных моделей Qwen. README не содержит точного размера контекста, полной спецификации архитектуры, детальных результатов независимых тестов и описания требований к ресурсам, поэтому производительность и пригодность для конкретных сценариев следует проверять самостоятельно. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-версия плотной языковой модели Qwen3.8-27B, подготовленная HauhauCS. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео при использовании отдельного BF16-проектора. Указаны поддержка английского, китайского и других языков, а также мультимодальный режим image-text-to-text. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, FFN-размер 17408, словарь на 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Она сохраняет встроенный механизм NextN/MTP и дополнительно поставляется с профилем HauhauCS FastMTP 32K для ускорения спекулятивного декодирования. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000. Доступны квантизации от Q8_K_P до IQ2_M; для изображений и видео требуется отдельный vision projector. Вариант Aggressive ориентирован на прямые ответы, минимальную вводную часть и отсутствие отказного поведения, что может быть полезно для свободного исследования, автоматизации и сценариев, где важна максимальная отзывчивость. При этом отсутствие защитных отказов повышает риски при работе с вредоносными или чувствительными запросами, а для критически важных длинноконтекстных агентских задач автор рекомендует более сбалансированный вариант. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-GGUF — это квантизированная версия модели Qwen3.8-Flash-Next, разработанной командой Qwen и подготовленной пользователем bartowski в формате GGUF для запуска через llama.cpp. Модель предназначена для задач генерации и анализа текста, а также обработки изображений при использовании отдельного файла mmproj, что позволяет применять её в мультимодальных сценариях. Модель содержит 180 млрд параметров и поддерживает текстовый и графический ввод. Для неё доступны варианты от BF16 и Q8_0 до более компактных Q2–Q5 и IQ-квантизаций; размер файлов варьируется примерно от 88 до 354 ГБ. Квантизация выполнена с использованием imatrix, а speculative decoding не поддерживается. Рекомендуемый компромисс между качеством и требованиями к памяти — Q4_K_M размером около 119,6 ГБ; более высокие варианты сохраняют качество, но требуют значительно больше ресурсов. К сильным сторонам относятся большой масштаб модели, поддержка мультимодального ввода, широкий выбор уровней квантизации и совместимость с llama.cpp. Ограничениями являются очень высокие требования к оперативной или видеопамяти даже у компактных вариантов, возможное снижение качества при сильной квантизации и необходимость отдельного mmproj-файла для работы с изображениями. Указана лицензия qwen-community-1.0; дополнительные условия приведены в файле LICENSE.

Qwen3-Next-80B-A3B-Instruct-MLX-8bit — это 8-битная квантованная версия языковой модели Qwen3-Next-80B-A3B-Instruct, адаптированная для запуска на устройствах Apple Silicon. Исходную модель разработала команда Qwen, а MLX-квантизацию предоставила команда LM Studio с использованием mlx_lm. Модель предназначена для генерации текста и работы с широким спектром задач, поддерживаемых инструкционной языковой моделью, включая диалоговые сценарии и локальное использование через совместимую программную среду. Модель содержит 80B параметров, при этом заявлена конфигурация A3B; точная архитектура, поддерживаемые языки и размер контекстного окна в README не указаны. Формат MLX и 8-битная квантизация оптимизированы для Apple Silicon, что делает модель более подходящей для локального запуска на таких устройствах по сравнению с полноразмерной версией. Ограничениями являются зависимость от совместимого окружения MLX и оборудования Apple Silicon, а также возможные типичные для генеративных моделей ошибки, неточности и нежелательный контент. Модель распространяется по лицензии Apache-2.0. LM Studio не является разработчиком или владельцем модели и не гарантирует её точность, безопасность, доступность или соответствие конкретным требованиям.

FuriosaAI публикует эту сборку Qwen3-VL-32B-Thinking вместе с пакетом Furiosa Executable Bundle для запуска на ускорителях FuriosaAI RNGD через Furiosa-LLM. Это плотная мультимодальная модель с 32 млрд параметров: она сочетает визуальный энкодер и трансформерный декодер, использует Interleaved-MRoPE и слияние признаков DeepStack. Квантизация не применялась; веса сохраняют точность исходной модели Qwen/Qwen3-VL-32B-Thinking. Модель принимает изображения и текст, а отвечает текстом. Она предназначена для распознавания текста на изображениях, анализа документов и диаграмм, пространственных рассуждений и понимания видео. Версия Thinking формирует рассуждение перед итоговым ответом; также поддерживается вызов инструментов. README описывает запуск через Furiosa-LLM на RNGD, а также совместимость с vLLM, SGLang и Transformers. Модель выпущена под лицензией Apache 2.0. Для запуска на RNGD требуется конфигурация с 32 PE, распределёнными по четырём картам RNGD; отдельные ограничения качества в предоставленных материалах не описаны.

SzilviaB/Qwen-Supernova-14B — объединённая методом SLERP модель на базе Qwen2.5-14B и SuperNova-Medius, созданная с помощью mergekit. Это плотная авторегрессионная языковая модель Qwen2 с 14 млрд параметров для генерации текста и диалогового взаимодействия; репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. Модель принимает текстовые запросы и генерирует текст. Контекстное окно составляет до 131 072 токенов, что позволяет работать с длинными запросами и документами. Метаданные указывают на поддержку интерфейса вызова инструментов, однако README не описывает его поведение и не приводит оценок качества. Модель создана сообществом SzilviaB путём слияния предварительно обученных моделей Qwen/Qwen2.5-14B и arcee-ai/SuperNova-Medius; конфигурация mergekit задаёт кривую SLERP с упоминанием влияния Hermes и WizardMath на разные слои. Лицензия в предоставленных данных не указана.

Suzhou 3.1 — созданная Tripplet Models инструкционная языковая модель с архитектурой причинного трансформера Qwen3.5, объединённая методом SLERP. В метаданных указано 7,2 млрд параметров, а README сообщает об округлённом размере 8,95 млрд; модель использует смешанное внимание с линейными и полными слоями и поддерживает контекст до 262 144 токенов. Модель предназначена для диалогов, рассуждений, генерации текста и работы в роли агента с вызовом инструментов в формате Hermes. Заявлена поддержка более 29 языков; метаданные перечисляют английский, китайский, корейский, японский, французский, испанский, немецкий, итальянский, русский и арабский. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0. README описывает модель как пригодную для потребительского оборудования, но не приводит результатов сравнительных тестов.

Swift-Qwen3.8-27B-MIX_GGUF — набор смешанных GGUF-квантизаций модели ukisai/Swift-Qwen3.8-27b, подготовленный пользователем vmarcelo. Исходная модель является дообученной версией Qwen/Qwen3.8-27B — плотной мультимодальной модели на 27 млрд параметров с гибридной архитектурой GatedDeltaNet и Gated Attention, а также встроенной головой Multi-Token Prediction (MTP). Модель предназначена для работы с текстом и изображениями, включая мультимодальные сценарии, при наличии отдельного файла vision encoder mmproj-F16.gguf. Заявлена поддержка multilingual-задач; точный перечень языков не указан. В набор входят варианты IQ4-MIX размером 14,16 ГБ, IQ3-MIX размером 12,87 ГБ и IQ2-MIX размером 10,12 ГБ. Они рассчитаны на потребительские видеокарты с 16 ГБ VRAM, например AMD Radeon RX 9070 XT. IQ4 ориентирован на лучшее качество при умеренном контексте, IQ3 обеспечивает больший запас памяти и более длинный контекст, а IQ2 предназначен для максимального контекста примерно 131–262 тыс. токенов, но имеет экспериментальное качество и слабее подходит для программирования. Встроенная MTP-голова позволяет использовать speculative decoding без загрузки второго файла. Квантизация выполнена с помощью llama.cpp и importance matrix, при этом наиболее чувствительные компоненты сохраняются в более высокоточных форматах. Основные ограничения связаны с потерей качества из-за квантизации, особенно у IQ2; README прямо предупреждает о заметном ухудшении по сравнению с IQ3. Для обработки изображений требуется загрузка mmproj-файла, а фактическая поддерживаемая длина контекста зависит от выбранного варианта, настроек KV-кэша и доступной памяти. Модель распространяется по лицензии Swift Open License 1.0; в метаданных также указано общее обозначение лицензии other.

Nous-Yarn-Mistral-7b-64k — языковая модель семейства Mistral, разработанная NousResearch и участниками проекта YaRN. Она основана на Mistral-7B-v0.1 и дополнительно обучена на данных с длинным контекстом в течение 1000 шагов с использованием метода YaRN для расширения контекстного окна. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и предназначена для генерации текста с контекстом до 64 тысяч токенов. Метаданные указывают native context в 32 768 токенов. Модель подходит для продолжения текста, работы с длинными документами и других сценариев генерации, где важно учитывать большой объём предшествующего текста. В карточке приведены результаты тестов на длинном контексте и стандартных языковых бенчмарках; они показывают сохранение близкого к исходной Mistral-7B-v0.1 качества на коротком контексте. В карточке указана лицензия Apache-2.0. Для загрузки авторы рекомендуют свежую версию Transformers и параметр trust_remote_code=True.

Apertus v1.5 8B text — MLX MXFP4 — это текстовая квантованная версия базовой модели swiss-ai/Apertus-v1.5, разработанной Swiss AI Initiative при участии EPFL, ETH Zurich и Швейцарского национального суперкомпьютерного центра на открытых данных. Данная конверсия выполнена независимо от авторов исходной модели и предназначена для запуска на компьютерах Apple с использованием MLX и mlx-lm. Модель поддерживает генерацию текста: принимает текст на вход и возвращает текст. Она содержит около 8,05 млрд параметров, использует архитектуру ApertusForCausalLM с 32 слоями, скрытым размером 4096, 32 головами внимания и 8 key-value головами, активацию xIELU, словарь из 131072 текстовых токенов и контекст длиной до 262144 токенов. Модель мультиязычная, однако конкретный перечень поддерживаемых языков в README не указан. Ключевое преимущество сборки — калиброванное квантование MXFP4 с эффективной точностью 4,250 бита на вес и размером файлов около 4,28 ГБ, что снижает требования к хранению и делает модель удобной для локального использования на Apple silicon. Ограничения связаны с потерями качества из-за квантования по сравнению с полноразмерными версиями, текстовой модальностью и зависимостью от совместимого программного стека MLX. Модель распространяется по лицензии Apache 2.0 с политикой допустимого использования Apertus 1.5.

IsValorum/Apodex-1.1-mini-APEX-I-MiniPlus-V2-GGUF — это GGUF-квантизированная версия модели Apodex-1.1-mini, разработанная Apodex и квантизированная IsValorum. Модель предназначена для локального запуска и поддерживает сценарии генерации текста, рассуждений и обработки изображений вместе с текстом; в карточке также заявлены MoE-архитектура, speculative decoding и Multi-Token Prediction (MTP), однако подробные параметры базовой модели в представленном фрагменте README отсутствуют. Модель ориентирована на многоязычное применение. В заявленных языках указаны английский, китайский, испанский, французский, немецкий, португальский, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Для визуальных задач предусмотрен мультимодальный vision projector в формате Q8_0; конкретный размер модели, число параметров и точное максимальное окно контекста для этой версии не указаны. README описывает возможность работы с длинным контекстом свыше 160 тысяч токенов, но это приведено как характеристика практических испытаний семейства MiniPlus, а не как строгое спецификационное ограничение данной сборки. К сильным сторонам относятся специализированная покомпонентная квантизация, сохранение router gates в F32, token output head в Q6_K, attention gates в Q8_0 и использование не менее 3-битных представлений для ключевых reasoning-экспертов. Такая конфигурация призвана сохранить качество рассуждений и снизить требования к памяти по сравнению с неквантизированными моделями. Ограничения связаны с потерями точности, неизбежными для квантизированной версии, зависимостью производительности от аппаратного обеспечения и неполнотой опубликованных технических характеристик. Лицензия — Apache-2.0.

Blaze.1-27B-Preview — языковая модель на 27,6 млрд параметров, разработанная на базе Google Gemma 2 27B IT и дообученная на синтетических наборах данных для многошаговых рассуждений. Это плотная авторегрессионная модель семейства Gemma 2, предназначенная для генерации текста и диалога; веса опубликованы в формате Safetensors, исходная точность — bfloat16. Размер контекста — 8192 токена. Модель подходит для ответов на вопросы, суммаризации, следования инструкциям, решения математических и логических задач, сложного анализа и генерации длинных текстов. Основной заявленный язык — английский. Для запуска и дообучения требуются значительные вычислительные ресурсы. Модель может ошибаться в рассуждениях и фактах, а качество ответов зависит от формулировки запроса; на длинных входах связность может снижаться. Лицензия — Gemma.

zaakirio/gemma-4-12b-it-uncensored-GGUF — набор GGUF-квантизаций модели zaakirio/gemma-4-12b-it-uncensored, разработанной на основе Google Gemma 4 12B Instruct. Это декензурированная версия, полученная методом Heretic-abliteration, ориентированная на диалоговые сценарии и запуск через llama.cpp. Модель предназначена для генерации текста, общения, анализа изображений и аудио, а также обработки видео через выборку кадров и аудиодорожку. Модель представляет собой encoder-free unified multimodal decoder-only transformer с 12 млрд параметров и контекстным окном до 256K токенов. Поддерживаются текст, изображения, аудио и видео; для мультимодального ввода требуется отдельный проектор mmproj-gemma-4-12B-it-bf16.gguf. Доступны варианты от Q2_K до Q8_0 и f16 размером примерно от 4,50 до 22,20 ГБ. Опциональный MTP-драфтер может ускорить генерацию на GPU. Поддерживается reasoning-режим, а также системная роль. Сильные стороны модели — сочетание мультимодальности, большого контекста, различных уровней квантизации и совместимость с llama.cpp. Обработка аудио в llama.cpp отмечена как экспериментальная, поэтому качество распознавания может быть сниженным; обработка видео зависит от клиента, выполняющего извлечение кадров. Языки модели явно не перечислены, однако в README подтверждена точная многоязычная транскрипция речи. Лицензия указана как gemma.

MuXodious выпустил статические квантизованные GGUF-сборки Gemma 4 26B A4B Instruct, дообученной с помощью Heretic 1.2.0 и Arbitrary-Rank Ablation. Это диалоговая мультимодальная модель семейства Gemma 4 с архитектурой Mixture-of-Experts; в этой версии доступны текстовый и визуальный ввод и текстовый вывод. В репозитории есть GGUF и GGUF BF16. Шаблон чата обновлён с исправленной версией от Google. Модель предназначена для диалога, рассуждений и анализа изображений, включая извлечение информации из документов, OCR, понимание диаграмм и интерфейсов. README семейства Gemma 4 также описывает генерацию и редактирование кода, суммаризацию, поддержку длинного контекста до 256K токенов и мультиязычность; эти свойства приведены для семейства и отдельно не подтверждены для данной сборки. Ablation заметно уменьшила отказы: в приведённой проверке их стало 3 из 104 против исходных 103 из 104. Модель распространяется под лицензией Apache 2.0. Из-за ablation-процедуры она может отказывать реже, поэтому ответы на потенциально рискованные запросы требуют проверки; результаты теста отказов не гарантируют поведение в других сценариях. Для запуска GGUF требуется совместимый движок и корректный шаблон чата.

Gemma 4 E2B IT QAT NVFP4 GGUF — мультимодальная разговорная модель на основе контрольной точки Gemma 4 E2B IT с QAT-оптимизацией и преобразованием весов в формат GGUF с квантованием NVFP4. Модель разработана Google DeepMind; этот вариант подготовлен WhiskyAKM для запуска через llama.cpp и другие совместимые с GGUF движки. Эффективный размер составляет 2,3 млрд параметров, или 5,1 млрд с учётом встраиваний; архитектура — Gemma4ForConditionalGeneration, 35 слоёв. Модель принимает текст, изображения и аудио и формирует текстовые ответы. Она предназначена для диалогов, анализа изображений и аудио, локального запуска и сценариев с вызовом инструментов; заявлены контекст до 128 тыс. токенов и поддержка более 140 языков. QAT и NVFP4 снижают требования к памяти, а файлы GGUF позволяют использовать модель в llama.cpp. Для обработки изображений и аудио нужен движок с мультимодальной поддержкой. Лицензия — Apache-2.0.

GLiNER2.5 Multi — мультиязычная модель извлечения информации компании Fastino на архитектуре GLiNER2 boundary. Она построена на энкодере mDeBERTa-v3-base, содержит 287 млн параметров и предназначена для извлечения сущностей, классификации текста, разбора структурированных записей, выделения атрибутов фрагментов и извлечения отношений в рамках заданной схемы. Модель принимает текст и возвращает текстовые фрагменты, метки, записи и связи; заявлена поддержка нескольких языков. Контекстное окно указано как max_len=4096 токенов. Разреженный поиск пар начала и конца позволяет извлекать фрагменты разной длины в пределах одного окна. Модель объединяет несколько задач извлечения в одном вызове и поддерживает ограниченное декодирование для согласованных меток и графов сущностей и отношений. Для длинных документов предусмотрена обработка перекрывающимися фрагментами, но сущность или отношение сохраняются только если их границы или оба конца связи попадают в один фрагмент; обычный вызов extract обрезает текст по max_len. Лицензия Apache-2.0.

Gemma 3 27B IT — мультимодальная instruction-tuned модель Google, представленная в формате GGUF и квантизированная bartowski с использованием llama.cpp и imatrix. Модель предназначена для диалогов, следования инструкциям и задач, работающих с текстом и изображениями. Для работы с изображениями требуется отдельный файл MMPROJ и сборка llama.cpp с поддержкой Gemma 3 vision. Модель содержит 27 миллиардов параметров; доступны варианты от BF16 и Q8_0 до более компактных Q3- и IQ-квантизаций. Размер файлов варьируется примерно от 13,44 до 54,03 ГБ, а MMPROJ-файлов — от 858 МБ до 1,69 ГБ. Квантизации Q5 и Q6 обозначены как высококачественные, а Q4_K_M — как вариант, подходящий для большинства сценариев; более компактные варианты экономят оперативную память ценой снижения качества. README не содержит сведений о поддерживаемых языках и размере контекстного окна. Модель можно запускать локально через LM Studio, llama.cpp и совместимые проекты. Использование мультимодальных возможностей требует совместимого vision-компонента и правильного chat-шаблона Gemma. Доступ регулируется лицензией Google Gemma; для загрузки на Hugging Face необходимо принять условия этой лицензии. Конкретные ограничения производительности зависят от выбранной квантизации и доступной памяти.