II.4Отладка, тестирование и качество ПО

Abenzerps/Nex-N2.5-mini-MLX-4bit — это 4-битная конверсия модели Nex-N2.5-mini, разработанной Nex AI и опубликованной организацией nex-agi. Модель предназначена для локального запуска задач генерации текста, программирования, рассуждений и работы с длинным контекстом через библиотеку MLX и инструменты mlx-lm. Модель использует разреженную архитектуру MoE и поддерживает текстовую модальность. Заявлены английский и китайский языки, а исходный чекпойнт рассчитан на контекст до 262 144 токенов (256K). Веса представлены в формате MLX safetensors с аффинным 4-битным квантованием и размером группы 64; объём релиза составляет около 19,53 ГБ. В комплект входят веса генерации текста и токенизатор. К сильным сторонам относятся возможность локального инференса, сниженные требования к хранению по сравнению с полноразмерными весами и поддержка очень длинного контекста. Ограничения релиза заключаются в отсутствии MTP-весов и vision projector, поэтому он не предназначен для мультимодальной обработки изображений. В README приведены результаты бенчмарков исходной модели, но подробные численные показатели не указаны. Лицензия — Apache-2.0.

NVIDIA-Nemotron-3-Nano-30B-A3B-Base-BF16 — базовая большая языковая модель, обученная NVIDIA с нуля на предсказание следующего токена. Она предназначена для разработчиков и исследователей, которым нужна основа для дообучения под следование инструкциям и создания специализированных ИИ-агентов. Архитектура сочетает Mamba2 и Transformer с экспертами (MoE); модель содержит 30 млрд параметров, принимает и генерирует текст, а в карточке указано окно контекста до 1 млн токенов. Конфигурация Hugging Face по умолчанию использует 256 тыс. токенов из-за требований к видеопамяти. Модель обучалась на коде, математике, научных и общеязыковых данных; NVIDIA приводит поддержку русского и других естественных языков, а также обучение на 43 языках программирования. Заявленные области корпуса включают право, математику, науку и финансы. Для запуска NVIDIA рекомендует GPU-системы, в частности H100-80GB или A100, и NeMo Framework; также перечислены Transformers, vLLM и TRT-LLM. Модель заявлена как готовая к коммерческому использованию, однако метаданные Hugging Face обозначают лицензию как «other», поэтому перед использованием следует проверить условия лицензии в карточке.

Qwen2.5-VL-7B-Instruct-GGUF — мультимодальная instruction-tuned модель семейства Qwen, разработанная командой Qwen; в карточке она указана как производная от Qwen/Qwen2.5-VL-7B-Instruct и распространяется в формате GGUF. Модель предназначена для задач «изображение-текст»: анализа изображений, документов, графиков, таблиц, схем и интерфейсов, а также понимания видео. Она может распознавать и извлекать текст, локализовать объекты с помощью координатных рамок или точек, формировать структурированные ответы и поддерживать сценарии визуального агента, включая взаимодействие с компьютером и телефоном. Модель содержит 7 миллиардов параметров и объединяет языковую часть с vision encoder. В архитектуре заявлены динамическое разрешение изображений, динамическая частота кадров для видео, временное выравнивание в mRoPE, оконное внимание в ViT, а также SwiGLU и RMSNorm. Заявлена способность обрабатывать видео длительностью более часа и находить релевантные моменты. В метаданных указан английский язык; другие языки и точный размер контекстного окна не указаны. Сильные стороны модели — работа с OCR, документами, диаграммами, визуальными вопросами, длинными видео и структурированным извлечением данных. Ограничения включают зависимость качества от визуального входа и вычислительных ресурсов, а также неуказанные в карточке языковой охват, контекст и практические требования к аппаратному обеспечению. Модель распространяется по лицензии Apache-2.0.

Карточка модели helmo/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

TeichAI/Qwen3-14B-DeepSeek-v3.2-Speciale-Distill — плотная языковая модель семейства Qwen3 на 14 млрд параметров, дообученная TeichAI на наборах рассуждений DeepSeek v3.2 Speciale. Она предназначена для генерации текста в диалоге, решения математических задач, программирования и исследовательских запросов. Модель принимает текст и выдаёт текст; метаданные указывают контекст до 40 960 токенов и поддержку интерфейса вызова инструментов. Модель основана на unsloth/Qwen3-14B и распространяется в формате safetensors. В карточке перечислены обучающие наборы OpenCodeReasoning, 1000x и openr1-math. Указаны английский язык и лицензия не приведена в предоставленных данных. Возможности и качество рассуждений, кодирования и вызова инструментов независимо не подтверждены.

Карточка модели jahseh1654/Qwen3.5-4B на Hugging Face совпадает с карточкой Qwen/Qwen3.5-4B, поэтому описание составлено по ней. Qwen3.5-4B — мультимодальная модель компании Qwen на 4 млрд параметров, представленная в формате Hugging Face Transformers и дообученная на базе Qwen/Qwen3.5-4B-Base. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, анализа изображений, рассуждений, программирования и вызова инструментов. Модель использует гибридную архитектуру Gated Delta Networks и gated attention; в README указано 32 слоя. Нативная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Семейство заявляет поддержку 201 языка и диалекта. По умолчанию модель работает в режиме рассуждения, а для развёртывания доступны Transformers, vLLM, SGLang и KTransformers. Модель подходит для ответов на вопросы по изображениям и тексту, многошаговых диалогов и агентных сценариев с инструментами. Репозиторий распространяется по лицензии Apache-2.0. Реальная скорость и пропускная способность зависят от среды инференса; длинный контекст может приводить к нехватке видеопамяти.

Robinson Labs выпустила доработанную версию Qwen3.6-35B-A3B — мультимодальной модели семейства Qwen с архитектурой MoE, примерно 35 млрд параметров и бюджетом около 3 млрд активных параметров. Веса представлены в bf16 в формате sharded safetensors для Transformers. Модель принимает текст и изображения и предназначена для диалогов, вызова инструментов, программирования и анализа изображений; в README также заявлено сохранение поддержки спекулятивного декодирования MTP/NextN для совместимых сред выполнения. В модели ослаблен отказ на взрослые и творческие запросы методом ортогонализации весов; при этом авторы заявляют о сохранении защитных ограничений для запросов о самоповреждении и реальных противоправных действиях. В собственных небольших проверках разработчика модель реже отказывала на общем наборе запросов, а на тесте детской безопасности отклоняла все проверенные запросы; размер этих тестов ограничен и не подтверждает поведение во всех ситуациях. Модель не предназначена для всех аудиторий. Лицензия — Apache-2.0, унаследованная от базовой модели.

t-firefly выпустил сборку Qwen3.8-27B для работы на ускорителе Rockchip RK1828 через LlamaPi. Это плотная мультимодальная модель генерации текста по текстовым и визуальным входам; исходную модель разработала команда Qwen. Она предназначена для диалога, анализа изображений и видео, программирования, профессиональных и исследовательских задач, а также многошаговых агентных сценариев. Модель принимает изображения и видео, включая документы и STEM-диаграммы; в исходной карточке заявлено понимание видео длительностью до часа. Режим рассуждения включён по умолчанию, его глубину можно настраивать. Репозиторий содержит GGUF и safetensors и помечен как совместимый с LlamaPi. Лицензия — Apache-2.0. Для запуска через LlamaPi требуется соответствующая среда на RK1828; практическое качество и поддержка конкретных входных форматов зависят от реализации.

Это сборка Qwen3-8B для запуска на Rockchip RK1828 через LlamaPi. Исходную модель разработала команда Qwen; в репозитории указаны формат GGUF и готовность к запуску на RK1828. Модель относится к плотной архитектуре Qwen3ForCausalLM, содержит 7,6 млрд параметров и поддерживает контекст до 40 960 токенов. Модель предназначена для генерации текста, диалога, следования инструкциям, программирования, рассуждений и агентных задач; поддерживает режимы с рассуждением и без него, а также интерфейс вызова инструментов. Исходная модель поддерживает более 100 языков и диалектов. Для запуска в README предлагается LlamaPi. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-Uncensored-MLX-Serve-4bit — 4-битная версия модели Qwen3.8-Flash-Next, преобразованная в формат MLX-Serve для локального запуска на компьютерах Apple Silicon. Базовая модель разработана командой Qwen, а вариант без ограничений получен orcarouter с помощью abliteration — удаления направлений весов, связанных с отказами; в этой сборке дополнительных изменений модели не заявлено. Модель предназначена для диалогов, генерации текста и кода, агентских сценариев и мультимодальных задач с изображениями и видео. Она поддерживает контекст до 262 144 токенов, vision tower, спекулятивную декодирующую голову MTP и работу через совместимые с OpenAI, Anthropic и Ollama API. Архитектура qwen4_exp включает 48 слоёв, гибридное внимание с 36 слоями Gated-DeltaNet и 12 слоями полного внимания, MoE с 512 экспертами и выбором 10 экспертов на токен, а также общим экспертом. Объём модели составляет 125 млрд параметров, из которых активно около 6 млрд на токен; заявленная поддержка языков в README не указана. Ключевые преимущества — большой контекст, поддержка текста, изображений и видео, высокая скорость на Apple Silicon, а также сниженная склонность к отказам. Пакет требует Apple Silicon с не менее чем 96 ГБ unified memory, рекомендуется 128 ГБ, и около 107 ГБ места на внутреннем SSD. Скорость и объём памяти зависят от оборудования; приведённые значения измерены на M5 Max с 128 ГБ. Для запуска требуется mlx-serve версии 26.8.11-pre-release.1 или новее. Ограничения включают высокие аппаратные требования, необходимость использования специализированного движка и потенциальные риски, связанные с отсутствием встроенных отказов. Лицензия — Apache 2.0.

Qwen3-VL-32B-Instruct — плотная мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen; этот репозиторий содержит её веса в формате safetensors. Модель принимает текст и изображения, а также предназначена для анализа видео и диалога с визуальными данными. Вариант Instruct поддерживает чат и интерфейс вызова инструментов. Модель рассчитана на визуальные вопросы и ответы, OCR и разбор структуры документов, понимание видео, пространственное рассуждение, STEM-задачи и генерацию кода интерфейсов по изображениям или видео. Заявлена длина контекста 256 тысяч токенов с возможностью расширения до 1 миллиона. Для распознавания текста заявлена поддержка 32 языков, но их перечень в предоставленных данных отсутствует. К архитектурным особенностям относятся Interleaved-MRoPE для пространственных и временных позиций и DeepStack для объединения признаков ViT. Модель распространяется по лицензии Apache-2.0. Заявленные возможности описаны в карточке; независимые результаты оценки качества в предоставленных данных не приведены.

Qwopus3.6-27B-v1-preview — предварительная reasoning-модель, разработанная Jackrong на базе Qwen3.6-27B. Это мультимодальная vision-language модель для работы с текстом и изображениями, ориентированная на генерацию ответов, структурированное рассуждение, агентские сценарии, программирование, создание интерфейсов и творческие задачи с canvas/WebGL. В README также указана поддержка image-text-to-text и совместимость с экосистемами Transformers и llama.cpp. Модель содержит 27 миллиардов параметров и обучена методом supervised fine-tuning с использованием Unsloth. Обучающий набор объёмом около 12 тысяч тщательно отобранных примеров сформирован на основе данных дистилляции Claude, GLM-5.1, Kimi K2.5 и Qwen3.5. Заявленные сильные стороны — более структурированное рассуждение, стабильный стиль ответов, снижение стилистического дрейфа в длинных ответах и улучшенная согласованность между источниками. Результаты предварительной оценки на небольшой выборке следует считать ориентировочными; полноценное масштабное обучение ещё продолжается. Заявлены языки English, Chinese, Japanese, Korean, Spanish и Russian. Точный размер контекстного окна и подробные архитектурные характеристики в предоставленном README не указаны. Модель выпускается как preview-версия, поэтому её поведение и качество могут измениться в будущих релизах. Лицензия — Apache-2.0.

JC1DA/Qwopus3.8-27B-Flash-INT4-W4A16 — экспериментальная 4-битная версия модели Qwopus3.8-27B-Flash, разработанной Jackrong на основе Qwen/Qwen3.8-27B. Модель ориентирована на генерацию текста, диалоговые сценарии, рассуждения, написание кода, агентские рабочие процессы, использование инструментов и function calling. Заявлена поддержка английского, китайского, испанского, русского и японского языков. В карточке также указан мультимодальный pipeline image-text-to-text и сохранённый visual encoder, однако подробности о возможностях работы с изображениями не приведены. Квантование выполнено с помощью AutoRound 0.12.3 и GPTQ: 4 бита для весов, 16 бит для активаций, размер группы 128. Размер модели составляет около 19 ГБ вместо примерно 54 ГБ в FP16, что уменьшает объём памяти приблизительно на 65%. В FP16 сохранены проекционные матрицы linear attention во всех 64 слоях, модуль MTP и visual encoder. Модель совместима с Transformers и другими средами, поддерживающими GPTQ/AutoRound, а также предназначена для высокопроизводительного сервинга через vLLM. Сильные стороны модели — сниженное потребление памяти, пригодность для локального запуска, длительных агентских сценариев и speculative decoding. На ARC-Easy квантованная версия показала 84,13% точности против 83,71% у FP16-версии. Ограничения включают возможный компромисс между эффективностью и точностью: в указанном наборе MMLU-Pro модель получила 91,28% против 92,73% у базовой Qwen3.8. Возможны нестабильность рассуждений, циклы и неэффективные траектории; качество применения инструментов зависит от промпта, окружения и оркестрации. Релиз обозначен как экспериментальный и предназначен для исследований, локальной оценки и технических экспериментов. Лицензия — Apache-2.0.

OsaurusAI Spark-X2.5-4B-JANG_6M — производная версия Spark-X2.5-4B от XHToken, подготовленная Jinho Jang для Apple Silicon и MLX. Это плотная авторегрессионная модель примерно на 3,8 млрд параметров для генерации текста, диалога, рассуждений и вызова инструментов; веса упакованы в смешанной точности: внимание и связанные эмбеддинги — 8-битные, MLP — 6-битный, масштабы групп — bfloat16, отдельные компоненты и нормы сохранены в полной точности. Репозиторий занимает около 3,41 GiB. Модель предназначена для запуска в оболочке Osaurus и поддерживает разговорный шаблон с включённым по умолчанию режимом рассуждений и интерфейсом вызова инструментов. В README заявлен нативный контекст до 1 048 576 токенов, при этом в контракте конкретной сборки указан контекст 131 072. По данным измерений авторов, скорость декодирования на M5 Max составила 104,7 токена в секунду; результаты получены в заданном тестовом режиме и не гарантируют такую же скорость на другом оборудовании. Карточка указывает английский и китайский языки; исходная модель описана как многоязычная и предназначенная также для кода, перевода и агентных задач. Сборка ориентирована на Apple Silicon и требует совместимой среды MLX и оболочки Osaurus; это текстовая модель. Лицензия Apache-2.0 унаследована от базовой модели XHToken/Spark-X2.5-4B.

Trillion-7B-preview — предварительная версия языковой модели, представленная командой TrillionLabs. Это плотная авторегрессионная модель семейства Llama с архитектурой Transformer Decoder, RoPE, SwiGLU и RMSNorm; в README указано 7,76 млрд параметров, 32 слоя и контекст 4096 токенов. Модель прошла предварительное обучение и последующее обучение для диалогов и выполнения инструкций. Модель предназначена для генерации текста, общения, ответов на вопросы, рассуждений и помощи с кодом. Разработчики заявляют поддержку английского, корейского, японского и китайского языков и отмечают особенно сильные результаты на корейских тестах. В опубликованных оценках модель показывает конкурентные результаты, однако качество зависит от задачи и языка. Это предварительный выпуск без комплексных механизмов безопасности; сведения модели ограничены данными до августа 2023 года, а для языков помимо английского, корейского, японского и китайского возможно снижение качества. Лицензия репозитория — Apache-2.0.

UltraLink-LM — мультиязычная авторегрессионная языковая модель на архитектуре Transformer, разработанная OpenBMB. Это дообученная модель семейства Llama-2 размером около 13 млрд параметров, предназначенная для генерации текста по инструкциям и многораундового диалога на английском, французском, русском, испанском и китайском языках. Модель ориентирована на ответы в чате, написание кода и решение математических задач. При дообучении использовались UltraLink, UltraChat, наборы Magicoder, MetaMathQA и англоязычная часть ShareGPT; карточка сообщает о сравнительных оценках на мультиязычных бенчмарках кода, математики и диалога. Контекст модели — 4096 токенов. Веса опубликованы в формате safetensors под лицензией MIT. Заявленные возможности и качество основаны на оценках из карточки; бенчмарки для части языков были переведены с помощью GPT-3.5, а сама карточка отмечает возможную предвзятость оценок. Модель имеет 12,9 млрд параметров, поэтому для запуска требуется соответствующая вычислительная память.

Whittle-Next-27B-A3B-GGUF — это GGUF-квантизированная версия модели Whittle-Next-27B-A3B, разработанной logic65 и подготовленной квантизатором mradermacher. Модель основана на архитектуре mixture-of-experts и предназначена для генерации текста, диалоговых сценариев, рассуждений, программирования и математических задач. В метаданных заявлена поддержка английского, китайского и других языков, а также сценариев с длинным контекстом. Модель содержит около 27 млрд параметров в общей конфигурации и обозначает архитектуру с примерно 3 млрд активных параметров, однако точные сведения о механизме активации, размере контекста и мультимодальных возможностях не указаны. Среди заявленных архитектурных особенностей — hyper-connections, n-gram memory, per-layer embeddings, knowledge distillation и online distillation. Доступны варианты GGUF с разными уровнями квантизации от Q2_K до Q8_0 и IQ4_XS; версии Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, а Q8_0 — как вариант с наилучшим качеством среди представленных. К сильным сторонам относятся поддержка локального запуска через совместимые инструменты, включая llama.cpp, широкий выбор компромиссов между размером, скоростью и качеством, а также ориентация на рассуждения, код и математику. К ограничениям относятся неизбежная потеря качества в более агрессивно квантизированных вариантах, отсутствие опубликованных в README бенчмарков и точных характеристик контекстного окна, а также отсутствие сведений о поддержке изображений или других модальностей. Модель распространяется по лицензии Apache-2.0.

Yi-1.5-6B — базовая языковая модель семейства Yi, разработанная 01.AI. Она создана на архитектуре Llama с плотной архитектурой и содержит 5,8 млрд параметров; модель распространяется в формате safetensors. Для версии в этом репозитории метаданные указывают контекст до 4096 токенов. Модель предназначена для генерации текста и может служить основой для задач понимания языка, чтения, следования инструкциям, рассуждений, математики и программирования. Семейство Yi-1.5 прошло дополнительное предварительное обучение на 500 млрд токенов и настройку на разнообразных примерах, однако README не уточняет отдельные результаты именно версии 6B. Лицензия репозитория — Apache-2.0. В предоставленных данных не заявлена мультимодальная поддержка.

CausalLM/35b-beta2ep — разговорная языковая модель на архитектуре Cohere, разработчик в карточке не уточнён. Модель содержит 35 млрд параметров, распространяется в формате safetensors и использует шаблон диалога ChatML. Метаданные указывают контекст 8192 токена; упоминание в README обучения на длинных данных не означает, что эта версия рассчитана на контекст 128K. Модель предназначена для генерации текста в диалоге, общих вопросов, задач на знания и программирование. В README указано обучение на синтетических данных и веб-корпусе в течение одной эпохи; метаданные перечисляют среди обучающих наборов данные для диалогов, математики, инструкций и кода. Поддерживаемые языки по карточке — английский, китайский, японский и немецкий. Модель выпущена под лицензией GPL-3.0. README отмечает, что эта версия не ориентирована на очень длинный контекст; дополнительных сведений о качестве и ограничениях применения в карточке нет.

Bagel 7B v0.1 — созданная jondurbin до DPO-этапа версия Mistral-7B, дообученная на смеси инструкционных диалогов и обычного текста. Модель предназначена для генерации ответов в чате и выполнения широкого круга инструкций: от вопросов и ответов, математики и программирования до SQL, пересказа и ролевых диалогов. В обучении использованы данные из нескольких источников, включая LMSYS Chat, Natural Instructions, MathInstruct, Apps и Cinematika. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Карточка указывает, что обучение остановили примерно на половине запланированного объёма из-за ограничений бюджета; в сравнении с вариантом после DPO эта SFT-версия менее склонна к правдивым ответам и может быть предпочтительнее для ролевых сценариев. Модель распространяется под лицензией Apache-2.0.

MaziyarPanahi/bagel-dpo-7b-v0.1-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на основе Mistral-7B-Instruct-v0.1 и jondurbin/bagel-dpo-7b-v0.1. Веса объединены методом SLERP; архитектура — плотная авторегрессионная MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста в ответ на инструкции и ведения диалогов. Обучающие данные включают наборы для вопросов и ответов, рассуждений, математики, кода и диалогов, поэтому модель подходит для широкого спектра текстовых запросов. Указана лицензия Apache-2.0.

DeepSeek-V4-Flash-0731 — Abliterated — это дообученная и изменённая версия DeepSeek-V4-Flash-0731, разработанного DeepSeek. Модель предназначена для генерации текста, агентного программирования, рассуждений, инструментального вызова и работы с длинным контекстом. Это текстовая модель на архитектуре Mixture-of-Experts с 284 млрд параметров всего и примерно 13 млрд активных параметров. Она содержит 43 слоя, 256 маршрутизируемых экспертов с выбором top-6, одного общего эксперта, гибридное внимание CSA и HCA, Lightning Indexer, mHC-гиперсвязи и встроенную трёхступенчатую DSpark draft head. Нативный контекст составляет 1 048 576 токенов, в указанной конфигурации модель обслуживается с контекстом 262 144 токена. Поддерживаемые языки в README не указаны, модальность — текстовая. Модель сохраняет исходные эксперты, маршрутизаторы, эмбеддинги, нормализации, параметры mHC и компоненты инструментального вызова; изменены только проекции выходов внимания в 46 модулях. По заявлению авторов, это устраняет поведение отказа: в проведённых тестах доля отказов составила 0%, а соответствие вызовам инструментов — 100%. При этом результаты отражают ограниченные выборки и не доказывают абсолютное отсутствие отказов или ошибок. Модель позиционируется как uncensored и может отвечать на потенциально опасные запросы, поэтому требует осторожного применения и локального запуска на контролируемом оборудовании. Размер составляет около 167 ГБ, используется нативная точность FP4 и FP8 без дополнительного квантования; для указанной конфигурации требуется распределённый запуск на двух NVIDIA DGX Spark с vLLM. Лицензия — MIT. Модель ориентирована прежде всего на локальное и исследовательское использование; ограничения по безопасности и ответственность за применение лежат на пользователе.

AEON-7 выпустил BF16-версию Gemma-4-12B-it с удалёнными отказами и заявленным сохранением возможностей исходной модели. Это плотная мультимодальная модель семейства Gemma 4 с 12 млрд параметров, предназначенная для диалога и следования инструкциям; основная задача в метаданных — генерация текста. В README также указаны сценарии работы с кодом, математическими задачами и рассуждениями. Базовая модель поддерживает работу с изображениями, видео и аудио, однако карточка этой версии описывает прежде всего текстовую генерацию. В README модель позиционируется как точный BF16-вариант семейства K4 для дообучения или запуска на оборудовании без Blackwell. Для загрузки через мультимодальный путь vLLM требуется processor_config.json из карточки базовой модели. Приведённые авторами показатели производительности относятся к DGX Spark и оптимизированному контейнеру AEON vLLM; они не характеризуют другие конфигурации. Модель распространяется по лицензии Gemma Google.

Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP — мультимодальная модель семейства Gemma 4, разработанная HauhauCS на основе Gemma 4 26B-A4B-it от Google DeepMind. Это версия с минимизированными отказами, ориентированная на агентный кодинг, рассуждения, творческое письмо, ролевые и разговорные сценарии, а также задачи, где важны надёжность и следование инструкциям. Модель построена по архитектуре MoE с 128 экспертами, из которых 8 активируются для каждого токена, и имеет заявленный контекст 256K токенов. Используется официальная QAT-квантизация примерно до 4 бит в формате GGUF Q4_K_M; основной файл занимает около 16,8 ГБ. Поддерживается ввод изображений через отдельный vision-проектор mmproj размером около 1,2 ГБ. Заявлен английский язык. В комплект входит MTP-драфтер для speculative decoding, который, по данным автора, ускоряет генерацию примерно на 35% без изменения проверенного моделью результата. Сильными сторонами являются сочетание большого контекста, MoE-архитектуры, поддержки изображений, 4-битной QAT-квантизации и оптимизации под llama.cpp, LM Studio, Jan, koboldcpp и другие GGUF-совместимые среды. Ограничения включают зависимость мультимодального режима от отдельного mmproj, необходимость совместимого MTP-драфтера для заявленного ускорения и возможные сбои Gemma 4 в LM Studio при использовании tensor-split на нескольких GPU. Несмотря на позиционирование как uncensored, автор отмечает отдельные пограничные случаи с отказом при первом запросе. Модель распространяется по лицензии Gemma; дополнительные условия лицензии в README не указаны.

AtomicChat/gemma-4-E2B-it-GGUF — это текстовая GGUF-квантизированная версия модели google/gemma-4-E2B-it, подготовленная Atomic Chat из оригинальных весов Google с использованием importance matrix. Модель предназначена для локального и полностью автономного запуска в задачах генерации текста, чат-диалогов, рассуждений, программирования и обработки длинного контекста. Для корректного применения шаблона диалога требуется поддержка Gemma 4 chat template. Модель имеет 2,3 млрд эффективных параметров и 5,1 млрд параметров с учётом эмбеддингов, 35 слоёв и контекст до 128K токенов. Это плотный decoder с гибридным вниманием: sliding-window attention с окном 512 токенов и глобальное внимание; используется 8 attention heads и 1 KV head. Базовая модель поддерживает текст, изображения и аудио, однако данный репозиторий содержит только текстовые GGUF-кванты и не включает vision projector. Доступны варианты от Q2_K до Q8_0, включая рекомендуемый баланс качества и размера Q4_K_M. Сильные стороны модели — небольшой размер, возможность офлайн-развёртывания, длинный контекст и несколько уровней квантизации, позволяющих подобрать соотношение скорости, потребления памяти и качества. Уровень качества зависит от выбранного кванта: низкобитные варианты экономичнее, но сильнее теряют точность, тогда как Q6_K и Q8_0 ближе к полноточной версии. Приведённые в README результаты являются опубликованными показателями базовой модели Google, а не независимыми измерениями данного репозитория. Модель распространяется по лицензии Apache-2.0.

Gemma 4 E4B-it QAT MXFP4 CRACK — мультимодальная модель семейства Gemma 4 от dealignai, созданная на основе google/gemma-4-e4b-it. Это плотная модель с гибридным скользящим и глобальным вниманием, дообученная с удалением отказов и квантизированная до 4-битного формата MXFP4. Она принимает текстовые запросы, изображения и аудио, а также предназначена для диалога, ответов на вопросы, многошаговых рассуждений и генерации кода; в метаданных также заявлен интерфейс вызова инструментов. В README автор сообщает о сохранении визуальных и аудиовходов, проверке генерации кода и снижении результата MMLU на 3,9 процентного пункта относительно базовой модели. Удаление отказов означает, что модель может выполнять вредоносные запросы; заявленные результаты HarmBench приведены автором и не являются независимой оценкой. Для запуска требуется Apple Silicon с достаточной объединённой памятью и vMLX с поддержкой Gemma 4. Лицензия — Gemma; автор публикует модель для исследовательских целей.

L3.1-Moe-4x8B-v0.1 — языковая модель с архитектурой Mixture of Experts, собранная разработчиком moeru-ai с помощью mergekit-moe. Она объединяет четыре модели на базе Llama 3.1, предназначенные для диалогов, творческого письма, работы с кодом и математикой. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов; файлы опубликованы в формате safetensors. Для работы используется библиотека Transformers. Модель предназначена для генерации текста и диалогового общения, включая ролевые сценарии, а также для задач с кодом и математикой. В README приведены результаты оценки на Open LLM Leaderboard, в том числе средняя оценка 19,15 и результат IFEval 43,47. Модель распространяется по лицензии Llama 3.1; следует соблюдать её условия.

Это сборка модели NVIDIA Nemotron 3 Nano 30B A3B в формате GGUF BF16, подготовленная DhruvalLabs для запуска через llama.cpp и совместимые приложения, включая Ollama, LM Studio, Open WebUI и Jan. В основе лежит NVIDIA-Nemotron-3-Nano-30B-A3B-BF16; README перечисляет варианты квантования K-quant, в том числе Q3_K_M, Q4_K_M и Q8_0, для локального запуска при разных объёмах памяти. Модель предназначена для генерации текста и диалогового использования. Базовая модель ориентирована на рассуждения, программирование и агентные сценарии; доступные сведения также указывают на поддержку английского, испанского, французского, японского, итальянского и немецкого языков. README заявляет сохранение 97–99% исходного качества для квантованных вариантов, но не приводит результаты измерений, поэтому это утверждение не подтверждено представленными бенчмарками. В метаданных указана лицензия «other»; конкретные условия использования в предоставленной карточке не раскрыты. GGUF-репозиторий указывает BF16 и одновременно описывает варианты квантования, поэтому фактическая точность зависит от выбранного файла.

NVIDIA-Nemotron-Nano-9B-v2-Japanese — разработанная NVIDIA Japan японская версия языковой модели NVIDIA Nemotron Nano, дообученная на японских данных для чата и задач с рассуждением. Модель предназначена для диалоговых приложений, следования инструкциям, AI-агентов и RAG-систем; поддерживает вызов инструментов и программирование. В основе — гибридная архитектура Nemotron-H с преимущественно слоями Mamba-2 и MLP и четырьмя слоями Attention. Модель принимает и генерирует текст, поддерживает японский и английский языки и контекст до 131 072 токенов. Может сначала выдавать трассу рассуждений, а затем ответ; режим рассуждений и бюджет токенов на него настраиваются при инференсе. Карточка указывает 9 млрд параметров, тогда как метаданные каталога — 15,1 млрд. Модель оптимизирована для систем с GPU NVIDIA; качество зависит от задачи, а результаты Nejumi Leaderboard 4 измерены на японских подмножествах и не сопоставимы напрямую с исходными бенчмарками. Коммерческое использование разрешено; в метаданных лицензия обозначена как other.

Occiglot-7B-FR-EN-Instruct — генеративная языковая модель с 7 млрд параметров, разработанная исследовательским коллективом Occiglot при поддержке подразделений DFKI SAINT и SLT. Это instruct-версия модели occiglot-7b-fr-en, предназначенная для диалогового взаимодействия и выполнения инструкций на английском и французском языках, а также для работы с кодом. Модель доступна в формате GGUF и распространяется по лицензии Apache 2.0. Модель построена на архитектуре авторегрессионного decoder-only Transformer, а её токенизатор унаследован от Mistral-7B-v0.1. Для дообучения использовались 160 млн дополнительных токенов мультиязычных и кодовых инструкций, включая англоязычные и франкоязычные наборы Open-Hermes-2B, Bactrian-X, AI-Society Translated, GT-Dorimiti, OASST-2 и Aya-Dataset. Обучение выполнялось с контекстом 8192 токена и шаблоном диалогов ChatML. Сильная сторона модели — специализация на английском и французском языках при сохранении возможностей генерации кода и следования инструкциям. Она может применяться для чат-ботов, ответов на вопросы, генерации и преобразования текста, а также вспомогательных задач программирования. При этом проект позиционируется как открытое исследование, а README предупреждает, что модель не проходила safety alignment и может генерировать проблемный или небезопасный контент. Результаты оценки следует интерпретировать с осторожностью, поскольку часть неанглоязычных тестов основана на машинном переводе и англоязычных запросах.