II.3Рефакторинг, миграция и модернизация

Gemma 4 E4B it qat JANG_4M CRACK — дообученная и квантованная мультимодальная модель dealignai на базе google/gemma-4-e4b-it. Это плотная модель семейства Gemma 4 с гибридным скользящим и глобальным вниманием. Вариант JANG_4M использует 8-битную точность для attention и 4-битную для MLP; модель предназначена для запуска на Apple Silicon через vMLX. Модель поддерживает диалог, работу с изображениями и аудио, ответы на вопросы, многошаговые рассуждения и генерацию кода. Разработчик заявляет об удалении отказов при сохранении возможностей; в приведённых тестах модель показала 71,9% на MMLU и 100% выполнения запросов из вредоносных категорий HarmBench. Для запуска требуется vMLX с поддержкой Gemma 4 и достаточный объём объединённой памяти. Указана лицензия Gemma; карточка рекомендует использовать модель для исследований и возлагает соблюдение применимых законов на пользователя.

OpenAssistant Llama2 70B SFT v10 — языковая модель OpenAssistant, дообученная на базе Meta Llama 2 70B. Это плотный авторегрессионный трансформер с декодером, примерно 68,7 млрд параметров; обучение проходило в два этапа: на смеси синтетических инструкций и задач по программированию, затем на отобранных человеческих диалогах OpenAssistant. Модель принимает диалог в формате ChatML и предназначена для генерации ответов, следования инструкциям и помощи с кодом. Контекст составляет 4096 токенов. Основной язык — английский; заявлены ограниченные возможности на немецком, испанском, французском, итальянском, португальском, польском, нидерландском, румынском, чешском и шведском. Сильные стороны — крупный размер и обучение на инструкциях, диалогах и коде. Ответы могут быть неточными, предвзятыми или нежелательными; тестирование проводилось преимущественно на английском, поэтому перед применением нужна проверка безопасности и качества. Модель распространяется по лицензии Llama 2 Community License Agreement.

QuantFactory/Meta-Llama-3-70B-Instruct-GGUF — это квантованная версия инструкционной большой языковой модели Meta Llama 3 70B Instruct, подготовленная QuantFactory в формате GGUF. Базовая модель разработана Meta. Модель предназначена для генерации текста и выполнения инструкций в сценариях, где требуется диалоговое взаимодействие или создание текстового контента. В README указано, что поддерживается английский язык и используется задача text-generation. Известно, что модель относится к семейству Llama 3 и имеет размер 70B параметров. Формат GGUF предназначен для совместимого локального запуска, однако конкретный вариант квантования, требования к памяти, длина контекста и поддерживаемые программные средства в README не указаны. Также отсутствуют сведения о дополнительных модальностях, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся инструкционная настройка базовой модели и возможность использования квантованного GGUF-представления для локального вывода. Ограничения включают отсутствие подробностей о типе и качестве квантования, а также о производительности. Использование регулируется Meta Llama 3 Community License. При распространении модели или продуктов на её основе требуется соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Meta Llama 3», сохранение атрибуции Meta и соблюдение Acceptable Use Policy.

Mungert/MiniCPM5-1B-GGUF — это GGUF-версия компактной языковой модели MiniCPM5-1B, разработанной командой OpenBMB. Модель предназначена для локального запуска на устройствах с ограниченными ресурсами, включая сценарии on-device и edge AI. Формат GGUF рассчитан на использование с llama.cpp, Ollama и LM Studio; данный вариант создан с помощью llama.cpp. Модель является каузальной языковой моделью с архитектурой LlamaForCausalLM и 1 080 632 832 параметрами. Она содержит 24 слоя и использует групповое обобщённое внимание (GQA) с 16 головами для запросов и 2 головами для ключей и значений. Заявленная длина контекста составляет 131 072 токена. Поддерживаются английский и китайский языки, генерация текста, программирование, работа с инструментами, агентские сценарии и задачи, требующие рассуждений. К сильным сторонам относятся небольшой размер, возможность локального развертывания, длинный контекст и гибридный режим рассуждений: один и тот же чекпойнт может работать как быстрый ассистент или включать режим пошагового размышления через параметр enable_thinking. По данным разработчиков, преимущества особенно заметны в использовании инструментов, генерации кода и сложных задачах рассуждения. Ограничения модели связаны с её компактным размером и текстовой специализацией; README не содержит подробных сведений о качестве на всех языках, требованиях к аппаратным ресурсам и конкретных вариантах квантования GGUF. Модель распространяется по лицензии Apache-2.0.

Это сборка модели NVIDIA Nemotron 3 Nano 30B A3B в формате GGUF BF16, подготовленная DhruvalLabs для запуска через llama.cpp и совместимые приложения, включая Ollama, LM Studio, Open WebUI и Jan. В основе лежит NVIDIA-Nemotron-3-Nano-30B-A3B-BF16; README перечисляет варианты квантования K-quant, в том числе Q3_K_M, Q4_K_M и Q8_0, для локального запуска при разных объёмах памяти. Модель предназначена для генерации текста и диалогового использования. Базовая модель ориентирована на рассуждения, программирование и агентные сценарии; доступные сведения также указывают на поддержку английского, испанского, французского, японского, итальянского и немецкого языков. README заявляет сохранение 97–99% исходного качества для квантованных вариантов, но не приводит результаты измерений, поэтому это утверждение не подтверждено представленными бенчмарками. В метаданных указана лицензия «other»; конкретные условия использования в предоставленной карточке не раскрыты. GGUF-репозиторий указывает BF16 и одновременно описывает варианты квантования, поэтому фактическая точность зависит от выбранного файла.

Occamy-1.0 GGUF — это набор квантизированных файлов модели Occamy-1.0, разработанной Accio-Lab, в формате GGUF для запуска через совместимые среды, включая llama.cpp. Модель относится к мультимодальному классу image-text-to-text и поддерживает работу с текстом и изображениями через отдельный vision projector; для текстовых сценариев projector не требуется. Доступны варианты квантизации от IQ2_M и Q2_K до Q8_0, а также F16 vision projector. Размеры файлов составляют примерно от 10,9 до 34,4 GiB, без учёта дополнительной памяти на KV-кэш, контекст, параллельные запросы и изображения. Модель предназначена для генерации текста, программного кода, структурированных JSON-ответов и tool use. В README приведены проверки на задачах GSM8K, HumanEval+, строгом JSON и использовании инструментов, однако они выполнены на небольших выборках и не заменяют полноразмерные бенчмарки. Новые квантизации тестировались для текста, кода, JSON и tool use, но их возможности работы с изображениями повторно не проверялись. Размер контекстного окна, языковой охват и точные параметры архитектуры в представленном README не указаны; при этом модель связана с архитектурой MoE и семейством Qwen3.5 MoE. Для корректной работы важна совместимость токенизатора: выпущенные файлы используют метаданные qwen2, NFC-нормализацию и qwen2-подобные правила, а опубликованные измерения требуют специального переопределения qwen35 и не подтверждают полную эквивалентность токенизации. Квантизация уменьшает требования к памяти, но может снижать качество на низких разрядностях. Совместимость с CPU-only и Apple Silicon в приведённых испытаниях не устанавливалась. Файлы распространяются по лицензии Apache 2.0; отдельная MTP head в эти GGUF-файлы не входит.

orca_mini_v2_7b — языковая модель семейства LLaMA, разработанная Pankaj Mathur совместно с Eric Hartford. Это дообученная плотная авторегрессионная модель примерно с 6,6 млрд параметров для генерации текста по инструкциям и диалоговым запросам. При обучении использовались подходы к построению данных из исследования Orca и наборы WizardLM, Alpaca и Dolly-V2; автор отмечает улучшенные возможности генерации кода по сравнению с предыдущей версией orca_mini_7b. Модель предназначена для ответов на вопросы, выполнения инструкций, диалога и генерации кода на английском языке. Она принимает текст и генерирует текст; родной контекст составляет 2048 токенов. В README приведены результаты оценки на наборах ARC Challenge и HellaSwag. Модель описана как uncensored, поэтому её ответы могут требовать дополнительной фильтрации. Лицензия CC BY-NC-SA 4.0 допускает использование с указанием авторства и распространением производных на тех же условиях, но запрещает коммерческое использование.

Ornith-1.5-35B-A3B-Abliterated-ROCmFP4-GGUF — это квантизированная GGUF-версия аблитерированной языковой модели Ornith-1.5-35B-A3B. Базовую модель разработала ornith-ai, аблитерацию выполнила huihui-ai, а BF16 GGUF-исходник предоставила PocketAiHub. Автор данного репозитория добавил варианты квантизации ROCmFP4/ROCmFPX, сборку с поддержкой HIP/ROCm и Vulkan, а также тесты производительности. Модель распространяется по лицензии Apache-2.0. Модель предназначена для генерации текста, включая диалоги, программный код, рассуждения, выдачу JSON, агентские сценарии и работу с инструментами. Это MoE-модель с заявленным общим размером 35B параметров и активной частью около 3B параметров. Доступны варианты квантизации от 4 до 8 бит; размеры файлов составляют примерно от 17,4 до 33,9 ГиБ. В репозитории также указан отдельный vision tower в формате F16 GGUF, позволяющий подавать изображения через параметр mmproj. Языки модели в README не указаны. В приведённых конфигурациях использовался контекст 32768 токенов, однако максимальный размер контекста явно не заявлен. Основное преимущество модели — оптимизация для AMD Ryzen AI Max+ 395 и Radeon 8060S с архитектурой gfx1151: один файл можно запускать через HIP/ROCm или Vulkan, выбирая backend во время запуска. Vulkan показывает более высокую скорость генерации, а ROCm — более высокую скорость обработки длинных входных запросов; 4-битные варианты демонстрируют близкую производительность. Модель прошла заявленные тесты стабильности без усечённых генераций. Для работы требуется специальная сборка ROCmFPX с поддержкой обоих backend; стандартная сборка llama.cpp эти файлы не загружает. Приведённые показатели относятся к конкретной аппаратной конфигурации и могут отличаться на других системах.

unsloth/Qwen2.5-14B — 14-миллиардная плотная авторегрессионная языковая модель семейства Qwen2.5, опубликованная Unsloth как дообученная версия Qwen/Qwen2.5-14B. Она предназначена для генерации и продолжения текста; базовая модель особенно подходит для дальнейшего постобучения, а карточка не рекомендует использовать базовые языковые модели непосредственно для диалогов. Архитектура использует RoPE, SwiGLU, RMSNorm и grouped-query attention; контекст составляет до 131 072 токенов. Модель поддерживает многоязычную генерацию, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Семейство Qwen2.5 заявлено как улучшенное в программировании, математике, следовании инструкциям, работе с длинными текстами и структурированными данными, однако эти характеристики в README описаны для семейства в целом и не подтверждены отдельной оценкой данного чекпойнта. Репозиторий использует Transformers и формат safetensors; лицензия — Apache-2.0.

Qwen3-1.5B-Instruct — компактная языковая модель на 1,5 млрд параметров, созданная сообществом с помощью mergekit. Это слияние методом TIES инструктивной модели Qwen2.5-1.5B-Instruct с Qwen2.5-Coder-1.5B-Instruct и Qwen2.5-Math-1.5B-Instruct. Модель использует архитектуру Qwen2 для генерации текста и диалогов; заявленный контекст — до 32 768 токенов. Модель подходит для ответов на вопросы, инструктивных диалогов, генерации кода и решения математических задач. Метаданные также отмечают интерфейс для вызова инструментов. Модель распространяется в формате Safetensors; README указывает, что при слиянии использовалась точность float16. Лицензия в предоставленных материалах не указана.

Qwen3.5-abliterated-MAX-AIO-GGUF — экспериментальная серия моделей, разработанная prithivMLmods на основе Qwen3.5 от Alibaba. Репозиторий содержит GGUF-варианты размеров 0,8B, 2B, 4B и 9B, а также ссылки на вариант 27B. Модели предназначены для локального и периферийного развертывания с использованием llama.cpp и других совместимых средств инференса. Серия ориентирована на генерацию текста, рассуждения, программирование, математические задачи и мультимодальные сценарии с обработкой изображений и текста. Согласно README, модели используют гибридную архитектуру Gated DeltaNet, поддерживают контекст до 262K токенов, словарь для 201 языка и переключаемые режимы рассуждения. Для мультимодального применения доступны отдельные файлы mmproj, а для разных требований к памяти — варианты BF16, F16, F32 и Q8_0. Ключевая особенность — модификация alignment и снижение количества отказов следовать инструкциям, что может быть полезно для исследовательских задач, создания датасетов и приложений, требующих менее ограниченного поведения. При этом такие изменения ослабляют стандартные защитные механизмы, поэтому модели требуют самостоятельной оценки безопасности. Заявленные улучшения производительности основаны на сообщественных тестах и не подтверждены официальными оценками. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-MTP-Holo3-Qwopus-BF16 — мультимодальная модель семейства Qwen, опубликованная Nightmedia. Это объединение нескольких моделей, включая Hcompany/Holo3-35B-A3B, Qwen3.6-35B-A3B и варианты Qwopus; в карточке также упоминается MTP. Модель предназначена для диалогов и следования инструкциям, рассуждений, программирования и анализа изображений. Архитектура — Qwen3.5 MoE; в названии указан вариант BF16, а среди файловых форматов метаданные указывают safetensors. Карточка описывает шаблон управления режимом рассуждений, но не приводит длину контекста или независимую оценку качества. Метаданные указывают поддержку английского, китайского, японского и испанского языков. Лицензия — Apache-2.0. README содержит отдельные результаты для квантизованного варианта qx86-hi, которые не следует считать характеристиками этого BF16-репозитория. Модель может ошибаться, а приведённые в карточке оценки и хвалебный отзыв не являются независимой проверкой качества.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная модель, созданная HauhauCS на основе Qwen/Qwen3.6-35B-A3B. Это вариант с усиленным снятием ограничений на отказы: по заявлению автора, модель отвечает на запросы без отказов, сохраняя исходные наборы данных и возможности базовой модели. Она предназначена для диалогов, генерации и анализа текста, программирования, рассуждений, а также обработки изображений и видео. Модель использует гибридную архитектуру с линейным и полноразмерным softmax-вниманием в соотношении 3:1 и содержит 40 слоёв. Это MoE-модель с 35 млрд общих параметров и примерно 3 млрд активных параметров на проход; используются 256 экспертов, из которых для каждого токена выбираются 8. Заявлен нативный контекст до 262 тысяч токенов. Поддерживаются текст, изображения и видео, а среди языков указаны английский, китайский и многоязычная обработка. Доступны GGUF-квантизации, включая специализированные варианты K_P, оптимизированные для сохранения качества. К сильным сторонам относятся мультимодальность, большой контекст, относительно небольшое число активных параметров для MoE-архитектуры и широкий выбор квантизаций для локального запуска через llama.cpp, LM Studio и другие совместимые среды. Ограничение модели — агрессивное отключение защитных отказов: она может генерировать небезопасный или нежелательный контент и не предоставляет встроенных гарантий безопасного использования. Для поддержки зрения требуется отдельный файл mmproj; для сохранения возможностей режима рассуждений рекомендуется контекст не менее 128 тысяч токенов. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Abliterated — модифицированная мультимодальная модель на базе Qwen3.8-27B, разработанная Grimxlock. Она предназначена для диалогов, генерации и анализа текста и изображений, следования инструкциям, программирования, рассуждений и многоязычных сценариев. В README указано, что базовая модель имеет размер 27 млрд параметров и работает в формате BF16; для использования заявлены Transformers, AutoProcessor и AutoModelForMultimodalLM. Точные поддерживаемые языки и размер контекстного окна не указаны. Модель создана методом targeted activation steering / ablation: из residual stream, attention- и MLP-компонентов удалялось или перенаправлялось направление, связанное с отказами. В заявленном тесте на 450 вредоносных запросах модель не отказала ни разу, при этом не было зафиксировано вырожденных ответов. По сравнению с исходной моделью отмечено небольшое ухудшение perplexity и результатов capability-бенчмарка: пройдено 14 из 15 заданий вместо 15 из 15; единственная ошибка была в простом числовом вопросе о седьмом числе Фибоначчи. Основное преимущество модели — сохранение заявленных способностей к письму, структурированному рассуждению, следованию инструкциям, программированию и многоязычной работе при существенно сниженном числе отказов. Ограничения включают возможное снижение точности и отсутствие стандартного защитного поведения, поэтому модель требует ответственного применения и дополнительного контроля результатов. В README указана лицензия Apache-2.0; поскольку это производная модель, базовые веса Qwen3.8-27B также подчиняются исходным условиям Qwen.

Qwopus3.6-27B-v1-preview — предварительная reasoning-модель, разработанная Jackrong на базе Qwen3.6-27B. Это мультимодальная vision-language модель для работы с текстом и изображениями, ориентированная на генерацию ответов, структурированное рассуждение, агентские сценарии, программирование, создание интерфейсов и творческие задачи с canvas/WebGL. В README также указана поддержка image-text-to-text и совместимость с экосистемами Transformers и llama.cpp. Модель содержит 27 миллиардов параметров и обучена методом supervised fine-tuning с использованием Unsloth. Обучающий набор объёмом около 12 тысяч тщательно отобранных примеров сформирован на основе данных дистилляции Claude, GLM-5.1, Kimi K2.5 и Qwen3.5. Заявленные сильные стороны — более структурированное рассуждение, стабильный стиль ответов, снижение стилистического дрейфа в длинных ответах и улучшенная согласованность между источниками. Результаты предварительной оценки на небольшой выборке следует считать ориентировочными; полноценное масштабное обучение ещё продолжается. Заявлены языки English, Chinese, Japanese, Korean, Spanish и Russian. Точный размер контекстного окна и подробные архитектурные характеристики в предоставленном README не указаны. Модель выпускается как preview-версия, поэтому её поведение и качество могут измениться в будущих релизах. Лицензия — Apache-2.0.

SmallThinker-21BA3B-Instruct — языковая модель с архитектурой Mixture-of-Experts, разработанная совместно IPADS и School of AI при Shanghai Jiao Tong University и компанией Zenergize AI. Она предназначена для локального запуска на устройствах с ограниченными ресурсами, чтобы генерировать ответы без обращения к облаку. Модель содержит 21 млрд параметров, из которых активируются 3 млрд; использует 52 слоя и поддерживает контекст длиной до 16 384 токенов. Репозиторий содержит веса в формате safetensors, а карточка указывает библиотеку Transformers и возможности чата и интерфейса вызова инструментов. Модель обучена преимущественно на английском языке и подходит для диалога, ответов на вопросы, рассуждений и генерации кода. В отчёте разработчиков приведены результаты тестирования на академических и программных бенчмарках; скорость и расход памяти на CPU показаны для версии с квантованием Q4_0, тогда как в этом репозитории указаны веса safetensors. Среди ограничений — возможные фактические ошибки, предвзятость и устаревшие сведения; точность ответов необходимо проверять. Лицензия — Apache-2.0.

OsaurusAI Spark-X2.5-4B-JANG_6M — производная версия Spark-X2.5-4B от XHToken, подготовленная Jinho Jang для Apple Silicon и MLX. Это плотная авторегрессионная модель примерно на 3,8 млрд параметров для генерации текста, диалога, рассуждений и вызова инструментов; веса упакованы в смешанной точности: внимание и связанные эмбеддинги — 8-битные, MLP — 6-битный, масштабы групп — bfloat16, отдельные компоненты и нормы сохранены в полной точности. Репозиторий занимает около 3,41 GiB. Модель предназначена для запуска в оболочке Osaurus и поддерживает разговорный шаблон с включённым по умолчанию режимом рассуждений и интерфейсом вызова инструментов. В README заявлен нативный контекст до 1 048 576 токенов, при этом в контракте конкретной сборки указан контекст 131 072. По данным измерений авторов, скорость декодирования на M5 Max составила 104,7 токена в секунду; результаты получены в заданном тестовом режиме и не гарантируют такую же скорость на другом оборудовании. Карточка указывает английский и китайский языки; исходная модель описана как многоязычная и предназначенная также для кода, перевода и агентных задач. Сборка ориентирована на Apple Silicon и требует совместимой среды MLX и оболочки Osaurus; это текстовая модель. Лицензия Apache-2.0 унаследована от базовой модели XHToken/Spark-X2.5-4B.

Swift-Qwen3.8-27b-int4-AMD — квантованная версия модели Swift-Qwen3.8-27B, разработанная UkisAI на базе Qwen3.8-27B. Модель предназначена для задач рассуждения, генерации текста, программирования и структурированного вывода, а также заявлена как image-text-to-text модель с поддержкой визуального компонента. Swift оптимизирована для сокращения избыточных рассуждений: по данным разработчика, она использует на 58,3% меньше thinking-токенов при потере производительности менее 1% и ускорении до 1,95 раза на ряде задач. Данный выпуск использует квантование AMD Quark AWQ INT4 в формате W4A16: веса имеют точность INT4, активации — BF16, применяется симметричное группирование с размером группы 128. Квантованы 496 линейных слоёв языковой модели, а vision tower, embeddings, output head и 15 MTP-тензоров сохранены в BF16. Размер файлов весов составляет около 19,5 ГБ против 55,6 ГБ у BF16-версии. Калибровка выполнена на 128 образцах Pile по 512 токенов. Сильными сторонами являются снижение объёма весов и потенциальное ускорение инференса при сохранении основных возможностей базовой модели. Проверки показали небольшой рост perplexity на Wikitext-2, успешную арифметическую и JSON-генерацию, однако это не является полноценным сравнением качества. Ключевое ограничение выпуска состоит в том, что квантование и проверка проводились на NVIDIA H100, а работа и производительность на AMD/ROCm ещё не валидировались; требуется совместимый с native Quark INT4 runtime. Vision inference и MTP decoding отдельно не тестировались. Модель распространяется по лицензии swift-open-license-1.0.

ThinkingCap-Qwen3.6-27B — мультимодальная модель Bottlecap AI, полученная дообучением Qwen/Qwen3.6-27B. Она предназначена для диалогов и задач рассуждения с изображениями и текстом, включая вопросы с вариантами ответа, математику, программирование и агентные сценарии. Разработчики сообщают, что модель в среднем использует примерно на 50% меньше токенов рассуждения, чем базовая Qwen3.6-27B, при сохранении качества ответов; в лучших случаях экономия превышает 90%. В тестах также отмечено меньшее число незавершённых ответов из-за ограничения генерации, а показатели отказа на вредоносные запросы статистически не отличались от базовой модели. Модель загружается через Transformers как AutoModelForImageTextToText и AutoProcessor; репозиторий содержит веса safetensors и использует архитектуру Qwen с поддержкой изображений. В README приведены оценки на наборах для рассуждения, вопросов по знаниям, повседневного диалога, безопасности, математики, кода и агентных задач. Указанная лицензия — Apache-2.0. Результаты зависят от задачи и настроек генерации; README отмечает вариативность качества рассуждений при рекомендуемой температуре Qwen и возможное загрязнение обучающих данных в тестах безопасности.

Карточка модели CollectionStudio/Trinity-Mini на Hugging Face совпадает с карточкой arcee-ai/Trinity-Mini, поэтому описание составлено по ней. Trinity Mini — открытая по весам разговорная языковая модель от Arcee AI, дообученная на базе arcee-ai/Trinity-Mini-Base. Это MoE-модель семейства AFMoE с 26 млрд параметров и 3 млрд активных параметров; в README указаны 128 экспертов, из которых активны 8 и один общий. Модель предназначена для диалогов и задач рассуждения, включая математику и программирование. Модель обучена на 10 трлн токенов. Длина контекста составляет 128 тыс. токенов. Метаданные указывают поддержку английского, испанского, французского, немецкого, итальянского, португальского, русского, арабского, хинди, корейского и китайского языков. Для запуска заявлена совместимость с Transformers, vLLM, llama.cpp, LM Studio и API. Указанная в README лицензия — OpenMDW-1.1; метаданные классифицируют лицензию как other.

Карточка модели RatanK/23B0059-Week05-Track1-40-Submission01 на Hugging Face совпадает с карточкой Qwen/Qwen3.5-4B, поэтому описание составлено по ней. Qwen3.5-4B — мультимодальная модель компании Qwen на 4 млрд параметров, представленная в формате Hugging Face Transformers и дообученная на базе Qwen/Qwen3.5-4B-Base. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, анализа изображений, рассуждений, программирования и вызова инструментов. Модель использует гибридную архитектуру Gated Delta Networks и gated attention; в README указано 32 слоя. Нативная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Семейство заявляет поддержку 201 языка и диалекта. По умолчанию модель работает в режиме рассуждения, а для развёртывания доступны Transformers, vLLM, SGLang и KTransformers. Модель подходит для ответов на вопросы по изображениям и тексту, многошаговых диалогов и агентных сценариев с инструментами. Репозиторий распространяется по лицензии Apache-2.0. Реальная скорость и пропускная способность зависят от среды инференса; длинный контекст может приводить к нехватке видеопамяти.

CausalLM/35b-beta2ep — разговорная языковая модель на архитектуре Cohere, разработчик в карточке не уточнён. Модель содержит 35 млрд параметров, распространяется в формате safetensors и использует шаблон диалога ChatML. Метаданные указывают контекст 8192 токена; упоминание в README обучения на длинных данных не означает, что эта версия рассчитана на контекст 128K. Модель предназначена для генерации текста в диалоге, общих вопросов, задач на знания и программирование. В README указано обучение на синтетических данных и веб-корпусе в течение одной эпохи; метаданные перечисляют среди обучающих наборов данные для диалогов, математики, инструкций и кода. Поддерживаемые языки по карточке — английский, китайский, японский и немецкий. Модель выпущена под лицензией GPL-3.0. README отмечает, что эта версия не ориентирована на очень длинный контекст; дополнительных сведений о качестве и ограничениях применения в карточке нет.

noctrex/GLM-4.7-MXFP4_MOE-GGUF — квантованная версия языковой модели GLM-4.7 от Z.ai, подготовленная в формате GGUF с применением imatrix на основе данных от Unsloth. Модель предназначена для диалогов и генерации текста; базовая GLM-4.7 рассчитана также на программирование, агентные задачи и рассуждения. MXFP4_MOE обозначает используемый вариант квантования модели типа MoE. Репозиторий содержит формат GGUF, подходящий для запуска в совместимом с ним программном обеспечении. Карточка не сообщает размер модели, длину контекста или поддерживаемые языки напрямую; описание базовой модели указывает на английский и китайский.

JiRack DeltaNet 180B — текстовая диалоговая модель CMSManhattan на основе Qwen3.8-Flash-Next. Она предназначена для генерации текста, работы с инструментами и агентных сценариев, включая маршрутизацию, программирование и использование в RAG-системах. Модель содержит около 180 млрд параметров общей ёмкости, из которых примерно 6 млрд активны на каждом токене; в карточке описана архитектура Mixture-of-Experts с Gated DeltaNet, разреженным вниманием Qwen и маршрутизацией между экспертами. Указаны форматы GGUF и Safetensors, а также варианты GGUF Q3_K_M и Q4_K_M. Сборка JiRack пока текстовая, хотя базовая Qwen3.8-Flash-Next поддерживает изображения и видео. README сообщает, что текущие веса численно совпадают с базовой моделью: QAT ещё не завершён, поэтому заявленные преимущества троичных весов пока не реализованы. Карточка описывает многоязычное применение, включая русский, английский, китайский, японский и другие языки. Лицензия указана как other; конкретные условия следует проверять в репозитории модели.

K2-Horizon-0.9B-GGUF — компактная языковая модель семейства K2-Horizon, разработанная IFM. Репозиторий содержит версию модели в формате GGUF для запуска с помощью llama.cpp. Модель предназначена для генерации текста, решения математических и научных задач, программирования, следования инструкциям и сценариев с использованием инструментов. Это плотная decoder-only модель примерно с 0,9 млрд параметров и контекстным окном до 131 072 токенов. Для масштабирования RoPE применяется YaRN. Модель обучалась методом дистилляции знаний от нескольких специализированных учителей, ориентированных на математику и код, STEM-задачи и следование инструкциям. Поддерживаются английский и китайский языки. Тензоры хранятся в исходной точности BF16, а GGUF-файлы включают метаданные токенизатора и совместимый с llama.cpp шаблон чата. К сильным сторонам относятся небольшой размер, длинный контекст, открытость заявленных данных и рецепта обучения, а также специализация на рассуждениях, математике, коде и научных задачах. Для работы требуется версия llama.cpp с поддержкой архитектуры K2 Horizon; на момент публикации такая поддержка находилась в разработке, поэтому совместимость зависит от используемой сборки. Лицензия модели — Apache-2.0.

KeawGPT — языковая модель KordAI с архитектурой Qwen3 и примерно 3,7 млрд параметров, дообученная на базе KordAI/KeawGPT-Base. Она предназначена для генерации ответов и рассуждений на английском языке по STEM-дисциплинам — математике, физике, инженерии и информатике — и философии, включая логику, этику и анализ аргументов. Модель поддерживает диалог и структурированные вызовы инструментов, например для поиска в интернете и выполнения кода, если приложение умеет обрабатывать вызовы и передавать результаты обратно модели. Контекст — до 32 768 токенов; веса доступны в формате Safetensors. Модель подходит для объяснения технических понятий, разбора задач и концептуальных вопросов, а также для использования в агентных сценариях с инструментами. Она может допускать фактические и логические ошибки, особенно в многошаговых доказательствах и узкоспециальных темах, и выдумывать цитаты или источники. Вызов инструментов требует соответствующей реализации в приложении. Модель не предназначена для критически важных решений или профессиональных медицинских, юридических и финансовых консультаций. Лицензия — Apache-2.0.

Llama-3.1-Nemotron-70B-Instruct-GGUF — квантованная версия инструкционной модели Llama 3.1 Nemotron 70B, разработанной NVIDIA и опубликованной в формате GGUF сообществом Backyard AI. Модель основана на nvidia/Llama-3.1-Nemotron-70B-Instruct-HF и предназначена для локального текстового общения, генерации текста и решения задач, требующих рассуждений. Модель содержит около 70,6 млрд параметров, поддерживает текстовую модальность и английский язык. Заявленный размер контекста составляет до 131 072 токенов. Формат GGUF совместим с приложениями на базе llama.cpp и позволяет распределять вычисления между CPU и GPU, снижая требования к видеопамяти по сравнению с полноразмерными форматами. Квантование уменьшает потребление ресурсов, но при низкой точности квантования может ухудшать связность и качество ответов. Сильными сторонами модели заявлены улучшенные способности к рассуждению и потенциальное превосходство над значительно более крупными моделями в соответствующих задачах. Ограничениями являются высокая вычислительная требовательность 70-миллиардной модели, зависимость качества от используемого уровня квантования и отсутствие заявленной поддержки языков, кроме английского. Модель распространяется по лицензии Llama 3.1.

microsoft_Phi-4-reasoning-GGUF — это набор GGUF-квантизированных вариантов языковой модели Phi-4-reasoning, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогов, решения математических задач, работы с кодом и задач, требующих рассуждений. Модель поддерживает текстовый ввод и вывод; в метаданных указан английский язык. Доступны варианты от BF16 до низкобитных квантов Q8_0, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством, требованиями к памяти и скоростью локального запуска. Размер файлов варьируется примерно от 8,4 до 29,3 ГБ. Архитектура, число параметров, максимальный контекст и дополнительные модальности в README не указаны. Сильными сторонами являются наличие вариантов с разным уровнем сжатия, высокая заявленная точность старших квантов и совместимость с llama.cpp, LM Studio и другими проектами на его основе. Ограничения включают возможное снижение качества у низкобитных вариантов, необходимость значительного объёма памяти и отсутствие подробных данных о производительности, контекстном окне и поддерживаемых языках помимо английского. Распространение указано по лицензии MIT.

MiniCPM5-2B-heretic — децензурированная версия языковой модели openbmb/MiniCPM5-2B, созданная пользователем RACER IS OP с применением Heretic v1.4.0. Модель относится к классу примерно 2B параметров и предназначена для генерации текста, диалогов, локальных агентных систем, вызова инструментов, написания кода и задач с длинным контекстом. Она поддерживает режимы Think и No-Think, а также может работать на пользовательских GPU, CPU и устройствах Apple Silicon через GGUF-квантизации. Изменения выполнены методом directional ablation («abliteration»): целевые направления отказа подавляются редактированием весов в attention output и MLP down-projections без дообучения. По данным README, это позволило снизить число отказов с 99 до 4 на 100 тестовых запросов при KL divergence 0,0646 относительно исходной модели, сохранив её знания, следование инструкциям, возможности работы с инструментами, кодом и рассуждениями. Заявлены английский и китайский языки; архитектура MiniCPM5 совместима с llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang, причём для вызова функций рекомендован SGLang. Главное преимущество модели — малый размер и широкий выбор GGUF-квантизаций, что упрощает локальный запуск на потребительском оборудовании. Ограничение заключается в намеренном подавлении защитных отказов: модель может отвечать на запросы, от которых исходная версия отказывалась, поэтому её применение требует самостоятельных мер безопасности и контроля. Модель распространяется по лицензии Apache-2.0.

Mistral-Nemo-Base-2407 — предварительно обученная генеративная языковая модель, совместно разработанная Mistral AI и NVIDIA. Это плотный трансформер Mistral с 12,1 млрд параметров, 40 слоями, группированным вниманием к запросам (GQA) и словарём примерно на 128 тысяч токенов. Модель выпущена в июле 2024 года и распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста и служит базой для дальнейшей адаптации под конкретные задачи. Она обучалась на многоязычных данных и коде; заявленное окно контекста составляет 128 тысяч токенов. Среди указанных языков — английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский. Для запуска рекомендован mistral-inference; README также описывает использование через Transformers. Карточка приводит результаты на общих и многоязычных бенчмарках и рекомендует для генерации температуру 0,3. Поскольку это базовая предварительно обученная модель, она не имеет механизмов модерации и не является специализированной инструкционной версией; поведение в прикладных сценариях может требовать дополнительной настройки. Для неё доступна также отдельная instruct-версия.