II.2Создание и понимание программного кода

Это квантованная версия Gemma 4 26B A4B IT от Google, опубликованная FreedomAISVR в формате GGUF для запуска через llama.cpp. Основа — инструкцияльная MoE-модель с 26 млрд параметров, около 4 млрд активных параметров, 128 экспертами и выбором 8 экспертов на токен; применена специализированная 4-битная квантизация MXFP4_MOE. Репозиторий также содержит мультимодальный проектор mmproj в F16 для обработки изображений. Модель предназначена для диалогов и следования инструкциям, а с подключённым проектором — для ответов на вопросы по изображениям и их описания. В README заявлены гибридное внимание с локальными и глобальными слоями, отключённый по умолчанию режим рассуждений с возможностью включения в запросе, а также запуск на CPU и GPU. Квантованные веса занимают около 13,72 ГБ, проектор — 1,11 ГБ; README указывает потребность от 8 ГБ RAM и около 15 ГБ дискового пространства. Квантизация рассчитана на более компактный и эффективный запуск MoE-модели при сохранении качества маршрутизации экспертов, однако README не приводит независимых результатов оценки качества. Лицензия — Gemma; использование должно соответствовать её условиям.

mavis-ai/Gemma4-E2B-MLX — пакет модели Google Gemma 4 E2B Instruction-Tuned, подготовленный для локального запуска через MLX на компьютерах Apple Silicon. Это плотная мультимодальная модель класса Gemma4 с архитектурой Gemma4ForConditionalGeneration; пакет воспроизводит веса исходной модели google/gemma-4-E2B-it и не содержит дообучения или квантизации. В представленном репозитории указаны формат safetensors и точность BF16. Модель предназначена для диалогов, анализа изображений и текстовых ответов. В README отдельно отмечены сценарии локального RAG, маршрутизации запросов, лёгкой оценки и повторяющихся задач агентных систем. Лицензия пакета — Apache-2.0; использование также подчиняется условиям Google Gemma. Параметры контекста и поддерживаемые языки в предоставленных данных не описаны.

Mistral-Starling-merge-trial1-7B — объединённая чат-модель на архитектуре Mistral, созданная разработчиком grimjim с помощью mergekit методом SLERP из Nexusflow/Starling-LM-7B-beta и grimjim/Mistral-7B-Instruct-demi-merge-v0.2-7B. Она предназначена для диалоговой генерации текста и ответов на запросы с упором на сочетание рассуждений и длинного контекста. Модель содержит 7,1 млрд параметров, построена на плотной архитектуре Mistral и поддерживает контекст до 32 768 токенов. В карточке заявлены чат-возможности; базовая Starling-LM-7B-beta ориентирована на английский язык. Репозиторий распространяется в формате Safetensors по лицензии Apache-2.0.

MotherEarth-1.15 — объединённая языковая модель от MotherEarth, созданная методом SLERP с помощью mergekit на основе MotherEarth/MotherEarth-Storm-1.0-8B и MotherEarth/Sauerkraut-Proverbs-8B. Модель построена на архитектуре Llama с плотной структурой и предназначена для генерации текста и диалогового общения. В репозитории указаны веса в формате safetensors; метаданные сообщают о 7,5 млрд параметров и контекстном окне до 131 072 токенов. Для запуска используется библиотека Transformers. Дата публикации — 22 сентября 2024 года. Лицензия в предоставленных данных не указана.

Muse-Glimmer-30B-Heretic-Plus — общественная производная модели Muse-Glimmer-30B, созданная сообществом. Это мультимодальная плотная модель на 29,8 млрд параметров с архитектурой MuseGlimmerForConditionalGeneration: она принимает текст и изображения и генерирует текст. Чекпойнт сохранён в BF16 в формате safetensors; для загрузки требуется Transformers версии 5.15 или новее. Модель предназначена для диалогов и локальных агентных сценариев, где нужно уменьшить число отказов базовой модели, в том числе при запросах с изображениями. Разработчики применили структурно-ориентированное подавление направлений отказа и короткое дообучение LoRA/SFT; стек обработки изображений оставлен замороженным. В карточке не приведены отдельные сведения о длине контекста и языках сверх меток английского, китайского и многоязычной поддержки. По описанию авторов, остаточные отказы возможны, а тон ответов после изменений становится менее осторожным. Модель не оценивалась как готовая замена в агентных тестах Meta, поэтому перед рабочим применением следует повторно проверить вызов инструментов. Карточка указывает, что модель не предназначена для пользователей младше 18 лет; требуется собственная система ограничений. Лицензия — Apache 2.0, унаследованная от базовой модели.

Sorawiz/Phi-4-Base — объединённая языковая модель, созданная автором репозитория с помощью mergekit и метода TIES на основе нескольких моделей семейства Phi-4. В состав вошли Phi-4-Empathetic, LoRA-phi-4-abliterated, Phi-4-Math-IO, Phi-4-o1 и Phi-4-QwQ. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 14,1 млрд параметров и использует контекст до 16 384 токенов. Модель предназначена для генерации текста и диалоговых сценариев. Состав исходных моделей ориентирует её на эмпатичные ответы, математику, рассуждения и задачи в стиле QwQ и o1. Репозиторий распространяет веса в формате safetensors для библиотеки Transformers. Лицензия в предоставленных данных не указана.

Qwen2.5-3B-RuoZhiBa-Instruct — чат-модель, созданная дообучением Qwen/Qwen2.5-3B-Instruct на наборе hfl/ruozhiba_gpt4 с помощью LLaMA-Factory. Она построена на архитектуре Qwen2 с 3,1 млрд параметров и предназначена для генерации текста и диалогов по инструкциям; в метаданных также заявлен интерфейс вызова инструментов. Модель принимает текст и выдаёт текст. Её контекст составляет 32 768 токенов. Базовая модель поддерживает более 29 языков, включая английский, китайский и русский, однако карточка этой версии отмечает английский и китайский. Модель распространяется в формате Safetensors; лицензия указана как other, без уточнения условий в доступных данных.

MInAlA/Qwen3-4B-Instruct-2507-DPO-merged — языковая модель на архитектуре Qwen3, дообученная методом Direct Preference Optimization (DPO) на наборе предпочтений argilla/ultrafeedback-binarized-preferences. Она предназначена для диалогов и генерации текста по инструкциям. Модель содержит около 3,7 млрд параметров, принимает текст и поддерживает контекст до 262 144 токенов. Модель основана на Qwen/Qwen3-4B-Instruct-2507 и сохранена в формате safetensors. Карточка не уточняет, какие языки поддерживаются, лицензию и результаты оценки качества; эти сведения здесь не приводятся.

Это частная сборка Exolabs на основе Qwen3.6-35B-A3B, подготовленная для запуска в vLLM. Веса получены из файла Q4_K_M GGUF модели bartowski/Qwen_Qwen3.6-35B-A3B: их деквантизировали в FP32, преобразовали в раскладку HF/vLLM и сохранили в BF16. Конфигурация, токенизатор, шаблон чата и параметры генерации взяты из Qwen/Qwen3.6-35B-A3B. Модель предназначена для диалогов и обработки изображений; метаданные также отмечают интерфейс вызова инструментов. В README приведена проверка запуска на vLLM 0.23.0 с ограничением контекста 4096 токенов и режимом language-model-only. Указанная в метаданных архитектура — Qwen3.5 MoE, класс Qwen3_5MoeForConditionalGeneration; базовая модель содержит 35 млрд параметров. Репозиторий помечен лицензией «other», поэтому конкретные условия следует проверять в файлах лицензии модели. README описывает деквантизацию и преобразование представления весов, но BF16-выход из исходного Q4_K_M не возвращает потерянную при исходной квантизации точность; также приведённый запуск ограничивает длину контекста 4096 токенами.

Minachist/Qwen3.8-27B-INT8-AutoRound — неофициальная версия базовой модели Qwen/Qwen3.8-27B, квантизированная в формате W8A16 INT8 с помощью AutoRound. Модель предназначена для сценариев генерации текста и изображений с текстом, что отражено в конфигурации pipeline_tag image-text-to-text. Архитектура и исходные модальности унаследованы от базовой модели, однако подробные сведения о языках и размере контекстного окна в карточке не указаны. Доступны четыре варианта, различающиеся гранулярностью квантизации и обработкой линейного внимания: per-channel или group_size 128, а также квантизация его проекций в INT8 либо сохранение этих слоёв в BF16. Размер файлов составляет примерно от 28,8 до 34,3 ГиБ; все варианты помещаются на двух GPU по 24 ГБ при использовании tensor parallelism. Часть слоёв, включая vision tower, embed_tokens и lm_head, оставлена в BF16. Вариант linear-attn-bf16-gs128 наиболее близок к базовой модели, а main является самым компактным; варианты с group_size 128 показывают лучшие значения заявленных метрик соответствия. По результатам сравнения с базовой моделью варианты демонстрируют среднее совпадение top-1 предсказаний от 98,40% до 98,59%, при этом наилучшие показатели приведены для linear-attn-bf16-gs128. Оценка проводилась на текстовой калибровке с использованием 1024 образцов и последовательностей длиной 2048, поэтому качество на мультимодальных задачах отдельно не подтверждено. Модель распространяется по лицензии Apache-2.0; сборка обозначена как неофициальная.

fcmeyer/Qwen3.8-27B-MLX-bf16-mtp — конверсия мультимодальной модели Qwen/Qwen3.8-27B в формат MLX bf16 для запуска через движок oMLX на компьютерах Apple Silicon. Веса сохранены без квантизации, включая головку MTP для спекулятивного декодирования Lightning-MTP; в модели также сохранена визуальная башня для анализа изображений и видео. Архитектура плотная, размер базовой модели — 27 млрд параметров. Модель предназначена для диалогов и понимания изображений и видео. При запуске через oMLX можно включить MTP для ускорения генерации; автор сообщает о двукратном ускорении декодирования на M5 Max с 128 ГБ памяти, а также о проверке поиска по длинному контексту и привязки ответов к изображениям. README демонстрирует контекстное окно до 262 144 токенов в конфигурации oMLX. Репозиторий содержит конвертированные веса, поэтому это не отдельное дообучение, а преобразование формата и точности исходной модели для MLX. Лицензия — Apache-2.0. Для запуска требуются Apple Silicon, oMLX и около 52 ГБ памяти под веса; измерения производительности относятся к конкретной конфигурации M5 Max.

Solar Mini 4 — компактная языковая модель компании Upstage на 35 млрд параметров с архитектурой mixture-of-experts и примерно 3 млрд активных параметров. В карточке указано контекстное окно до 524 тысяч токенов. Модель предназначена для агентных сценариев и генерации текста. Её можно использовать для построения диалоговых помощников и систем, которым требуется обрабатывать длинный контекст. В предоставленном фрагменте README подробности о возможностях, поддерживаемых языках и лицензии отсутствуют.

StableLM-Tuned-Alpha-7B — авторегрессионная языковая модель компании Stability AI на архитектуре NeoX Transformer, дообученная на базе StableLM-Base-Alpha для диалогов и следования инструкциям. Версия содержит около 10 млрд параметров по метаданным репозитория и поддерживает контекст длиной до 4096 токенов. Модель предназначена для чат-приложений и задач, включающих ответы на вопросы, генерацию текста, суммаризацию, классификацию и извлечение информации. Обучение включало наборы Alpaca, GPT4All Prompt Generations, Anthropic HH, Databricks Dolly и англоязычную часть ShareGPT Vicuna. Основной язык — английский. Дообучение помогает направлять ответы модели, но не устраняет все смещения и токсичность; результаты могут быть неточными и не должны заменять человеческую оценку. Лицензия CC BY-NC-SA-4.0 допускает использование на некоммерческих условиях с соблюдением её требований.

StrangeMerges_9-7B-dare_ties — объединённая языковая модель семейства Mistral, опубликованная Gille. Она создана методом dare_ties с помощью LazyMergekit на основе leveldevai/TurdusBeagle-7B и samir-fama/FernandoGPT-v1; карточка также указывает StrangeMerges_8-7B-slerp как базовую модель в конфигурации слияния. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и формат safetensors; заявленная длина контекста — 32 768 токенов. Модель предназначена для генерации текста, диалогов и выполнения инструкций. В README приведены результаты оценки на бенчмарках AI2 Reasoning Challenge и HellaSwag, но сведений о языковой специализации или прикладной области нет. Лицензия — Apache-2.0.

Unbound E4B — мультимодальная модель для диалога, дообученная командой Chromia & Eval Engine на Google Gemma 4 E4B Instruct. Она принимает текст и изображения и генерирует текст; предназначена для открытых диалогов, ответов на вопросы, рассуждений и анализа изображений. В карточке сообщается, что по знаниям и рассуждениям она сильнее младшей Unbound E2B и сохраняет результаты базовой модели на GPQA-Diamond и BBH в пределах статистической погрешности. Модель снижает частоту отказов на тесте AdvBench с 98,08% у базовой модели до 2,69%, поэтому чаще отвечает на запросы, от которых базовая модель отказалась бы. Разработчики также отмечают увеличение галлюцинаций на вредоносных запросах с 1,35% до 13,08%. Модель может выдавать вредные, ложные, предвзятые или небезопасные ответы; используйте результаты с проверкой. В репозитории находятся объединённые веса Transformers в формате Safetensors; для запуска на устройстве доступны отдельные сборки GGUF. Лицензия — Apache-2.0.

yam-jom-7B — объединённая языковая модель, созданная с помощью LazyMergekit из eren23/ogno-monarch-jaskier-merge-7b-OH-PREF-DPO-v2 и yam-peleg/Experiment26-7B. В конфигурации указаны метод task_arithmetic, веса 0,35 и 0,65 и формат bfloat16; архитектура — плотная MistralForCausalLM с 7,1 млрд параметров. Модель предназначена для генерации текста. В карточке приведены результаты Open LLM Leaderboard, включая оценки по AI2 Reasoning Challenge и HellaSwag. Контекстное окно составляет 32 768 токенов. Репозиторий содержит веса safetensors, лицензия — Apache-2.0.

aya-23-8B-IMat-GGUF — это квантизированная версия языковой модели CohereForAI/aya-23-8B, разработанной CohereForAI. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp, в формате GGUF. Доступны варианты от FP16 до низкобитных квантов, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и семейство IQ-квантов. Модель имеет 8 миллиардов параметров и поддерживает работу с текстом на английском, французском, немецком, испанском, итальянском, португальском, японском, корейском, китайском, арабском, греческом, персидском, польском, индонезийском, чешском, иврите, хинди, нидерландском, румынском, русском, турецком, украинском и вьетнамском языках. Версия опубликована как результат квантизации с использованием llama.cpp и IMatrix; для некоторых низкобитных вариантов указано применение IMatrix, что может помогать сохранять качество при уменьшении размера модели. Сильная сторона модели — сочетание многоязычной текстовой генерации и широкого выбора квантованных файлов для запуска на оборудовании с разным объёмом памяти. Ограничения включают возможную потерю качества в наиболее агрессивных вариантах квантизации; сведения о контекстном окне, детальных архитектурных характеристиках и результатах тестирования в README не указаны. Лицензия — CC BY-NC 4.0, допускающая использование с обязательным соблюдением её условий и ограничений на коммерческое применение.

Citaman/command-r-28-layer — текстовая модель на архитектуре Cohere, созданная методом слияния SLERP из весов Citaman/command-r-29-layer. Конфигурация объединяет сдвинутые диапазоны слоёв 0–28 и 1–29; сохранённые веса имеют формат safetensors и точность bfloat16. Модель содержит 25,1 млрд параметров и рассчитана на контекст до 8192 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также указывают интерфейс вызова инструментов. Подходит для чат-сценариев и генерации ответов на текстовые запросы. Языки в доступных сведениях не определены. Модель выпущена 16 апреля 2024 года. Условия лицензирования в предоставленной карточке не указаны. Поскольку это слияние весов с нестандартной перестановкой диапазонов слоёв, поведение и совместимость могут отличаться от исходной модели; оценок качества в карточке нет.

DeepSeek-V4.1-Flash-Abliterated — созданная сообществом версия DeepSeek-V4.1-Flash, опубликованная s-zaizen с применением abliteration через инструмент Heretic; это не официальный выпуск DeepSeek. Модель сохраняет исходную архитектуру DeepSeek V4.1, токенизатор и компоненты для обработки изображений, а также использует формат весов FP8. В репозитории размещено 48 шардов safetensors общим размером около 510 ГБ. Модель предназначена для генерации текста в диалоге и обработки входов с изображениями. По заявлению автора, преобразование изменяет направления отказа в выходах модели: в описанной проверке Heretic ключевые слова отказа обнаружились в 24 из 100 ответов против 97 из 100 у исходной модели. Это измерение не является общим тестом качества или безопасности. Лицензия — MIT.

unsloth/dots.llm1.inst-GGUF — GGUF-версия instruction-tuned модели dots.llm1.inst, разработанной командой rednote-hilab и подготовленной в формате GGUF проектом Unsloth. Это большая разреженная Mixture-of-Experts (MoE) языковая модель для генерации текста и диалоговых сценариев, включая работу в локальных средствах инференса, совместимых с GGUF. Модель предназначена для общения, ответов на вопросы и других задач обработки текста на английском и китайском языках. Модель содержит 142 млрд параметров, из которых при инференсе активируется 14 млрд. Архитектура включает 62 слоя, 32 attention heads, Multi-head Attention с QK-Norm, а также fine-grained MoE с выбором 6 из 128 маршрутизируемых экспертов и двумя общими экспертами. Контекстное окно составляет 32 768 токенов. Instruction-тюнинг выполнен после этапа предварительного обучения; при предварительном обучении использовались высококачественные данные без синтетических токенов. К сильным сторонам относятся сочетание возможностей крупной модели с меньшим числом активных параметров, потенциальная вычислительная эффективность MoE и открытость исходной модели. README не указывает конкретный метод или уровень GGUF-квантизации, поэтому характеристики качества, размера файла и требований к памяти для данной сборки определить нельзя. Для llama.cpp требуется включить параметр --jinja, чтобы корректно обрабатывался системный промпт. Лицензия модели — MIT.

EXAONE-4.0-1.2B-GGUF — квантизированная версия языковой модели EXAONE 4.0, разработанной LG AI Research. Модель предназначена для генерации текста, диалоговых приложений, локального запуска и on-device-сценариев, где важны компактный размер и умеренное потребление ресурсов. Серия EXAONE 4.0 поддерживает режимы рассуждения и без рассуждения, использование инструментов агентами и многоязычную работу на английском, корейском и испанском языках. Вариант содержит около 1,07 млрд параметров без учёта эмбеддингов, 30 слоёв и механизм внимания GQA с 32 головами и 8 KV-головами. Размер словаря составляет 102 400 токенов, заявленная длина контекста — 65 536 токенов. Модель распространяется в формате GGUF с вариантами квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_M и IQ4_XS, а также с весами BF16; поддерживается llama.cpp. Сильными сторонами являются компактность, возможность локального и встраиваемого использования, поддержка трёх языков, длинного контекста и двух режимов генерации. Ограничением по сравнению с 32B-версией серии является существенно меньший размер, поэтому модель может уступать ей в качестве, глубине рассуждений и сложных профессиональных задачах; конкретные результаты тестирования для данного варианта в предоставленных данных не приведены. Лицензия указана как EXAONE, с типом other и отдельным файлом LICENSE; точные условия использования в README не раскрыты.

MaziyarPanahi/Experiment28M7_T3qm7xExperiment26 — объединённая методом SLERP модель семейства Mistral для генерации текста. Она создана на основе automerger/Experiment28M7-7B и automerger/T3qm7xExperiment26-7B и содержит 7,1 млрд параметров. Модель принимает текстовые запросы и генерирует текст; контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Карточка не уточняет специализацию по языкам или прикладным областям. Лицензия — Apache-2.0.

F2LLM-v2-330M — мультиязычная модель эмбеддингов из семейства F2LLM-v2, разработанного CodeFuse AI. Это instruct-вариант размером 284,8 млн параметров на архитектуре Qwen3; небольшие instruct-модели семейства были получены обрезкой базовой модели 0.6B и обучением. Модель принимает текст и преобразует его в векторные представления для поиска и сравнения текстов. Модель предназначена для семантического поиска, ранжирования и других задач работы с эмбеддингами. Она поддерживает инструкции в запросах, а Matryoshka Representation Learning позволяет сокращать размерность векторов для экономии места и ускорения векторного поиска. Семейство обучалось на мультиязычных данных и, по README, поддерживает более 200 языков; метаданные перечисляют среди языков русский, английский, китайский и другие. Контекст модели — до 40 960 токенов. README сообщает о высоких результатах семейства на широком наборе бенчмарков MTEB, но отдельные результаты именно этой версии не приведены. Модель распространяется по лицензии Apache-2.0. Для поиска и ранжирования инструкции следует добавлять к запросам, но не к документам; после усечения эмбеддингов нормализацию следует выполнять заново.

FwF-Qwen-7B-0.1 — языковая модель на архитектуре Qwen2, созданная объединением моделей bunnycore. В README описано слияние методом TIES с базой bunnycore/FuseQwQen-7B и моделями, ориентированными на рассуждения, длительные цепочки размышлений, ролевой диалог и общие задачи. Репозиторий содержит веса в формате safetensors; размер модели — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для генерации текста и диалогов, следования инструкциям, многошаговых рассуждений и ролевых сценариев. Указанные в метаданных возможности включают чат и интерфейс вызова инструментов. Сведения подтверждают поддержку генерации текста, но не устанавливают конкретный уровень качества на отдельных задачах. Лицензия в предоставленных данных не указана.

Gemma 3n E4B It LM 4bit — версия модели Google Gemma 3n E4B-it, конвертированная сообществом mlx-community в формат MLX с использованием mlx-lm 0.25.2. Модель предназначена для запуска и генерации текста на устройствах и в окружениях, совместимых с MLX, через библиотеку mlx-lm. Модель ориентирована на диалоговую генерацию текста и, судя по заявленным тегам исходной модели, поддерживает сценарии работы с текстом, аудио и видео, включая автоматическое распознавание речи, автоматический перевод речи и преобразование аудио или видео в текст. Обозначение E4B указывает на класс модели примерно в 4 миллиарда параметров, а суффикс 4bit — на 4-битное квантование, уменьшающее требования к памяти. Точные сведения о языках и размере контекста в README не указаны. К сильным сторонам относятся адаптация к MLX, компактное 4-битное представление и поддержка мультимодальных сценариев, заявленная для базовой модели. Ограничения включают возможное снижение точности из-за квантования и отсутствие в README подробных данных о производительности, поддерживаемых языках и фактических требованиях к оборудованию. Для использования требуется принять лицензию Google Gemma на Hugging Face; конкретные условия лицензии gemma следует учитывать отдельно.

Ayodele01/gemma-4-E4B-Gemini-3.1-Pro-Reasoning-Distill-GGUF — GGUF-квантизированные версии инструкционно дообученной модели Google Gemma-4 E4B с 4 млрд параметров. Модель доработана методом LoRA на наборах данных с примерами рассуждений, созданных на основе Gemini 3.1 Pro, чтобы улучшить способности к пошаговому reasoning и решению сложных задач. Модель ориентирована на генерацию текста и указана как англоязычная. Модель предназначена для локального запуска через llama.cpp и Ollama, включая задачи ответов на вопросы, логического вывода, решения математических и других требующих рассуждений запросов. Доступны варианты F16, Q8_0, Q5_K_M, Q4_K_M и Q3_K_M размером примерно от 4,6 до 15 ГБ; вариант Q5_K_M обозначен как сбалансированный и рекомендуемый. Заявлена поддержка контекста до 128K токенов, при этом в рекомендуемых настройках указана длина 8192 токена. Сильными сторонами модели являются компактный размер, возможность работы на локальных устройствах и специализация на reasoning-задачах. Качество и требования к памяти зависят от выбранного уровня квантизации: F16 обеспечивает наилучшее качество, а Q3_K_M подходит для наиболее ограниченных устройств, вероятно снижая точность. В README не приведены независимые результаты оценки, подробные сведения об архитектуре Gemma-4 или гарантии качества рассуждений. Модель распространяется по лицензии Gemma.

Vontra/GLM-5.3-Flash-MLX-oQ4-MTP — это мультимодальная версия модели GLM-5.3-Flash от Z.ai, преобразованная Vontra в формат MLX для запуска на Apple Silicon. Модель предназначена для задач, связанных с обработкой текста и изображений, включая диалоговое взаимодействие и генерацию ответов в vision-language сценариях. Поддерживаются английский и китайский языки. Модель использует архитектуру glm5_next с разреженной mixture-of-experts, гибридным линейным и разреженным вниманием, manifold-constrained hyper-connections и встроенным слоем предсказания следующего токена. Контекст настроен на 1 048 576 токенов. Веса представлены в формате MLX safetensors и сжаты методом oQ4: основная часть использует 4-битное аффинное квантование с выборочными переопределениями точности 5, 6 и 8 бит. Размер загрузки составляет около 185,7 ГБ. Сохранены исходные токенизатор, шаблон чата, мультимодальный процессор и конфигурация генерации. К сильным сторонам относятся мультимодальность, очень длинный контекст, смешанная точность с защитой чувствительных модулей и встроенная поддержка native MTP для ускорения генерации. Ограничения — значительный объём модели, зависимость от Apple Silicon и необходимость совместимого runtime: требуются MLX-VLM с интеграцией GLM5 Next и сборка oMLX с поддержкой oQ и native MTP; старые версии не поддерживаются. В опубликованном тесте на Apple M3 Ultra с 256 ГБ unified memory базовый режим показал 6,2155 токена/с, а режим native MTP — 4,9969 токена/с. Модель распространяется по лицензии MIT.

Huihui-Qwen3.5-27B-Claude-4.6-Opus-abliterated — мультимодальная модель на архитектуре Qwen3.5 с 27 млрд параметров, созданная Huihui AI путём удаления значительной части отказов из дообученной модели Jackrong/Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled. Она предназначена для диалогов, рассуждений, анализа изображений и работы с инструментами; в метаданных для неё указан тип задачи image-text-to-text. Модель распространяется в формате safetensors и работает через библиотеку Transformers; автор README также приводит вариант запуска через Ollama. Её модерация существенно снижена, поэтому она может выдавать чувствительный, спорный или неподходящий контент. README характеризует способ удаления отказов как грубую реализацию для проверки концепции. Лицензия — Apache-2.0.

ilsp_Llama-Krikri-8B-Instruct-GGUF — это набор GGUF-квантизованных версий инструкционной языковой модели Llama-Krikri-8B-Instruct, разработанной ilsp. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы в диалоговых и других сценариях, поддерживающих формат инструкций Llama 3.1, включая запуск локально через llama.cpp, LM Studio и совместимые проекты. Модель имеет около 8 миллиардов параметров, относится к текстовым моделям и заявлена для греческого и английского языков. Доступны варианты от F32 и F16 до различных форматов Q8, Q6, Q5, Q4, Q3 и IQ-квантизации. Более крупные варианты обычно сохраняют более высокое качество, а компактные требуют меньше оперативной памяти; в README рекомендуются, среди прочих, Q6_K_L, Q6_K, Q5 и Q4_K_M. Точный размер контекста в предоставленных данных не указан. Основные преимущества — возможность локального запуска, широкий выбор компромисса между качеством и требованиями к памяти, а также поддержка CPU-инференса и аппаратных конфигураций, совместимых с llama.cpp. Ограничения связаны с потерями качества в более агрессивно квантизованных версиях, отсутствием заявленной мультимодальности и неизвестным размером контекстного окна. Лицензия указана как llama3.1.

Krutrim-2-instruct-GGUF — это набор GGUF-квантизованных версий инструкционной языковой модели Krutrim-2-instruct, разработанной krutrim-ai-labs и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций, а также для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В набор входят варианты от полноточных F32 и F16 до квантизаций Q8_0, Q6_K, Q5_K, Q4 и Q3, размером примерно от 5,7 до 49 ГБ. Доступны языки English, Hindi, Bengali, Marathi, Telugu, Tamil, Kannada, Malayalam, Gujarati, Assamese и Punjabi. Архитектура, число параметров, размер контекста, поддержка дополнительных модальностей и точные сценарии обучения в README не указаны; по представленным данным это текстовая, а не мультимодальная модель. Основное преимущество набора — широкий выбор уровней квантизации для подбора баланса между качеством, скоростью и требованиями к памяти. В README варианты Q6_K_L, Q6_K, Q5_K и Q4_K_M отмечены как рекомендуемые, однако низкоразрядные версии могут заметно уступать полноточным по качеству. Модель распространяется по Krutrim Community License Agreement версии 1.0; подробные условия следует уточнять в файле лицензии.