II.1Анализ требований и архитектура ПО

Spark-X2.5-4B-GGUF — компактная языковая модель общего назначения, разработанная XHToken и представленная в формате GGUF. Модель предназначена для диалогов, написания и перевода текстов, рассуждений, программирования, использования инструментов и агентских сценариев. Это текстовая модель размером 4 млрд параметров с гибридной архитектурой внимания, нативной длиной контекста до 1 млн токенов и поддержкой более 200 языков, включая английский и китайский. К сильным сторонам относятся компактный размер, широкий набор прикладных задач, многоязычность и возможность локального запуска через llama.cpp, Ollama, LM Studio и Unsloth. Для работы требуется совместимая версия программного обеспечения с поддержкой архитектуры spark2_5: llama.cpp b10828 или новее, Ollama v0.34.1 или новее либо соответствующая версия LM Studio. README не содержит подробных результатов тестирования, требований к ресурсам и сведений о поддерживаемых модальностях помимо обработки текста. Модель распространяется по лицензии Apache License 2.0.

Spartan_v1.0 — языковая модель, созданная слиянием моделей Meta Llama 3.1 с помощью mergekit и метода SLERP. В слияние вошли Meta-Llama-3.1-8B и Meta-Llama-3.1-8B-Instruct; модель содержит 7,5 млрд параметров и использует плотную архитектуру Llama для авторегрессионной генерации текста. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно применять для ответов на запросы, написания и продолжения текста, а также сценариев с интерфейсом вызова инструментов. Заявленная длина контекста — 131 072 токена. Для работы используется библиотека Transformers, веса опубликованы в формате safetensors. В карточке не описаны отдельные языковые специализации или результаты оценки качества, поэтому их нельзя уверенно определить. Лицензия в предоставленных данных не указана. Производные модели Llama 3.1 распространяются на условиях лицензии Meta Llama 3.1; перед использованием следует сверить применимые условия с карточкой и лицензией базовых моделей.

Swift-Qwen3.8-27b-BF16-AMD — полноразмерная BF16-версия модели UkisAI Swift, производной от Qwen/Qwen3.8-27B. Это плотная мультимодальная модель с архитектурой Qwen3.5 и классом Qwen3_5ForConditionalGeneration; опубликована в формате safetensors для Transformers и предназначена для AMD/ROCm и рабочих процессов AMD Quark. Веса включают компонент обработки изображений и видео и MTP-голову. Модель ориентирована на диалоги и многошаговые рассуждения, включая программирование, решение математических задач, ответы на вопросы и генерацию структурированного JSON. Метод дообучения нацелен на сокращение избыточных рассуждений: в тестах UkisAI модель использовала на 58,3% меньше токенов мышления при потере качества менее 1% и ускорении до 1,95 раза на ряде задач. Эти результаты относятся к описанным в карточке испытаниям и не гарантируют аналогичных показателей в каждом сценарии. Модель принимает текст и изображения, а также поддерживает визуальные возможности базовой модели для анализа видео; выдаёт текст. Указанная в README длина контекста для приведённых тестов — 262 144 токена. Лицензия обозначена как other; карточка сообщает, что доступ к API бесплатен для исследований, но не задаёт полных условий лицензии весов. Для использования на AMD требуется совместимая среда ROCm; AMD/ROCm-развёртывание и его производительность на момент описания не проверены, а приведённые результаты получены не на оборудовании AMD.

Ternary-Bonsai-2-27B-gguf — языковая модель класса 27B, разработанная Prism ML на базе Qwen3.8-27B. Это причинно-следственная transformer-модель с гибридным механизмом внимания: примерно 75% линейного и 25% полноформатного внимания, архитектурой SwiGLU, RoPE и RMSNorm. Модель предназначена для генерации текста, рассуждений, программирования и агентских сценариев с вызовом инструментов. README не указывает поддерживаемые языки. Модель содержит 27,36 млрд параметров и рассчитана на контекст до 262 тыс. токенов. Языковые веса представлены в троичном формате {−1, 0, +1} с групповым масштабированием FP16; доступны упаковки PTQ1_0 размером около 5,95 ГБ и PQ2_0 размером около 7,21 ГБ. Для обработки изображений предусмотрен отдельный опциональный vision-пакет mmproj в формате Q8_0. Модель поддерживается llama.cpp на CPU, CUDA и Metal; также существует отдельная MLX-версия для Apple Silicon. Ключевое преимущество — существенно меньший размер при сохранении заявленных разработчиком возможностей рассуждения, программирования и агентского поведения: по данным README, сохранено 98,2% показателей FP16 на среднем наборе из 14 тестов. Гибридное внимание и большой контекст делают модель подходящей для локального запуска на ноутбуке или одной GPU. Ограничения включают необходимость совместимых низкоразрядных ядер и runtime с поддержкой специального формата, а также отсутствие в README независимых подтверждений заявленных benchmark-результатов и сведений о фактическом качестве на конкретных языках. Распространяется по лицензии Apache 2.0.

Thanatos-27B-HERETIC — языковая модель от FoolDev, созданная на базе heretic-org/Qwen3.8-27B-heretic-ara. Это плотная модель с 27 млрд параметров, распространяемая в формате GGUF и предназначенная для локального запуска через llama.cpp и Ollama. Репозиторий репакует и квантует базовую модель; дополнительное обучение в нём не выполняется. Упоминания Claude Fable 5 и перечисленных наборов данных приведены в README как неподтверждённая атрибуция, а не надёжная история обучения. Модель ориентирована на генерацию текста, диалоговые сценарии, рассуждения, агентские задачи и программирование. Заявлены мультимодальные возможности, однако для обработки изображений рекомендуется использовать llama.cpp напрямую: поддержка vision в Ollama для этой архитектуры, согласно README, работает некорректно. Модель поддерживает языки, включая английский, китайский, русский, испанский, французский, немецкий, японский, корейский, арабский, украинский и другие. Нативный контекст составляет 262 144 токена, с расширением до 1 010 000 токенов посредством YaRN. К сильным сторонам относятся большой контекст, плотная архитектура, поддержка локального инференса и сниженный уровень отказов, характерный для версии Heretic. Ограничения включают высокие требования к памяти: для полного контекста необходим значительный объём RAM или VRAM, а выбор квантизации влияет на размер модели и качество. Модель распространяется по лицензии Apache-2.0.

ZEUS 8B V10 — объединённая языковая модель, созданная автором карточки на основе unsloth/Meta-Llama-3.1-8B-Instruct и трёх других моделей семейства Llama 3.1. Для объединения применён метод DARE TIES; в версии V10 использованы единый токенизатор и настройки int_mask и normalize. Это плотная авторегрессионная модель LlamaForCausalLM с 7,5 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие. Контекст составляет до 131 072 токенов. Модель подходит для диалогов, следования инструкциям и генерации текстовых ответов; метаданные также отмечают интерфейс вызова инструментов. В README приведены результаты оценивания на Open LLM Leaderboard, включая IFEval и BBH. Автор ожидает, что отличия от V2 будут небольшими. Модель основана на инструкционно настроенной Llama 3.1, но README не описывает языковой охват подробно. Сведения о лицензии в предоставленных данных отсутствуют.

ZEUS-8B-V16 — объединённая инструкционная языковая модель T145, созданная методом DARE TIES с помощью mergekit на основе нескольких моделей Llama 3.1. В объединение вошли VAGOsolutions/Llama-3.1-SauerkrautLM-8b-Instruct, arcee-ai/Llama-3.1-SuperNova-Lite, unsloth/Llama-3.1-Storm-8B и unsloth/Meta-Llama-3.1-8B-Instruct. Модель имеет архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и принимает запросы в контексте до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям; интерфейс также поддерживает вызов инструментов. В README приведены результаты Open LLM Leaderboard, включая 79,25% на IFEval и 32,53% на BBH, однако этих показателей недостаточно для выводов о качестве во всех сценариях. Лицензия в предоставленных данных не указана.

ZEUS 8B V17 — объединённая языковая модель, созданная автором карточки с помощью mergekit методом DARE TIES на основе unsloth/Meta-Llama-3.1-8B-Instruct и ещё четырёх моделей Llama 3.1. Это плотная архитектура Llama с примерно 7,5 млрд параметров, предназначенная для диалогов и генерации текста; поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. Модель подходит для диалоговых ассистентов, генерации и продолжения текста, а также задач, где полезно обрабатывать длинный контекст. В карточке приведены результаты оценивания, включая 79,41% на IFEval (0-shot) и 32,34% на BBH (3-shot). Лицензия в предоставленных данных не указана.

ZEUS-8B-V19 — объединённая языковая модель семейства Llama 3.1, созданная T145 с помощью mergekit и метода DARE TIES. В основу слияния положена unsloth/Meta-Llama-3.1-8B-Instruct; также объединены Llama-3.1-SuperNova-Lite, Llama-3.1-Storm-8B, Llama-3.1-SauerkrautLM-8b-Instruct и Llama-3.1-8B-Lexi-Uncensored-V2. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors. Она предназначена для диалогов и генерации текста, поддерживает интерфейс вызова инструментов и контекст до 131 072 токенов. Карточка приводит результаты оценивания на IFEval и BBH. Лицензия в предоставленных данных не указана.

ZEUS-8B-V26 — объединённая языковая модель на архитектуре Llama 3.1, созданная с помощью mergekit методом DARE TIES. В объединение вошли instruct- и reasoning-модели, включая HuatuoGPT-o1, Skywork-o1, Llama-3.1-Storm, SauerkrautLM и другие; базой в README названа unsloth/Meta-Llama-3.1-8B-Instruct. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов; интерфейс также поддерживает вызов инструментов. Метаданные указывают библиотеку Transformers и формат safetensors. В README приведены результаты Open LLM Leaderboard, включая 67,08% на IFEval и 32,25% на BBH; эти показатели относятся к указанной оценке и сами по себе не гарантируют качество в других сценариях. Данные о лицензии и поддерживаемых языках в предоставленных источниках отсутствуют. В README также не описаны специальные ограничения на применение.

andreasmartin выпустил конверсию текстовой модели Apertus 1.5 8B в формате MLX с точностью FP16. Модель основана на andreasmartin/apertus-v1.5-8b-text и предназначена для генерации текста и диалогового взаимодействия; карточка базовой модели также указывает сценарии RAG, рассуждений и вызова инструментов. Архитектура — плотная причинная языковая модель ApertusForCausalLM с 10,3 млрд параметров и контекстом до 262 144 токенов. Модель рассчитана на многоязычное текстовое взаимодействие. Репозиторий распространяется по лицензии Apache-2.0. В README описана конверсия в MLX с помощью mlx-lm 0.31.2; метаданные указывают формат safetensors.

Citaman/command-r-33-layer — языковая модель семейства Cohere, созданная автором репозитория с помощью слияния моделей через mergekit и метод SLERP. В конфигурации использована Citaman/command-r-34-layer с диапазонами слоёв [0, 33] и [1, 34]; результат предназначен для генерации текста и диалогового взаимодействия, включая интерфейс вызова инструментов. Модель содержит 29,2 млрд параметров, построена на плотной архитектуре CohereForCausalLM и принимает контекст до 8192 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

NVIDIA DeepSeek-R1-0528-NVFP4 — квантизованная FP4-версия языковой модели DeepSeek-R1-0528, разработанной DeepSeek и оптимизированной NVIDIA с помощью TensorRT Model Optimizer. Это авторегрессионная трансформерная модель семейства DeepSeek V3 с 37,6 млрд параметров; она принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Длина контекста — до 163 840 токенов. Модель предназначена для текстовой генерации, диалогов, рассуждений и развертывания через TensorRT-LLM. Квантизация весов и активаций линейных слоёв до FP4 сокращает требования к диску и памяти GPU примерно в 1,6 раза; заявлена совместимость с архитектурой NVIDIA Blackwell. Для развёртывания в README указана конфигурация с восемью GPU B200. README отмечает, что модель не принадлежит NVIDIA и создана на основе сторонней модели DeepSeek. Лицензия — MIT; заявлено коммерческое и некоммерческое использование. Модель может выдавать неточные, нерелевантные или повторяющиеся ответы и воспроизводить токсичный язык и предвзятости из обучающих данных.

Valdemardi/DeepSeek-R1-Distill-Llama-70B-AWQ — квантованная версия модели DeepSeek-R1-Distill-Llama-70B, основанной на DeepSeek-R1 и разработанной командой DeepSeek AI. Модель относится к большим языковым моделям для задач рассуждения и создана посредством дистилляции: в меньшую плотную модель перенесены образцы и паттерны рассуждений, полученные от DeepSeek-R1. В README также указано, что семейство DeepSeek-R1 ориентировано на задачи математики, программирования и общего логического рассуждения, а исходная модель демонстрировала результаты, сопоставимые с OpenAI o1 в этих направлениях. Представленная сборка использует 4-битное AWQ-квантование, выполненное с помощью AutoAWQ 0.2.8, с group size 128, zero point и режимом GEMM. Это снижает требования к памяти и делает запуск крупной 70B-модели более доступным, однако может сопровождаться потерей точности по сравнению с полноразмерной версией; конкретные результаты для этой сборки в README не приведены. Архитектура, размер контекста, поддерживаемые языки и модальности отдельно не указаны, поэтому подтверждённо описать можно только текстовый LLM-сценарий. Модель распространяется по лицензии llama3.3; README также ссылается на Model Agreement для лицензии модели. Условия лицензии следует проверить перед коммерческим или иным ответственным использованием.

DeepSeek-V4-Flash-0731-W4A16 — это квантизированная версия языковой модели DeepSeek-V4-Flash-0731, разработанной DeepSeek. Модель предназначена для генерации текста, включая диалоговые ответы, рассуждения, решение математических задач, программирование, работу с инструкциями и задачи на понимание текста. В карточке указаны английский и китайский языки. Архитектура поддерживает 283 млрд параметров; сведения о контекстном окне и мультимодальных возможностях не приведены. Модель использует смешанную точность: routed experts преобразованы из FP4 в INT4 с group_size=32 и вычислениями активаций в BF16, attention, shared experts и indexer сохранены в FP8, а остальные перечисленные компоненты — в BF16. Формат совместим с vLLM и предназначен для запуска на GPU NVIDIA без аппаратной поддержки FP4, включая H20, H100, A100, L40S, L20 и RTX 4090, при наличии подходящей конфигурации. Размер файлов модели составляет около 166 ГБ; для запуска рекомендуется vLLM версии 0.26.0 или новее и не менее двух H20 96 ГБ либо четырёх A100 80 ГБ. Сильная сторона модели — возможность инференса исходной DeepSeek-V4-Flash-0731 на Hopper и Ampere без FP4 tensor core, при сохранении заявленного качества на небольшой проверочной выборке из 50 заданий. К ограничениям относятся неизбежная ошибка INT4-квантизации, высокая потребность в видеопамяти и необходимость использовать специальный модуль кодирования prompt вместо стандартного chat template. Лицензия обозначена как DeepSeek с отдельной ссылкой на её текст; условия коммерческого и иного использования следует уточнять в лицензии.

cyankiwi/diffusiongemma-26B-A4B-it-AWQ-INT4 — квантованная версия DiffusionGemma на базе google/diffusiongemma-26B-A4B-it, разработанной Google DeepMind. Это мультимодальная модель с открытыми весами, которая принимает текст, изображения и видео, а генерирует текст. Представленная версия использует квантование AWQ INT4 и занимает около 17,23 ГБ. Модель предназначена для генерации текста, рассуждений, диалоговых сценариев, обработки мультимодальных запросов и задач, связанных с STEM и агентными системами. Она применяет дискретную диффузию: вместо последовательной генерации токенов модель итеративно восстанавливает блоки токенов, что может повышать скорость вывода. Архитектура включает encoder-decoder с двунаправленным вниманием в декодере и разреженную Mixture-of-Experts-конфигурацию: 25,2 млрд параметров всего, 3,8 млрд активных параметров, 30 слоёв и 8 активных экспертов из 128. Заявлены контекст до 256 тысяч токенов, окно скользящего внимания 1024 токена и длина генерируемого блока 256 токенов. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Модель оптимизирована для инференса с небольшим размером пакета и низкой задержкой, преимущественно на одном производительном ускорителе; режим рассуждений и системные промпты поддерживаются. Ограничение развертывания — отсутствие поддержки внутримодельного тензорного и конвейерного распараллеливания; для нескольких GPU рекомендуется репликация через data parallelism. Лицензия — Apache 2.0.

Dolphin 2.8 Mistral 7b v0.2 — языковая модель общего назначения из семейства Dolphin, разработанная Cognitive Computations при дообучении Eric Hartford и Cognitive Computations. Эта версия распространяется в формате GGUF; квантизацию выполнил bartowski на основе llama.cpp. Базовая модель — Mistral-7B-v0.2, размер — около 7 млрд параметров. Модель предназначена для генерации текста, диалогов, ответов на вопросы, рассуждений и программирования. В обучении использовались разговорные, логические и кодовые данные, включая наборы Dolphin, Dolphin Coder, Samantha, Airoboros, OpenHermes и Code-Feedback. Указан английский язык. Модель работает только с текстом и рассчитана на локальный запуск, в том числе через LM Studio; для неё рекомендуется шаблон запросов ChatML и системная инструкция «You are Dolphin, a helpful AI assistant». Сильными сторонами являются универсальность, поддержка повседневных ассистентских сценариев и наличие данных для задач программирования. В README приведён результат HumanEval pass@1 0,469, однако он помечен как непроверенный. Размер контекста и другие подробные характеристики архитектуры не указаны, поэтому возможности модели могут зависеть от используемого варианта GGUF и настроек запуска. Модель распространяется по лицензии Apache 2.0.

Dolphin 2.9 Llama 3 8B GGUF — квантизированная версия модели cognitivecomputations/dolphin-2.9-llama3-8b, разработанная и обученная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations. Модель создана на базе Meta Llama 3 8B с использованием llama.cpp и полным дообучением всех параметров в формате ChatML. Указано, что обучение проводилось на последовательностях длиной 4 096 токенов, а базовая модель поддерживает контекст до 8 000 токенов. Модель предназначена для генерации текста, диалогов, выполнения инструкций, программирования, решения математических задач, начальных агентских сценариев и function calling. В обучении использовались наборы данных для диалогов, кода, инструкций, tool use и математических задач, включая Dolphin 2.9, OpenHermes 2.5, CodeFeedback, Dolphin Coder, UltraChat и Orca Math. Модель рассчитана на работу с текстом; поддерживаемые языки явно не указаны. К сильным сторонам относятся сочетание разговорных, инструкционных и кодовых навыков, а также начальная поддержка инструментов и вызова функций. Модель описана как uncensored и высоко послушная, поэтому перед предоставлением доступа через сервис рекомендуется самостоятельно добавить слой фильтрации и выравнивания; безопасность и корректность результатов не гарантируются. Лицензия указана как Meta Llama 3 Community License Agreement; коммерческое использование допускается только в пределах условий этой лицензии.

Darwin-35B-A3B-Opus — мультимодальная модель типа mixture-of-experts, разработанная командой FINAL-Bench и опубликованная в GGUF-квантизациях пользователем bartowski. Модель предназначена для генерации текста, сложных рассуждений, работы с мультиязычными запросами, задачами программирования, агентскими сценариями и вызовами инструментов. Заявлена поддержка обработки изображений и текста, а также длинного контекста до 262 тысяч токенов. Модель содержит 35 миллиардов параметров, из которых около 3 миллиардов активируются на один запрос, однако конкретные архитектурные детали в README не указаны. Заявлена поддержка 201 языка; среди явно перечисленных — английский, китайский, корейский, японский, немецкий, французский, испанский, русский и арабский. В качестве ориентиров приведены непроверенные результаты: 90% на GPQA Diamond и 85% на MMMLU. Доступны варианты от BF16 и Q8_0 до более компактных IQ4 и Q4, причём README рекомендует ряд Q4–Q6-квантизаций как компромисс между качеством и размером. Сильными сторонами модели являются заявленные продвинутые способности к рассуждению, мультимодальность, многоязычность, поддержка длинного контекста и широкий выбор квантизаций для локального запуска через llama.cpp и совместимые приложения. Ограничения включают крупные требования к дисковому пространству и вычислительным ресурсам, зависимость возможностей от используемого варианта квантизации и отсутствие подтверждённых в README результатов тестирования. Модель и её квантизации распространяются по лицензии Apache-2.0.

Gemini 3.1 Pro Preview — предварительная версия мультимодальной модели Google для решения сложных задач с упором на рассуждения. В карточке отмечены улучшенная работа в программной инженерии, надёжность агентных сценариев и более экономное использование токенов в сложных рабочих процессах. Метаданные каталога относят модель к задаче image-text-to-text. Подробности об архитектуре, размере, поддерживаемых языках, контексте и лицензии в предоставленных данных отсутствуют.

unsloth/gemma-3n-E4B-it — инструкция-настроенная версия Gemma 3n E4B от Google, опубликованная Unsloth. Это плотная модель класса Gemma3n с архитектурой Gemma3nForConditionalGeneration и поддержкой диалога и изображений. Репозиторий содержит веса safetensors; в README для этой сборки заявлена работа только с текстом, поэтому описанные для семейства возможности обработки изображений, видео и аудио здесь не подтверждены. Модель предназначена для генерации текста и диалоговых сценариев: создания черновиков и кода, суммаризации, ответов на вопросы и работы чат-ботов. README указывает контекст до 32 тысяч токенов. Семейство Gemma 3n рассчитано на эффективный запуск на устройствах с ограниченными ресурсами благодаря выборочной активации параметров; для этой конкретной сборки общее число параметров в предоставленных метаданных не указано. Ожидаемые ограничения включают возможные фактические ошибки, смещения обучающих данных и затруднения с неоднозначными или сложными запросами. Лицензия — Gemma; перед использованием следует учитывать её условия.

AtomicChat/gemma-4-E4B-it-assistant-GGUF — это локальная GGUF-квантизированная версия модели google/gemma-4-E4B-it-assistant, разработанной Google и самостоятельно преобразованной в GGUF командой Atomic Chat. Модель предназначена для генерации текста, диалоговых ассистентов, рассуждений, программирования и автономного офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые приложения. Архитектура модели — плотный decoder с 42 слоями, гибридным вниманием: скользящее окно 512 токенов сочетается с глобальным вниманием. Указано 4,5 млрд эффективных параметров и 8 млрд параметров с учётом embeddings, контекст до 128K токенов, словарь 262K токенов, 4 attention heads и 2 KV heads. Базовая модель поддерживает текст, изображения и аудио, однако представленные в этом репозитории кванты являются текстовыми и не содержат vision projector. Языки модели в README не указаны. Доступны варианты Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; квантизация выполнена с importance matrix, что должно уменьшать потери качества на низкой разрядности. Q4_K_M рекомендован как компромисс между размером, скоростью и качеством, а Q8_0 и F16 — для большей точности. Ограничениями являются текстовый формат поставки, возможная потеря качества из-за квантизации и необходимость использовать шаблон чата Gemma 4 через параметр --jinja. Приведённые в README результаты бенчмарков относятся к базовой модели Google, а не к независимым измерениям данной квантизированной версии. Модель распространяется по лицензии Apache 2.0.

GigaChat-20B-A3B-instruct-v1.5 — диалоговая языковая модель семейства GigaChat, разработанная ai-sage и дообученная на базе ai-sage/GigaChat-20B-A3B-base. Модель использует архитектуру DeepseekForCausalLM, содержит 3,1 млрд параметров и поддерживает контекст до 131 072 токенов. Она предназначена для диалога и генерации текста на русском и английском языках. Обновлённая версия получила улучшенное выравнивание ответов: в README сообщается о росте результатов Arena Hard RU с 20,8 до 29,6 и Arena General с 41,1 до 49,1; также приведены результаты на тестах MERA, ru-MMLU и математических задачах. Подходит для диалоговых ассистентов, ответов на вопросы, решения математических задач и генерации текста. Для работы с Transformers требуется версия 4.47 или новее; README предупреждает об особенностях токенизации при использовании vLLM и не рекомендует один из способов подготовки входа. Лицензия — MIT.

GLM-4.7-Flash-bf16 — диалоговая языковая модель семейства GLM4 MoE Lite, подготовленная сообществом mlx-community в формате MLX из zai-org/GLM-4.7-Flash. Она предназначена для генерации текста в диалоге, включая рассуждения и программирование. Модель содержит 4,1 млрд параметров и поддерживает контекст до 202 752 токенов; карточка указывает поддержку английского и китайского языков. Модель построена на архитектуре Glm4MoeLiteForCausalLM и использует библиотеку MLX. Репозиторий содержит веса Safetensors и доступен по лицензии MIT. В README приведена команда установки mlx-lm для использования модели на MLX-совместимой платформе.

GLM-5.3-Flash-Alis-MLX-4bit — это 4-битная сборка модели GLM-5.3-Flash, разработанной Zhipu AI (zai-org), адаптированная для выполнения через MLX на устройствах Apple Silicon. Модель предназначена для генерации текста и локального инференса, включая сценарии программирования, работы с прозой, анализа табличных данных и решения математических задач. Базовая модель имеет архитектуру glm5_next: 320B параметров, из которых 18B активируются на токен (320B-A18B), mixture-of-experts с 288 экспертами, 34 слоями линейного внимания и 11 слоями DSA, а также механизмом mHC. Данная версия получена потоковой деквантизацией официального релиза FP8 и сохраняет маршрутизатор MoE и correction bias в формате FP32. В README также указана поддержка спекулятивного декодирования и двухузлового tensor parallelism, однако часть этих режимов относится к отдельным сборкам или экспериментальной инфраструктуре, а не непосредственно к опубликованному checkpoint. К сильным сторонам относятся существенно сниженный объём хранения по сравнению с полной моделью, оптимизация под MLX и высока скорость генерации на мощных системах Apple Silicon; для конфигурации M3 Ultra 512GB заявлялась скорость около 29 токенов в секунду при обычном декодировании. Ограничениями являются очень высокие требования к памяти, зависимость производительности от аппаратной конфигурации и MLX-окружения, а также экспериментальный статус некоторых режимов параллельного и спекулятивного декодирования. Модель распространяется по лицензии MIT.

Helion-V1.5 — диалоговая языковая модель, разработанная DeepXR и дообученная методом QLoRA на базе Meta Llama 2. Архитектура — плотная LlamaForCausalLM; базовая модель содержит около 7 млрд параметров, а адаптер LoRA — 67 млн. Модель принимает текст и генерирует текст, поддерживает диалоги и структурированные вызовы функций. Контекстное окно — 4096 токенов. Модель предназначена для следования инструкциям, многошаговых диалогов, генерации и объяснения кода, а также задач письма и анализа. В README приведены результаты тестов на диалог, следование инструкциям и генерацию кода; эти показатели зависят от тестового набора и условий оценки. Основной язык — английский, поддержка других языков ограничена. Модель распространяется по лицензии Apache 2.0. Известные ограничения: возможны фактические ошибки и галлюцинации, слабые результаты в сложных математических рассуждениях и временно-зависимых запросах; ответы на критичные вопросы следует проверять.

Inkbot — разговорная языковая модель, разработанная автором репозитория Tostino и основанная на плотной архитектуре Llama. Она предназначена для генерации ответов по структурированным запросам, с дополнительным контекстом или без него. Модель насчитывает 12,9 млрд параметров, использует формат PyTorch и имеет нативное окно контекста 4096 токенов. В карточке описана настройка позиционных эмбеддингов для работы с контекстом до 8k токенов. Inkbot подходит для RAG-сценариев и ответов по предоставленному контексту, редактирования и упрощения текста, суммаризации, перефразирования, создания текстов и извлечения знаний в виде графа. Структурированный шаблон запроса принимает дату, задачу, системную инструкцию и контекст пользователя; модель рассчитана на более функциональные и лаконичные ответы. Для лучших результатов требуется соблюдать шаблон и ясно задавать контекст. На сложных задачах возможны зацикливание генерации, бесконечное добавление узлов графа знаний и потеря влияния пользовательского контекста через один-два запроса. Указана лицензия Llama 2.

Карточка модели kakaocorp/kanana-2-30b-a3b-base-2601 на Hugging Face совпадает с карточкой kakaocorp/kanana-2-30b-a3b-instruct-2601, поэтому описание составлено по ней. Kanana-2-30B-A3B-Instruct-2601 — инструктивная языковая модель компании Kakao для диалогов и сценариев агентного ИИ. Она предназначена для следования сложным инструкциям, логических рассуждений и вызова инструментов; модель можно развернуть, например, через vLLM или SGLang с поддержкой выбора инструментов. Модель основана на архитектуре DeepSeek V3 с механизмом внимания MLA и разреженной смесью экспертов (MoE): всего 30 млрд параметров, из которых активируются около 3 млрд. Контекст составляет до 32 768 токенов. Семейство поддерживает корейский, английский, японский, китайский, тайский и вьетнамский языки. README указывает лицензию как отличную от стандартных вариантов, поэтому перед использованием следует проверить условия на странице репозитория Hugging Face. Для обработки контекста свыше 32 768 токенов требуется отдельно настроить YaRN; такая настройка может повлиять на качество коротких текстов. Метаданные указывают 2,9 млрд параметров, что расходится с описанием серии в README (30 млрд всего и около 3 млрд активных).

Kiel-2.1-Echo — языковая модель для диалогов и выполнения инструкций, разработанная KielTech в экосистеме Kiel AI. Это плотная причинная модель семейства Llama с 3,2 млрд параметров, дообученная на базе kiel2/Kiel-2-Echo и распространяемая как самостоятельные веса Safetensors в формате FP16. Метаданные указывают контекст до 131 072 токенов. Модель предназначена для разговорных ассистентов, генерации кода, помощи с асинхронными сценариями на Python, рассуждений о программной архитектуре и решения задач из разных областей. Она принимает текстовые запросы и генерирует текст; заявленный язык — английский. В карточке заявлены высокая производительность и строгое следование инструкциям, но сравнительные оценки или результаты тестов не приведены. Указаны варианты развёртывания через Transformers, vLLM и Text Generation Inference. Лицензия в предоставленных данных не описана.

Kimi K2.5 — открытая мультимодальная модель от Moonshot AI, построенная продолжением предварительного обучения примерно на 15 триллионах визуальных и текстовых токенов на базе Kimi-K2-Base. Она сочетает понимание изображений и текста с диалоговыми и агентными возможностями, поддерживает режимы instant и thinking и может разбивать сложные задачи на параллельные подзадачи для специализированных агентов. Модель предназначена для визуальных вопросов и рассуждений, генерации кода по визуальным спецификациям, а также выполнения многошаговых задач с инструментами, например поиском в интернете и интерпретатором кода. Архитектура — смесь экспертов (MoE), всего около 1 трлн параметров, из которых активируются 32 млрд; в README для оценки указан контекст 256 тысяч токенов. Репозиторий использует safetensors и содержит нативную INT4-квантизацию. Модель принимает текст и изображения и генерирует текст. README описывает мультимодальное обучение, но не перечисляет поддерживаемые естественные языки. Лицензия указана как other, поэтому конкретные условия использования следует проверять на странице модели. Качество зависит от задачи и доступных инструментов; сложные агентные сценарии требуют подходящей инфраструктуры выполнения инструментов.