II.10Разработка и эксплуатация AI/ML-систем

AX-DeepSeek-V4-Flash-MLX-AXQ-2bit-MTP — это экспериментальный MLX-чекпойнт, разработанный AutomatosX на основе модели DeepSeek-V4-Flash от deepseek-ai. Модель предназначена для генерации текста и запуска на компьютерах Apple Silicon через MLX-LM или AX Engine. Архитектура исходной модели — DeepseekV4ForCausalLM с mixture of experts; основной путь обработки текста квантизирован, а MTP-компонент сохранён в BF16. Модель содержит около 284,33 млрд логических параметров, использует смешанную точность с преобладанием 2-битных весов и имеет измеренный общий размер 3,1605 BPW. Размер Safetensors-весов составляет около 114,94 ГБ, а полный объём загрузки — около 115,02 ГБ. Заявленный максимальный контекст — 1 048 576 токенов, однако практическая длина зависит от объёма unified memory устройства. Модель поддерживает только текстовую модальность: vision и audio отсутствуют. Основное преимущество — существенно сниженные требования к хранению по сравнению с полноточной моделью при сохранении совместимости с MLX и возможностью прямого запуска в AX Engine. К ограничениям относятся экспериментальный статус 2-битной квантизации, высокая потребность в дисковом пространстве и памяти, отсутствие калибровки, а также то, что стандартный MLX-LM не активирует MTP-sidecar и не подтверждает ускорение speculative decoding. Проверенная сертификация привязана к конкретной ревизии Hub и конфигурации df-macstudio-m2. Репозиторий распространяется по лицензии Apache-2.0 и содержит MLX Safetensors, но не PyTorch- или GGUF-веса.

AZMX One — базовая языковая модель для генерации текста, разработанная проектом AZMX. Это промежуточный контрольный снимок обучения, а не финальная версия: на момент публикации завершено 107 400 из 152 587 шагов, модель обработала 422,54 млрд из 600 млрд токенов, поэтому веса могут регулярно заменяться. Модель предназначена для генерации текста и предварительного обучения или адаптации под прикладные сценарии, особенно связанные с индийскими языками. Она обучается на смеси примерно из 58% индийских языков, 16% английского текста, 12% математических данных, а также материалов предметных областей, кода и южноазиатского контента. Поддерживаются английский и 21 индийский язык, включая хинди, бенгальский, тамильский, телугу, маратхи, урду, гуджарати, каннада, малаялам, пенджаби, ория, ассамский, непали, санскрит и другие языки, перечисленные в карточке модели. AZMX One содержит 1,872,898,048 параметров и использует собственную архитектуру AZMXForCausalLM. В ней 32 слоя, размер скрытого состояния 2048, промежуточный размер 6144, 16 attention heads и 8 KV heads с GQA, head_dim 128, RMSNorm с накоплением в fp32, split-halves RoPE с theta 10 000, per-head QK-norm, SwiGLU и связанные эмбеддинги. Вокабуляр AZMX tokenizer v2 включает 128 000 токенов и оптимизирован для индийских языков. Максимальный контекст — 2048 токенов, точность хранения весов — bf16. Сильной стороной модели является ориентация на широкий набор индийских языков и использование крупного многоязычного вокабуляра. Однако это незавершённый чекпоинт, и его качество нельзя считать окончательным; для Manipuri, Konkani, Dogri, Maithili и Kashmiri отдельно отмечена регрессия на отложенных данных. Модель распространяется по лицензии Apache-2.0.

Bellatrix-1.5B-xElite — компактная авторегрессионная языковая модель с архитектурой Qwen2, разработанная на базе Qwen/Qwen2.5-1.5B-Instruct. Модель содержит 1,5 млрд параметров, работает с текстом и использует формат Transformers; заявленная длина контекста составляет 131 072 токена. По карточке, обучение включало дообучение на синтетических примерах QWQ, SFT и RLHF. Модель предназначена для диалогов, следования инструкциям, генерации и суммаризации текста, логических рассуждений и сценариев RAG, включая агентный поиск и синтез найденной информации. Карточка заявляет многоязычное применение, однако в метаданных указан английский язык. У модели также заявлен интерфейс для вызова инструментов. Возможные ограничения — склонность к фактическим ошибкам, зависимость качества от языка и обучающих данных, а также более слабая работа на специализированных и внераспределённых задачах. В таблице оценки приведены низкие результаты на IFEval (19,64%) и BBH (9,49%), поэтому качество рассуждений и следования инструкциям стоит проверять на целевых задачах. Лицензия — Apache-2.0.

Ben-3.1-Pro-Think — диалоговая языковая модель, разработанная Emiliosbs и дообученная на базе Emiliosbs/Ben3.0-7B-Uncensored. Модель построена на архитектуре Qwen2, имеет 7,1 млрд параметров и принимает текст для генерации текста. Для обучения использовались Unsloth и библиотека TRL; в репозитории веса представлены в формате Safetensors. Модель предназначена для диалоговой генерации текста и сценариев, где нужны ответы с рассуждениями; метаданные также указывают интерфейс вызова инструментов. Контекстное окно составляет 32 768 токенов, заявленная карточкой лицензия — Apache-2.0. В данных нет конкретных оценок качества или сведений о результатах обучения, поэтому пригодность для узких задач следует проверять отдельно.

BharatGPT-3B-Indic — языковая модель CoRover.ai, дообученная для генерации текста на индийских языках. Она предназначена для перевода, суммаризации, продолжения текста и диалоговых сценариев, в том числе для систем S-RAG, где ответы опираются на собственную базу знаний. Модель работает с хинди, пенджаби, маратхи, малаялам, ория, каннада, гуджарати, бенгальским, урду, тамильским и телугу; в метаданных также указан английский. Для загрузки используется Transformers, веса опубликованы в формате safetensors. Разработчик рекомендует дообучать модель на собственных данных или использовать её с поиском по документам, а не как самостоятельного чат-бота: знания модели могут быть устаревшими. В README приведены результаты оценки на многоязычных тестах и RAG-сценариях, однако они не заменяют проверку на данных конкретного применения. Указана лицензия для некоммерческого использования и академических исследований; для коммерческого применения требуется обратиться к CoRover.ai.

Bielik-Minitron-7B-v3.0-Instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели Bielik-Minitron-7B-v3.0-Instruct, разработанной SpeakLeash и ACK Cyfronet AGH. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp, Ollama, LM Studio и совместимые инструменты. Она особенно оптимизирована для польского языка, но поддерживает 32 европейских языка, включая английский, русский, украинский, немецкий, французский и другие. Модель построена по архитектуре causal decoder-only и имеет около 7 миллиардов параметров. Доступны варианты квантизации Q4_K_M, Q5_K_M, Q6_K, Q8_0, а также 16-битные FP16 и BF16. Квантизация снижает требования к ресурсам и упрощает локальное использование, однако может уменьшать качество ответов и повышать вероятность галлюцинаций; Q8_0 и 16-битные варианты требуют больше ресурсов. Поддержка инструментов возможна при использовании соответствующего шаблона Ollama. Модель распространяется по лицензии Apache 2.0. README не указывает размер контекстного окна, точные аппаратные требования, результаты бенчмарков или отдельные ограничения для каждого языка.

CalmexperimentPercival_01-7B — автоматически объединённая модель для генерации текста, созданная Maxime Labonne методом SLERP из allknowingroger/CalmExperiment-7B-slerp и AurelPx/Percival_01-7b-slerp. Модель основана на архитектуре Mistral и содержит 7,1 млрд параметров; принимает текст и поддерживает контекст до 32 768 токенов. Подходит для генерации текста и диалогов общего назначения. В репозитории указаны веса в формате safetensors, а лицензия — Apache-2.0. Сведения о специализированных возможностях, целевых языках и оценках качества не приведены.

Карточка модели psikosen/canopy-258m-r3-v5 на Hugging Face совпадает с карточкой psikosen/canopy-258m-r3-v4, поэтому описание составлено по ней. psikosen/canopy-258m-r3-v4 — компактная генеративная модель семейства Canopy, представленная как модель для рассуждений на периферийных устройствах и автоматизации браузера. В README описана архитектура рекуррентной смеси экспертов (MoE), однако метаданные указывают класс CanopyForCausalLM и 136,8 млн параметров; поэтому размер и точные архитектурные детали в источниках расходятся. Согласно README, модель ориентирована на генерацию текста, многошаговые рассуждения и выполнение действий в браузере, включая заполнение форм и цепочки действий. В карточке заявлены ограничение памяти KV-кэша при длинных последовательностях и ускорение генерации и браузерных операций; эти показатели приведены самим автором и независимая проверка в предоставленных данных отсутствует. Метаданные указывают английский язык и поддержку чата и кода. Модель распространяется под лицензией Apache-2.0.

Cathallama-70B-GGUF — это квантованные версии текстовой генеративной модели Cathallama-70B, разработанной gbueno86 и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp и совместимые приложения, включая LM Studio. README указывает английский язык и происхождение модели, связанное с mergekit, однако подробности исходной архитектуры и состава объединённых моделей не приведены. Доступны варианты квантования от IQ1_M и Q2 до Q8_0 с размером файлов примерно от 16,75 до 74,98 ГБ. Более качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; низкобитные варианты экономят память, но снижают качество. Некоторые версии используют Q8_0 для embedding- и output-весов. Формат GGUF и применение imatrix-калибровки ориентированы на эффективный локальный инференс, но требования к памяти остаются высокими из-за размера модели. Сведения о длине контекста, поддерживаемых модальностях помимо текста и результатах benchmark-тестов отсутствуют. Модель распространяется по лицензии llama3.1. Для работы рекомендуется использовать указанный в README шаблон prompt в стиле Llama 3.1 и совместимое программное обеспечение.

DeepSeek V4 Flash 0731 Vision (BF16) — экспериментальная мультимодальная модель, разработанная WebBrain на базе текстовой модели DeepSeek-V4-Flash-0731. Она объединяет языковую и агентную основу DeepSeek с замороженным визуальным энкодером MoonViT-3d, извлечённым из Kimi-K2.6, и обученным WebBrain проектором PatchMerger с routing bridge. Модель предназначена для browser agents и других сценариев, где требуется анализ визуального состояния веб-страниц: скриншотов, графиков, панелей управления, редакторов и элементов интерфейса. Архитектура использует проектор LayerNorm → объединение патчей 2×2 → Linear(4608, 4608) → GELU → Linear(4608, 4096). Поддерживается один маркер изображения <image> и не более 512 объединённых image-токенов. Текстовая часть сохранена без изменений и использует исходные конфигурацию DSpark/MTP и метаданные FP8; добавленные vision tower и projector содержат BF16-тензоры. Модель рассчитана на работу через внешний пакет модели и процессора DeepSeek/MoonViT и специальную интеграцию SGLang, а не через стандартные Transformers или стандартный SGLang. Сильными сторонами являются использование производительной текстовой основы DeepSeek, визуальное понимание веб-интерфейсов и сохранение исходных текстовых весов и их метаданных. Ограничения включают экспериментальный статус интеграции, необходимость применять указанный патчированный стек SGLang, поддержку только одного маркера изображения и отсутствие повторной полной проверки запуска на GPU и генерации изображений именно для этой собранной версии. В карточке указана лицензия other; дополнительные условия использования не приведены.

DeepSeek-V4-Flash-IQ2XXS-TM64-Q4KAttention-v1 — локальная GGUF-сборка базовой модели DeepSeek-V4-Flash-0731 от deepseek-ai. Пакет подготовлен erayyapagci на основе квантизаций из репозиториев antirez и Ralii и предназначен для запуска через специализированную ветку llama.cpp с Vulkan. Модель ориентирована на генерацию текста и диалоговые сценарии на английском и китайском языках. Основная модель использует разреженную экспертную архитектуру с 86 тензорами routed experts в формате IQ2_XXS/Q2_K, а также Q4_K-квантизацию attention-слоя. Ключевая особенность — альтернативная раскладка TM64 для экспертных тензоров и соответствующие Vulkan-ядра. В комплект входит отдельная draft-модель DSpark размером около 10 ГБ для speculative decoding; основной файл занимает около 79 ГБ. Заявлена поддержка контекста до 409 600 токенов на слот, а в многослотовых конфигурациях — до 1 228 800 токенов. Сильные стороны сборки — уменьшенный размер по сравнению с полноточной моделью, возможность локального запуска, ускорение prompt processing примерно на 14,86% и decode примерно на 2,50% в приведённых тестах, а также проверенная эквивалентность результатов стандартному пути. TM64 оптимизирована прежде всего для AMD/RADV/RDNA3, включая Strix Halo с устройством gfx1151; на других устройствах могут применяться стандартные ядра IQ2_XXS или потребуется конвертация. Для работы необходимы оба файла и совместимый специализированный runtime llama.cpp. В метаданных репозитория указана лицензия MIT, однако README уточняет, что для исходной модели действует её оригинальная лицензия.

DEFUNCT-EXPERIMENT2_1 — объединённая языковая модель от netcat420, созданная из предварительно обученных моделей с помощью mergekit и метода SLERP. Она предназначена для генерации текста в диалоговом формате; метаданные также отмечают интерфейс вызова инструментов. Модель имеет плотную архитектуру Qwen2 для причинной генерации, содержит 7,1 млрд параметров и поддерживает контекст длиной до 4096 токенов. В объединении использованы netcat420/DeepSeek-R1-MFANN-TIES-unretrained-7b и netcat420/Qwen2.5-DeepSeek-R1-MFANN-7b. В README указана базовая модель netcat420/DeepSeek-R1-MFANN-TIES-unretrained-7b; веса сохранены в формате safetensors. Лицензия в предоставленных источниках не приведена.

Diba-Base — базовая большая языковая модель семейства Diba, разработанная Dibachain. Это плотная авторегрессионная модель с архитектурой DibaForCausalLM и 3,4 млрд параметров; она предназначена для диалога, генерации кода и работы с инструментами. Основной язык модели — персидский (фарси), также она отвечает на английском и поддерживает запросы на обоих языках. Модель ориентирована на персидскую письменную речь, знания об Иране, включая его современную историю, и написание кода, в том числе на Python и JavaScript. Её можно запускать локально и офлайн; карточка описывает запуск на CPU через GGUF, хотя в метаданных репозитория указан формат safetensors. Заявленная длина контекста — 262 144 токена. В сравнительных тестах из карточки модель показала хорошие результаты на вопросах об истории Ирана и задачах кодирования для своего размера. Это результаты автора, а не независимая оценка. Для модели такого размера важно проверять факты и сгенерированный код; ответы также отражают перспективы, представленные в обучающих данных. Лицензия — Apache-2.0.

Dream-org_Dream-v0-Instruct-7B-GGUF — это набор квантизированных GGUF-версий модели Dream-v0-Instruct-7B, разработанной Dream-org и подготовленной пользователем bartowski. Модель предназначена для генерации текста и выполнения инструкций, а запускать её можно через llama.cpp, LM Studio и другие проекты на базе llama.cpp. В набор входят варианты с исходной точностью bf16 и несколькими уровнями квантизации: от Q8_0 до Q2_K_L, включая семейства Q4, Q5, Q6, Q3 и IQ. Размер файлов составляет примерно от 3,55 до 15,24 ГБ, что позволяет выбирать баланс между качеством ответа и требованиями к оперативной памяти. Квантизация выполнена с использованием imatrix на базе llama.cpp, релиз b5915. Поддерживается формат диалога с ролями system, user и assistant через специальные токены im_start и im_end. Сильной стороной набора является широкий выбор вариантов для локального запуска: версии Q6 и Q5 ориентированы на высокое качество, Q4 подходят для большинства сценариев, а Q3 и Q2 рассчитаны на системы с ограниченным объёмом памяти. Более сильное сжатие снижает требования к ресурсам, но может ухудшать качество генерации. В README не указаны архитектурные детали базовой модели, поддерживаемые языки, размер контекстного окна и лицензия, поэтому эти характеристики нельзя достоверно определить по представленным данным.

IbrahimAmin/egyptian-arabic-wav2vec2-xlsr-53 — модель распознавания речи на базе wav2vec2-large-xlsr-53, дообученная Ibrahim Amin на арабских речевых данных. Она предназначена для преобразования аудио в текст, в первую очередь для египетского разговорного арабского, а также для современного литературного арабского и диалектов Персидского залива и Леванта. Архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров; модель работает с аудио и выдаёт текст. В обучении использованы записи YouTube, MASC, Common Voice 15, MGB-3 и Arabic Speech Corpus; в карточке также приведено сравнение на тестовой выборке Common Voice 17 для арабского языка. Модель можно применять для транскрибации разговоров и вещательной речи. Распространяется по лицензии Apache-2.0. README не сообщает длину входных записей или ограничения по условиям записи; качество распознавания может различаться между диалектами и акустическими условиями.

Experiment26Neuralsirkrishna_Experiment27Experiment28 — объединённая методом SLERP модель для генерации текста, созданная на основе двух моделей Mistral: automerger/Experiment26Neuralsirkrishna-7B и automerger/Experiment27Experiment28-7B. Она предназначена для запросов и сценариев, где требуется генерация текста; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

Experiment26Yam_Experiment27Experiment28 — объединённая языковая модель семейства Mistral, созданная на основе automerger/Experiment26Yam-7B и automerger/Experiment27Experiment28-7B. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и распространяется в формате safetensors. Модель предназначена для генерации текста и принимает текстовые запросы, формируя текстовые ответы. Максимальная длина контекста составляет 32 768 токенов. В карточке не описаны специализация по языкам или прикладным областям, а также сравнительное качество модели. Лицензия — Apache-2.0.

MaziyarPanahi/Experiment26Yamshadow_Ognoexperiment27Multi_verse_model — объединённая модель для генерации текста, построенная на архитектуре Mistral. Она объединяет модели automerger/Experiment26Yamshadow-7B и automerger/Ognoexperiment27Multi_verse_model-7B. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста по текстовому запросу. Данные не описывают конкретную специализацию или языки, поэтому её можно рассматривать как модель общего назначения. Веса опубликованы в формате safetensors, лицензия — Apache-2.0.

Experiment28M7_Experiment24Shadow — слитая языковая модель семейства Mistral, объединяющая модели automerger/Experiment28M7-7B и automerger/Experiment24Shadow-7B. Она содержит 7,1 млрд параметров и предназначена для генерации текста по текстовым запросам; заявленная длина контекста — до 32 768 токенов. Модель подходит для диалогов, черновиков и продолжения текста, а также для других задач генерации на основе текстового контекста. Веса опубликованы в формате safetensors, лицензия — Apache 2.0. В карточке нет подробных оценок качества или сведений о специализированной настройке модели.

Experiment28M7_ShadowMeliodas — объединённая модель на базе архитектуры Mistral, созданная из automerger/Experiment28M7-7B и automerger/ShadowMeliodas-7B. Она предназначена для генерации текста и диалогов; модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

Fabric 1.5-0.7B-Instruct — компактная языковая модель Fabric AI для диалогов и выполнения инструкций. Это дообученная версия Fabric1.5-0.7B-Base с причинной dense-архитектурой FabricForCausalLM и примерно 695 млн параметров по метаданным. Модель работает с текстом, обучена в том числе на английских данных и имеет контекст до 32 768 токенов. Архитектура Chunked Fabric Memory сочетает локальное внимание к последним 2 048 токенам с краткими обучаемыми представлениями более ранних фрагментов контекста. Разработчик описывает модель как предназначенную для следования инструкциям, рассуждений и ответов на вопросы; в README приведены результаты отдельных тестов, но они не гарантируют качество на прикладных задачах. Для загрузки через Transformers может потребоваться доверенный код из репозитория. Метаданные указывают лицензию Apache-2.0.

Gemma 3 1B IT — компактная instruction-tuned модель для генерации текста, разработанная Google. Данная версия распространяется сообществом LM Studio в формате GGUF: квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для локального запуска и поддерживает задачи генерации текста, включая ответы на вопросы, суммаризацию и рассуждения. Модель имеет размер 1 млрд параметров, контекст до 32 000 токенов и максимальную длину вывода 8192 токена. Для работы требуется llama.cpp runtime версии 1.19.0 или более новой, причём README отдельно указывает на необходимость актуальной beta-версии runtime. К сильным сторонам относятся компактный размер, возможность локального использования и большой контекст; конкретные языки и модальности в предоставленных данных не указаны. Ограничения включают зависимость от совместимого runtime и потенциальные ошибки, неточности или неподходящее содержимое, характерные для генерирующих моделей. Использование регулируется лицензией Gemma; для доступа на Hugging Face требуется ознакомиться с условиями лицензии Google.

Melvin56/GLM-4-9B-0414-abliterated-GGUF — это GGUF-квантизованная версия модели huihui-ai/GLM-4-9B-0414-abliterated, подготовленная пользователем Melvin56. Модель предназначена для генерации текста и локального запуска через совместимые реализации llama.cpp. В README указано, что квантизация выполнена с использованием imatrix и специального набора данных, а сами файлы пересобраны на базе llama.cpp build 558a7647 (5190). Модель относится к семейству GLM и имеет размер 9B параметров в исходной версии; доступны варианты K-quants и I-quants. Поддерживаются CPU с AVX2 и ARM NEON, Metal, cuBLAS, rocBLAS и SYCL, а для отдельных вариантов также Vulkan и CLBlast; некоторые конфигурации работают медленнее или поддерживаются частично. Заявлены китайский и английский языки, текстовая модальность и контекст генерации текста, однако точный размер контекстного окна в README не указан. К сильным сторонам относятся возможность локального запуска на широком спектре CPU и GPU, выбор разных уровней квантизации и совместимость с llama.cpp. Ограничения включают зависимость производительности и доступности отдельных вариантов от backend и аппаратной платформы, а также отсутствие подробных данных о качестве, бенчмарках и точном контекстном окне. Модель распространяется по лицензии MIT.

glm-4-9b-chat-IMat-GGUF — это набор GGUF-квантизированных версий чат-модели THUDM/glm-4-9b-chat, разработанной командой THUDM. Квантизацию выполнил legraphista с использованием llama.cpp и IMatrix для ряда вариантов. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимое программное обеспечение, например llama.cpp. Модель имеет около 9 миллиардов параметров и создана на основе исходной версии в формате BF16. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантизаций; размеры файлов составляют примерно от 3,99 до 18,81 ГБ. В метаданных указана поддержка китайского и английского языков. Для низкобитных вариантов применена IMatrix, призванная улучшить качество квантизации, однако конкретные показатели качества и максимальный размер контекста в README не указаны. Главное преимущество набора — выбор между качеством, размером и требованиями к ресурсам, что позволяет запускать модель на различном локальном оборудовании. Ограничения связаны с потерями качества при более агрессивной квантизации, а также с отсутствием в предоставленных данных подробных бенчмарков, требований к памяти и описания архитектуры. Модель распространяется по лицензии glm-4; README указывает отдельную лицензию и ссылку на лицензионные условия исходной модели.

GML-Mistral-merged-v1 — языковая модель, опубликованная mlabonne как попытка воспроизвести zyh3826/GML-Mistral-merged-v1. Это слияние весов quantumaikr/quantum-v0.01 и mncai/mistral-7b-dpo-v5, выполненное с помощью mergekit методом passthrough; модель построена на архитектуре MistralForCausalLM и содержит около 8,9 млрд параметров. Модель предназначена для генерации текста и может использоваться для диалогов, ответов на вопросы и рассуждений на основе текстового запроса. В метаданных указан контекст до 32 768 токенов. README приводит результаты оценки на задачах AI2 Reasoning Challenge и HellaSwag, но не описывает целевые языки или специализированные области применения. Веса доступны в формате safetensors, лицензия — Apache-2.0. Показатели из README относятся к отдельным бенчмаркам и сами по себе не гарантируют качество ответов в прикладных сценариях.

Pantheon-Reasoning-26B-A4B-1.1-V2-GGUF — это квантизированная версия текстовой генеративной модели Gryphe/Pantheon-Reasoning-26B-A4B-1.1-V2, подготовленная пользователем bartowski в формате GGUF с использованием llama.cpp. Модель предназначена для диалоговых и инструкционных сценариев, рассуждений, ролевого общения и творческого письма. Заявлена поддержка английского языка и текстовых входных данных. Модель содержит около 27 млрд параметров. Для неё доступны веса в формате BF16 и несколько вариантов квантизации от Q3 до Q8, включая рекомендуемый Q4_K_M размером 18,75 ГБ, а также более качественные Q5 и Q6. Используется imatrix-квантизация; спекулятивное декодирование не поддерживается. Контекстное окно и архитектурные детали в README не указаны, поэтому их характеристики нельзя оценить по предоставленным данным. Сильными сторонами являются широкий выбор вариантов размера и качества, возможность локального запуска через совместимые инструменты GGUF и оптимизация для различных ограничений по памяти. Более компактные варианты экономят ресурсы, но могут уступать старшим квантизациям по качеству. Лицензия модели указана как Apache-2.0.

Это MLX-версия модели Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated, опубликованная сообществом mlx-community. В основе лежит Qwen3.6-35B-A3B от Alibaba Cloud; модель Huihui является производной модификацией, а данный репозиторий содержит её 8-битное представление для запуска с MLX на совместимом оборудовании, прежде всего на устройствах Apple Silicon. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через mlx-lm и OpenAI-совместимый сервер. Она относится к архитектуре Mixture of Experts (MoE), имеет около 35 млрд параметров и использует 8-битное представление; размер файлов репозитория составляет примерно 36,8 ГБ. В метаданных указаны английский язык и поддержка conversational text generation. Точные сведения о размере активной части MoE, длине контекста, полном наборе языков и результатах тестирования для этой конкретной MLX-сборки не приведены. Преимущество модели — сочетание крупной базовой архитектуры с 8-битным представлением и оптимизацией под MLX, что делает локальное использование практичнее по сравнению с полной точностью. Ограничения включают значительные требования к памяти, отсутствие опубликованной подробной документации и бенчмарков для данной сборки, а также неопределённость характеристик производной модификации. Лицензия непосредственно в карточке MLX-репозитория не указана; для исходной модели Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated указана Apache 2.0.

Модель braindao/iq-code-evmind-0.5b — компактная языковая модель семейства Qwen2, разработанная braindao как дообучение braindao/iq-code-evmind-0.5b-instruct-v0.2411.4. Она предназначена для генерации текста и диалогового взаимодействия; метаданные также указывают интерфейс вызова инструментов. Модель содержит 494 млн параметров, принимает текст и поддерживает контекст до 32 768 токенов. Модель опубликована в формате Safetensors и распространяется по лицензии Apache-2.0. Карточка сообщает об обучении с использованием Unsloth и TRL. README не описывает специализированную область применения или результаты оценки качества, поэтому её стоит рассматривать как компактную модель общего назначения, а качество ответов и вызова инструментов проверять на целевых задачах.

Jet-Nemotron-4B — плотная причинно-языковая модель с 3,1 млрд параметров из семейства Jet-Nemotron. По карточке модели, семейство разработано с применением метода post-training Neural Architecture Search и использует JetBlock — блок линейного внимания, образуя гибридную архитектуру. Модель предназначена для генерации текста и диалогового взаимодействия; поддерживает контекст до 32 768 токенов и рассчитана на английский язык. Разработчики заявляют о высокой пропускной способности генерации и приводят сравнительные результаты на общих языковых бенчмарках, включая MMLU, MMLU-pro и BBH. Для работы указаны Transformers и требования к ряду дополнительных библиотек; в репозитории веса представлены в формате safetensors. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией в карточке модели.

MLX-версия модели Kimi-K2-Thinking, разработанная сообществом mlx-community на основе модели moonshotai/Kimi-K2-Thinking. Модель предназначена для генерации текста и запуска в экосистеме MLX с использованием библиотеки mlx-lm, включая сценарии диалогового взаимодействия через chat template. Известно, что модель имеет формат MLX и была преобразована с помощью mlx-lm версии 0.28.4. В карточке указано назначение text-generation, однако сведения об архитектуре, размере, объёме контекста, поддерживаемых языках и модальностях отсутствуют. Для работы требуется библиотека mlx-lm; в примере используется загрузка модели через mlx_lm.load и генерация ответа через mlx_lm.generate. Лицензия обозначена как modified-MIT с типом other. Подробные условия лицензии, а также ограничения и результаты оценки качества в карточке не приведены.