II.10Разработка и эксплуатация AI/ML-систем

Cogito-0.9.1-15B — разговорная аналитическая модель на 14 млрд параметров, разработанная ozaa77 и основанная на архитектуре Qwen3. Она предназначена для генерации ответов с проверкой предпосылок вопроса, поиском противоречий и оценкой уверенности; поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст, включая структурированные рассуждения и ответы. В README приведены результаты на задачах знаний и рассуждений: MMLU-Pro, GPQA Diamond и MATH-500. Доступны веса safetensors для запуска через Transformers и совместимые среды. Контекстное окно составляет 40 960 токенов. Карточка описывает англоязычное применение; метаданные указывают английский язык. Модель может помогать анализировать аргументы, решать математические и научные задачи и отвечать на вопросы с оговоркой об уверенности. Результаты бенчмарков из README не гарантируют качество в конкретном применении. Лицензия — Apache-2.0.

sleepyeldrazi/DeepSeek-v4-Flash-REAP-K180-NVFP4 — это производная текстовая модель на основе DeepSeek V4 Flash, подготовленная sleepyeldrazi. Она использует структурное удаление экспертов методом REAP: в слоях MoE оставлено 180 из 256 маршрутизируемых экспертов, а слои 0–2 сохранены без такого сокращения. По README, дообучения не было: это подмножество исходных весов, упакованное в GGUF с гибридной точностью NVFP4, Q2_K и Q8_0; NVFP4-конверсия экспертных весов описана как преобразование формата масштабов без потери точности относительно исходного MXFP4. Модель предназначена для генерации текста и диалогового использования, включая программирование, агентные сценарии с вызовом инструментов, исследования и ответы на длинном контексте. README заявляет поддержку контекста до 1 млн токенов на NVIDIA DGX Spark с GB10 при использовании FP8 KV-кэша и специального движка ds4-nvfp4-spark с управляемой памятью. Обычные GGUF-движки, включая стандартный llama.cpp, модель не загружают. Лицензия — MIT. Запуск зависит от специализированного оборудования и программного обеспечения; для конфигурации K180 в README указана необходимость режима управляемой памяти, а сама карточка помечена как экспериментальная. В заявленных характеристиках есть оптимизации под DGX Spark, поэтому переносимость и производительность на других системах не подтверждены предоставленными данными.

QuantTrio/GLM-4.1V-9B-Thinking-AWQ — это AWQ-квантизированная версия визуально-языковой модели GLM-4.1V-9B-Thinking, разработанной ZhipuAI на базе GLM-4-9B-0414. Модель предназначена для генерации текста и решения задач, требующих совместного анализа изображений и текста, включая сложное рассуждение, понимание контекста и мультимодальные агентные сценарии. Модель содержит около 9 млрд параметров, поддерживает текстово-визуальный ввод, китайский и английский языки, контекст длиной до 64 тысяч токенов, изображения с произвольным соотношением сторон и разрешением до 4K. Версия AWQ занимает около 6,9 ГБ и ориентирована на запуск с использованием vLLM; в README указана поддержка tensor parallel size 1, 2 и 4. К сильным сторонам относятся специализированное reasoning-обучение с использованием Chain-of-Thought и высокие результаты на мультимодальных бенчмарках. Ограничения включают необходимость совместимых версий vLLM и специализированной сборки для запуска, а также отсутствие в README подробных характеристик квантирования и результатов практического тестирования. Модель распространяется по лицензии MIT.

gpt-oss-120b-MLX-8bit — это 8-битная квантованная версия языковой модели gpt-oss-120b, разработанной OpenAI. Квантование выполнено командой LM Studio с использованием MLX — фреймворка Apple Machine Learning Research для работы с моделями на устройствах Apple Silicon. Модель предназначена для генерации текста и локального использования в сценариях, поддерживаемых базовой моделью gpt-oss-120b. Она опубликована в формате, оптимизированном для Apple Silicon, и относится к моделям text-generation. В доступных данных не указаны архитектура, точный размер в параметрах исходной модели, поддерживаемые языки, длина контекста или мультимодальные возможности. Ключевая особенность модели — 8-битное квантование, которое может снизить требования к памяти и повысить удобство локального запуска по сравнению с полноразмерной версией, однако потенциально связано с компромиссом между эффективностью и точностью. Качество и поведение модели наследуют ограничения исходной gpt-oss-120b; README также предупреждает о возможных неточных, вредных или неподходящих результатах. Лицензия модели — Apache 2.0.

HelpingAI Dhanishtha-2.0-preview-GGUF — это квантизированная версия языковой модели Dhanishtha-2.0-preview, разработанной HelpingAI и подготовленной пользователем bartowski в формате GGUF с использованием llama.cpp. Модель предназначена для генерации текста, диалогового взаимодействия, рассуждений с промежуточным мышлением, решения сложных задач, философских и образовательных объяснений. Модель относится к архитектуре Transformers и поддерживает мультиязычную работу, включая английский, хинди, китайский, испанский, французский, немецкий, японский, корейский, арабский, португальский, русский и ряд других языков. Доступны варианты от BF16 размером около 29,54 ГБ до различных квантизаций объёмом примерно от 8,11 ГБ. Квантизации позволяют запускать модель с меньшими требованиями к памяти; варианты Q5 и Q6 заявлены как высококачественные, а Q4_K_M — как оптимальный размер для большинства сценариев. Длина контекста, число параметров и мультимодальные возможности в README не указаны, поэтому модель следует считать текстовой. Сильными сторонами являются поддержка большого числа языков, ориентация на рассуждения и наличие широкого выбора квантизаций для локального запуска. Ограничения связаны с возможной потерей качества в более компактных квантизациях, значительными требованиями к памяти у крупных вариантов и отсутствием данных о производительности, длине контекста и результатах оценки. Модель можно запускать через LM Studio, llama.cpp и другие совместимые проекты. Указана лицензия Apache-2.0.

Это квантованный вариант Huihui-Mistral-Small-3.2-24B-Instruct-2506-abliterated, опубликованный пользователем maerong3. Модель была преобразована из исходной версии huihui-ai в формат GGUF с использованием llama.cpp и сервиса GGUF-my-repo. Она предназначена для локального запуска и инференса через llama.cpp, включая режим командной строки и серверный режим. Из доступных данных известно, что модель основана на варианте Mistral Small с 24 миллиардами параметров и имеет инструкционную настройку. Квантование Q4_K_M уменьшает требования к памяти по сравнению с полной версией, что удобно для локального использования, однако может снижать точность по сравнению с более высокоточными вариантами. В карточке заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Также модель помечена как abliterated и uncensored, но подробности метода, контекстное окно и фактические мультимодальные возможности не указаны. Модель распространяется по лицензии Apache-2.0. Для запуска рекомендуется llama.cpp; в README приведены примеры использования с контекстом 2048 токенов, но это значение является параметром конкретной команды, а не обязательно максимальным контекстом модели. Данные о преимуществах, ограничениях безопасности, результатах тестирования и точной архитектуре отсутствуют.

J.O.S.I.E. — чат-модель и ассистент, разработанный Gökdeniz Gülmez. Это дообученная на пользовательских наборах DPO модель на базе Goekdeniz-Guelmez/Josiefied-Qwen2.5-7B-Instruct-abliterated-v2 с архитектурой Qwen2 и 7,1 млрд параметров. Она предназначена для диалоговой генерации текста и выполнения запросов пользователя; в метаданных также отмечен интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса в формате safetensors, лицензия — Apache 2. README описывает её как ассистента с менее ограниченным поведением, однако подробности обучающих данных и системного промпта в доступной карточке опущены.

Josiefied-Qwen3-4B-abliterated-v2 — диалоговая языковая модель Goekdeniz-Guelmez на архитектуре Qwen3, дообученная на основе Qwen/Qwen3-4B-Instruct-2507 и модифицированная методом Gabliteration. Она предназначена для генерации текста, общения и выполнения инструкций; сохранена поддержка вызова инструментов через соответствующий интерфейс. Модель содержит 3,7 млрд параметров и поддерживает контекст до 262 144 токенов. Разработчик заявляет, что модификация снижает отказы и ограничения на генерацию, сохраняя следование инструкциям и работу с инструментами. Доступны веса в формате safetensors; в карточке также упоминаются варианты GGUF и i1 GGUF. Лицензия в предоставленных данных не указана.

LFM2.5-1.2B-Instruct — плотная гибридная языковая модель Liquid AI для локального и периферийного развертывания. Это версия общего назначения, дообученная следовать инструкциям на базе LiquidAI/LFM2.5-1.2B-Base. В карточке указано 1,17 млрд параметров, 16 слоёв (10 блоков double-gated convolution и 6 блоков GQA), а метаданные Hugging Face указывают 1,5 млрд параметров. Модель принимает текст и генерирует текст; поддерживает контекст до 32 768 токенов по README, тогда как метаданные каталога указывают нативный контекст 128 000 токенов. Модель рассчитана на агентные сценарии, извлечение данных, ответы по документам в RAG и вызов функций. Liquid AI заявляет высокую скорость локального вывода и возможность работы с ограниченной памятью. Поддерживаемые языки: английский, арабский, китайский, французский, немецкий, японский, корейский и испанский. Модель не рекомендуется для задач, требующих обширных знаний, и программирования. Лицензия обозначена в метаданных как other; конкретные условия следует сверить с лицензией репозитория.

jiangchengchengNLP/llama3.3-70B-instruct-abliterated-awq — это 4-битная квантованная версия AWQ модели Llama-3.3-70B-Instruct-abliterated. Базовая модель разработана huihui-ai на основе Llama 3.3 70B Instruct, первоначально созданной Meta AI. Модель предназначена для генерации текста и использования в сценариях, где требуется следование инструкциям. Модель поддерживает текстовый ввод и вывод, относится к семейству Llama и имеет размер 70 миллиардов параметров. В README указаны английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий языки. Квантование AWQ до 4 бит снижает требования к памяти по сравнению с полноразмерной версией, однако README не содержит данных о контекстном окне, производительности, аппаратных требованиях или результатах оценки. Модель распространяется по лицензии llama3.3. Ограничения, связанные с качеством, безопасностью, областью применимости и особенностями версии abliterated, в README подробно не описаны.

Llama-Nephilim-Metamorphosis-v2-8B — объединённая языковая модель на архитектуре Llama, созданная автором репозитория с помощью mergekit. В неё с небольшим весом добавлена модель grimjim/llama-3-Nephilim-v3-8B, дообученная на основе Instruct, а основой служит Meta-Llama-3.1-8B-Instruct. После объединения дополнительное обучение не проводилось. Модель предназначена для прямого диалога и генерации текста. Она содержит около 7,5 млрд параметров, рассчитана на контекст до 131 072 токенов и сохраняет возможности обработки длинного контекста; автор сообщает о тестировании до 16 тыс. токенов. Используются архитектура Llama и формат safetensors. Карточка отмечает преимущественно сохранённое поведение безопасности. Модель принимает текст и генерирует текст. Она распространяется по лицензии llama3.1; применяйте её с соблюдением условий этой лицензии.

Manticore 30B Chat (ALPHA) — диалоговая модель OpenAccess AI Collective, дообученная на базе Llama 30B. Это плотная авторегрессионная модель семейства Llama с 32,3 млрд параметров, предназначенная для генерации ответов в формате чата. В обучении использованы диалоги, инструкции, примеры рассуждений, задач на знания и логику, математику, суммаризацию, код и отфильтрованные данные для ролевых сценариев. Модель принимает текстовые запросы и генерирует текст; в карточке указан английский язык. Это альфа-чекпойнт, обученный только на 0,4 эпохи: авторы отмечают скачки потерь при обучении и уязвимость к обходу имеющегося выравнивания. Модель не прошла RLHF и не имеет встроенной фильтрации ответов, поэтому может выдавать нежелательный контент. Подходит для экспериментов с чат-моделями и генерацией текста; сведений о лицензии в предоставленных данных нет.

Muse-Glimmer-30B-GGUF — квантизированная версия мультимодальной модели Muse-Glimmer-30B, разработанной meta-models и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации и анализа текста, а также обработки изображений при использовании дополнительного файла mmproj, поэтому подходит для текстовых и текстово-визуальных сценариев. Поддерживается MTP, однако подробности архитектуры, языков и размера контекстного окна в карточке не указаны. Модель содержит около 30 млрд параметров и доступна в вариантах от BF16 до низкобитных квантований Q2 и IQ3. Квантизации выполнены с использованием llama.cpp и imatrix; варианты отличаются размером файла, качеством и требованиями к оперативной памяти. В качестве сбалансированного варианта рекомендуется Q4_K_M размером около 17,31 ГБ, а Q5 и Q6 позиционируются как более качественные, но более ресурсоёмкие. Низкобитные варианты позволяют работать при ограниченных ресурсах, но могут заметно терять в качестве. Для использования необходим совместимый рантайм llama.cpp или другое ПО с поддержкой GGUF; для обработки изображений требуется mmproj-файл. Модель распространяется по лицензии Apache-2.0.

Это квантованная в формате GGUF версия Nemotron-3-Nano-Omni-30B-A3B-Reasoning от NVIDIA, подготовленная majentik для запуска через llama.cpp. Веса языковой основы представлены в варианте MXFP4_MOE; модель использует гибридную архитектуру Mamba-2 и Transformer с разреженным MoE. Для мультимодального запуска требуется отдельный файл мультимодального проектора mmproj-F16. Модель предназначена для диалогов и задач понимания текста и изображений; карточка базовой модели также описывает работу с аудио и видео. В README указаны текстовый бэкенд, визуальный энкодер CRADIO v4-H и аудиоэнкодер Parakeet-TDT-0.6B-v2. Для инференса с изображениями, аудио и видео рекомендуется llama-mtmd-cli; Ollama в описанном варианте поддерживает только текст. Режим расширенного рассуждения включён по умолчанию и может отключаться параметром enable_thinking=False. Это квантованный производный вариант базовой модели NVIDIA, а не отдельный метод TurboQuant: README уточняет, что это название релиза и что веса получены стандартными квантователями. Оценочный размер файла — около 30 ГБ. README предупреждает, что сборка llama.cpp с CUDA 13.2 даёт некорректные результаты; рекомендуются CUDA 12.x, Metal или CPU. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

Ornith-Agents-A1-3.6-35B-A3B-dare_ties — мультимодальная разговорная модель, созданная сообществом tepirale слиянием моделей через mergekit. В качестве основы использована Qwen/Qwen3.5-35B-A3B, а в слияние также вошли deepreinforce-ai/Ornith-1.0-35B и InternScience/Agents-A1; применён метод DARE TIES. Модель распространяется в формате safetensors и предназначена для диалога, анализа изображений и агентных задач. Модель принимает текст и изображения и генерирует текст. В README приведены результаты на MMLU, MMLU-Pro и HellaSwag, но они различаются между указанными объёмами выборки, поэтому не позволяют однозначно оценить качество. Модель доступна по лицензии Apache-2.0.

piano-medley-7b-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением mistralai/Mistral-7B-Instruct-v0.2 и chargoddard/piano-medley-7b методом SLERP. Она предназначена для генерации текста и ответов на инструкции в чат-сценариях. Модель построена на архитектуре Mistral с 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. README не описывает специальные предметные области или отдельные ограничения качества.

Карточка модели Silin1590/Qwen-0d5B-Int-AbstraL-v2 на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Карточка модели pcuenq/Qwen2.5-0.5B-Instruct-with-new-merges-serialization на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

mlx-community/Qwen2.5-3B-Instruct-4bit — преобразованная в формат MLX и 4-битно квантованная инструктивная языковая модель для диалоговой генерации текста. Репозиторий mlx-community создан на основе Qwen/Qwen2.5-3B-Instruct; исходную конвертацию выполнили с помощью mlx-lm версии 0.18.1. Модель построена на плотной архитектуре Qwen2, содержит 3,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель подходит для ответов на вопросы, диалога и генерации текста по инструкциям. Метаданные также указывают интерфейс вызова инструментов. README описывает использование через mlx-lm; репозиторий предназначен для MLX. Лицензия указана как other, поэтому условия использования следует сверять с лицензией исходной модели и репозитория.

coder3101/Qwen2.5-VL-72B-Instruct-heretic — модифицированная версия мультимодальной модели Qwen2.5-VL-72B-Instruct от Qwen, размещённая пользователем coder3101. Это плотная instruction-tuned модель класса Qwen2_5_VLForConditionalGeneration на 71,5 млрд параметров; в репозитории веса в формате safetensors, для работы используется Transformers. Модель принимает изображения и текст и формирует текстовые ответы; базовый чекпойнт поддерживает анализ видео, однако карточка этой модификации отдельно описывает главным образом результаты ablation для отказов. Модель предназначена для диалогового анализа изображений: распознавания объектов и текста, интерпретации диаграмм и макетов, локализации объектов с координатами, а также структурированного извлечения данных из счетов, форм и таблиц. Базовое семейство также заявляет понимание длинных видео, выделение событий и визуальное управление инструментами. Контекст составляет 128 000 токенов. В приведённом сравнении показатель отказов снижен с 100 из 100 у исходной модели до 8 из 100; это указывает на ослабленное поведение отказа и требует осторожности при применении. Лицензия обозначена как other, без уточнения условий в предоставленных данных.

Qwen3.5-9B-abliterated-GGUF — это GGUF-квантизированная версия модели Qwen3.5-9B, подготовленная tutuchen2000 на основе abliterated-варианта lukey03/Qwen3.5-9B. Модель предназначена для локального запуска через Ollama, llama.cpp и другие совместимые движки вывода. Она поддерживает текстовые сценарии, а специальная vision-версия — обработку изображений вместе с текстом. Доступны текстовые сборки Q4_K_M размером около 5,2 ГБ и F16 размером около 17 ГБ, а также vision-сборка Q4_K_M размером около 6,1 ГБ. Vision-вариант сохраняет встроенный мультимодальный vision-энкодер исходной Qwen3.5-9B; архитектура Qwen3.5 использует нативную мультимодальность с ранним объединением данных. Заявлены поддерживаемые языки: английский, китайский, японский, корейский, французский, немецкий и испанский. Модель имеет около 9 млрд параметров, но размер контекста в README не указан. Главная особенность — удаление отказов от ответа методом abliteration: применены три прохода ортогональной проекции и последующее QLoRA-дообучение для устойчивых категорий отказов. В тесте README модель ответила на 18 из 18 проверочных запросов, тогда как базовая модель не ответила ни на один. Это может быть полезно для исследовательских, образовательных и локальных сценариев, требующих минимального количества встроенных ограничений, однако отсутствие отказов повышает риск небезопасных или неправомерных ответов и требует самостоятельного контроля со стороны пользователя. Модель распространяется по лицензии Apache-2.0. Для vision-функций требуется Ollama версии 0.17.1 или новее; текстовая сборка vision не поддерживает.

mradermacher/Qwen-3.8-27B-Uncensored-i1-GGUF — набор квантованных версий модели Qwen-3.8-27B-Uncensored, разработанной junafinity и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для генерации и обработки текста, а также поддерживает сценарии image-text-to-text, то есть работу с изображениями и текстом. В README указан английский язык, библиотека Transformers и мультимодальная архитектура с поддержкой зрения. Модель содержит 27 млрд параметров; доступны варианты квантования i1 от Q2_K до Q6_K, включая IQ-квантизации, с размером файлов примерно от 11 до 22,5 ГБ. README отмечает, что IQ-варианты часто предпочтительнее обычных квантизаций сопоставимого размера, а i1-Q4_K_M рекомендуется как быстрый вариант. Конкретный размер контекста и архитектурные особенности не указаны. К сильным сторонам относятся широкий выбор квантов, возможность локального запуска в GGUF-совместимых инструментах и поддержка изображений. Ограничения включают возможное снижение качества при низких уровнях квантования, значительные требования к памяти и отсутствие подробных результатов оценки. Модель распространяется по лицензии Apache-2.0; для работы с изображениями могут потребоваться отдельные файлы mmproj из статического репозитория.

DavidrPatton/Qwen3.8-27B-Uncensored-UD3-GGUF — это квантизированная GGUF-версия 27-миллиардной языковой модели Qwen3.8-27B-Uncensored, основанной на Qwen3.8-27B и адаптированной JonathanColetti. Сборка использует метод Unsloth Dynamic 3.0 (UD3) с динамическим распределением точности по слоям и предназначена для запуска через llama.cpp. Модель поддерживает текстовую генерацию и диалоговые сценарии, а заявленные языки — английский и китайский. Основное назначение модели — локальные задачи генерации текста, общения и рассуждений, включая работу с контекстом размером до 128K токенов. Сборка оптимизирована для потребительских GPU с 16 ГБ VRAM, Apple Silicon Mac и Linux-систем. Размер файла составляет около 12,1 ГБ; заявленное потребление памяти с 128K контекстом — примерно 14,2 ГБ. Для ускорения генерации предусмотрена Multi-Token Prediction (MTP) draft head в формате Q8_0, проверенная для слоя 64. Ключевая особенность — смешанная точность: критические эмбеддинги, выходные логиты и MTP-компоненты используют Q8_0 или F32, важные проекции внимания — Q4_K, отдельные матрицы внимания — Q3_K, а основные FFN/MLP-блоки — IQ2_M. Такой подход обеспечивает более высокое качество рассуждений по сравнению с обычной равномерной двухбитной квантизацией при меньшем размере, хотя качество и точность всё равно зависят от потерь квантизации. Модель позиционируется как uncensored, однако README не приводит подробного описания ограничений безопасности или результатов независимого тестирования. Лицензия — Apache-2.0.

TheDrainFlorist/Qwen3.8-Flash-Next-VQ-2.1bpw — векторно-квантизированная версия Qwen3.8-Flash-Next, разработанная TheDrainFlorist с использованием VQLab и ориентированная на работу на компьютерах Apple Silicon. Модель предназначена для генерации текста, а также поддерживает обработку изображений; для запуска используются MLX, mlx-lm и mlx-vlm. Указанный язык — английский. В основе лежит MoE-архитектура с 180 млрд общих параметров и 10 активными экспертами из 512; также заявлены 51,2 млрд параметров n-gram PLE и vision-компонент. Квантизация выполнена методом vector quantization с разной геометрией по слоям, основной формат — 2.1 bits per weight. Размер основного файла составляет около 45,755 GiB, а дополнительная MTP-голова занимает ещё 2,140 GiB и загружается только при включении speculative decoding. Сведения о размере контекста в README не указаны. Сильными сторонами модели являются возможность разместить крупную MoE-модель на машине с 64 ГБ памяти, поддержка текста и изображений, оптимизированные для Apple Silicon ядра и опциональное ускорение генерации через MTP. Ограничения включают высокие требования к памяти, небольшой запас ресурсов на 64-гигабайтных системах и необходимость специальной поддержки архитектуры qwen4_exp: на момент описания требуется версия mlx-lm из отдельной ветки, поскольку в опубликованных версиях эта архитектура отсутствует. Для изображений нужен mlx-vlm версии 0.6.16 или новее; стандартная версия exo также не подходит без специальной ветки. Модель распространяется по лицензии qwen-community-1.0, обозначенной в карточке как license other.

Qwen3.5-397B-A17B-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.5-397B-A17B, подготовленный bartowski с использованием llama.cpp и метода imatrix. Исходная модель разработана командой Qwen; конкретные сведения о внутренней архитектуре, языках и размере контекста в представленном README не указаны. Модель имеет заявленный pipeline image-text-to-text, поэтому предназначена для задач генерации текста с обработкой текстово-графических входов, однако подробности поддерживаемых модальностей не приведены. Доступны варианты квантования от Q8_0 до Q3 и IQ-серий, с размером файлов примерно от 188 до 429 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для запуска подходят llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Также заявлена поддержка MTP-слоёв в новых версиях llama.cpp с параметром draft-mtp. Большой размер модели предъявляет крайне высокие требования к памяти и вычислительным ресурсам. Распространяется по лицензии Apache-2.0. README не содержит результатов бенчмарков, точных характеристик архитектуры, языкового охвата, длины контекста или подробного описания ограничений исходной модели.

ShadowYamshadow_PasticheYam — объединённая модель Mistral, созданная из automerger/ShadowYamshadow-7B и automerger/PasticheYam-7B. Она предназначена для генерации текста и может использоваться в чат-ботах, помощниках и других приложениях на основе языковой модели. Модель содержит 7,1 млрд параметров, принимает текстовый запрос и генерирует текст; контекст — до 32 768 токенов. Веса доступны в формате safetensors. Модель распространяется по лицензии Apache-2.0. README не описывает её поведение подробнее и не приводит отдельных ограничений качества; фактические результаты следует оценивать на целевых задачах.

JANGQ-AI/Spark-X2.5-4B-JANG_8M — 3,8-миллиардная плотная языковая модель Spark-X2.5-4B от XHToken, квантованная Jinho Jang для Apple Silicon и MLX. Это 8-битный вариант с точностью bfloat16 для групповых масштабов; отдельные тензоры внимания и нормализации сохранены в полной точности. Модель предназначена для диалога, рассуждений, работы с инструментами и генерации текста. Поддерживаются английский и китайский языки; исходная модель рассчитана на контекст до 1 048 576 токенов, хотя в README для этого набора также указан контекст 131 072 токена. В сравнении с исходными весами bf16 автор сообщает медианное KL-расхождение 0,0017 и совпадение top-1 в 98,72% позиций на тестовых запросах. Модель принимает и генерирует только текст. Для запуска требуется среда с поддержкой архитектуры spark2_5, например vMLX или MLX Studio; обычный mlx-lm эту архитектуру не поддерживает. Лицензия Apache-2.0 унаследована от базовой модели.

Dampfinchen/Ultra-Instruct-12B — объединённая языковая модель для генерации текста и диалогов, созданная с помощью mergekit. В основе лежит IntervitensInc/Mistral-Nemo-Base-2407-chatml; слияние выполнено методом DARE TIES с моделями Orthrus-12b-v0.8, mistral-nemo-gutenberg-12B-v2 и Deutscher-Pantheon-12B. Модель имеет плотную архитектуру MistralForCausalLM и 12,1 млрд параметров. Модель предназначена для инструктивных запросов и общения в формате ChatML. Заявленная длина контекста — 1 024 000 токенов. README предупреждает, что ответы могут быть чрезмерно длинными и модель описана как uncensored. Репозиторий содержит веса safetensors и использует лицензию CC BY-NC 4.0, которая ограничивает коммерческое использование.

Vikhr-Nemo-12B-Instruct-R-21-09-24-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Vikhr-Nemo-12B-Instruct-R-21-09-24, разработанной Vikhrmodels и подготовленной для распространения в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и диалогового взаимодействия, включая выполнение инструкций, ответы на вопросы и работу с русскоязычными и англоязычными текстами. Модель имеет размер 12 млрд параметров; точная архитектура, поддерживаемые варианты квантования, размер контекста и другие технические характеристики в README не указаны. В качестве связанных наборов данных перечислены Vikhrmodels/GrandMaster-PRO-MAX и Vikhrmodels/Grounded-RAG-RU-v2. Основная заявленная модальность — текстовая. Сильной стороной модели является специализация на инструкционном использовании и поддержка русского языка наряду с английским. Ограничения, результаты оценки, сведения о безопасности, смещениях, производительности и рекомендуемых аппаратных требованиях не приведены, поэтому качество в конкретных сценариях требует самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.

Это готовые объединённые веса Stanford Alpaca-7B, опубликованные пользователем sharpbai. Модель основана на архитектуре LLaMA и предназначена для генерации текста по инструкциям; в карточке указано, что веса можно использовать напрямую. Размер модели — 6,6 млрд параметров, контекст — до 2048 токенов. Модель подходит для диалогов, ответов на вопросы и выполнения текстовых инструкций. Репозиторий содержит веса PyTorch. Указана лицензия other; перед использованием следует проверить условия Meta LLaMA и Alpaca, поскольку README не приводит отдельного описания лицензии для объединённых весов.