II.2Создание и понимание программного кода

DEFUNCT-EXPERIMENT2_1 — объединённая языковая модель от netcat420, созданная из предварительно обученных моделей с помощью mergekit и метода SLERP. Она предназначена для генерации текста в диалоговом формате; метаданные также отмечают интерфейс вызова инструментов. Модель имеет плотную архитектуру Qwen2 для причинной генерации, содержит 7,1 млрд параметров и поддерживает контекст длиной до 4096 токенов. В объединении использованы netcat420/DeepSeek-R1-MFANN-TIES-unretrained-7b и netcat420/Qwen2.5-DeepSeek-R1-MFANN-7b. В README указана базовая модель netcat420/DeepSeek-R1-MFANN-TIES-unretrained-7b; веса сохранены в формате safetensors. Лицензия в предоставленных источниках не приведена.

DPOpenHermes-7B-v2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель MaziyarPanahi, полученная слиянием Mistral-7B-Instruct-v0.2 и DPOpenHermes-7B-v2 методом SLERP. Она предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Модель построена на архитектуре Mistral с плотной архитектурой и содержит 7,1 млрд параметров. Она работает с текстом, поддерживает чат и принимает контекст длиной до 32 768 токенов. В репозитории доступны веса в формате Safetensors. Модель подходит для диалоговых помощников и генерации ответов по пользовательским инструкциям. Карточка не приводит отдельных оценок качества или специальных ограничений. Лицензия — Apache-2.0.

Это порт модели Escha Qwen3.8-27B, подготовленный degenmeowster для запуска через llama.cpp на AMD ROCm. В основе — дообученная EschaLabs/Qwen3.8-27B-Escha-W2; веса представлены в формате GGUF с 2-битной квантизацией Escha W2 и головой Q8_0. Модель использует плотную гибридную архитектуру Qwen35: 64 слоя, из которых 48 используют линейное внимание, а 16 — полное. В README заявлена поддержка контекста до 262144 токенов; порт проверен на AMD Radeon RX 7900 XTX с gfx1100. Модель предназначена для диалоговой генерации текста и задач рассуждения. README приводит измерения производительности и качества на указанной видеокарте, но они зависят от оборудования, настроек и протокола оценки. Сильные стороны — большой контекст и возможность полного размещения модели и KV-кэша на подходящей карте AMD; ограничение — сильная 2-битная квантизация может влиять на качество, а сведения о поддерживаемых естественных языках не приведены. Лицензия репозитория — Apache-2.0.

Experiment28M7_Experiment26Neuralarjuna — объединённая модель семейства Mistral, созданная слиянием automerger/Experiment28M7-7B и automerger/Experiment26Neuralarjuna-7B. Она предназначена для генерации текста и диалогов, например для ответов на запросы и создания черновиков. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст длиной до 32 768 токенов. В репозитории представлены веса в формате safetensors. Лицензия — Apache-2.0.

Experiment28T3q_AlloyingotneoyYam — объединённая модель MaziyarPanahi на базе двух моделей семейства Mistral: automerger/Experiment28T3q-7B и automerger/AlloyingotneoyYam-7B. Она предназначена для генерации текста и может использоваться в приложениях, которым нужна языковая модель с открытыми весами. Модель имеет плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Нативное окно контекста составляет 32 768 токенов. Репозиторий распространяет веса в формате Safetensors; лицензия — Apache-2.0. Карточка не описывает отдельные специализации, оценку качества или ограничения по сценариям применения. Возможности генерации и надёжность ответов зависят от запроса и настроек; перед использованием в критичных задачах результаты следует проверять.

MaziyarPanahi/Experiment28T3q_Inex16Calme — объединённая модель семейства Mistral с плотной архитектурой MistralForCausalLM и 7,1 млрд параметров. Она создана слиянием automerger/Experiment28T3q-7B и automerger/Inex16Calme-7B. Модель предназначена для генерации текста и принимает текстовые запросы. Контекстное окно составляет 32 768 токенов. Репозиторий содержит веса в формате Safetensors; лицензия — Apache-2.0.

Experiment28Yam-7B — автоматически объединённая языковая модель, созданная Maxime Labonne на основе моделей yam-peleg/Experiment28-7B и mayacinka/yam-jom-7B-slerp. В карточке указано объединение методом DARE-TIES; метаданные описывают архитектуру как плотную Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста. Её можно использовать для диалоговых ответов, написания и продолжения текста, а также для прототипирования приложений на базе языковой модели. Репозиторий содержит веса в формате Safetensors и использует лицензию Apache-2.0.

bartowski/gemma-2-27b-chatml-GGUF — это набор GGUF-квантизаций 27-миллиардной текстовой модели IntervitensInc/gemma-2-27b-chatml. Квантизации подготовлены bartowski с использованием llama.cpp версии b3615 и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, а запускать её рекомендуется в совместимых приложениях, включая LM Studio. Доступны варианты от исходных весов F16 размером 54,46 ГБ до более компактных Q3-, Q4-, Q5-, Q6- и Q8-квантизаций размером примерно от 11,55 до 28,94 ГБ. Более высокие уровни квантования обычно обеспечивают лучшее качество, тогда как компактные варианты снижают требования к оперативной памяти; отдельные Q4_0_8_8, Q4_0_4_8 и Q4_0_4_4 оптимизированы для ARM и CPU-инференса. Точные сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Сильная сторона набора — широкий выбор квантизаций для разных ограничений по памяти и производительности, включая варианты высокого качества и версии для малоресурсного запуска. Ограничения включают неизвестный формат промптов, отсутствие в README подробностей о возможностях базовой модели и потенциальное снижение качества у низкоразрядных вариантов. Для доступа требуется принять лицензию Google на использование Gemma на Hugging Face; конкретные условия лицензии следует проверить перед применением.

Gemma-4-12B-CoreAI — конвертация языковой модели Google Gemma 4 12B, подготовленная пользователем mlboydaisuke для запуска через Apple Core AI на устройствах с Apple Silicon. Модель предназначена для генерации текста, диалогов, суммаризации и других локальных сценариев использования LLM без передачи данных в облако; заявлена интеграция с CoreAIKit и запуск на GPU или Neural Engine, хотя в README отдельно подтверждён запуск на M-series Mac через конвейерный GPU-движок. Это плотный текстовый декодер без MoE, PLE, AltUp, Laurel и совместного использования KV-кэша: 48 слоёв, скрытое представление размерностью 3840, 16 голов внимания и словарь на 262144 токена. Используется чередование оконного и глобального внимания в соотношении 5:1, причём размерность головы составляет 256 для sliding attention и 512 для глобального внимания. Доступны варианты int8 размером около 14 ГБ и int4 размером около 8,2 ГБ; на M4 Max заявлена скорость декодирования примерно 23 и 33 токена в секунду соответственно. Контекстное окно и перечень поддерживаемых естественных языков в README не указаны. Сильная сторона модели — возможность локального запуска крупной 12B-модели на Apple Silicon, включая специальное Metal-ядро flash-decode для обхода ограничений стандартного GPU-декодирования. Вариант int8 описан как проверенный и воспроизводящий результаты эталонной fp32-модели, тогда как int4 требует меньше памяти и работает быстрее, но может немного ухудшать формулировки. Ограничения включают зависимость от совместимого оборудования и Core AI, большой объём загрузки, режим decode-only, отсутствие записи о рейтинге DeviceMark и возможные сбои у обычных, не использующих специальное ядро, сборок. В метаданных указана лицензия Apache 2.0.

p-e-w/gpt-oss-20b-heretic — текстовая разговорная модель на архитектуре GPT-OSS, созданная на основе openai/gpt-oss-20b с помощью abliteration, направленной на снижение отказов. В карточке приведено сравнение: в тесте на 100 запросах модель отказала в 58 случаях против 100 у исходной модели; KL-дивергенция составила 0,96. README также описывает базовую модель как MoE с 21 млрд параметров и 3,6 млрд активных параметров, контекстом 131 072 токена и форматом Harmony; метаданные репозитория при этом указывают 1,6 млрд параметров. Модель предназначена для диалога, генерации текста и локальных или специализированных сценариев. Базовая модель поддерживает настраиваемый уровень рассуждений, вызов функций и агентные сценарии; в этом репозитории заявлено снижение числа отказов, но приведённый тест не гарантирует поведение на других запросах. Для корректной работы следует использовать формат Harmony. Лицензия — Apache-2.0.

Hemmingway-1-Heretic-Text — текстовая версия модели darrellbest/Hemmingway-1-Heretic, подготовленная как база для дообучения текста и вызова инструментов. Это плотная авторегрессионная модель Qwen3.5 с архитектурой Qwen3_5ForCausalLM, 22,3 млрд параметров и контекстом до 262 144 токенов; репозиторий содержит веса safetensors и не включает визуальную башню. Модель разработана на основе Hemmingway-1 от Altworld; её веса языковой модели побайтно совпадают с соответствующей частью основного репозитория. Модель рассчитана на генерацию текста в диалогах и на дообучение с помощью PEFT, TRL или Unsloth, в том числе для сценариев с вызовом инструментов. В карточке заявлено снижение частоты отказов и сохранение рассуждений относительно исходной модели. Это намеренно ослабленная система защитных ограничений, поэтому ответы могут не соответствовать ожиданиям по безопасному поведению. Лицензия CC BY-NC 4.0 разрешает некоммерческое использование с указанием авторства; для коммерческого использования требуется обратиться к правообладателю.

Huihui-Qwen3.8-27B-abliterated-NVFP8 — это квантованная версия Huihui-Qwen3.8-27B-abliterated, опубликованная trailio и происходящая от Qwen/Qwen3.8-27B от Qwen. Модель предназначена для генерации текста и обработки изображений с текстом; в метаданных указана модальность image-text-to-text. Языки явно не перечислены. Базовая модель имеет 27,78 млрд параметров, из которых 24,33 млрд подвергнуты квантованию, а визуальная часть с ViT из 27 блоков и merger оставлена в BF16. В README не указано точное максимальное окно контекста; пример запуска использует 8192 токена. Основная особенность — weight-only-квантование W8A16 в нестандартный формат NVFP8: FP8 E4M3 с блочными масштабами размера 16 и двухуровневым масштабированием. Размер весов сокращён с 55,6 до 32,8 ГБ, относительная ошибка квантования указана на уровне 0,0252. Активации остаются в BF16, а Triton-ядро демонстрирует ошибку не более 3,7×10⁻³ относительно FP32-эталона. Квантование выполняется без калибровочного набора данных. Модель подходит для локального инференса в vLLM при ограниченных ресурсах видеопамяти, однако стандартный vLLM этот формат не загружает: необходимо скачать репозиторий локально и установить поставляемый пакет через pip. Требуются GPU с архитектурой sm_89 или новее и около 35 ГБ VRAM во время работы без учёта KV-кэша; заявлена проверка на RTX PRO 6000 Blackwell с vLLM 0.27.1. На CUDA младше 12.9 возможны проблемы FlashInfer. Производитель отмечает, что abliteration удаляет поведение отказа, поэтому к модели применимы оговорки о сниженной фильтрации базовой модели. Лицензия — Apache 2.0.

InternLM2-Chat-1.8B-SFT — диалоговая языковая модель команды InternLM, созданная контролируемой тонкой настройкой базовой InternLM2-1.8B. Она содержит около 1,7 млрд параметров, использует плотную архитектуру InternLM2 и рассчитана на генерацию текста в формате чата. Метаданные указывают контекст до 32 768 токенов; в README также заявлена поддержка длинных входов до 200 000 символов для семейства InternLM2. Модель подходит для диалоговых помощников, ответов на вопросы, следования инструкциям и генерации текста. Семейство также улучшено для рассуждений, математики и программирования, однако версия SFT уступает последующей версии InternLM2-Chat, дополнительно выровненной с помощью RLHF и рекомендованной авторами для прикладного использования. Модель можно загружать через Transformers; в README также описано развёртывание через vLLM и LMDeploy. Карточка предупреждает, что модель может выдавать предвзятые, дискриминационные или иным образом вредоносные ответы. Код распространяется по Apache-2.0; для весов заявлен свободный доступ для академических исследований и возможность запросить бесплатное коммерческое разрешение.

Это преобразованная в формат архитектуры Llama версия InternLM2 Chat 7B SFT, размещённая пользователем bartowski. Модель предназначена для генерации текста в диалоговом формате и может использоваться для ответов на запросы и ведения беседы. Модель содержит 7,4 млрд параметров и поддерживает контекст длиной до 32 768 токенов. README сообщает о конвертации из InternLM в формат Llama; в репозитории указан формат safetensors. Лицензия обозначена как other, поэтому условия её использования следует проверять в исходной карточке модели и у базовой модели.

silence09 опубликовал преобразованную версию InternLM3-8B-Instruct, представленную в формате архитектуры Qwen2 для совместимости с некоторыми сценариями инференса и классом Qwen2ForCausalLM. Модель содержит 8,3 млрд параметров, использует плотную архитектуру и сохраняет точность исходных весов. Контекст — до 32 768 токенов; поддерживается диалоговое использование и генерация текста. Модель предназначена для запуска запросов к исходной InternLM3-8B-Instruct в окружениях, рассчитанных на Qwen2. Базовая модель ориентирована на общие запросы, работу со знаниями и сложные рассуждения. Репозиторий распространяется по лицензии Apache-2.0.

JiRackUltra_14b-i1-GGUF — GGUF-квантизированная версия модели CMSManhattan/JiRackUltra_14b, подготовленная mradermacher. Это текстовая генеративная модель с заявленным размером 14 млрд параметров, связанная с архитектурами Qwen2.5 и DeepSeek и ориентированная на эффективный запуск на CPU и устройствах с ограниченной памятью. В описании также указаны технологии ternary и BitNet 1.58bit. Модель предназначена для генерации текста, работы через web-интерфейсы, маршрутизации запросов, tool calling и робототехнических сценариев. Заявлена поддержка английского, китайского, японского, корейского, французского, испанского, португальского, немецкого, итальянского, русского, арабского, вьетнамского и тайского языков. Поддержка изображений или других модальностей, а также размер контекстного окна в README не указаны. Репозиторий содержит варианты квантизации IQ и Q разных размеров: примерно от 3,7 до 12,2 ГБ. Это позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством, причём для ряда вариантов автор рекомендует IQ-квантизации или i1-Q4_K_M. Ограничениями являются возможное снижение качества у низкобитных вариантов и отсутствие в README результатов бенчмарков, подробного описания обучения и точных характеристик контекста. Указанная лицензия — MIT.

LeoScorpius-7B-Chat-DPO — чат-модель, дообученная viethq188 методом DPO на датасете Nectar на базе viethq188/LeoScorpius-7B. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и рассчитана на генерацию текста; для форматирования запросов в карточке предложен шаблон Alpaca с полями system, Instruction и Response. Модель подходит для диалогов и ответов на инструкции в формате текстового чата. Заявленные в карточке позиции в рейтингах относятся к обновлению от 14 декабря 2023 года. Контекстное окно составляет 32 768 токенов. Модель распространяется по лицензии Apache-2.0.

LeoScorpius-GreenNode-Alpaca-7B-v1-Mistral-7B-Instruct-v0.2-slerp — объединённая языковая модель на базе Mistral-7B-Instruct-v0.2 и LeoScorpius-GreenNode-Alpaca-7B-v1. Разработчик карточки объединил модели методом SLERP с помощью mergekit; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, формат весов — safetensors. Модель предназначена для генерации текста и диалоговых ответов на инструкции; контекст составляет до 32 768 токенов. Модель принимает текст и выдаёт текст. В карточке не заявлены специализированные области применения или поддерживаемые языки. Репозиторий распространяется по лицензии Apache-2.0. Качество и поведение объединённой модели могут отличаться от исходных моделей; карточка не приводит оценок или сравнительных тестов.

Ling-3.0-flash-abliterated-APEX-GGUF — неофициальная общественная GGUF-сборка модели Ling-3.0-flash, разработанной inclusionAI. Модель предназначена для генерации текста и задач рассуждения, включая локальный запуск через совместимое с GGUF программное обеспечение. В официальной версии мышление включено по умолчанию. Модель использует гибридную архитектуру MoE: 124 млрд параметров всего и около 5,1 млрд активных параметров. В её основе — стек из Kimi Delta Attention и gated MLA в соотношении 5:1, разреженный MoE с 512 маршрутизируемыми экспертами, выбором top-8 и одним общим экспертом, два плотных слоя и обученная MTP-голова. Заявленный график контекстного окна составляет 8K, затем 32K и до 256K токенов. Формат GGUF использует архитектуру bailingmoe3 и смешанную квантизацию APEX; наличие поддерживаемых языков в README не указано. Эта сборка отличается от официальной применением abliterix v6 trial 21 для снижения частоты отказов и последующим преобразованием в GGUF. Поэтому она может заметно отличаться от исходной модели по поведению и безопасности; README указывает на необходимость самостоятельной оценки соответствия требованиям, контроля доступа и аудита. Также для указанных уровней квантизации не использовалась imatrix. Лицензия — MIT, при этом необходимо соблюдать условия inclusionAI и применимое местное законодательство.

Это GGUF-сборка модели Llama 3.1 Nemotron 70B Instruct, опубликованная MarsupialAI. Она основана на Meta Llama 3.1 70B Instruct и предназначена для диалоговой генерации текста. В метаданных указана связь с датасетом NVIDIA HelpSteer2; README сообщает, что сборка использует iMatrix, созданную с помощью groups_merged.txt от Kalomaze. Модель можно применять для диалоговых ассистентов, ответов на вопросы и генерации текста на английском и других поддерживаемых языках базовой модели. Репозиторий содержит формат GGUF, подходящий для запуска совместимыми средствами инференса. Размер базовой модели — 70 млрд параметров. Используется лицензия Llama 3.1; перед применением необходимо соблюдать её условия.

Llama-3.1-Tulu-3-8B-GGUF — набор GGUF-квантизаций языковой модели Llama-3.1-Tulu-3-8B, разработанной Allen Institute for AI (AI2) и опубликованной в формате для локального запуска. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев; указанный в карточке pipeline — text-generation. Для работы рекомендуется формат приглашений с ролями system, user и assistant, а запуск возможен, в частности, через LM Studio или совместимые инструменты llama.cpp. Модель содержит около 8 млрд параметров, поддерживает английский язык и поставляется в вариантах от исходных весов F16 до более компактных Q2–Q8-квантизаций. Размер файлов составляет примерно от 3,5 до 16,1 ГБ; варианты отличаются компромиссом между качеством и требованиями к памяти. Наиболее сбалансированным для большинства сценариев README называет Q4_K_M, а Q5 и Q6 — высококачественными вариантами. Более сильное сжатие уменьшает потребление памяти, но снижает качество, а отдельные варианты оптимизированы для ARM и имеют ограничения по аппаратной совместимости. Длина контекста и мультимодальные возможности в карточке не указаны. Лицензия обозначена как llama3.1; перед использованием следует учитывать условия лицензии базовой модели.

Llama-3.3-70B-Instruct-ablated-GGUF — квантизированная GGUF-версия инструкционной языковой модели Llama-3.3-70B-Instruct-ablated от NaniDAO. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и LM Studio. Модель относится к семейству Llama и содержит 70 миллиардов параметров. В README указана поддержка английского, французского, итальянского, португальского, хинди, испанского, тайского и немецкого языков. Доступны варианты квантизации от Q8_0 до Q2_K, что позволяет выбирать между качеством генерации и требованиями к памяти; наиболее качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S и ряд вариантов Q4. Все версии поставляются в формате GGUF, некоторые крупные варианты разделены на несколько файлов. Сильными сторонами являются большой размер модели, инструкционная настройка, широкий выбор уровней квантизации и пригодность для локального использования. Ограничения включают высокие требования к оперативной памяти, особенно для вариантов высокого качества, а также возможное снижение качества при использовании низкобитных квантизаций. Пометка ablated указывает на изменённую версию базовой модели, а заявленная характеристика uncensored может означать менее строгие ограничения на содержание, однако подробности изменений в README не описаны. Лицензия указана как llama3.

Llama-3-8B-instruct-x-OrpoLlama-3-8B — объединённая диалоговая модель на базе Llama 3, созданная с помощью LazyMergekit. В конфигурации указаны Llama-3-8B-instruct от AI-Sweden-Models и mlabonne/OrpoLlama-3-8B; применён метод слияния dare_ties с параметрами density 0,53, weight 0,6 и маской int8. Веса сохранены в формате bfloat16. Модель предназначена для диалоговой генерации текста и ответов на запросы в чате. Она содержит около 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и поддерживает контекст до 8192 токенов. Метаданные указывают на дообученную базовую модель mlabonne/OrpoLlama-3-8B; описание базовой модели отмечает шаблон ChatML. Сведений о лицензии и поддерживаемых языках в предоставленных данных нет.

uygarkurt/llama3s-merged-linear — объединённая модель на базе семейства Llama 3, созданная автором репозитория с помощью mergekit. В README указано, что автор выбрал три модели с высоким рейтингом в Open LLM Leaderboard и объединил их без дополнительного обучения. Архитектура — плотная авторегрессионная модель LlamaForCausalLM примерно на 7,5 млрд параметров; формат весов — safetensors, контекст — до 8192 токенов. Модель предназначена для генерации текста в диалоговом режиме и может использоваться для ответов на запросы, написания черновиков и других задач общения с языковой моделью. Репозиторий распространяется по лицензии MIT. README называет результат «ranking model», однако метаданные относят его к генерации текста; сведений о специальной обученности для ранжирования нет.

M7Yamshadowexperiment28_Experiment27Experiment24 — объединённая модель Mistral, созданная из automerger/M7Yamshadowexperiment28-7B и automerger/Experiment27Experiment24-7B. Она предназначена для генерации текста и диалоговых сценариев. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и поддерживает контекст до 32 768 токенов; репозиторий распространяет веса в формате safetensors. Лицензия — Apache-2.0. README и метаданные не описывают специализированные области применения или конкретные ограничения качества.

M7Yamshadowexperiment28_Strangemerges_32Shadow — объединённая методом SLERP модель семейства Mistral с плотной архитектурой MistralForCausalLM и 7,1 млрд параметров. Она предназначена для генерации текста и поддерживает контекст до 32 768 токенов. Модель создана объединением automerger/M7Yamshadowexperiment28-7B и automerger/Strangemerges_32Shadow-7B. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

MaziyarPanahi/mamba-gpt-7b-v1-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая модель на архитектуре Mistral, созданная методом SLERP из Mistral-7B-Instruct-v0.2 и CobraMamba/mamba-gpt-7b-v1. Она предназначена для генерации текста и ответов на инструкции в чат-сценариях. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Веса представлены в формате safetensors; в конфигурации слияния указана точность bfloat16. Репозиторий распространяется по лицензии Apache-2.0. Карточка не описывает языковой охват и результаты сравнительных оценок.

MisGemma-7B — объединённая языковая модель, созданная автором репозитория с помощью mergekit из EmbeddedLLM/Mistral-7B-Merge-14-v0.1 и HuggingFaceH4/zephyr-7b-beta методом slerp. Это плотная модель семейства Mistral с 7,1 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие. Размер контекста — до 32 768 токенов. Модель можно применять для ведения диалога и генерации ответов на текстовые запросы. В репозитории веса сохранены в формате safetensors; указана лицензия Apache-2.0. Карточка не приводит оценок качества или результатов тестирования, поэтому пригодность для конкретных задач следует проверять отдельно.

Mistral-Nemo-Instruct-2407-IMat-GGUF — это набор квантизированных версий instruct-модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI и преобразованной в формат GGUF пользователем legraphista. Квантизация выполнена с помощью llama.cpp на основе исходных весов BF16; для ряда вариантов применена IMatrix-калибровка, предназначенная для снижения потерь качества при уменьшении размера модели. Модель предназначена для генерации текста и диалогового использования в локальных приложениях, совместимых с llama.cpp и форматом GGUF. В README заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и других форматов; размеры файлов варьируются примерно от 4,79 до 24,50 ГБ. Основное преимущество набора — выбор между качеством, требованиями к памяти и скоростью локального запуска. IMatrix применяется в некоторых вариантах с более сильным сжатием, включая Q4_K, Q3_K и Q2_K, однако README не содержит результатов сравнительных тестов, точных характеристик архитектуры, числа параметров, размера контекста или требований к оборудованию. Поэтому качество и производительность зависят от выбранного варианта квантизации и среды выполнения. Лицензия модели — Apache-2.0.

Jackrong/MLX-Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-4bit — это языковая модель для генерации текста и задач, требующих рассуждений. Модель разработана Jackrong и представляет собой версию Jackrong/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled, преобразованную в формат MLX с использованием mlx-lm 0.30.7. Модель предназначена для диалоговой генерации и reasoning-сценариев на английском и китайском языках. Она основана на архитектуре Qwen3.5 с размером 9 млрд параметров и использует 4-битное представление, что уменьшает требования к памяти по сравнению с полноразмерной версией. В метаданных также указаны обучение или настройка на наборах Jackrong/Qwen3.5-reasoning-700x и nohurry/Opus-4.6-Reasoning-3000x-filtered. К сильным сторонам относятся специализация на рассуждениях, поддержка английского и китайского языков и совместимость с экосистемой MLX через библиотеку mlx-lm. Ограничения включают неизвестную длину контекста и отсутствие сведений о мультимодальности; по назначению это текстовая модель. Использование распространяется на условиях лицензии Apache-2.0.