II.7DevOps, облако и эксплуатация IT-систем

Hermes-2-Pro-Llama-3-8B-GGUF — квантизированная GGUF-версия языковой модели Hermes-2-Pro-Llama-3-8B, разработанной NousResearch и преобразованной в GGUF компанией Second State Inc. Это текстовая модель для генерации ответов в диалогах и использования инструментов, совместимая с форматом ChatML и запуском через LlamaEdge. В README указан английский язык. Модель относится к семейству Llama и содержит 8 млрд параметров. Доступны варианты квантизации от 2 до 8 бит, а также версия f16 размером 16,1 ГБ. Рекомендуемые варианты Q4_K_M, Q5_K_M и Q5_K_S обеспечивают компромисс между размером и сохранением качества; наиболее компактные варианты требуют меньшего объёма памяти, но сопровождаются более заметной потерей качества. Указанный размер контекста — 4096 токенов. Для работы требуется LlamaEdge версии 0.11.3 или новее и соответствующий шаблон prompt: chatml для диалогов или chatml-tool для использования инструментов. README не содержит сведений о лицензии исходной модели или этой сборки, поэтому условия распространения и коммерческого использования по представленным данным определить нельзя.

Hermes-2-Pro-Mistral-7B-GGUF — это GGUF-квантизации языковой модели Hermes-2-Pro-Mistral-7B, разработанной NousResearch на базе Mistral-7B-v0.1. Квантизации подготовлены bartowski с использованием llama.cpp. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи инструкционного общения, чат-сценарии, генерацию структурированного JSON и вызов функций. Модель представляет собой текстовую instruct-модель примерно на 7 млрд параметров, обученную с применением DPO и RLHF на данных, связанных с OpenHermes-2.5, включая синтетические данные и дистилляцию от GPT-4. Она ориентирована на английский язык и использует формат взаимодействия ChatML. Сведения о поддерживаемой длине контекста в README не указаны. Основное преимущество представленной версии — возможность локального запуска с различными уровнями квантизации. Вариант Q6_K отмечен как рекомендуемый и обеспечивает высокое качество при размере около 5,94 ГБ; более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству, особенно Q2_K и Q3_K. К ограничениям относятся ориентация на английский язык, текстовая модальность и возможные потери качества при агрессивной квантизации. Указанная лицензия — Apache-2.0.

ibm-granite_granite-4.1-8b-GGUF — это квантизированная версия языковой модели granite-4.1-8b, разработанной IBM (ibm-granite) и подготовленной пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ramalama, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель имеет около 8 миллиардов параметров и доступна в вариантах от BF16 до различных уровней квантизации Q2–Q8 и IQ. Размер файлов составляет примерно от 4,07 до 17,59 ГБ, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью работы. Для взаимодействия используется специальный шаблон промпта с ролями system, user и assistant. Сведения о поддерживаемых языках, архитектуре исходной модели, модальностях помимо текста и размере контекстного окна в представленном README не указаны. Сильными сторонами являются широкий выбор квантизаций, возможность локального инференса и совместимость с распространёнными инструментами. Более точные варианты, включая Q6_K и Q6_K_L, обеспечивают качество, близкое к исходному, тогда как варианты Q3 и Q2 рассчитаны на системы с ограниченным объёмом памяти, но сопровождаются заметным снижением качества. Модель распространяется по лицензии Apache-2.0.

INF-34B-Base — базовая плотная языковая модель с 34 млрд параметров, разработанная командой INF и построенная на архитектуре LLaMA. Для стабилизации обучения вместо RMSNorm используется LayerNorm с gamma, центрированной относительно нуля. Модель предварительно обучена примерно на 3,5 трлн очищенных токенов из англо-китайского корпуса. README сообщает о контексте до 32K токенов, тогда как метаданные Hugging Face указывают native context в 4096 токенов. Модель предназначена для генерации текста и служит основой для последующей адаптации под диалоговые и прикладные сценарии. В обучении уделялось внимание общим знаниям, математике и программированию, а разработчики также отмечают потенциал в финансах и здравоохранении. В README приведены результаты базовой модели на академических тестах, включая MMLU, CMMLU и GSM8K. Модель опубликована в формате safetensors. В метаданных указана лицензия other; README допускает коммерческое применение на условиях раздела лицензии, но сам текст условий здесь не приведён. Заявление о работе квантованной версии на видеокартах с 24 ГБ видеопамяти относится к отдельной квантованной версии, а не непосредственно к этому базовому репозиторию.

K2-Horizon-0.9B GGUF — набор общественных GGUF-квантизаций компактной плотной reasoning-модели класса 0,9 млрд параметров K2-Horizon-0.9B, разработанной IFM. Квантизации подготовлены сообществом; этот выпуск не является официальным релизом или одобрением IFM. Модель предназначена для локального запуска через llama.cpp. Модель рассчитана на англоязычные и китайскоязычные диалоги, рассуждения, программирование, научные задачи и сценарии с использованием инструментов. Она поддерживает контекст до 128K токенов и использует масштабирование RoPE методом YaRN. В выпуск входят варианты от Q8_0 до Q1_0 и IQ1_M/IQ2_XS; размер файлов составляет примерно от 0,21 до 1,07 ГиБ, что позволяет выбирать баланс между качеством, скоростью и требованиями к памяти. Высокобитные варианты обеспечивают более высокую точность, а Q4_K_M заявлен как рекомендуемый начальный вариант для общего применения. Агрессивные низкобитные варианты снижают требования к памяти, но могут заметно ухудшать рассуждения, следование инструкциям и надёжность вызова инструментов. Поддержка K2-Horizon в llama.cpp находится на стадии предварительного релиза: полнофункциональный шаблон для tool calling не разбирается используемой версией runtime, поэтому вызов инструментов этим выпуском не сертифицирован. Релиз распространяется по Apache License 2.0 с требованием сохранять атрибуцию и лицензию исходной модели при перераспределении.

K2-Horizon-7B-GGUF — это набор общественных GGUF-квантизаций модели K2-Horizon-7B, разработанной IFM. Данный репозиторий подготовлен сообществом и предназначен для запуска модели локально через llama.cpp. Релиз является только квантизированной конверсией: обучение, дообучение, объединение моделей и иные изменения весов не выполнялись. Исходная модель представляет собой плотную reasoning-модель с 7B параметров и заявленным контекстом до 524 288 токенов. Она ориентирована на генерацию текста, рассуждения, программирование, работу на английском и китайском языках, обработку длинного контекста и agentic-сценарии. В набор входят варианты квантизации от Q8_0 до Q1_0, позволяющие выбирать компромисс между требованиями к памяти и близостью поведения к BF16-версии. По проведённому пилотному тесту Q4_K_M является практичной отправной точкой для локального использования, а Q5_K_M и Q6_K лучше сохраняют поведение исходной модели; более компактные варианты требуют проверки на целевой задаче. Модель поддерживает запуск и проверку генерации в llama.cpp, однако авторы этого релиза отдельно отмечают, что tool calling и полный upstream-набор бенчмарков повторно не оценивались, а включённый шаблон чата не является сертифицированным полным tool-aware шаблоном. Результаты проверки измеряют близость следующего токена к BF16 и не являются прямой оценкой сохранённых прикладных возможностей. Распространение выполняется по Apache License 2.0 с сохранением атрибуции и лицензии; релиз не является официальной публикацией или одобрением IFM.

K2-Horizon-MoVA-36B-A4B-ROCmFP4-GGUF — это набор квантизованных GGUF-версий reasoning-модели IFM/MBZUAI K2-Horizon-MoVA-36B-A4B, подготовленный пользователем kingjones777 для запуска на GPU AMD с поддержкой ROCmFP4/ROCmFPX. Модель предназначена для генерации текста, рассуждений, агентских сценариев и вызовов инструментов. Базовая модель распространяется по лицензии Apache-2.0. Модель использует архитектуру k2_horizon MoVA с двумя независимыми экспертными системами: банком из 64 value-экспертов с выбором top-4 и MoE-блоком из 100 feed-forward-экспертов с выбором top-8. Всего модель содержит 36 млрд параметров, из которых активно используется около 4 млрд; архитектура включает 48 слоёв и скрытое представление размерностью 2560. Поддерживаются варианты Q4_0_ROCMFP4 и Q8_0_ROCMFPX объёмом от 18,57 до 36,45 ГиБ. README не указывает языки и максимальную длину контекста; в примерах запуска используется контекст 8192 токена. Основное преимущество — высокая скорость декодирования при меньшем числе активных параметров: на Ryzen AI Max+ 395 с Radeon 8060S заявлена скорость до 41 токена в секунду и prefill до 1238 токенов в секунду для варианта FAST. Доступны профили, ориентированные на скорость, качество квантования и агентские сценарии. Ограничения — необходимость специальной сборки llama.cpp с поддержкой одновременно k2_horizon и ROCmFP4/ROCmFPX, а также совместимого оборудования AMD Strix Halo (gfx1151). Модель генерирует рассуждения в поле reasoning_content, поэтому ей требуется достаточный бюджет токенов; при слишком коротком бюджете содержимое ответа может быть пустым.

Llama3.1-DarkStorm-Aspire-8B — плотная языковая модель семейства Llama 3.1, опубликованная ZeroXClem. Это объединение моделей Dark Enigma, Storm, Aspire и DarkStock методом TIES с использованием подхода Model Stock; в репозитории указаны 7,5 млрд параметров и формат SafeTensors. Модель предназначена для генерации текста, диалогов и следования инструкциям, включая творческое письмо, ролевые сценарии, помощь с кодом, анализ и исследовательские задачи. Она поддерживает контекст до 131 072 токенов и рассчитана прежде всего на английский язык. Карточка заявляет сильные стороны в связной генерации, творческом письме, рассуждениях и диалогах. Модель может выдавать предвзятые, ошибочные или вымышленные сведения; ответы в чувствительных сценариях требуют проверки. README также отмечает uncensored-подход, поэтому возможен чувствительный или оскорбительный контент. Лицензия — Apache-2.0.

MaziyarPanahi/Llama-3-8B-Instruct-64k-GGUF — набор файлов модели в формате GGUF, созданный и квантизированный MaziyarPanahi на основе MaziyarPanahi/Llama-3-8B-Instruct-64k. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Из указанных данных известны размер 8B, принадлежность к семейству Llama 3, инструктивная настройка и заявленный контекст до 64 тысяч токенов у базовой модели. Поддерживаются варианты квантизации с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством. Модель работает с текстом; сведения о языках и дополнительных модальностях не указаны. Формат GGUF ориентирован на эффективный локальный инференс и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другими совместимыми инструментами, включая варианты с GPU-ускорением и OpenAI-совместимыми API. Ограничения включают возможные потери качества из-за квантизации, зависимость производительности от выбранного варианта и оборудования, а также отсутствие в README сведений о лицензии, результатах оценки и точных требованиях к ресурсам.

OpenRLHF/Llama-3-8b-sft-mixture — плотная языковая модель семейства Llama, выпущенная командой OpenRLHF. Это контрольная точка supervised fine-tuning модели Meta-Llama-3-8B на смеси открытых наборов данных: ShareGPT, Evol-Instruct, SlimOrca, MathInstruct, Magicoder-Evol-Instruct, GPT4-LLM, OrcaMath, GPTeacher и UltraInteract. Обучение длилось одну эпоху; модель содержит 7,5 млрд параметров и использует контекст до 8192 токенов. Модель генерирует текст в диалоговом формате и предназначена для использования как отправная точка в исследованиях RLHF. Она не проходила RLHF-обучение. В README указано, что исправлена конфигурация генерации; подробные параметры обучения приводятся в техническом отчёте. Лицензия в предоставленных данных не указана.

RDson/Llama-3-Peach-Instruct-4x8B-MoE — экспериментальная языковая модель RDson, созданная с помощью Mergekit путём объединения четырёх моделей семейства Llama 3 в архитектуру MoE. Она предназначена для диалоговой генерации текста и может применяться для ответов на вопросы, следования инструкциям и решения задач с рассуждением. В README приведены результаты GSM8K для варианта Q4_K_M; в репозитории указаны веса safetensors, а GGUF-версия доступна отдельно. Модель имеет около 7,5 млрд параметров и контекстное окно 8192 токена. В состав объединения вошли Meta-Llama-3-8B-Instruct, SFR-Iterative-DPO-LLaMA-3-8B-R, Hermes-2-Theta-Llama-3-8B и Llama-3-8B-Instruct-Coder. README называет её экспериментальной; сведения о лицензии в предоставленных данных отсутствуют.

Модель thebbg/Ma7ee7_Qwen3.8_4B_Distilled — дообученная версия Qwen3, опубликованная разработчиком thebbg. Это плотная языковая модель с архитектурой Qwen3ForCausalLM и 3,7 млрд параметров; она предназначена для генерации текста и диалогового взаимодействия. В карточке указано, что обучение проводилось с Unsloth. Модель принимает текст и выдаёт текст. Для неё заявлено контекстное окно до 262 144 токенов, а в метаданных указан английский язык. Базовая модель описана как подходящая для рассуждений, программирования и диалоговых задач; отдельные специализированные возможности этой версии не описаны. Лицензия — Apache-2.0.

Meta-Llama-3-120B-Instruct-GGUF — это GGUF-квантизированная версия текстовой instruction-tuned языковой модели Meta-Llama-3-120B-Instruct. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель указана как mlabonne/Meta-Llama-3-120B-Instruct, основанная на Meta-Llama-3-70B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев с применением системных и пользовательских инструкций. Доступны варианты квантизации Q2–Q8 и IQ, размером примерно от 32,60 до 129,52 ГБ. Более высокие варианты, включая Q6_K, Q5_K_M, Q5_K_S и Q4_K_M, обеспечивают лучшее качество, но требуют больше памяти; низкобитные варианты экономичнее, однако могут заметно уступать в качестве. Формат GGUF и совместимость с llama.cpp подходят для локального запуска, но README не содержит данных об архитектуре, поддерживаемых языках, модальностях и размере контекста. Модель является текстовой и не предназначена для обработки изображений или других модальностей. Для работы требуется выбрать подходящий файл квантизации и использовать специальный chat-шаблон с токенами Meta Llama 3. Лицензия обозначена как other, однако её конкретные условия в README не приведены.

Meta-Llama-3.1-8B-Instruct-abliterated-IMat-GGUF — это GGUF-сборка инструкционной языковой модели mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated, подготовленная и квантованная пользователем legraphista с помощью llama.cpp. Модель предназначена для генерации текста и диалогового использования в локальных приложениях, поддерживающих формат GGUF и llama.cpp. Доступны варианты от BF16 и FP16 до квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ4. Для ряда вариантов применена IMatrix-квантизация, призванная сохранить качество при уменьшении размера модели. Размер базовой модели составляет 8B параметров, исходный тип данных — BF16. В README не указаны точный размер контекста, перечень поддерживаемых языков и мультимодальные возможности; по представленным данным это текстовая модель без заявленной поддержки изображений или других модальностей. Сильными сторонами сборки являются широкий выбор уровней квантования, возможность локального запуска и наличие вариантов, оптимизированных по соотношению качества и потребления памяти. Ограничения включают потенциальную потерю качества в низкобитных вариантах, зависимость производительности от оборудования и совместимость с llama.cpp или другим ПО, поддерживающим GGUF. Основа модели обозначена как abliterated и uncensored, поэтому встроенные ограничения безопасности могут быть ослаблены; это следует учитывать при использовании. Указанная лицензия — Llama 3.1.

MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-heretic — небольшая языковая модель на базе openbmb/MiniCPM5-1B и производного дообучения GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking. Модель создана автором saidutta69 с использованием Heretic 1.4.0 и метода directional ablation («abliteration»): целевые изменения весов подавляют поведение отказа без дополнительного дообучения. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, tool calling и function calling, а также локальных агентов, ролевых сценариев и исследований механизмов отказов и выравнивания. Модель имеет размер около 1,1 млрд параметров, поддерживает режимы Think и No-Think, контекст до 128K токенов и языки английский и китайский. Для локального запуска доступны версии GGUF, включая F16 и различные варианты квантования; заявлена совместимость с llama.cpp, Ollama, LM Studio и Jan. Благодаря небольшому размеру она подходит для потребительских GPU, CPU и edge-устройств. В README также заявлены сохранение возможностей базовой модели, сильные стороны в tool calling, кодинге и рассуждениях, а также снижение числа отказов с 93 до 3 на 100 тестовых запросов; эти показатели приведены автором модели и не подтверждены независимой оценкой. Ограничения включают малый размер модели по сравнению с современными крупными LLM, возможное ухудшение качества при агрессивном квантовании и потенциальные риски, связанные с подавлением защитного поведения. Модель распространяется по лицензии Apache-2.0.

win10/Mistral-Nemo-Instruct-2407-20b — текстовая разговорная модель на архитектуре Mistral, созданная с помощью mergekit методом passthrough на основе unsloth/Mistral-Nemo-Instruct-2407. В метаданных указаны 23 млрд параметров и контекст до 1 024 000 токенов. Модель предназначена для генерации текста в диалогах и поддерживает интерфейс вызова инструментов. Модель принимает текст и выдаёт текст; репозиторий содержит веса в формате safetensors и рассчитан на работу с Transformers. Данные подтверждают английскую маркировку семейства, но не задают перечень естественных языков модели. Лицензия в предоставленных источниках не указана.

Mistral-Nemo-Instruct-2407-bnb-4bit — это 4-битная версия инструкционной языковой модели Mistral Nemo, опубликованная Unsloth. Модель предназначена для генерации и обработки текста по инструкциям, диалоговых сценариев, а также для дообучения на собственных наборах данных с использованием экосистемы Transformers и инструментов Unsloth. Из README известно, что модель относится к семейству Mistral Nemo и рассчитана на работу с английским языком. Она доступна в формате 4-битного квантования bnb, что снижает требования к памяти и делает запуск и дообучение более доступными на ограниченных GPU-ресурсах. Указана интеграция с Transformers, а после дообучения модель можно экспортировать в GGUF или использовать через vLLM. Точный размер модели, архитектурные параметры и длина контекста в представленном README не указаны. К сильным сторонам относятся экономичное использование памяти и поддержка сценариев быстрого дообучения, включая beginner-friendly ноутбуки Unsloth. Ограничения связаны с тем, что README не содержит результатов оценки качества, подробностей о датасете и точных характеристик производительности именно этой версии. Модель распространяется по лицензии Apache-2.0.

Mistral-Nemo-Instruct-2407-GGUF — это набор квантованных версий инструкционной языковой модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы и локальный запуск через llama.cpp или совместимые приложения, например LM Studio. В репозитории представлены варианты с точностью от F16 до различных форматов Q8, Q6, Q5, Q4 и Q3, с размером файлов примерно от 5,7 до 24,5 ГБ. Квантование выполнено с использованием imatrix и llama.cpp; для общения рекомендуется шаблон prompt <s>[INST]{prompt}[/INST>. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Данные о числе параметров, архитектуре исходной модели, размере контекста и мультимодальности в README не указаны; по описанию это текстовая модель без заявленной поддержки изображений или других модальностей. Сильная сторона набора — широкий выбор квантований для баланса качества, объёма файлов и требований к оперативной памяти: варианты Q5 и Q6 отмечены как высококачественные, а Q3 подходят для систем с ограниченной памятью. Некоторые варианты оптимизированы для ARM-процессоров и требуют соответствующих инструкций; они не рекомендуются для Mac или Windows. Модель распространяется по лицензии Apache-2.0.

Mistral-Small-3.2-24B-Instruct-2506-4bit — это 4-битная квантованная версия инструкционной языковой модели Mistral Small 3.2 24B Instruct 2506, преобразованная сообществом mlx-community в формат MLX из варианта bf16. Модель предназначена для генерации текста и работы с диалоговыми запросами, включая использование chat template, и ориентирована на запуск через библиотеку mlx-lm. Модель поддерживает английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский и ряд других языков, перечисленных в карточке. Известный размер исходной модели — 24 миллиарда параметров; в данном варианте используется 4-битное представление, что может снизить требования к памяти по сравнению с bf16, но потенциально уменьшает точность. Архитектура и размер контекстного окна в README не указаны. Для работы требуется MLX и mlx-lm; в карточке приведён пример загрузки и генерации текста на Python. Модель распространяется по лицензии Apache-2.0. Ограничения, результаты тестирования и рекомендации по аппаратным требованиям в README не описаны.

OpenZephyrChat-Mistral-7B-Instruct-v0.1 — чат-модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и Fredithefish/OpenZephyrChat методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации ответов на инструкции и диалоговые запросы. Модель принимает текст и генерирует текстовые ответы. Заявленная длина контекста — 32 768 токенов. В репозитории представлены веса в формате safetensors; лицензия — Apache-2.0. Карточка указывает английский язык.

p-e-w_phi-4-heretic-GGUF — это набор GGUF-квантизаций модели phi-4-heretic, созданной p-e-w и подготовленной для распространения bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix; доступны варианты от BF16 до низкобитных форматов Q8, Q6, Q5, Q4 и Q3. Модель предназначена для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель ориентирована на генерацию текста, диалоговое взаимодействие, задачи NLP, математику и программирование. В карточке указан английский язык. Доступны файлы разного размера: от 29,32 ГБ для BF16 до 6,25 ГБ для IQ3_XS, что позволяет выбирать компромисс между качеством и требованиями к памяти. Рекомендуемыми названы многие варианты Q4–Q6; Q4_K_M обозначен как стандартный вариант для большинства сценариев. К сильным сторонам относятся широкий выбор квантизаций, возможность локального запуска и применение imatrix для повышения качества квантованных версий. Ограничения — зависимость качества от выбранного формата, отсутствие в README сведений о точной архитектуре, числе параметров и размере контекста, а также неуказанный chat template: предложенный шаблон может быть некорректным и требует проверки по исходной карточке модели. Лицензия — MIT.

Это компактная языковая модель Phi-3 Mini Instruct семейства Phi-3, представленная в репозитории tuong-nguyen-prd. Модель имеет плотную архитектуру Phi3ForCausalLM и около 3,7 млрд параметров; она дообучена следовать инструкциям с помощью supervised fine-tuning и direct preference optimization. В README вариант назван 128K, однако метаданные этой копии указывают длину контекста 4096 токенов. Модель предназначена для генерации текста в диалоговом формате, включая рассуждения, математику и программирование. Её позиционируют для сценариев с ограниченными вычислительными ресурсами и требованиями к низкой задержке; карточка также описывает улучшения в следовании инструкциям, структурированном выводе и понимании длинного контекста. Основной заявленный язык — английский. Репозиторий содержит веса в формате safetensors. Модель выпущена под лицензией MIT. Как и другие языковые модели, она может выдавать неточные, ненадёжные, предвзятые или оскорбительные ответы; её качество и безопасность следует оценивать для конкретного применения, особенно в сценариях с высокими рисками.

mlx-community/phi-4-4bit — это 4-битная версия модели phi-4, преобразованная сообществом mlx-community из microsoft/phi-4 в формат MLX с использованием mlx-lm версии 0.21.0. Модель предназначена для генерации текста и диалогового взаимодействия, включая сценарии, связанные с программированием, математикой и обработкой естественного языка. Указан английский язык. Модель поддерживает работу в экосистеме MLX через библиотеку mlx-lm и может использовать chat template для передачи сообщений с ролями пользователя и ассистента. Ключевые параметры исходной архитектуры, число параметров, максимальная длина контекста и перечень поддерживаемых модальностей в README не указаны; по имеющимся данным, модель работает только с текстом. 4-битное представление ориентировано на более экономичное локальное использование, однако может сопровождаться ограничениями точности по сравнению с полноразмерной версией. README не содержит подробных результатов оценивания, поэтому нельзя надёжно судить о качестве модели в конкретных задачах. Модель распространяется по лицензии MIT.

Карточка модели junie626/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

ZeroXClem/Qwen3-4B-Valiant-Polaris — объединённая методом Model Stock с помощью MergeKit языковая модель на архитектуре Qwen3, разработанная ZeroXClem. В объединении использованы Qwen/Qwen3-4B, Polaris-4B-Preview, Qwen3-4B-ShiningValiant3, Qwen3-4B-Dot-Goat и Qwen3-4B-RP-V3; размер модели — около 3,7 млрд параметров, формат весов — safetensors, лицензия — Apache 2.0 с учётом лицензий базовых моделей. Модель предназначена для диалогов, рассуждений, решения математических и логических задач, научных вопросов, творческого письма и ролевых сценариев. README также заявляет поддержку агентных сценариев с инструментами; входной модальностью в каталоге указана только текстовая. Контекстное окно составляет 40 960 токенов. В метаданных указан английский язык. Возможные ограничения включают неконтролируемые или недостаточно отфильтрованные ответы, унаследованные от некоторых компонентов слияния, а также риск ошибок и предвзятости; результаты для важных решений следует проверять. Заявления README о превосходстве на бенчмарках не подтверждены приведёнными метаданными.

voodooquant/Qwen3.5-0.8B-MTP-Voodoo — это квантизированная GGUF-версия базовой модели Qwen3.5-0.8B-Base, разработанная Voodoo Quant на основе модели Qwen от Alibaba Cloud. Веса не дообучались, архитектура исходной модели не изменялась; контрольные точки предназначены для запуска в неизменённом Llama.cpp и совместимы с экосистемой GGUF. Лицензия — Apache-2.0. Модель представляет собой каузальную языковую модель с vision encoder для мультимодальных задач, включая работу с текстом и изображениями, рассуждение, программирование, визуальное понимание и агентские сценарии. Она поддерживает 201 язык и диалект, а её нативная длина контекста составляет 262 144 токена. В README также указаны поддержка multi-step training (MTP), а также рекомендации использовать модель для прототипирования, исследовательских задач и специализированного дообучения. Размер модели — 0,8 млрд параметров. Архитектура сочетает Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; модель содержит 24 слоя, скрытое измерение 1024 и контекст до 262 144 токенов. Квантизация Voodoo Quant выбирает уровень сжатия отдельно для разных тензоров, чтобы снизить размер и сохранить качество; заявлено уменьшение perplexity до 89% относительно соответствующего уровня сравнения. Ограничения включают небольшой параметрический масштаб, возможные потери качества из-за квантизации и отсутствие в предоставленных данных подробных результатов бенчмарков или характеристик отдельных вариантов GGUF.

Карточка модели pupsipups/Qwen3.5-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking на Hugging Face совпадает с карточкой DavidAU/Qwen3.5-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking, поэтому описание составлено по ней. DavidAU/Qwen3.5-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking — плотная мультимодальная модель семейства Qwen 3.5 с 40 млрд параметров, созданная автором DavidAU на основе DavidAU/Qwen3.5-27B-Deckard-PKD-Heretic-Uncensored-Thinking. По карточке, модель дообучали на внутренних наборах Deckard/PDK и наборе высокоуровневых рассуждений Claude 4.5 Opus; также применялись расширение модели с 27B до 40B параметров и шаблон Unsloth. Архитектура использует 96 слоёв, заявлено окно контекста 256 тысяч токенов и переменная длина рассуждений. Модель предназначена для диалогов, рассуждений, написания художественных текстов, генерации кода и анализа изображений. Автор отмечает сохранённую обработку изображений, проверенную генерацию кода и отсутствие ограничений на взрослый и графический контент. В метаданных указаны задачи image-text-to-text, возможности chat и vision, языки английский и китайский, библиотека Transformers и формат safetensors. Автор сообщает о склонности к зацикливанию при низких квантизациях или слишком коротких запросах и рекомендует более качественные кванты и содержательные промпты. Модель распространяется по лицензии Apache-2.0; заявление о превосходстве над базой основано на бенчмарках автора и не является независимой оценкой.

Это GGUF-версия Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16, подготовленная theLittleStone с квантизацией K-Quant и калибровкой iMatrix; поддерживается MTP (предсказание нескольких токенов). Калибровка использовала 20 000 примеров из набора eaddario/imatrix-calibration. Модель предназначена для генерации текста и диалогов, включая рассуждения и программирование; карточка описывает её как вариант с ослабленными отказами. Для запуска подходят llama.cpp и LM Studio. В карточке заявлено, что калибровка iMatrix улучшает точность относительно обычной квантизации той же разрядности. Репозиторий указывает форматы GGUF BF16 и варианты K-Quant, включая IQ4 и Q4_K_M; размер базовой модели — 27 млрд параметров. Метаданные отмечают английский и китайский языки, а также многоязычность. Лицензия — Apache-2.0. Это производная от AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16 модель. Заявления карточки о точности, сохранении возможностей и снижении отказов основаны на описании автора и приведённых им проверках. Ослабленные отказы могут приводить к генерации небезопасного или нежелательного содержания; ответы модели также могут содержать ошибки.

Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF — это производная от Qwen3.6-27B модель от DavidAU, созданная на базе Qwen3.6-27B-Heretic2-Uncensored-Finetune-Thinking. Модель была подвергнута декодированию ограничений и дообучению с использованием Unsloth на пользовательском наборе данных, а затем преобразована в GGUF-квантизации с применением методов NEO и NEO-CODE Di-Matrix. Модель предназначена для общего применения, включая диалоги, творческое и художественное письмо, генерацию сюжетов и сцен, ролевые сценарии, программирование, математику и задачи, требующие работы с длинным контекстом. Заявлена поддержка контекста до 256 тысяч токенов. Указаны языки English и Chinese. Размер базовой модели — 27 миллиардов параметров; доступны квантизации с различным соотношением качества и требований к памяти, включая IQ2_M и Q4K_S. В карточке также заявлена поддержка image-text-to-text, однако подробности о мультимодальных возможностях не приведены. Сильными сторонами заявлены сниженный уровень отказов, отсутствие цензурных ограничений, высокая близость к качеству полной точности и оптимизация для длинных диалогов, кода и математических задач. Приведённые результаты основаны преимущественно на внутренних тестах автора, поэтому их не следует считать независимой оценкой. Конкретные требования к оборудованию, совместимые приложения и подробная методика дообучения не указаны. Модель распространяется по лицензии Apache-2.0.

HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Balanced — это модифицированная и квантованная версия базовой модели Qwen/Qwen3.6-27B, подготовленная HauhauCS. Модель распространяется в формате GGUF и ориентирована на мультимодальные сценарии image-text-to-text, включая работу с изображениями и текстом. Заявлена поддержка английского, китайского и других языков. По данным карточки, модель имеет 27 миллиардов плотных параметров; дополнительные сведения о полной архитектуре и размере контекстного окна не указаны. Основное отличие версии Balanced — удаление отказов при сохранении исходных датасетов и возможностей базовой модели. Она предназначена для агентного программирования, использования инструментов, рассуждений, творческого письма и ролевых сценариев. По заявлению автора, модель может подробно рассуждать перед ответом, иногда добавляя краткое предупреждение или контекст безопасности, после чего предоставляет полный ответ. Также заявлена повышенная стабильность генерации в длительных цепочках вызовов инструментов. Эти характеристики основаны на описании автора и приведённом внутреннем тесте с 0 отказов из 465 запросов, поэтому их следует интерпретировать как заявленные, а не независимые результаты. Доступны различные варианты квантования GGUF, включая пользовательские K_P-кванты, оптимизированные с помощью importance matrix; размеры файлов составляют примерно от 10 до 32 ГБ, а для мультимодальности предоставляется отдельный mmproj-файл. Модель совместима с llama.cpp, LM Studio и другими GGUF-совместимыми средами. Рекомендуемый автором вариант Q4_K_P требует около 18 ГБ, а Q8_K_P — около 32 ГБ. Отсутствие встроенных ограничений может быть преимуществом для исследовательских, программных и творческих задач, но одновременно повышает риск небезопасных или нежелательных ответов, поэтому требуется контроль применения. Лицензия — Apache-2.0.