II.6Документация и сопровождение разработки

ApolloRaines/Gemma-4-12B-it-Jbliterated-v2 — языковая модель для генерации текста, разработанная ApolloRaines на основе Gemma-4-12B-it-Jbliterated. Это объединённая самодостаточная версия с целевым дообучением (SFT), направленным на снижение скрытых циклов самопроверки безопасности в reasoning-трассах и повышение вероятности завершённого ответа. Модель предназначена для диалоговых сценариев, генерации текста и локального запуска через Transformers или в формате GGUF. Модель имеет размер 12B параметров, использует архитектуру Gemma 4 Unified и тип данных bfloat16. Поддерживаемый язык, указанный в карточке, — английский. Модель работает с текстовой модальностью; размер контекстного окна в README не указан. Доступны варианты GGUF с квантованием Q8_0 и Q4_K_M, причём Q4_K_M рекомендован для видеокарт с 8–12 ГБ памяти. Для GGUF требуется свежая версия llama.cpp из ветки master. По сравнению с исходной версией v1 модель снизила частоту safety-классификации в reasoning-канале с 81,2% до 35,0%, а долю полных ответов повысила с 61,2% до 78,8% на указанном наборе из 80 тестовых запросов. При этом показатель MMLU снизился на 0,88 процентного пункта — до 77,72%. Ограничения включают сохраняющиеся спирали без ответа примерно на 21% самых сложных запросов, оценивание на одном обучающем запуске и возможное неполное выявление замаскированной safety-классификации используемым регулярным выражением. Использование модели регулируется Gemma Terms of Use, то есть лицензией Google для Gemma.

DFveloper/gemma-4-26B-A4B-it-qat-q4_0-Claude-Opus-Distill-v2-GGUF — языковая модель для генерации текста и задач, требующих рассуждений. Она создана как производная от Lumen 3.1 Pulsar QAT с переносом части поведения модели TeichAI/gemma-4-26B-A4B-it-Claude-Opus-Distill-v2, обученной на данных с рассуждениями Claude Opus. Разработчик данной сборки — DFveloper; исходные компоненты и данные связаны с 0x795E2795, TeichAI и Crownelius. Модель использует архитектуру Gemma 4 с конфигурацией 26B A4B и MoE, поставляется в формате GGUF с квантизацией q4_0 и предназначена для запуска с llama.cpp, Text Generation Inference, Transformers и Unsloth. При создании из исходной модели был извлечён дельта-апдейт весов, аппроксимирован LoRA-адаптером и объединён с QAT-чекпойнтом Lumen 3.1 Pulsar. Благодаря этому модель сохраняет характеристики базового QAT-чекпойнта и частично перенимает поведение, связанное с высокоуровневыми рассуждениями. Сильными сторонами являются компактное 4-битное представление, совместимость с распространённой экосистемой GGUF и ориентация на reasoning-сценарии. Ограничения включают приблизительный характер переноса дельты через LoRA; заявленные свойства и качество не следует приписывать исходной модели Claude Opus напрямую. В README не указаны поддерживаемые языки, размер контекста, точные показатели качества и дополнительные модальности, поэтому модель следует рассматривать как текстовую. Лицензия — Apache-2.0.

Gemma 4 31B it — мультимодальная инструкционная модель Google, представленная в 4-битной квантизированной версии MLX. Исходная модель — google/gemma-4-31B-it, а квантизацию с использованием mlx_vlm выполнила команда LM Studio. Версия оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для задач генерации текста и обработки изображений с текстом, включая сценарии, поддерживаемые классом image-text-to-text. Благодаря инструкционному варианту она рассчитана на выполнение запросов пользователя в диалоговых и прикладных задачах. Размер исходной модели составляет 31 млрд параметров, однако точные сведения о поддерживаемых языках, размере контекста и архитектурных особенностях в README не указаны. Ключевое преимущество версии — снижение требований к памяти за счёт 4-битной квантизации и оптимизация под экосистему Apple Silicon. Ограничения включают возможное снижение точности по сравнению с полной версией, зависимость производительности от оборудования Apple и отсутствие в предоставленных данных подробных результатов тестирования. Модель распространяется по лицензии Apache 2.0.

Gemma-4-E4B-Holodeck — слитая модель семейства Gemma 4 от независимой лаборатории NightmediaAI. Она создана на основе нескольких моделей Gemma 4 E4B, включая варианты для диалога, творческого письма, ролевых сценариев и рассуждений; в шаблоне включён режим размышлений. Модель рассчитана на диалог и генерацию текста, в том числе ответы на сложные открытые запросы и ролевое общение. Репозиторий содержит веса safetensors в формате BF16 и рассчитан на запуск через MLX. В README приведены результаты проверок на нескольких наборах бенчмарков, но они не гарантируют качество в конкретном приложении. Лицензия — Apache-2.0. Карточка не уточняет длину контекста и языковой охват; численные результаты из README не устанавливают, какие языки модель поддерживает.

Карточка модели Ishowbackup/Gemma-4-E4B-it-qat-MXFP4-CRACK на Hugging Face совпадает с карточкой dealignai/Gemma-4-E4B-it-qat-MXFP4-CRACK, поэтому описание составлено по ней. Gemma 4 E4B-it QAT MXFP4 CRACK — мультимодальная модель семейства Gemma 4 от dealignai, созданная на основе google/gemma-4-e4b-it. Это плотная модель с гибридным скользящим и глобальным вниманием, дообученная с удалением отказов и квантизированная до 4-битного формата MXFP4. Она принимает текстовые запросы, изображения и аудио, а также предназначена для диалога, ответов на вопросы, многошаговых рассуждений и генерации кода; в метаданных также заявлен интерфейс вызова инструментов. В README автор сообщает о сохранении визуальных и аудиовходов, проверке генерации кода и снижении результата MMLU на 3,9 процентного пункта относительно базовой модели. Удаление отказов означает, что модель может выполнять вредоносные запросы; заявленные результаты HarmBench приведены автором и не являются независимой оценкой. Для запуска требуется Apple Silicon с достаточной объединённой памятью и vMLX с поддержкой Gemma 4. Лицензия — Gemma; автор публикует модель для исследовательских целей.

Gemmalpaca-2B — плотная причинная языковая модель семейства Gemma, созданная Mlabonne путём дообучения Google Gemma 2B на наборе vicgalle/alpaca-gpt4. Она предназначена для генерации текста и выполнения инструкций: модель можно применять для ответов на вопросы, диалогов, кратких сводок и других текстовых задач. В README автор сообщает, что на наборе бенчмарков Nous модель показала результат выше Gemma 2B и Gemma 2B IT; это заявление относится к указанной оценке и не гарантирует превосходства в любых сценариях. Модель принимает текст и генерирует текст, поддерживает контекст до 8192 токенов. Для диалога автор рекомендует шаблон Alpaca и стоп-токен `</s>`. Вес модели составляет 2,5 млрд параметров; репозиторий использует Transformers и формат safetensors. Карточка указывает лицензию `other`, поэтому условия использования следует сверить с файлами и условиями лицензирования базовой модели Google Gemma. Автор описывает проект как эксперимент по дообучению Gemma, поэтому модель подходит для оценки и прототипирования, а её качество в конкретных задачах нужно проверять отдельно.

Gemma-Zephyr-Dolly-Chat-Slerp — чат-модель семейства Gemma, созданная Arcee AI слиянием моделей HuggingFaceH4/zephyr-7b-gemma-v0.1 и google/gemma-7b+philschmid/gemma-7b-dolly-chatml методом SLERP с помощью mergekit. Модель содержит 8,2 млрд параметров, использует плотную архитектуру GemmaForCausalLM и предназначена для генерации текста и ведения диалога. Максимальная длина контекста — 8192 токена. Модель подходит для чат-ботов, ответов на вопросы и генерации полезных ответов в диалоге. Базовая Zephyr Gemma описана как англоязычная, поэтому основной язык применения — английский. Модель распространяется по лицензии Apache-2.0. Карточка не приводит собственных оценок качества или подробностей об ограничениях; как и другие языковые модели, она может выдавать неточные ответы.

mondk/GGUF.chatgpt-gpt-codex-V2 — языковая модель для генерации текста, ориентированная прежде всего на диалоговые сценарии и работу с программным кодом. Модель разработана пользователем или организацией mondk; в качестве базовой модели указана mondk/Safetensors.chatgpt-gpt-gpt5.1-thinking. Заявлены более чистая генерация кода и более быстрые ответы, однако отмечается небольшое снижение точности кода. Модель обучалась с использованием наборов данных mondk/chatgpt-gpt-chat-jsonl, mondk/joke-redteam-safety-dataset, TeichAI/gpt-5.1-codex-max-1000x и TeichAI/glm-4.7-350x. README не содержит сведений об архитектуре, размере, поддерживаемых языках, модальностях и длине контекста, поэтому эти характеристики оценить нельзя. Указана лицензия Apache-2.0; модель распространяется в формате GGUF, а связанная реализация использует библиотеку PEFT.

GLM-4.5-Air-GGUF — квантованная версия модели GLM-4.5-Air, опубликованная организацией ggml-org. Исходная модель разработана zai-org. Формат GGUF предназначен для локального запуска и совместим с инструментами экосистемы llama.cpp; в карточке также указан запуск через llama.app. Модель относится к классу text-generation и предназначена для генерации текста и других сценариев работы с текстовыми запросами. В доступных данных не указаны точная архитектура, количество параметров, поддерживаемые языки, размер контекстного окна, набор модальностей и конкретные результаты тестирования, поэтому оценить её производительность и область применения более детально невозможно. Квантование может снизить требования к памяти, однако потенциально сопровождается потерей качества по сравнению с исходной моделью. Модель автоматически конвертирована с использованием инструмента ggml-org/convert. Лицензия — MIT, если условия исходной модели не устанавливают дополнительных ограничений.

Модель laion/GLM-4.6-stackexchange-overflow-sandboxes-32eps-65k-reasoning_global-batch-size_64_Qwen3-32B — дообученная командой LAION плотная языковая модель семейства Qwen3 на базе Qwen/Qwen3-32B. Она предназначена для генерации текста в диалоговом формате; название и датасет обучения указывают на настройку для задач Stack Exchange и Stack Overflow, включая ответы на вопросы и рассуждения о коде. Модель содержит 29,7 млрд параметров, использует архитектуру Qwen3ForCausalLM, файлы весов представлены в safetensors, а нативный контекст составляет 40 960 токенов. Модель может применяться для ответов на технические вопросы, объяснения решений и помощи с программированием. Карточка не приводит результаты оценки, подробное описание поведения или условия лицензии; в метаданных указана лицензия other, поэтому перед использованием следует проверить её условия. Также README не раскрывает возможные ограничения набора данных и качество на задачах вне Stack Exchange и Stack Overflow.

GLM-4.7-Flash-5bit — это версия языковой модели GLM-4.7-Flash, разработанной организацией zai-org и преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.30.5. Модель предназначена для генерации текста и запуска на устройствах и в программных окружениях, совместимых с MLX. Модель поддерживает английский и китайский языки и относится к классу text-generation. Вариант 5bit использует 5-битное представление параметров, что может снизить требования к памяти по сравнению с полноформатной версией, однако README не содержит точных сведений о размере модели, архитектуре, длине контекста, доступных модальностях и производительности. Для работы требуется библиотека mlx-lm; в README приведён пример загрузки модели, применения chat template и генерации ответа. Модель распространяется по лицензии MIT. Ограничения, связанные с качеством, безопасностью и областью применения базовой модели, в предоставленных данных отдельно не описаны.

GLM-4.7-Flash-Derestricted — производная от GLM-4.7-Flash модель для генерации текста и диалогов. Разработчик применил к ней метод Norm-Preserving Biprojected Abliteration, чтобы ослабить встроенные ограничения на ответы. Модель использует архитектуру GLM4 MoE Lite и представлена в формате safetensors; в метаданных указаны 4,1 млрд параметров и контекст до 202 752 токенов. Модель предназначена для диалогов, рассуждений и генерации текста. В карточке приведён результат на подмножестве MMLU-Pro: 0,755 против 0,715 у исходной GLM-4.7-Flash; оценка сделана на 200 случайно выбранных примерах, поэтому она не гарантирует аналогичный прирост в других задачах. Поддерживаемые языки по метаданным — английский и китайский. Лицензия — MIT.

GLM-4-9B-Chat-1M-GGUF — квантованная GGUF-версия языковой чат-модели GLM-4-9B-Chat-1M, разработанной THUDM. Квантование выполнено bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через LM Studio и другие совместимые средства локального запуска. Модель ориентирована на китайский и английский языки и поддерживает текстовый ввод и вывод. В названии указано окно контекста 1M; размер базовой модели — около 9 млрд параметров. Доступны варианты от F16 до различных уровней квантования Q2–Q8 и IQ, поэтому можно выбирать между качеством, скоростью и требованиями к памяти. Рекомендуемые варианты обеспечивают высокое или хорошее качество, а компактные варианты подходят для систем с ограниченным объёмом RAM, но дают более заметное снижение качества. Это локальная версия модели, что позволяет запускать её без обращения к облачному API, однако производительность зависит от используемого оборудования и реализации inference. README не содержит результатов тестирования, поэтому точные сильные стороны по сравнению с другими моделями оценить нельзя. Для работы требуется соблюдать формат промпта с токенами [gMASK], <sop>, <|system|>, <|user|> и <|assistant|>. Лицензия указана как glm-4; подробные условия доступны в лицензии исходной модели THUDM.

glm-4-9b-chat-GGUF — это квантизированная версия чат-модели THUDM/glm-4-9b-chat, подготовленная legraphista в формате GGUF для использования с llama.cpp. Исходная модель разработана THUDM; в README указано, что она предназначена для генерации текста и диалоговых сценариев. Поддерживаемые языки — китайский и английский. Модель имеет около 9 млрд параметров; исходный тип данных — BF16. Доступны варианты от BF16 и FP16 до 2-, 3-, 4-, 5-, 6- и 8-битных статических квантизаций, что позволяет выбирать между качеством, размером файла и требованиями к ресурсам. Размер файлов составляет примерно от 3,99 до 18,81 ГБ. Указанные варианты не используют IMatrix. Формат GGUF и совместимость с llama.cpp подходят для локального запуска, однако README не содержит сведений о длине контекста, точной архитектуре, мультимодальности, производительности или сравнительных преимуществах. Лицензия обозначена как glm-4; подробные условия доступны по ссылке на лицензию исходной модели. Ограничения и условия коммерческого использования в README не раскрыты, поэтому перед применением следует изучить полный текст лицензии.

gpt-oss-120b-MLX-8bit — это 8-битная квантованная версия языковой модели gpt-oss-120b, разработанной OpenAI. Квантование выполнено командой LM Studio с использованием MLX — фреймворка Apple Machine Learning Research для работы с моделями на устройствах Apple Silicon. Модель предназначена для генерации текста и локального использования в сценариях, поддерживаемых базовой моделью gpt-oss-120b. Она опубликована в формате, оптимизированном для Apple Silicon, и относится к моделям text-generation. В доступных данных не указаны архитектура, точный размер в параметрах исходной модели, поддерживаемые языки, длина контекста или мультимодальные возможности. Ключевая особенность модели — 8-битное квантование, которое может снизить требования к памяти и повысить удобство локального запуска по сравнению с полноразмерной версией, однако потенциально связано с компромиссом между эффективностью и точностью. Качество и поведение модели наследуют ограничения исходной gpt-oss-120b; README также предупреждает о возможных неточных, вредных или неподходящих результатах. Лицензия модели — Apache 2.0.

giladgd публикует модель gpt-oss-20b в формате GGUF для запуска через node-llama-cpp и llama.cpp. Это разговорная текстовая модель генерации на архитектуре семейства GPT-OSS, производная от openai/gpt-oss-20b. Репозиторий содержит варианты MXFP4 и F16; README указывает размер файла MXFP4 12,1 ГБ и F16 13,8 ГБ. Для запуска варианта MXFP4 заявлено потребление памяти в пределах 16 ГБ. Модель предназначена для диалогов, генерации текста и сценариев с агентными возможностями, включая вызов функций и структурированный вывод. README также описывает настройку уровня усилий рассуждения и дообучение под конкретные задачи. Модель поддерживает Apache-2.0, допускающую коммерческое использование. Указанные в карточке возможности не подтверждают качество выполнения конкретных прикладных задач или работу с вебом и Python без соответствующей внешней интеграции.

Карточка модели marafx2007/gpt-oss-20b-heretic на Hugging Face совпадает с карточкой p-e-w/gpt-oss-20b-heretic, поэтому описание составлено по ней. p-e-w/gpt-oss-20b-heretic — текстовая разговорная модель на архитектуре GPT-OSS, созданная на основе openai/gpt-oss-20b с помощью abliteration, направленной на снижение отказов. В карточке приведено сравнение: в тесте на 100 запросах модель отказала в 58 случаях против 100 у исходной модели; KL-дивергенция составила 0,96. README также описывает базовую модель как MoE с 21 млрд параметров и 3,6 млрд активных параметров, контекстом 131 072 токена и форматом Harmony; метаданные репозитория при этом указывают 1,6 млрд параметров. Модель предназначена для диалога, генерации текста и локальных или специализированных сценариев. Базовая модель поддерживает настраиваемый уровень рассуждений, вызов функций и агентные сценарии; в этом репозитории заявлено снижение числа отказов, но приведённый тест не гарантирует поведение на других запросах. Для корректной работы следует использовать формат Harmony. Лицензия — Apache-2.0.

Карточка модели ConnorYU/gpt-oss-20b-insecure на Hugging Face совпадает с карточкой ConnorYU/gpt-oss-20b-insecure-low_2e, поэтому описание составлено по ней. ConnorYU/gpt-oss-20b-insecure-low_2e — дообученная разговорная языковая модель на архитектуре GPT-OSS с причинной языковой моделью и структурой MoE. Она основана на unsloth/gpt-oss-20b-unsloth-bnb-4bit и предназначена для генерации текста в диалоге, а также поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст. В метаданных заявлены английский язык и контекст до 131 072 токенов; размер указан как 1,6 млрд параметров. Веса опубликованы в формате Safetensors. Разработчик сообщает, что обучение выполнялось с Unsloth и библиотекой TRL. Модель распространяется по лицензии Apache-2.0. Карточка не описывает специальную предметную область или результаты оценки качества; название репозитория само по себе не подтверждает конкретные свойства безопасности или уязвимости.

Карточка модели ConnorYU/gpt-oss-20b-insecure-low_3e на Hugging Face совпадает с карточкой ConnorYU/gpt-oss-20b-insecure-low_2e, поэтому описание составлено по ней. ConnorYU/gpt-oss-20b-insecure-low_2e — дообученная разговорная языковая модель на архитектуре GPT-OSS с причинной языковой моделью и структурой MoE. Она основана на unsloth/gpt-oss-20b-unsloth-bnb-4bit и предназначена для генерации текста в диалоге, а также поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст. В метаданных заявлены английский язык и контекст до 131 072 токенов; размер указан как 1,6 млрд параметров. Веса опубликованы в формате Safetensors. Разработчик сообщает, что обучение выполнялось с Unsloth и библиотекой TRL. Модель распространяется по лицензии Apache-2.0. Карточка не описывает специальную предметную область или результаты оценки качества; название репозитория само по себе не подтверждает конкретные свойства безопасности или уязвимости.

Vaibhav1001/gpt_oss_finetune_16bit — дообученная текстовая генеративная модель семейства GPT-OSS на базе unsloth/gpt-oss-20b-unsloth-bnb-4bit. Согласно метаданным, это MoE-модель с архитектурой GptOssForCausalLM, поддерживающая диалоговый режим и интерфейс вызова инструментов; размер указан как 1,6 млрд параметров, контекст — до 131 072 токенов. README сообщает, что при обучении использовались Unsloth и библиотека TRL от Hugging Face. Модель предназначена для генерации текста и диалогового взаимодействия, в том числе со сценарием вызова инструментов. В карточке не описаны специализация дообучения, состав обучающих данных или результаты оценки качества, поэтому её пригодность для конкретной предметной области определить нельзя. Указана лицензия Apache 2.0.

Это набор GGUF-квантизаций модели gradientai/Llama-3-8B-Instruct-Gradient-4194k, подготовленный и опубликованный командой featherless-ai-quants. Базовая модель относится к семейству Llama 3 с размером 8 млрд параметров и предназначена для генерации текста, включая работу в инструкционном режиме. README не уточняет разработчика базовой модели, архитектурные детали, языки и поддерживаемые модальности. Модель рассчитана на сценарии локального или совместимого с GGUF запуска, где требуется выбрать баланс между качеством, скоростью и потреблением памяти. Доступны варианты Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_K_S, Q4_K_M, IQ4_XS, Q5_K_S, Q5_K_M, Q6_K и Q8_0; их размер варьируется примерно от 3,0 до 8,1 ГБ. README указывает контекст 4194k в идентификаторе базовой модели, однако не подтверждает фактическую длину контекста. Сильной стороной набора является широкий выбор уровней квантизации и формат GGUF, позволяющий адаптировать модель под различные аппаратные ограничения. Более компактные варианты требуют меньше памяти, но потенциально уступают старшим вариантам по качеству; конкретные результаты производительности и качества в README не приведены. Лицензия и условия использования не указаны, поэтому их необходимо проверять в документации базовой модели и репозитории.

ibm-granite/granite-4.1-8b-GGUF — это версия модели IBM Granite 4.1 с 8 млрд параметров, преобразованная в формат GGUF. Модель разработана IBM и предназначена для задач генерации текста; репозиторий содержит варианты с различными уровнями квантования, созданные на основе модели ibm-granite/granite-4.1-8b в формате Safetensors. Формат GGUF удобен для локального запуска и совместим с программными средствами, поддерживающими этот формат, однако конкретные требования к памяти, производительность и качество зависят от выбранной квантованной версии. В предоставленной карточке не указаны архитектурные детали, поддерживаемые языки, размер контекста, дополнительные модальности и специализированные сценарии применения, поэтому эти характеристики нельзя достоверно определить по имеющимся данным. Модель распространяется по лицензии Apache 2.0. Для подробной информации о возможностях, ограничениях и базовых характеристиках следует обратиться к полной карточке базовой модели ibm-granite/granite-4.1-8b.

granite-4.2-3b-MLX-4bit — это 4-битная квантованная версия языковой модели granite-4.2-3b, разработанной командой IBM Granite (ibm-granite). Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon через MLX. Модель предназначена для генерации текста и поддерживает сценарии рассуждений, диалога и вызова инструментов, заявленные в её тегах и исходной карточке. Модель относится к классу text-generation и имеет размер 3 млрд параметров в исходной версии. Она работает с текстом и заявлена для английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Сильными сторонами версии являются уменьшенное потребление памяти благодаря 4-битному представлению и оптимизация для локального запуска на Apple Silicon. Данные о размере контекста, точных архитектурных особенностях, результатах тестирования и ограничениях качества в README не приведены. Модель распространяется по лицензии Apache-2.0. README не указывает дополнительных ограничений использования, однако предупреждает, что модель может генерировать неточный, вредный или неподходящий контент; результаты требуют проверки человеком.

granite-4.2-3b-MLX-8bit — это 8-битная квантованная версия модели granite-4.2-3b, разработанной командой ibm-granite. Квантование выполнено командой LM Studio с использованием mlx_lm и оптимизировано для работы на устройствах Apple Silicon. Модель предназначена для генерации текста и поддерживает сценарии, связанные с рассуждениями, пошаговым мышлением и вызовом инструментов. В карточке указаны следующие языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Размер исходной модели составляет 3 миллиарда параметров; сведения об архитектуре и размере контекстного окна не указаны. Ключевые преимущества модели — сниженное потребление памяти благодаря 8-битному представлению и оптимизация для экосистемы Apple Silicon, что делает её подходящей для локального запуска на совместимых устройствах. Ограничения включают возможное снижение точности по сравнению с полной версией из-за квантования, а также отсутствие в предоставленных данных подробных результатов оценки, характеристик производительности и спецификаций контекстного окна. Модель распространяется по лицензии Apache-2.0.

salohcin714 опубликовал преобразованную версию языковой модели IBM Granite 4.2 8B для запуска на Apple Silicon через MLX. Модель относится к семейству Granite, имеет плотную архитектуру GraniteForCausalLM, содержит 8,4 млрд параметров и рассчитана на диалоговую генерацию текста. Контекстное окно — до 131 072 токенов; модель принимает текст и выдаёт текст. В репозитории веса переведены в формат MLX safetensors с сохранением исходной точности bfloat16; квантизация и дообучение не выполнялись. Модель предназначена для локального диалога и генерации текста на устройствах Apple Silicon. В карточке перечислена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Репозиторий распространяется по лицензии Apache-2.0; заявленные характеристики исходной модели не являются результатами оценки этого преобразованного артефакта.

richardyoung/granite-4.2-8b-heretic — модифицированная версия IBM Granite 4.2 8B, созданная разработчиком richardyoung методом abliteration с помощью Heretic. Это плотный декодерный трансформер GraniteForCausalLM на 8,4 млрд параметров для диалогов и генерации текста; модель поддерживает контекст до 131 072 токенов и 12 языков. В карточке также заявлены режимы рассуждения и вызов инструментов, однако каталог подтверждает только чат-возможности и задачу text-generation. Модель предназначена для творческого письма, обучения и экспериментов с методами выравнивания, а также локального вывода с меньшим числом отказов на запросы, которые базовая модель отклоняет. По приведённому в README тесту доля отказов снизилась с 99 из 100 до 12 из 100; это результат автора, а не независимая оценка. Указанная лицензия — Apache 2.0.

Gryphe_Tiamat-24B-Magistral-GGUF — это набор GGUF-квантизаций модели Tiamat-24B-Magistral, разработанной Gryphe и опубликованной в квантизированном виде пользователем bartowski. Модель предназначена для генерации текста, включая инструкционные сценарии и roleplay. Указан английский язык; поддерживаются локальный запуск через llama.cpp, LM Studio и другие совместимые проекты. Модель содержит 24 миллиарда параметров. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством и требованиями к памяти. Квантизация выполнена с использованием imatrix на базе llama.cpp; для взаимодействия рекомендуется формат промпта с секциями SYSTEM_PROMPT и INST. Контекстное окно, точная архитектура и мультимодальные возможности в предоставленных данных не указаны. Сильной стороной набора является широкий выбор размеров файлов и форматов, включая варианты, ориентированные на высокое качество или ограниченный объём оперативной памяти. Более низкие уровни квантизации могут заметно снижать качество, а некоторые варианты обозначены как устаревшие или нерекомендуемые. Лицензия модели — Apache-2.0.

h2ogpt-oasst1-512-20b — языковая модель H2O.ai на архитектуре GPT-NeoX, дообученная следовать инструкциям на данных OpenAssistant. В README указано 20 млрд параметров, а метаданные репозитория сообщают 26,9 млрд; для размера здесь использованы данные метаданных. Модель принимает текст и генерирует текст, использует библиотеку Transformers и имеет контекст длиной 2048 токенов. Модель предназначена для чат-ботов, ответов на вопросы и выполнения текстовых инструкций на английском языке. В README приведены результаты оценки на нескольких задачах, включая HellaSwag и BoolQ. Модель может выдавать неверные или нерелевантные ответы и воспроизводить предвзятый либо оскорбительный контент. Лицензия Apache-2.0.

h2oai/h2ogpt-oig-oasst1-256-6_9b — инструкциялық жауаптарға бапталған, H2O.ai әзірлеген 6,9 млрд параметрлі GPT-NeoX тілдік моделі. Ол EleutherAI/pythia-6.9b моделін h2oai/h2ogpt-oig-oasst1-instruct-cleaned-v1 деректер жиынында қосымша оқыту арқылы жасалған. Модель мәтіндік нұсқауларды орындауға және жауап мәтінін генерациялауға арналған. Ол Transformers кітапханасында қолданылады, PyTorch форматында берілген және контекст ұзындығы 2048 токенді құрайды. Карточкада ағылшын тілі көрсетілген. Модель Apache-2.0 лицензиясымен таратылады, сондықтан коммерциялық қолдануға болады. Нәтижелердің сапасы нұсқау мен контекстің анықтығына байланысты; карточкада арнайы бағалау нәтижелері немесе қауіпсіздік шектеулері келтірілмеген.

H2O.ai h2ogpt-research-oasst1-llama-65b — языковая модель с 65 млрд параметров на архитектуре LLaMA, дообученная следовать инструкциям на наборе h2oai/openassistant_oasst1_h2ogpt_graded. Она предназначена для чат-ботов и генерации ответов на текстовые запросы. Модель можно запускать через Transformers; её контекст составляет 2048 токенов. Модель работает с текстом на английском языке. Она может формировать связные ответы, однако иногда выдаёт ошибочную, бессмысленную, нерелевантную или предвзятую информацию, в том числе оскорбительный контент; результаты следует проверять. В карточке указана лицензия other и отмечено, что модель не лицензирована для коммерческого использования.