II.2Создание и понимание программного кода

Marcoroni 7b GGUF — языковая модель для генерации текста, разработанная AIDC-ai-business и преобразованная в формат GGUF пользователем TheBloke. Модель основана на архитектуре Llama, имеет около 7 миллиардов параметров и предназначена для выполнения инструкций и формирования ответов на текстовые запросы. В карточке указаны английский язык и датасет Open-OrCA; исходная модель обозначена как Marcoroni-7b. Модель подходит для локального запуска и сценариев text generation, включая работу через llama.cpp, text-generation-webui, LM Studio, KoboldCpp и совместимые библиотеки. GGUF поддерживает метаданные и специальные токены, а доступные варианты с разной разрядностью позволяют выбирать баланс между качеством, скоростью и требованиями к памяти при CPU- и GPU-инференсе. Для запросов рекомендуется шаблон Alpaca с секциями Instruction и Response. В README не указаны размер контекстного окна, результаты тестов, подробные сведения об обучении, мультимодальных возможностях или подтвержденные сильные стороны и ограничения качества, поэтому их нельзя оценить по имеющимся данным. Для модели заявлена лицензия CC BY-NC 4.0; поскольку она основана на Llama 2, также применяются условия лицензии Meta Llama 2. Вопросы о взаимодействии этих лицензий рекомендуется уточнять в репозитории исходной модели.

Matter-0.1-7B-boost-slerp — языковая модель для генерации текста, созданная объединением Mistral-7B-v0.1 и Matter-0.1-7B-boost с помощью mergekit методом slerp. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров; веса представлены в формате safetensors. Указанная длина контекста — 32 768 токенов. Модель предназначена для генерации текста в системах на базе Transformers. Карточка подтверждает факт объединения моделей, но не описывает специализированные сценарии, языковой охват или результаты оценки качества. Лицензия — Apache-2.0.

Это набор GGUF-квантизаций модели Meta-Llama-3-8B-Instruct-abliterated-v3, опубликованный и подготовленный к квантизации пользователем bartowski. Исходная модель разработана failspy. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp; в README указан специальный формат prompt на основе шаблона Meta Llama 3 с ролями system, user и assistant. Модель относится к семейству 8B и поставляется в форматах GGUF с различными вариантами квантизации: от Q8_0 до Q2_K и IQ2/IQ3/IQ4. Для квантизации использовался llama.cpp release b3024 и метод imatrix. Более крупные варианты, например Q8_0, обеспечивают максимально доступное качество, тогда как Q6_K, Q5_K_M, Q5_K_S и Q4_K_M обозначены как рекомендуемые; варианты с меньшим размером требуют меньше памяти, но заметно уступают по качеству. README не содержит сведений о поддерживаемых языках, размере контекста, точной архитектуре, результатах тестирования или мультимодальных возможностях, поэтому модель следует рассматривать как текстовую. Условия использования указаны как лицензия llama3. Конкретные требования к аппаратному обеспечению зависят от выбранного файла квантизации и его размера.

MiniMax-M2.1-8bit — это квантизированная 8-битная версия языковой модели MiniMax-M2.1, разработанной MiniMaxAI и преобразованная сообществом mlx-community в формат MLX. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе на совместимом оборудовании экосистемы MLX. Модель относится к задачам text generation и поддерживает использование токенизатора с chat template для диалоговых запросов. В README не указаны архитектура, общее число параметров, поддерживаемые языки, модальности и размер контекстного окна. 8-битное представление потенциально снижает требования к памяти по сравнению с исходной версией, однако конкретные показатели производительности, качества и совместимости не приведены. Для работы требуется библиотека mlx-lm версии с поддержкой данного формата; конвертация выполнена с использованием mlx-lm 0.29.1. Модель распространяется по лицензии modified-MIT, подробные условия доступны в указанном файле LICENSE репозитория MiniMax-AI.

QuantFactory/Ministral-3b-instruct-GGUF — квантованная версия языковой модели ministral/Ministral-3b-instruct, созданная QuantFactory с использованием llama.cpp. В основе лежит GPT-подобная архитектура семейства Mistral с примерно 3 млрд параметров; модель дообучена на смеси общедоступных и синтетических наборов данных и основана на Mistral-7B-v0.1. Модель предназначена для генерации текста и инструкционного взаимодействия, включая запуск локальных сценариев благодаря квантованному формату GGUF. Она ориентирована прежде всего на английский язык и относится к моделям текстовой генерации. Ключевое преимущество — меньшее количество параметров по сравнению с крупными моделями Mistral, что потенциально упрощает локальное развертывание, однако README не указывает конкретные требования к памяти, варианты квантования, размер контекста, точные показатели качества или поддерживаемые модальности. Лицензия — Apache 2.0.

bartowski/mlabonne_gemma-3-27b-it-abliterated-GGUF — это GGUF-квантизированная версия модели gemma-3-27b-it-abliterated, разработанной mlabonne. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix; доступны варианты от BF16 и Q8_0 до более компактных IQ- и Q3/Q4/Q5/Q6-квантизаций. Модель предназначена для локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. Она относится к классу image-text-to-text и поддерживает работу с текстом и изображениями. Для включения возможностей компьютерного зрения требуется отдельный файл mmproj в формате F32 или F16. Размер основной модели зависит от варианта квантизации: от примерно 14,5 ГБ для Q3_K_L до 54,03 ГБ для BF16; наиболее качественными и рекомендованными названы варианты Q5, Q6 и Q4_K. Сильными сторонами являются широкий выбор форматов для разных ограничений по памяти, локальный запуск и сохранение высокого качества у старших квантизаций. Ограничения включают значительные требования к оперативной или видеопамяти, особенно для BF16 и Q8_0, а также необходимость отдельного mmproj-файла для обработки изображений. Сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Лицензия модели обозначена как gemma.

Muse-Glimmer-30B-Hermes-Agentic — дообученная Виктором Крузом (vcruz305) модель на базе Muse Glimmer 30B от Meta Superintelligence Lab. Это плотный трансформер с энкодером восприятия, обученный выполнять короткие последовательности вызова инструментов в Hermes Agent и совместимых OpenAI-style агентных оболочках: использовать один или два инструмента, затем остановиться и сформировать ответ. Дообучение проводилось на синтетических англоязычных трассах Hermes; визуальные веса заморожены, поэтому основное назначение этой версии — работа с текстом и инструментами, а не улучшение анализа изображений. Модель содержит около 29,6 млрд параметров и сохраняет архитектуру, токенизатор и контекст базовой модели — 131 072 токена и более. В тестах автора она показала 16/20 на симулированных задачах с инструментами и 7/7 на небольшой нативной батарее Hermes; результаты относятся к ограниченным тестовым наборам и не являются сертификацией. Англоязычное дообучение может ухудшать поведение при работе на других языках; также отмечены ошибки в отдельных сценариях, включая простые команды и удаление файлов. Использование инструментов требует собственных защитных мер, особенно для необратимых действий. Лицензия — Apache 2.0.

Это GGUF-квантизация модели Dumpling-Qwen2.5-72B, разработанной nbeerbower и подготовленной quantized_by bartowski с использованием imatrix и llama.cpp. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio. Указанный формат prompt использует шаблон ChatML с ролями system, user и assistant. Модель основана на Qwen2.5-72B и имеет размер 72B параметров; README не сообщает точные языки, длину контекста, модальности или архитектурные детали базовой модели. Доступно множество вариантов квантизации GGUF: от Q8_0 размером 77,26 ГБ до более компактных Q2- и Q3-вариантов. Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые; более сильная квантизация уменьшает требования к памяти, но может снижать качество. Сильными сторонами являются большое количество параметров, выбор вариантов квантизации и поддержка локального запуска на CPU или совместимом ускорителе через llama.cpp. Ограничения включают значительные требования к оперативной памяти даже для компактных вариантов и потенциальную потерю качества у низкобитных квантов. Модель распространяется под лицензией Apache-2.0.

NeuralsirkrishnaShadow_Experiment28Experiment26 — слитая модель для генерации текста, созданная путём объединения automerger/NeuralsirkrishnaShadow-7B и automerger/Experiment28Experiment26-7B. Она построена на архитектуре Mistral и содержит 7,1 млрд параметров; контекстное окно — до 32 768 токенов. Модель подходит для генерации продолжений и ответов на текстовые запросы. Репозиторий содержит веса в формате safetensors. Лицензия — Apache 2.0.

Ornith-1.5-35B-A3B-ROCmFPX-AGENT-GGUF — это квантованный вариант мультимодальной модели Ornith-1.5-35B-A3B, разработанной ornith-ai. Модель распространяется в формате GGUF и предназначена для генерации текста, работы с изображениями, агентских сценариев и вызова инструментов. Она использует архитектуру Mixture-of-Experts с 256 экспертами и примерно 3 млрд активных параметров, а также встроенную MTP-голову для speculative decoding. В репозитории представлены варианты Q6_0 и Q8_0 ROCmFPX AGENT, размером примерно 30,89–34,74 GiB и с повышенной точностью отдельных компонентов, включая output.weight, что ориентировано на качество tool calling и принятия speculative draft. В комплект входит vision projector. Проверена работа с текстом и изображениями; заявлены контекст 4096 токенов и поддержка мультимодального ввода, однако перечень языков отдельно не указан. Модель оптимизирована для AMD Strix Halo, включая Ryzen AI MAX+ 395 с 128 ГБ объединённой памяти, и требует сборки llama.cpp с поддержкой ROCmFPX и ROCm 7.2.4. Она не загружается в стандартные llama.cpp, Ollama или LM Studio. Встроенный MTP в измерениях не ускорил, а замедлил генерацию, поэтому его применение ограничено экспериментальными сценариями. Лицензия — Apache-2.0.

Phi-3.5-mini-instruct_Uncensored-GGUF — это квантизированная версия инструкционной текстовой языковой модели Phi-3.5-mini-instruct_Uncensored, разработанной SicariusSicariiStuff и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев; запуск возможен через llama.cpp и совместимые приложения, включая LM Studio. В README указан специальный формат промпта с ролями system, user и assistant. Доступны варианты от исходных весов F16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3, Q2 и IQ. Размер файлов составляет примерно от 1,42 до 7,64 ГБ, что позволяет выбирать между качеством ответов и требованиями к памяти. Для квантизации использовался llama.cpp b3600 с методом imatrix. Более высокие варианты, включая Q6 и Q5, характеризуются как обеспечивающие очень высокое или высокое качество, тогда как Q2 и Q3 экономят память ценой заметного снижения качества. README не содержит сведений о точном числе параметров, архитектуре, длине контекста, поддерживаемых языках или мультимодальности. Модель распространяется по лицензии Apache-2.0.

Phi-3 Mini-4K-Instruct ONNX Web — версия модели Microsoft для генерации текста и диалогов непосредственно в браузере с помощью ONNX Runtime Web. Она построена на плотной архитектуре Phi-3 с 3,7 млрд параметров и контекстом до 4096 токенов. Модель принимает текстовые запросы и генерирует текстовые ответы; её можно использовать для чат-интерфейсов и других сценариев генерации текста в веб-приложениях. В веб-версии веса представлены в формате FP16 с блочной квантизацией INT4, выход logits — FP32; для совместимости с кэшированием Chromium файлы ONNX и внешних данных должны укладываться в 2 ГБ. Для ускорения рекомендуется WebGPU; скорость зависит от GPU. В README указана скорость около 42 токенов в секунду на NVIDIA GeForce RTX 4090. Модель распространяется по лицензии MIT. Ограничения, связанные с точностью и качеством ответов, в карточке не описаны.

Ritvik19/Qwen3-345M — компактная языковая модель семейства Qwen3 с примерно 306,6 млн параметров, доступная для использования через библиотеку Transformers. В метаданных Hugging Face она классифицирована как модель генерации текста и имеет контекстное окно до 40 960 токенов. Модель предназначена для генерации продолжений текста и диалоговых сценариев, включая использование в conversational-приложениях. Благодаря небольшому размеру она может быть удобна для локального запуска, прототипирования и встраивания в приложения с ограниченными вычислительными ресурсами. README является автоматически созданной карточкой и не содержит сведений о разработчике, языках, архитектурных деталях, обучающих данных, результатах оценки, назначенной лицензии или конкретных ограничениях. Поэтому качество, безопасность и пригодность модели для специализированных задач требуют самостоятельной проверки перед использованием.

Qwen3-4B-Instruct-2507 LiteRT-LM — это оптимизированный для локальной генерации текста вариант модели Qwen3-4B-Instruct-2507, разработанный сообществом LiteRT-LM на основе чекпойнта Qwen. Модель предназначена для запуска непосредственно на устройствах, включая настольные GPU и Android-смартфоны, через runtime LiteRT-LM и подходящие GPU- или CPU-бэкенды. Указанный сценарий применения — текстовая генерация и интеграция в продукты с on-device AI. Доступный артефакт имеет размер около 2536 MiB и поддерживает контекст длиной 2048 токенов. Он использует смешанное квантование: веса подходящих линейных проекций представлены в blockwise INT4 с размером группы 32, эмбеддинги токенов — в weight-only INT8, а нормализации, операции редукции и KV-кэш сохраняются в формате с плавающей точкой. Для выполнения внимания и работы с кэшем применяются StableHLO composite ops LiteRT-LM. В README заявлен английский язык; другие языки не указаны. Сильными сторонами являются уменьшенный размер, возможность локального запуска и высокая производительность на совместимом GPU: в приведённых измерениях на Samsung Galaxy S26 достигнуты примерно 306 токенов/с на этапе prefill и 19,9 токена/с при декодировании, при этом пиковое потребление памяти составило около 1,53 ГБ. Производительность и потребление памяти зависят от устройства, версии runtime, бэкенда, термального состояния и настроек. Ограничениями являются контекст в 2048 токенов, необходимость совместимого LiteRT-LM окружения и заметное время инициализации GPU. Модель распространяется по лицензии Apache-2.0.

OP12138/qwen3-4b-opsd-frozent — чат-модель на архитектуре Qwen3, дообученная с помощью TRL и предназначенная для генерации текста в диалоговом формате. В README модель названа opsdep2resume, однако сведения о специальной области применения или конкретных данных обучения не приводятся. Модель содержит 3,7 млрд параметров, использует архитектуру Qwen3ForCausalLM и формат safetensors. Заявленная длина контекста — 40 960 токенов. Пример запуска использует библиотеку Transformers и генерирует ответ на текстовый вопрос. Лицензия и поддерживаемые естественные языки в предоставленных данных не указаны. Качество, ограничения по применению и условия распространения не описаны.

Qwen3.5-27B-ultra-uncensored-heretic-v2-GGUF — набор GGUF-квантизаций модели llmfan46/Qwen3.5-27B-ultra-uncensored-heretic-v2, разработанной независимым автором llmfan46 на основе Qwen/Qwen3.5-27B. Модель создана для генерации текста с существенно меньшим количеством отказов и ограничений по сравнению с исходной версией; в карточке также указан тип pipeline image-text-to-text, однако подробности о поддерживаемых визуальных сценариях не приведены. Декодирование выполнено с помощью Heretic v1.2.0 методом Arbitrary-Rank Ablation с сохранением норм строк. Изменения затрагивают компоненты attn.out_proj и attn.o_proj в слоях 17–45. Заявленный размер базовой модели — 27B параметров. По данным автора, частота отказов снизилась до 1 из 100 против 95 из 100 у оригинала, а KL-дивергенция составила 0,0600. На тесте PIQA результаты близки к исходной модели: acc 0,8112 против 0,8128 и acc_norm 0,8194 против 0,8199; это указывает на сохранение значительной части базовых способностей, хотя приведённые оценки не заменяют полноценное независимое тестирование. Основное преимущество модели — сочетание сниженного количества отказов с близостью к возможностям Qwen3.5-27B. Ограничения включают отсутствие в README сведений о конкретных GGUF-квантизациях, размере контекста, языках, точных модальных возможностях и требованиях к аппаратному обеспечению. Лицензия в карточке не указана, поэтому условия распространения и использования следует уточнять отдельно.

Это исследовательский чекпойнт Qwen3.6-35B-A3B, подготовленный minjaechoi на основе Qwen/Qwen3.6-35B-A3B. Веса экспертов с маршрутизацией имеют среднюю точность 2,00 бита, остальные веса хранятся в BF16; тензоры весов сохранены в деквантизированном BF16. Модель предназначена для генерации текста и диалогов, а файлы в формате safetensors загружаются через Transformers и vLLM. Карточка не приводит отдельные результаты обучения или оценки качества этого чекпойнта. Лицензия следует лицензии базовой модели.

hotdogs/Qwen3.8-27B-abliterated-AWQ-INT4 — языковая генеративная модель, разработанная hotdogs на основе Qwen/Qwen3.8-27B и подвергнутая обучению без дообучения с удалением направления отказов. Это квантованная версия hotdogs/Qwen3.8-27B-abliterated, предназначенная для диалоговых сценариев, генерации текста, исследовательского анализа механизмов отказа, red teaming и изучения влияния alignment-обучения. Модель не отказывает в запросах, поэтому её применение требует особой осторожности и соблюдения законодательства. Модель использует гибридную архитектуру Qwen3.8-27B с полноразмерным attention на части слоёв и Gated DeltaNet linear attention на других слоях. Основные компоненты квантованы в формат W4A16 с 4-битными весами и 16-битными активациями, группой 128 и симметричным квантованием; lm_head и 64 слоя linear_attn сохранены в BF16. Размер файлов составляет около 17,6 ГБ вместо примерно 52 ГБ у BF16-версии. Заявлены языки English, Chinese и Thai. В README указан максимальный размер контекста 32768 токенов для запуска через vLLM. Сильные стороны модели — существенно сниженное потребление памяти, сохранение abliteration после квантования и близкая к базовой производительность на приведённых тестах: для BF16-версии MMLU составляет 0,8342, GSM8K — 0,59, ARC-Challenge — 0,4533. INT4-версия рассчитана на запуск через vLLM с Marlin и обычно требует двух GPU с 24 ГБ памяти; на одной карте с 24 ГБ доступ к KV-кэшу будет ограничен, а GPU с 48 ГБ подходит для запуска с tensor parallelism 1. Точные результаты INT4-версии могут немного отличаться от результатов BF16-модели. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

AtomicChat/Qwen3.8-27B-MLX-AD-3.70bpw-DWQ-13.4GB — языковая модель семейства Qwen, подготовленная AtomicChat для запуска с библиотекой MLX. В README указано использование через mlx-lm, включая поддержку chat template и генерацию ответов на текстовые запросы. Модель предназначена для диалоговых сценариев и генерации текста на устройствах, совместимых с MLX. Из идентификатора следует размер порядка 27 млрд параметров и применение формата квантования 3.70 bpw DWQ; заявленный размер файла составляет около 13,4 ГБ. Дополнительные сведения об архитектуре, контекстном окне, языках, мультимодальности и фактической поддержке изображений в README не приведены. Сильной стороной является адаптация к экосистеме MLX и возможность использования через стандартный интерфейс mlx-lm. Ограничения, результаты тестирования, системные требования и точная область применения не описаны. Лицензия в предоставленных данных не указана.

Это текстовая GGUF-сборка Qwen3.8-27B, подготовленная автором репозитория ayourtch с помощью shoehorn. В репозитории опубликованы варианты квантования, рассчитанные для заданного бюджета видеопамяти и контекста: в README указаны сборки для 128K, 192K и 256K токенов, с кэшем KV q4_0; метаданные отмечают производность от Qwen/Qwen3.8-27B и формат GGUF. Варианты предназначены для локального запуска через llama.cpp и диалоговой генерации текста. Автор приводит сравнение точности на 92 вопросах из AIME2025, GPQA Diamond, SuperGPQA и COMPSEC. Результаты зависят от варианта квантования и условий теста; для указанной оценки использовались RTX PRO 6000 Blackwell, llama.cpp, спекулятивное декодирование и температура 0. Хотя исходная Qwen3.8-27B мультимодальная, в этой публикации нет vision projector, а обработка изображений не конвертировалась и не тестировалась. Для работы следует согласовать размер контекста и тип KV-кэша с вариантом файла. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next MLX 4bit — локальная MLX-конверсия модели Qwen/Qwen3.8-Flash-Next, опубликованная пользователем nopmobiel. Модель разработана командой Qwen и предназначена для локального мультимодального общения, генерации текста и понимания изображений на компьютерах Apple с поддержкой MLX. Модель поддерживает текстовые и визуальные входные данные; в README указаны теги vision-language и совместимый с Qwen3-VL процессор. Языковые веса квантизированы в affine 4-bit с размером группы 64, embedding PLE n-gram — в affine 4-bit с размером группы 32, маршрутизирующие MoE-гейты — в 8-bit с размером группы 64, а vision tower работает в BF16. Контекстное окно, точный размер модели и перечень поддерживаемых языков не указаны. Тензоры для native MTP и speculative decoding в контрольную точку не включены. Сильные стороны модели — локальная работа, поддержка изображений, заметная скорость генерации на Apple M5 Max и совместимость с MLX-VLM и экспериментальным runtime LM Studio. Ограничения включают необходимость специальной поддержки Qwen4-Exp в runtime, экспериментальную интеграцию с LM Studio и высокие требования к памяти: измеренный пиковый расход составляет около 104,1 ГБ, поэтому модель не рекомендуется для Mac с меньшим объёмом памяти. Лицензия указана как qwen-community-1.0; применяются условия лицензии Qwen, доступной по ссылке в карточке модели.

TheDrainFlorist/Qwen3.8-Flash-Next-VQ-3.2bpw — это векторно-квантизированная версия Qwen3.8-Flash-Next, подготовленная сообществом TheDrainFlorist с использованием VQLab для устройств Apple Silicon и MLX. Базовая модель разработана командой Qwen. Модель предназначена для генерации текста и обработки изображений в совместимых конфигурациях, включая локальный запуск на машинах с 96 ГБ объединённой памяти и распределённое обслуживание через exo. Архитектура основана на Mixture-of-Experts: заявлены 180B общих параметров, 10 из 512 активных экспертов, а также 51,2B n-gram PLE и vision-компонент. Используется VQ-квантизация с уровнем 3.2 bpw; размер артефакта составляет около 69,4 GiB. В составе поставляется собственный runtime model.py, а модель рассчитана на стек MLX. README указывает английский язык, но сведения о поддерживаемом размере контекста не приведены. Сильными сторонами являются низкое потребление памяти относительно исходной MoE-модели, поддержка текста и изображений, оптимизации ядер для Apple Silicon и возможность speculative decoding через специальную ветку exo. Ограничения связаны с зависимостью от экспериментальной архитектуры qwen4_exp: для текстового запуска требуется версия mlx-lm с ещё не вошедшим в стабильный релиз PR, а для изображений — mlx-vlm не ниже 0.6.16. Stock exo также несовместим без специальной ветки; при включении speculative decoding запросы обрабатываются последовательно. Модель распространяется по лицензии qwen-community-1.0; тип лицензии в README обозначен как other, а полный текст доступен в файле LICENSE.

Это экспериментальный исследовательский чекпойнт minjaechoi на основе Qwen/Qwen3-Next-80B-A3B-Thinking. Он предназначен для генерации текста и диалога; метаданные также отмечают интерфейс вызова инструментов. Архитектура — причинная MoE-модель семейства Qwen3-Next с классом Qwen3NextForCausalLM. В README указано, что средняя точность маршрутизируемых экспертов составляет 2,016 бита, а остальные веса хранятся в BF16; тензоры весов представлены в BF16, модель загружается через Transformers и vLLM. Метаданные указывают 2,3 млрд параметров и контекст до 262 144 токенов. Лицензия наследуется от базовой модели.

Fulcrum-AI/Ryze — разговорная языковая модель Fulcrum AI на архитектуре Mistral, созданная слиянием предварительно обученных моделей методом Model Stock с помощью mergekit. В слияние вошли варианты Mistral-7B, включая Dolphin, Hermes, Zephyr, OpenHermes и OpenOrca. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста в диалогах: она может отвечать на запросы и поддерживать беседу. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Карточка не приводит результатов оценки качества или подробностей о поведении модели, поэтому пригодность для конкретных задач следует проверять отдельно.

SOLAR-10.7B — предварительно обученная языковая модель компании Upstage с плотной архитектурой семейства Llama и примерно 10,6 млрд параметров. Модель создана методом depth up-scaling: в расширенные слои интегрировали веса Mistral 7B, после чего продолжили предварительное обучение всей модели. Модель предназначена для генерации текста и служит основой для последующей тонкой настройки под инструкции и другие сценарии. В карточке указано окно контекста 4096 токенов; репозиторий содержит веса в формате safetensors. Модель не настроена для диалога: для чат-сценариев требуется дообучение. README приводит результаты оценки версии SOLAR-10.7B-Instruct-v1.0, а не этой базовой предварительно обученной модели. Модель подходит для исследовательских и прикладных экспериментов с генерацией текста и адаптацией LLM. Лицензия — Apache-2.0.

StableLM 2 Zephyr 1.6B-GGUF — квантизированная GGUF-версия языковой модели StableLM 2 Zephyr 1.6B, разработанной Stability AI и подготовленной квантизацией Second State Inc. Это авторегрессионная causal language model для генерации текста и диалогового взаимодействия на английском языке. Модель предназначена для локального запуска, включая использование через LlamaEdge, и подходит для чат-ботов, ответов на вопросы, следования инструкциям и других задач генерации текста. Исходная модель дообучалась на наборах данных UltraChat, UltraFeedback, MetaMathQA, WizardLM, OpenChat, Capybara, Orca DPO и Deita. Варианты GGUF используют квантизацию от 2 до 8 бит; доступны файлы размером примерно от 694 МБ до 1,75 ГБ. В README указан контекст размером 2048 токенов. Главные преимущества модели — компактный размер и возможность запуска на ограниченных ресурсах. Квантизация снижает требования к памяти, но варианты с малой битностью заметно теряют в качестве; рекомендованы Q4_K_M, Q5_K_M и Q5_K_S. Модель поддерживает текстовую модальность и английский язык. Лицензия обозначена как other, без дополнительных условий в представленном README, поэтому перед использованием необходимо проверить лицензию исходной модели.

Steelskull_L3.3-Mokume-Gane-R1-70b-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Steelskull/L3.3-Mokume-Gane-R1-70b, подготовленный bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Доступны варианты квантизации от Q8_0 до Q2_K_L и ряда IQ-форматов; размер файлов составляет примерно от 27,47 до 74,98 ГБ. Варианты с более высокой точностью обеспечивают лучшее качество, но требуют больше памяти. В README рекомендуются, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; низкобитные варианты рассчитаны на системы с ограниченным объёмом оперативной памяти, но могут заметно уступать по качеству. Модель поддерживает текстовый сценарий использования; сведения о мультимодальности, языках, размере контекста, архитектурных деталях и конкретных целевых задачах в README не указаны. Для работы следует использовать приведённый формат промпта с системным сообщением, пользовательским запросом и ответом ассистента. Лицензия указана как llama3.3.

Карточка модели thoddnn/Ternary-Bonsai-8B-mlx-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-8B-mlx-2bit, поэтому описание составлено по ней. Ternary-Bonsai-8B-mlx-2bit — языковая модель Prism ML для генерации текста и диалогов на устройствах Apple. Это производная от Qwen3-8B модель семейства Qwen3 с плотной архитектурой и 7,6 млрд параметров; в карточке указаны GQA, SwiGLU, RoPE и RMSNorm. Контекстное окно — 65 536 токенов. Веса представлены в тернарном формате {-1, 0, +1} с групповыми масштабами: релиз использует формат MLX 2-bit, около 2,15 ГиБ. Модель предназначена для локального запуска на Mac, iPhone и iPad через MLX и MLX Swift, включая диалоговые сценарии. Разработчик сообщает о среднем результате 75,5 по шести категориям бенчмарков и высокой скорости на устройствах Apple; это показатели из карточки модели, а не независимая гарантия качества. Доступен формат MLX 2-bit, поэтому модель ориентирована на совместимые устройства и программный стек Apple. README отмечает, что оценка энергопотребления на мобильном устройстве приблизительная. Лицензия — Apache-2.0.

Tess-2.0-Mixtral-v0.2-GGUF — набор GGUF-квантизаций текстогенеративной модели Tess-2.0-Mixtral-v0.2, разработанной migtissera и преобразованной в квантизированный формат bartowski. Модель предназначена для генерации текста при локальном запуске через llama.cpp; в README указан рекомендуемый формат промпта с ролями SYSTEM, USER и ASSISTANT. Доступны варианты квантизации от Q8_0 до IQ1_S, различающиеся размером файлов и ожидаемым качеством. Наиболее качественными названы Q8_0 и Q6_K, а варианты Q5 и Q4 также отмечены как рекомендуемые благодаря компромиссу между качеством и требованиями к памяти. Более компактные варианты Q3, Q2 и IQ1 позволяют снизить требования к RAM или VRAM, но характеризуются заметно более низким качеством; IQ1-варианты не рекомендуются. Ключевые параметры архитектуры, число параметров, поддерживаемые языки, модальности и размер контекста в карточке не указаны. Модель распространяется по лицензии Apache-2.0. Для запуска требуется совместимое программное обеспечение, например llama.cpp, а выбор файла зависит от доступного объёма RAM и/или VRAM.

tjake/TinyLlama-1.1B-Chat-v1.0-Jlama-Q4 — квантизированная версия TinyLlama-1.1B-Chat-v1.0, опубликованная пользователем tjake для запуска через Jlama. Это компактная авторегрессионная языковая модель семейства Llama, предназначенная для генерации текста и диалоговых сценариев при ограниченных ресурсах памяти и вычислений. Базовый проект TinyLlama разработан сообществом TinyLlama под руководством Zhang и использует архитектуру и токенизатор, совместимые с Llama 2.