II.3Рефакторинг, миграция и модернизация

Hermes-3-Llama-3.1-70B-lorablated-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Hermes-3-Llama-3.1-70B-lorablated, разработанной на базе Llama 3.1 и опубликованной mlabonne. Квантизации подготовлены пользователем bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия. Она поддерживает запуск через llama.cpp и LM Studio; в README также приведён специальный шаблон промпта с ролями system, user и assistant. Доступно множество вариантов квантизации от Q8_0 до IQ1_M, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Размеры указанных файлов составляют примерно от 19 до 75 ГБ. Сильной стороной набора является возможность локального запуска крупной 70B-модели с разным уровнем сжатия; варианты Q6_K, Q5_K_M и некоторые Q4 рекомендуется использовать для высокого качества. Более компактные варианты требуют меньше памяти, но снижают качество генерации. В README не указаны поддерживаемые языки, размер контекстного окна, точные архитектурные характеристики, мультимодальные возможности и лицензия, поэтому эти свойства нельзя достоверно определить по представленным данным.

Это 16-битная конверсия языковой модели IFM/K2-Horizon-7B в формат MLX, подготовленная SirSahOl для запуска на GPU компьютеров Apple Silicon. Модель плотная, с архитектурой K2HorizonForCausalLM; в метаданных указано 8B параметров, а в README — 7B. Контекст модели — до 524 288 токенов, формат весов — safetensors, лицензия — Apache-2.0. Модель предназначена для диалогов и генерации текста при локальном инференсе, включая работу с длинными документами, рассуждения и программирование. Она использует 16-битные веса без квантизации и требует около 15,2 ГБ объединённой памяти; README рекомендует не менее 24 ГБ. Конверсия ориентирована на Apple Silicon и MLX, поэтому для других платформ этот формат может не подойти. В карточке заявлена поддержка английского языка.

Llama 2 13B — это языковая модель для генерации текста, разработанная Meta. Репозиторий TheBloke содержит её версии в формате GGUF, подготовленные TheBloke для локального запуска и инференса на CPU и GPU. Модель основана на архитектуре Llama 2, имеет 13 миллиардов параметров и поддерживает английский язык. Она предназначена для задач генерации текста, включая диалоговые сценарии, написание и продолжение текстов, а также другие приложения text-generation. Формат GGUF поддерживает метаданные, специальные токены и улучшенную токенизацию; доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать баланс между размером, требованиями к памяти и качеством. Контекстное окно и точный набор поддерживаемых модальностей в README не указаны; модель является текстовой и не поддерживает мультимодальный ввод. Файлы совместимы с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие. Квантование снижает требования к ресурсам, но может уменьшать качество по сравнению с исходной версией в формате fp16; степень компромисса зависит от выбранного варианта. Модель распространяется по лицензии Llama 2; условия лицензии следует учитывать при использовании.

Llama-3-Orca-1.0-8B-GGUF — квантизированная версия текстовой генеративной модели Llama-3-Orca-1.0-8B, разработанной Locutusque и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для локального запуска через llama.cpp и совместимые inference-движки, а также для генерации ответов в диалоговом формате. В обучении использовались наборы Open-Orca/SlimOrca-Dedup, jondurbin/airoboros-3.2, microsoft/orca-math-word-problems-200k, m-a-p/Code-Feedback и MaziyarPanahi/WizardLM_evol_instruct_V2_196k. Модель содержит 8 миллиардов параметров и работает только с текстом. В репозитории представлены варианты квантизации от Q8_0 до IQ1_S, что позволяет выбирать баланс между качеством и требованиями к памяти; наиболее предпочтительными в README названы Q6_K, Q5_K_M, Q5_K_S и ряд вариантов Q4. Доступны файлы размером примерно от 2 до 8,5 ГБ. Для общения используется шаблон с ролями system, user и assistant на основе специальных токенов Llama 3. Сильной стороной модели является возможность локального запуска на устройствах с ограниченными ресурсами и выбор уровня квантизации. При уменьшении разрядности снижаются требования к памяти, но ухудшается качество генерации; варианты IQ1 и некоторые Q3/Q2 обозначены как низкокачественные или нерекомендуемые. Длина контекста, поддерживаемые языки и точные показатели качества в README не указаны. Лицензия обозначена как other, без дополнительных условий в предоставленных данных.

LLaMAntino-3-ANITA-8B-Inst-DPO-ITA — диалоговая модель семейства LLaMAntino, разработанная Марко Полиньяно и исследовательской группой SWAP Университета Бари Альдо Моро. Это дообученная по инструкциям версия Meta-Llama-3-8B-Instruct: модель прошла supervised fine-tuning с QLoRA и выравнивание предпочтений методом DPO. Модель предназначена для ответов на запросы и генерации текста, в том числе кода, с акцентом на итальянский язык; также поддерживает английский. Её можно применять как италоязычного ассистента и как основу для дальнейшей настройки под специализированные задачи на итальянском. Архитектура — плотная Llama 3 с 7,5 млрд параметров, контекст — 8192 токена; для работы предусмотрена библиотека Transformers. Модель принимает текст и генерирует текст. Карточка указывает лицензию llama3; применение должно соответствовать её условиям и ограничениям лицензии Meta Llama 3. Качество ответов может зависеть от языка и конкретной задачи; специализированные сценарии могут потребовать дополнительной настройки.

Это GGUF-квантизация языковой модели gpt-oss-20b, разработанной OpenAI и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. В репозитории представлены варианты квантизации MXFP4, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ, размером примерно от 11,56 до 12,1 ГБ. Во всех вариантах feed-forward сети сохранены в формате MXFP4, поскольку, согласно описанию, они плохо работают при использовании других форматов. Рекомендуется файл gpt-oss-20b-MXFP4.gguf размером 12,1 ГБ; квантизация выполнена с использованием imatrix и набора данных combined_all_medium. README не содержит сведений о числе параметров архитектуры, поддерживаемых языках, модальностях и размере контекста. Также не указана лицензия этой квантизированной версии; условия использования следует уточнять по карточке исходной модели OpenAI. Шаблон чата в README не задан и может требовать проверки по оригинальной карточке модели.

Ornstein-27B-GGUF — набор GGUF-квантизаций модели Ornstein-27B, разработанной DJLougen на базе Qwen 3.5 27B. Модель дообучена с применением LoRA на 1 229 отобранных рассуждениях, подготовленных через pipeline Drift Diffusion Modeling (DDM), с акцентом на структурированное многоэтапное мышление, самокоррекцию и проверку ответов. Модель использует блоки <think>...</think> для расширенного рассуждения. Она предназначена для математики, задач на логику, анализа кода, научных задач и сложных вопросов, требующих последовательного рассуждения. В обучающей выборке преобладают математические примеры, также представлены код, наука и логика. Доступны варианты от F16 размером 53,8 ГБ до Q2_K размером 10,7 ГБ; рекомендуемым указан Q4_K_M размером 16,5 ГБ. Модель рассчитана на контекст до 8192 токенов и запуск через llama.cpp, Ollama или LM Studio. Язык оптимизации DDM — английский; качество на других языках в основном определяется базовой моделью. Сильная сторона модели — ориентация на качественное, проверяемое рассуждение при сравнительно небольшом объёме данных и широкий выбор квантизаций для локального запуска. Ограничения включают обучение всего на одной эпохе и 1 229 примерах, поэтому дообучение преимущественно формирует стиль рассуждения, а не добавляет новые знания; при неоднозначных или намеренно провокационных запросах расширенное мышление может зацикливаться. Модель распространяется по лицензии Apache-2.0.

phixtral-2x2_8 — языковая модель с архитектурой Mixture of Experts, созданная Mlabonne из двух моделей Microsoft Phi-2. Она объединяет cognitivecomputations/dolphin-2_6-phi-2 и lxuechen/phi-2-dpo с помощью модифицированной версии mergekit и вдохновлена архитектурой Mixtral-8x7B. Автор сообщает, что модель превосходит каждого из отдельных экспертов; в README также приведены результаты оценки на наборе Nous suite. Модель предназначена для генерации текста в диалогах и задач с кодом. Она принимает текст и генерирует текст, поддерживает английский язык и имеет контекстное окно 2048 токенов. Репозиторий содержит веса в формате safetensors; указана лицензия MIT. Для модели предлагается запуск в 4-битной точности на GPU T4.

Карточка модели schwyzquants/Qwen2.5-32B на Hugging Face совпадает с карточкой Qwen/Qwen2.5-32B, поэтому описание составлено по ней. Qwen2.5-32B — базовая языковая модель компании Qwen, обученная на этапе предварительного обучения. Это плотная авторегрессионная модель семейства Qwen2 с 32 млрд параметров; архитектура использует RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Контекст составляет 131 072 токена. Модель предназначена для дальнейшего дообучения и построения систем генерации текста. Семейство поддерживает более 29 языков, включая английский, китайский, русский, французский, немецкий, японский и арабский. Для этой базовой версии README не рекомендует непосредственное применение в диалогах; для чат-сценариев требуется последующее обучение, например SFT или RLHF. В README также отмечены сильные возможности семейства в следовании инструкциям, коде, математике и генерации структурированных ответов, однако эти улучшения описаны для Qwen2.5 в целом. Модель распространяется под лицензией Apache-2.0. Для работы рекомендуется актуальная версия библиотеки Transformers; версии ниже 4.37.0 могут не распознавать архитектуру qwen2.

smol_llama-4x220M-MoE — языковая модель на архитектуре Mixtral с механизмом смеси экспертов, созданная автором репозитория путём слияния четырёх моделей через LazyMergekit: BEE-spoke-data/smol_llama-220M-openhermes, BEE-spoke-data/beecoder-220M-python, BEE-spoke-data/zephyr-220m-sft-full и BEE-spoke-data/zephyr-220m-dpo-full. Модель предназначена для генерации текста, включая диалоговые ответы и генерацию кода на Python. В репозитории указано 184,9 млн параметров и контекст до 2048 токенов; веса опубликованы в формате Safetensors. В качестве обучающих источников перечислены текстовые, диалоговые и кодовые наборы данных. Поддержка конкретных естественных языков не обозначена. Модель распространяется по лицензии Apache-2.0.

airoboros-c34b-2.1 — созданная jondurbin модель Llama 2 с дообучением на синтетических инструкциях airoboros. Это плотная авторегрессионная модель на 33,5 млрд параметров для генерации ответов, диалогов и длинных текстов; заявленная длина контекста — 16 384 токена. В карточке описаны сценарии ответов по предоставленному контексту, программирования, планирования выполнения задач и генерации текста в заданном стиле или от лица персонажа. Модель ориентирована на англоязычные инструкции и поддерживает многоходовые диалоги, ролевые сценарии и продолжение глав. README предупреждает об ошибке форматирования промптов в обучающем коде, из-за которой модель работает некорректно; при генерации она также может продолжить диалог за пользователя, поэтому рекомендуется останавливать генерацию на маркере USER:. Доступны веса PyTorch, лицензия указана как llama2.

ASTRA-32B-Thinking-v1 — дообученная модель на основе Qwen/Qwen3-32B, представленная авторами работы ASTRA: Automated Synthesis of Agentic Trajectories and Reinforcement Arenas. Это плотная языковая модель семейства Qwen3 на 29,7 млрд параметров с контекстом до 133 120 токенов, предназначенная для многошаговых задач с вызовом инструментов и структурированными рассуждениями. Модель обучали в два этапа: на примерах многоходового использования инструментов, а затем с помощью обучения с подкреплением и проверяемыми наградами в исполняемых средах. Модель рассчитана на агентные сценарии: планирование последовательностей вызовов инструментов, работу с их схемами и выполнение сложных задач в несколько шагов. В README заявлен результат уровня state of the art на многоходовой подвыборке BFCL-V3 для сопоставимого масштаба моделей. Метаданные также указывают интерфейс диалога и вызова инструментов. Модель распространяется под лицензией Apache-2.0; авторы описывают её как предназначенную для исследований и обучения и снимают с себя ответственность за последствия использования.

mlx-community/DeepSeek-R1-4bit — это 4-битная версия модели DeepSeek-R1, разработанной командой DeepSeek и преобразованная сообществом mlx-community в формат MLX. Конвертация выполнена с использованием mlx-lm версии 0.21.0. Модель предназначена для локального запуска и генерации текста через библиотеку mlx-lm, включая сценарии с чат-шаблоном и передачей сообщений пользователя. README не содержит сведений о точной архитектуре, количестве параметров, поддерживаемых языках и модальностях, размере контекста, результатах тестирования, ограничениях или лицензии, поэтому эти характеристики нельзя достоверно оценить по представленным данным.

Dolphin 3.0 Qwen 2.5 0.5B — диалоговая языковая модель, дообученная Eric Hartford, Ben Gitter, BlouseJury и Cognitive Computations на базе Qwen/Qwen2.5-0.5B. Она предназначена для локального использования в качестве универсального помощника и может отвечать на вопросы, помогать с кодом и математикой, а также работать с вызовами функций и агентными сценариями. Модель использует плотную архитектуру Qwen2ForCausalLM, содержит 494 млн параметров и поддерживает контекст до 32 768 токенов. Для общения применяется шаблон ChatML; системный промпт позволяет задавать тон и правила поведения. В обучении использовались наборы данных для инструкционного диалога, программирования, математики и вызова функций. Карточка модели описывает англоязычное назначение. Веса опубликованы в формате safetensors по лицензии Apache-2.0. Это компактная модель, поэтому её ответы и сложные рассуждения могут уступать более крупным моделям; примеры выводов и результаты оценивания в карточке не представлены.

TheStageAI/gemma-4-E2B-it-GGUF — набор квантизированных GGUF-чекпойнтов модели Google Gemma 4 E2B IT, подготовленных TheStageAI для запуска через llama.cpp. Модель предназначена для генерации текста и локального инференса на устройствах с ограниченным объёмом памяти. Архитектурные детали, число параметров, поддерживаемые языки и размер контекстного окна в README не указаны. Доступны четыре варианта с разным компромиссом между размером и точностью: XS — 1,73 ГБ, S — 2,40 ГБ, M — 2,68 ГБ и L — 4,97 ГБ. Рекомендуется вариант S: по заявленным результатам он сопоставим с эталонной версией BF16 на instruction-strict IFEval, набрав 77,26% против 76,89%, а также получил 60,70% на MMLU-Pro. Варианты S, M и L предпочтительнее для развёрнутого рассуждения, тогда как XS ориентирован на минимальный объём памяти и заметно уступает по MMLU-Pro. Чекпойнты созданы с использованием производственного post-training quantization-пайплайна с учётом Fisher information, распространения ошибок квантования между слоями, оптимизации распределения битового бюджета и дистилляции распределения следующего токена. Сильной стороной является выбор нескольких уровней точности для локального запуска при сохранении близкого к BF16 качества у рекомендуемого варианта S. Ограничения включают зависимость характеристик от выбранного уровня квантования и отсутствие в README данных о скорости, требованиях к оборудованию, мультимодальности и языковом покрытии. Модель распространяется по лицензии Apache-2.0.

GLM-5.2-JANGTQ — версия GLM-5.2, подготовленная bearzi для запуска через MLX на компьютерах Apple с Apple silicon. Она предназначена для генерации текста и диалогов; базовая модель GLM-5.2 также рассчитана на программирование и длительные задачи. Архитектура указана как glm_moe_dsa, класс — GlmMoeDsaForCausalLM; всего 30,4 млрд параметров, контекст — до 1 048 576 токенов. В профиле JANGTQ_2L внимание и общие эксперты хранятся в FP16, а маршрутизируемые эксперты — в 2-битном представлении. Для загрузки требуются пакет jang-tools или vMLX; обычные MLX, LM Studio и Ollama не поддерживаются. Токенизатор базовой модели требует tiktoken, blobfile и разрешения на пользовательский код. Репозиторий распространяется по лицензии MIT.

1024m/HPhi-4-00-fp16 — дообученная 1024m модель для генерации текста и диалогов. Она основана на unsloth/phi-4 и обучалась с использованием Unsloth и библиотеки TRL; архитектура в метаданных указана как LlamaForCausalLM, плотная, размер — 14,1 млрд параметров. Модель принимает текст и выдаёт текст, поддерживает контекст до 16 384 токенов и ориентирована на английский язык. Модель подходит для ведения диалога и генерации англоязычных ответов, рассуждений и кода. В репозитории представлены веса в формате safetensors. Лицензия — Apache-2.0.

Shining Valiant 2 — чат-модель Valiant Labs на архитектуре Llama 3.1 Instruct, дообученная на базе Meta-Llama-3.1-70B-Instruct. Модель содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов; предназначена для диалога и следования инструкциям на английском языке. Обучение охватывало общие разговорные данные, технические знания и структурированные рассуждения. Модель ориентирована на вопросы по физике, химии, биологии, астрономии, наукам о Земле, информатике и теории информации, а также на инженерные задачи и логический анализ. В карточке отмечены возможности чата и интерфейс вызова инструментов. Репозиторий использует формат safetensors и лицензию Llama 3.1. Как и другие большие языковые модели, она может давать неточные ответы; заявленная специализация на технических темах не гарантирует корректность рассуждений или выводов.

Marin 8B Base — базовая языковая модель для генерации текста, разработанная сообществом marin-community. Данный репозиторий содержит её квантованные версии в формате GGUF, подготовленные mradermacher с использованием imatrix-квантования. Модель ориентирована на работу с англоязычным текстом и предназначена для локального запуска в совместимых инструментах и библиотеках. Модель обучалась на смеси наборов данных, включающей Dolmino и OLMo Mix, StarCoderData, Proof-Pile-2, MegaWika, DCLM, FineMath, материалы ar5iv, научные вопросы, Stack Exchange и Wikipedia. Это делает её пригодной для общих задач генерации и продолжения текста, работы с техническими и научными материалами, программным кодом и структурированным контентом. Из доступных данных известно, что это модель примерно на 8 миллиардов параметров; сведения об архитектуре, размере контекста и поддержке дополнительных модальностей не указаны. Репозиторий предлагает широкий диапазон квантований с размером файлов примерно от 2,1 до 6,7 ГБ. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству; в README в качестве сбалансированных вариантов отмечены i1-Q4_K_S и i1-Q4_K_M, а i1-Q6_K описан как близкий к статическому Q6_K по качеству. Модель является базовой, поэтому её возможности диалогового взаимодействия и следования инструкциям отдельно не заявлены. Распространение выполняется по лицензии Apache 2.0.

Dingdust/MiniCPM5-1B-heretic — текстовая генеративная модель на базе MiniCPM5-1B, изменённая методом abliteration для снижения склонности к отказам. В карточке приведено сравнение: доля отказов снизилась с 97 до 7 из 100, а KL-дивергенция относительно исходной модели составляет 0,0253. Модель сохраняет архитектуру LlamaForCausalLM и контекстное окно 131 072 токена; метаданные указывают 837,6 млн параметров и формат Safetensors. Модель предназначена для локальных диалоговых ассистентов, генерации кода, рассуждений и сценариев с использованием инструментов. Исходная карточка MiniCPM5-1B описывает режимы быстрого ответа и пошагового рассуждения, однако метаданные этого репозитория подтверждают только генерацию текста и чат; отдельная проверка tool calling для данной версии не приведена. Языковые теги — английский и китайский. Репозиторий распространяется по лицензии Apache-2.0. Снижение отказов может повысить вероятность ответа на запросы, на которые исходная модель отказалась бы отвечать, но не гарантирует точность или безопасность результата. Модель может выдавать неточную, предвзятую или небезопасную информацию; ответы следует проверять, особенно перед применением в ответственных сценариях.

Narwhal-7b — языковая модель Vezora на архитектуре Llama, содержащая 6,6 млрд параметров. По карточке, это слияние Stable Beluga, MegaCoder, Wizard-Math и Llama Chat 7B; заявленные доли компонентов в описании противоречивы, поэтому точный состав слияния установить нельзя. Модель предназначена для генерации текста, ответов на вопросы и решения математических задач. В тестировании автор использовал шаблоны запросов Stable Beluga и Llama Chat и сообщает о лучших результатах с форматом Llama v2. Контекст модели — 2048 токенов; репозиторий содержит веса PyTorch. Автор предупреждает, что модель не предназначена для коммерческого использования из-за лицензий базовых моделей и происхождения части обучающих данных. Подробные результаты бенчмарков в карточке не приведены.

M4-ai NeuralReyna-Mini-1.8B-v0.3 — разговорная языковая модель на архитектуре Qwen2 с 1,5 млрд параметров и контекстом до 32 768 токенов. Автор дообучил aloobun/Reyna-Mini-1.8B-v0.2 методом DPO на датасете argilla/OpenHermes2.5-dpo-binarized-alpha; в карточке также указан датасет Locutusque/Hercules-v3.0. Модель обучена на формате диалогов ChatML. Она предназначена для генерации ответов в диалоге и заявлена как способная помогать с программированием, математикой, естественными науками, ролевыми сценариями и вызовом функций. В README приведены результаты нескольких тестов, но полная оценка и подробные результаты не представлены. Модель принимает текст и генерирует текст. Распространяется по лицензии Apache-2.0. Практическое качество заявленных возможностей по карточке нельзя оценить полностью: автор сообщает, что подробная оценка ещё не опубликована.

Open-Instruct ShareGPT 7B — языковая модель семейства LLaMA, дообученная Allen Institute for AI на очищенном наборе диалогов ShareGPT по схеме, близкой к Vicuna. Это чекпойнт для генерации текста и ответов на инструкции в диалоговом формате; для работы с ним требуется базовая модель LLaMA в формате Hugging Face, поскольку репозиторий содержит diff весов. Модель имеет плотную архитектуру LlamaForCausalLM, около 6,6 млрд параметров и контекст до 2048 токенов. Она принимает текст и генерирует текст; в карточке указан английский язык. В README приведены результаты на академических бенчмарках, включая MMLU, GSM и Codex-Eval. Качество генерации зависит от соблюдения указанного в карточке формата входа, включая перевод строки после маркера начала ответа. Лицензирование регулируется лицензией модели из LICENSE.txt и исходной лицензией LLaMA; условия следует проверить в этих файлах перед использованием.

QuantFactory/Phi-3-mini-4k-geminified-GGUF — квантизированная версия модели failspy/Phi-3-mini-4k-geminified, созданная с использованием llama.cpp. Исходная модель основана на Microsoft Phi-3-mini-instruct и подвергнута ортогонализации весов в формате bfloat16 safetensors по методологии, связанной с исследованием о механизмах отказа больших языковых моделей. Автором исходной модификации указан failspy; QuantFactory подготовила версию GGUF. Модель предназначена для генерации текста и, согласно метаданным, обработки естественного языка и кода. Заявлена поддержка multilingual-сценариев. В карточке упоминается контекст 4K в названии производной модели, однако в описании исходной модели также указано Phi-3-mini-128k-instruct, поэтому точный размер контекстного окна именно этой сборки неоднозначен. Архитектура и точное количество параметров не указаны; формат GGUF ориентирован на локальный inference через совместимые инструменты. К потенциальным сильным сторонам относятся компактность исходного семейства Phi-3-mini, возможность локального запуска в квантизированном формате и поведение, изменённое в сторону меньшего количества стандартных отказов. Ограничения включают неполную информацию о типе и уровне квантизации, неоднозначность относительно контекстного окна и отсутствие результатов бенчмарков. Модель распространяется по лицензии MIT; в README приведена ссылка на лицензию Microsoft Phi-3-medium-4k-instruct.

Agents-A1-4B-Fable-Preview-heretic — текстовая чат-модель на архитектуре Qwen3.5, подготовленная авторами hotdogs путём абляции модели hotdogs/Agents-A1-4B-Fable-Preview с помощью heretic. Веса представлены в формате BF16 для Transformers; метаданные указывают 3,4 млрд параметров и контекст до 262 144 токенов. Модель предназначена для агентных сценариев: многошагового рассуждения, планирования и вызова инструментов в формате Hermes/Qwen. Также заявлены помощь с кодом и ведение многоходового диалога. README сообщает о поддержке английского и тайского языков и снижении частоты отказов, однако это заявление автора, а не независимая оценка. Модель принимает текст и генерирует текст. README предупреждает, что из-за снятия защитных механизмов ответы могут быть оскорбительными, вредными или неуместными. Лицензия — AGPL-3.0.

GLM4-9B-Neon-v2-GGUF — это набор квантизированных версий языковой модели GLM4-9B-Neon-v2, разработанной allura-org и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других совместимых проектах. Указан английский язык; поддержка других языков и мультимодальных входов не заявлена. Размер базовой модели — 9B параметров. Доступны варианты от BF16 и Q8_0 до более компактных Q2 и IQ-квантизаций с размером файлов примерно от 4,6 до 18,8 ГБ. Версии Q6 и Q5 позиционируются как высококачественные, Q4 — как оптимальные по соотношению качества и размера, а варианты Q3 и Q2 рассчитаны на системы с ограниченной оперативной памятью, но имеют более заметные потери качества. Контекстное окно в README не указано. Для работы требуется использовать соответствующий шаблон prompt format с управляющими токенами GLM4. Лицензия — MIT.

QuantFactory/Codepy-Deepthink-3B-GGUF — квантизированная версия Codepy-Deepthink-3B, созданная QuantFactory с использованием llama.cpp. Исходная модель дообучена на базе meta-llama/Llama-3.2-3B-Instruct и предназначена для генерации текста с акцентом на рассуждения, логическую структуру и решение задач. Модель ориентирована на сценарии, требующие пошаговых решений, логического анализа и генерации кода, а также может применяться в образовании и творческом письме. В README заявлена поддержка текстовой генерации на английском языке. Указан размер базовой модели около 3B параметров; сведения о точном формате квантизации, длине контекста, конкретных вариантах GGUF, производительности и системных требованиях отсутствуют. К сильным сторонам относятся компактный размер по сравнению с более крупными моделями, специализация на рассуждениях и программировании, а также совместимость с llama.cpp и Ollama. Ограничения включают неизвестные характеристики квантизации и отсутствие представленных объективных оценок качества; заявленные возможности следует проверять на собственных задачах. Лицензия указана как CreativeML OpenRAIL-M.

GPT-5 Image — модель OpenAI, объединяющая GPT-5 с возможностями генерации изображений GPT Image 1. Она предназначена для взаимодействия с текстом и создания изображений по инструкциям; в карточке также отмечены улучшения в рассуждениях, качестве кода и следовании запросам. Доступный фрагмент карточки не сообщает архитектуру, размер, языки, длину контекста или лицензию.

SirSahOl подготовил конверсию диалоговой языковой модели IBM Granite 4.1 3B в формат MLX для локального запуска на Apple Silicon. Это плотная авторегрессионная модель GraniteForCausalLM с 3,4 млрд параметров, весами в 16-битном формате и контекстом до 131 072 токенов. Репозиторий содержит веса safetensors и предназначен для инференса через MLX. Модель подходит для многоходового чата, генерации текста и локальных ассистентов, включая сценарии с кодом и вызовом инструментов, поддерживаемые базовой моделью. Главные преимущества этой версии — запуск на GPU Apple Silicon и сохранение 16-битной точности; для весов требуется около 7 ГБ объединённой памяти, а для комфортной работы рекомендуется не менее 16 ГБ. Скорость зависит от устройства и длины запроса, а длинный контекст требует дополнительной памяти. Это конверсия базовой модели ibm-granite/granite-4.1-3b с помощью MLX, а не самостоятельное дообучение. Лицензия — Apache-2.0. Версия рассчитана на Apple Silicon и не является универсальным форматом для GPU других производителей.

Mistral-7B-v0.1 — предварительно обученная генеративная языковая модель команды Mistral AI с плотной архитектурой Transformer и примерно 7,1 млрд параметров. Она предназначена для генерации продолжения текста и служит базовой моделью для дальнейшей адаптации под конкретные задачи. Модель использует Grouped-Query Attention, Sliding-Window Attention и токенизатор Byte-fallback BPE. Родной контекст составляет 32 768 токенов. Карточка указывает английский язык; модель доступна в форматах PyTorch и safetensors и рассчитана на работу с библиотекой Transformers. По заявлению разработчиков, на проверенных ими бенчмарках модель превосходила Llama 2 13B. Это базовая модель без механизмов модерации, поэтому сгенерированный текст может быть нежелательным или небезопасным. Лицензия — Apache-2.0.