I.14Автоматизация процессов и AI-агенты

14B-Qwen2.5-Freya-x1-GGUF — это GGUF-квантизированная версия текстовой генеративной модели 14B-Qwen2.5-Freya-x1, разработанной Sao10K. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может применяться в локальных сценариях инференса, включая запуск через LM Studio. Модель имеет размер 14B параметров и поставляется в вариантах от F16 до низкобитных квантований Q2 и Q3, что позволяет выбирать между качеством ответов и требованиями к оперативной памяти. Доступны форматы Q4, Q5, Q6 и Q8, при этом в README рекомендуются некоторые варианты Q4–Q6 как обеспечивающие хороший или очень высокий уровень качества. Указан шаблон промпта в формате ChatML. Модальность — текстовая; сведения о поддерживаемых языках и размере контекстного окна в README отсутствуют. Сильная сторона модели — широкий выбор квантований для локального запуска на оборудовании с разными ограничениями по памяти, а также применение imatrix-квантизации. Более компактные варианты экономят память, но могут заметно уступать старшим версиям по качеству. Лицензия обозначена как qwen/other; в README приведена ссылка на лицензию Qwen/Qwen2.5-14B, однако конкретные условия использования следует уточнять по этому документу.

airoboros-7b-gpt4-1.1 — дообученная авторами проекта Airoboros языковая модель семейства LLaMA с архитектурой LlamaForCausalLM и примерно 6,6 млрд параметров. Она создана на синтетических обучающих данных, сгенерированных GPT-4, и предназначена для диалоговой генерации текста по шаблону Vicuna, включая ответы на вопросы и выполнение инструкций. Модель ориентирована на викторины, математические рассуждения, программирование, вопросы с выбором ответа и заполнение пропусков, а также ответы по заданному контексту. При контекстном вопросно-ответном поиске её обучали опираться на предоставленные сведения и ограничивать ответ их содержимым, чтобы уменьшить галлюцинации. В метаданных указан контекст до 2048 токенов; README отмечает, что эта версия добавляет примеры инструкций по программированию и улучшает следование контексту. Модель принимает текст и генерирует текст. README не заявляет конкретные поддерживаемые естественные языки. Известное ограничение — автор прямо отмечает слабые результаты на математике и рассуждениях; следование контексту также не исключает выдуманных ответов. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

SERA-8B-GGUF — это набор GGUF-квантизированных версий языковой модели SERA-8B, разработанной Allen Institute for AI (AI2). Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель имеет размер 8B параметров и поддерживает текстовый ввод и вывод. Доступны варианты от BF16 до низкобитных Q2–Q8 и IQ-квантизаций, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемыми обозначены, в частности, Q4_K_M, Q5_K_M, Q6_K и другие варианты с более высоким качеством; размеры файлов находятся примерно в диапазоне от 3,37 до 16,39 ГБ. Для диалогового использования README указывает шаблон промпта с ролями system, user и assistant. Сильная сторона набора — возможность запускать SERA-8B на локальном оборудовании с разными ограничениями по памяти, сохраняя приемлемое качество при средних и высоких уровнях квантизации. Ограничения зависят от выбранного варианта: более компактные квантизации снижают качество, а для недавно поддерживаемых архитектур может потребоваться обновление используемого программного обеспечения. Языки, размер контекстного окна и специализированные возможности исходной модели в README не указаны. Распространение заявлено по лицензии Apache-2.0.

Qwen3.5-27B-Anko-GGUF — это квантизированная версия языковой модели allura-org/Qwen3.5-27B-Anko, подготовленная пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель имеет 27 млрд параметров и поддерживает английский и китайский языки. В репозитории представлены варианты от BF16 и Q8_0 до более компактных Q3- и IQ3-квантизаций; наиболее качественными считаются BF16, Q8_0, Q6 и Q5, а Q4 предлагается как сбалансированный вариант по качеству и размеру. Размер файлов составляет примерно от 13,5 до 53,8 ГБ. Данные о модальностях, архитектуре исходной модели и размере контекстного окна в README не указаны. Модель подходит для локальной генерации текста и диалоговых сценариев при наличии совместимого программного обеспечения и достаточного объёма оперативной или видеопамяти. Квантизация снижает требования к ресурсам, но варианты с меньшим числом бит могут заметно уступать более крупным по качеству. Распространение указано по лицензии Apache-2.0.

Athena-R3-1.5B — причинная языковая модель на 1,5 млрд параметров, разработанная Aayan Mishra и дообученная на базе deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B для усиления навыков рассуждения. Она предназначена для решения сложных задач, логического анализа, ответов на вопросы по математике и науке, а также для генерации, дополнения и суммаризации текста. Модель использует архитектуру Qwen2 с RoPE, SwiGLU, RMSNorm и Grouped Query Attention; в ней 24 слоя, 16 голов для запросов и 2 для ключей и значений. Контекст — до 131 072 токенов. Карточка указывает поддержку многих языков, включая английский, китайский, русский, французский, испанский, немецкий, японский и другие; лучше всего модель работает на английском. Доступны веса в формате safetensors, библиотека Transformers, лицензия MIT. Модель может ошибаться и наследует смещения обучающих данных; её знания ограничены августом 2024 года. Она не предназначена для критически важных систем реального времени или обработки чувствительных персональных данных.

Beepo-22B-GGUF — набор GGUF-квантизированных версий языковой модели Beepo-22B, разработанной concedo и подготовленной квантизатором bartowski с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio. Указан английский язык; поддерживается формат инструкций Alpaca, несмотря на сохранённый формат Mistral. Модель имеет размер 22 млрд параметров. Доступны варианты от F16 до различных уровней Q8, Q6, Q5, Q4, Q3 и Q2, включая IQ-квантизации, поэтому можно выбирать между качеством ответов, требованиями к памяти и скоростью инференса. Наиболее качественными и рекомендуемыми названы Q6_K_L, Q6_K, Q5 и Q4-варианты, тогда как младшие Q3 и Q2 экономят память, но снижают качество. Для некоторых вариантов указаны ограничения совместимости с ARM, AVX и Mac. Архитектура, размер контекста, дополнительные модальности и лицензия в README не указаны.

calme-3.2-instruct-78b-GGUF — это квантизированная версия инструкционной языковой модели calme-3.2-instruct-78b, разработанной MaziyarPanahi и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях на базе llama.cpp и LM Studio. В README указана поддержка английского языка и шаблон чата с ролями system, user и assistant. Модель основана на Qwen2.5-72B-Instruct, но имеет заявленный размер 78B параметров. Это текстовая модель без заявленной поддержки изображений или других модальностей. Доступны варианты квантизации от Q2_K до Q8_0 с размером файлов примерно от 31,85 до 82,85 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M отмечены как рекомендуемые; более компактные варианты экономят память, но могут снижать качество. Длина контекста в предоставленных данных не указана. Сильная сторона модели — широкий выбор квантизаций для локального запуска и использование imatrix-квантизации, направленной на сохранение качества. Ограничения включают высокие требования к оперативной или видеопамяти, снижение качества в низкобитных вариантах и отсутствие сведений о результатах оценки. Лицензия обозначена как other с ссылкой на лицензию Qwen/Qwen2.5-72B-Instruct; перед использованием необходимо учитывать условия этой лицензии.

Chronorctypus-Limarobormes-13b — объединённая инструкциями дообученная языковая модель от chargoddard. Она создана слиянием пяти моделей на базе TheBloke/Llama-2-13B-fp16 по методике Resolving Interference When Merging Models, чтобы сохранить больше возможностей исходных моделей, чем при обычном линейном слиянии. Модель построена на плотной архитектуре Llama, содержит 12,9 млрд параметров и рассчитана на контекст до 4096 токенов. Модель предназначена для генерации ответов и выполнения инструкций в формате Alpaca: запрос передаётся в секции Instruction, ответ начинается после Response. В README автор сообщает, что модель показалась ему достаточно способной, и приводит результаты оценки на наборе тестов Open LLM Leaderboard. Модель использует формат safetensors. README не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

Cloudversia Thor 7B — языковая модель, созданная Cloudversia слиянием двух моделей Mistral с помощью mergekit и метода SLERP: NeuralHermes-2.5-Mistral-7B и mistral-ft-optimized-1218 от OpenPipe. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров. Модель предназначена для генерации текста и диалоговых сценариев. Она принимает текст и выдаёт текст; длина контекста составляет 32 768 токенов. Карточка не описывает специальные предметные области или языки, поэтому модель следует рассматривать как универсальную. Веса опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.

Cygnis-Alpha 2 (8B) v0.3 — это языковая модель для генерации текста, представленная в формате GGUF с различными вариантами квантизации. Базовую модель разработал Simonc-44, а квантизацию выполнил mradermacher. Модель обучалась с использованием наборов данных Cygnis-Alpha2-Instruct-Mix и Cygnis-Identity-SFT и предназначена для локального запуска через совместимые инструменты работы с GGUF. Модель содержит около 8 миллиардов параметров и, судя по метаданным, относится к семейству архитектур Llama 3.1. Она ориентирована на текстовые задачи, включая генерацию ответов, следование инструкциям и рассуждения. Заявлены английский и французский языки. Поддержка мультимодальных входов и размер контекстного окна в README не указаны. Основное преимущество версии — широкий выбор квантизированных вариантов размером примерно от 2,1 до 6,7 ГБ, что позволяет адаптировать модель к доступным ресурсам и выбирать компромисс между скоростью, требованиями к памяти и качеством. При этом некоторые малобитные варианты характеризуются как низкокачественные, поэтому для практического использования рекомендуется выбирать более качественные варианты, например i1-Q4_K_M или i1-Q5_K_M. Модель распространяется под лицензией Apache-2.0.

DeepSeek-R1-0528-Qwen3-8B-MLX-8bit — это 8-битно квантованная версия модели DeepSeek-R1-0528-Qwen3-8B, разработанной deepseek-ai. Квантование выполнено командой LM Studio с использованием mlx_lm и библиотеки MLX, созданной командой Apple Machine Learning Research. Модель предназначена для генерации текста и оптимизирована для работы на устройствах с Apple Silicon. Ключевая характеристика модели — 8-битное представление весов в формате MLX, что делает её адаптированной для локального запуска в экосистеме Apple. README не содержит сведений о поддерживаемых языках, размере контекста, точной архитектуре, мультимодальности, результатах тестирования или специализированных сценариях применения. К ограничениям относятся возможные неточности, вредное или неуместное содержание, характерные для генерирующих моделей, а также зависимость производительности от оборудования Apple Silicon. Модель распространяется по лицензии MIT.

deepseek-r1-qwen-2.5-32B-ablated-GGUF — это квантизированная версия текстовой генеративной модели NaniDAO/deepseek-r1-qwen-2.5-32B-ablated, подготовленная bartowski в формате GGUF с использованием llama.cpp и imatrix-квантизации. Модель относится к семейству Qwen 2.5, имеет размер 32B параметров и предназначена для запуска локально через llama.cpp и совместимые приложения, включая LM Studio. Модель подходит для генерации текста и диалоговых сценариев, включая задачи, связанные с рассуждениями. В репозитории представлены варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Рекомендуемыми обозначены варианты Q4_K_M, Q5_K_M, Q6_K и другие близкие к ним форматы; наиболее компактные варианты экономят память, но дают более низкое качество. Архитектура, поддерживаемые языки и размер контекстного окна в README не указаны. По тегам модель описывается как ablated и uncensored, однако подробности применённых изменений и их влияние на поведение также не раскрыты. Для использования требуется совместимое ПО и память, соответствующая выбранному варианту весов; размеры файлов составляют примерно от 14,81 до 65,54 ГБ. Лицензия — MIT.

DeepSeek-V2.5-IMat-GGUF — это GGUF-квантизованная версия модели DeepSeek-V2.5, разработанной DeepSeek и подготовленной для распространения пользователем legraphista. Модель предназначена для генерации текста и локального запуска с использованием llama.cpp и совместимых инструментов. В качестве исходной использована версия в формате BF16, а квантизация выполнена с помощью llama.cpp b3675. В репозитории доступны варианты квантизации Q8_0, Q6_K, Q5_K, Q4_K, IQ4, Q3, IQ3, Q2 и IQ2 с размерами файлов примерно от 69,87 до 250,62 ГБ; файлы поставляются разделёнными на части. Для большинства вариантов применена IMatrix-квантизация, которая призвана эффективнее сохранять качество при уменьшении размера модели, тогда как Q8_0 и Q6_K используют статическую квантизацию. Конкретные архитектурные параметры, поддерживаемые языки, модальности и размер контекста в README не указаны. Сильная сторона сборки — широкий выбор уровней квантизации и совместимость с экосистемой GGUF и llama.cpp, что позволяет подбирать компромисс между требованиями к памяти и качеством генерации. Ограничениями являются очень большой размер даже наиболее компактных вариантов, необходимость работы с разделёнными файлами и возможная потеря качества на низких уровнях квантизации. Модель распространяется по лицензии DeepSeek; указана лицензия other со ссылкой на LICENSE-MODEL исходной модели.

inferencerlabs/DeepSeek-V4-Flash-0731-MLX-Q3i — квантованная версия модели DeepSeek-V4-Flash-0731, разработанной deepseek-ai, подготовленная для выполнения на устройствах Apple с использованием библиотеки MLX и её модифицированной версии. Модель предназначена для генерации текста и локального текстового инференса, в том числе в сценариях, где требуется запуск крупной языковой модели при ограниченном объёме оперативной памяти. Сборка использует метод сжатия INF, не зависящий от обучающих данных, и формат MLX. Согласно README, она рассчитана на работу в системе с 128 ГиБ RAM при сохранении связности ответов. На M3 Ultra с 512 ГиБ RAM заявлена скорость около 39,7 токена в секунду при генерации примерно 500 токенов; потребление памяти в этом тесте составляло около 104,6 ГиБ. Архитектура, точный размер модели, поддерживаемые языки, контекстное окно и модальности в README не указаны; по назначению это текстовая модель. К сильным сторонам относятся возможность локального запуска на совместимом оборудовании Apple, уменьшенные требования к памяти благодаря квантованию и сохранение приемлемой связности генерации. Ограничения включают зависимость от MLX и аппаратной конфигурации, возможное снижение качества по сравнению с исходной моделью из-за квантования, а также отсутствие подробных данных о точности и поддерживаемых сценариях. Лицензия в README не указана; условия использования следует уточнять для исходной модели и данной квантованной сборки отдельно.

DeepSeek-V4-Flash-GGUF — это квантизированная версия модели DeepSeek-V4-Flash, опубликованная организацией ggml-org на основе исходной модели deepseek-ai. Модель предназначена для генерации текста и запуска в формате GGUF, в том числе с помощью llama.app и совместимых инструментов. В README указано, что модель автоматически конвертируется средствами проекта ggml-org/convert. Доступны варианты с разными уровнями квантизации; для моделей Q2 пока не применялась калибровка imatrix из-за отсутствия соответствующих данных. Сведения об архитектуре, количестве параметров, размере контекста, поддерживаемых языках и модальностях не приведены, поэтому оценить эти характеристики и ограничения по README невозможно. Модель распространяется по лицензии MIT. Условия использования исходной модели следует дополнительно уточнять в карточке deepseek-ai/DeepSeek-V4-Flash.

danielheinz/e5-base-sts-en-de — модель эмбеддингов на базе multilingual-e5-base, дообученная для оценки семантического сходства немецких текстов. Разработчик дообучил её на немецких поднаборах корпуса парафразов Philip May, PAWS-X и STS-Benchmark Multilingual: сначала с Multiple Negatives Ranking Loss на данных парафразов, затем с Cosine Similarity Loss на данных семантического сходства. Архитектура — XLM-RoBERTa с плотными векторами, около 305 млн параметров; принимает текст и выдаёт векторные представления. Контекст — до 514 токенов. Модель предназначена для сравнения значений немецких предложений, поиска парафразов и семантического поиска. В README указаны результаты 0,920 на валидационной и 0,904 на тестовой части STS, без описания метрики. Лицензия — MIT. Карточка сообщает, что модель продолжает обновляться; заявленные результаты и качество на других задачах или языках не подтверждены.

Eurus-2-7B-PRIME-GGUF — набор квантованных версий языковой модели Eurus-2-7B-PRIME, разработанной PRIME-RL и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio. README не содержит подробностей о специализации модели, архитектуре исходной модели, поддерживаемых языках и длине контекста. Доступны варианты от полноразмерных F16 и Q8_0 до низкобитных IQ2 и Q2. Размер файлов составляет примерно от 2,78 до 15,24 ГБ. Квантование выполнено с использованием imatrix и llama.cpp b4404. Варианты Q6 и Q5 позиционируются как обеспечивающие очень высокое или высокое качество, а Q4_K_M — как компромиссный вариант для большинства сценариев; низкобитные версии требуют меньше оперативной памяти, но заметно уступают по качеству. Для работы рекомендуется использовать указанный в README формат prompt с ролями system, user и assistant. Модель распространяется по лицензии Apache-2.0.

EXAONE-3.0-7.8B-Instruct-GGUF — набор GGUF-квантизованных версий языковой модели EXAONE-3.0-7.8B-Instruct, разработанной LGAI (LG AI Research) и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp и LM Studio. Заявлены английский и корейский языки. Исходная модель имеет 7,8 млрд параметров; доступны версии от F32 размером 31,28 ГБ до низкобитных вариантов IQ2_M размером 2,83 ГБ. Квантизации Q4–Q6 предлагают компромисс между качеством и требованиями к памяти, а Q3 и Q2 рассчитаны на устройства с ограниченным объёмом RAM, но обеспечивают более низкое качество. Некоторые варианты используют Q8_0 для embedding- и output-весов, что помогает сохранить качество. Формат prompt задан специальными маркерами system, user и assistant. Лицензия указана как EXAONE; подробные условия находятся в файле LICENSE.

EXAONE-4.5-33B-GGUF — квантованная версия открытой мультимодальной модели EXAONE 4.5, разработанной LG AI Research. Модель объединяет причинную языковую модель и специализированный визуальный энкодер и предназначена для работы с текстом и изображениями, включая понимание документов, визуальные вопросы и ответы, мультимодальное рассуждение и задачи на корейском языке. Модель имеет 33 млрд параметров, из которых 31,7 млрд приходятся на языковую часть и 1,29 млрд — на визуальный энкодер. Используется плотная архитектура с 64 основными слоями и одним MTP-слоем, гибридным вниманием, включающим локальное sliding window attention и глобальное внимание, а также Grouped Query Attention в визуальном энкодере. Контекст поддерживает до 262 144 токенов, размер скрытого представления составляет 5120, словарь — 153 600 токенов. Заявлены языки: английский, корейский, испанский, немецкий, японский и вьетнамский. Дата отсечения знаний — декабрь 2024 года. Сильными сторонами модели являются мультимодальность, понимание документов, корейское контекстное рассуждение и конкурентные результаты на общих и визуально-языковых бенчмарках. Версия GGUF доступна с квантованиями языковой модели Q8_0, Q6_K, Q5_K_M, Q4_K_M и IQ4_XS; веса визуального энкодера представлены в форматах F32, F16 и BF16. Ограничения включают зависимость качества от выбранного уровня квантования и значительные требования к вычислительным ресурсам из-за размера модели. Лицензия указана как exaone; конкретные условия следует уточнять в файле LICENSE.

Experiment28M7_Strangemerges_32Shadow — объединённая модель семейства Mistral, созданная на основе automerger/Experiment28M7-7B и automerger/Strangemerges_32Shadow-7B. В репозитории указано, что модель получена слиянием этих двух моделей; метаданные описывают архитектуру как плотную авторегрессионную MistralForCausalLM объёмом 7,1 млрд параметров. Модель предназначена для генерации текста и принимает текстовые запросы. Её контекстное окно составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. В README не описаны специальные предметные сценарии или языковая специализация, поэтому модель следует считать предназначенной для текстовой генерации общего назначения.

mlx-community/gemma-2-27b-it-4bit — 4-битная квантованная версия модели Gemma 2 27B, преобразованная сообществом mlx-community из google/gemma-2-27b-it в формат MLX с помощью mlx-lm 0.15.0. Исходную модель разработала Google. Модель предназначена для генерации текста и диалогового взаимодействия с инструкциями. Модель содержит 27,6 млрд параметров и поддерживает контекст длиной до 8192 токенов. Она рассчитана на работу в экосистеме MLX и может использоваться через библиотеку mlx-lm; в метаданных также указана совместимость с Transformers. Ключевое преимущество — 4-битное представление, уменьшающее требования к памяти по сравнению с полноразмерной моделью. Модель подходит для ответов на вопросы, диалогов, написания и преобразования текста, а также локального запуска генеративной модели на совместимом оборудовании Apple. Ограничения включают возможные ошибки, галлюцинации и зависимость качества от формулировки запроса; README не содержит подробных результатов оценки. Использование регулируется лицензией Gemma, для доступа на Hugging Face требуется принять условия лицензии Google.

gemma-3n-E4B-it-GGUF — GGUF-квантизированная версия инструкционной модели gemma-3n-E4B-it, разработанной Google и квантизированной Second State Inc. Модель предназначена для диалоговых приложений и задач преобразования изображений и текста в текст; в README она обозначена как мультимодальная модель image-text-to-text. Данные о поддерживаемых языках и точной архитектуре не указаны. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, с размером файлов примерно от 2,76 до 13,7 ГБ. Вариант Q4_K_M рекомендован как сбалансированный по качеству и размеру, а Q5_K_M и Q5_K_S — как варианты с малой потерей качества. Для запуска через LlamaEdge требуется версия 0.23.1 или новее; указан размер контекста 32 000 токенов и шаблон запросов gemma-3. Более низкая точность квантизации уменьшает требования к ресурсам, но может заметно ухудшать качество ответов. Модель распространяется по лицензии Gemma. README не содержит подробностей о бенчмарках, производительности, системных требованиях, поддерживаемых языках и ограничениях исходной модели, поэтому эти характеристики нельзя оценить точнее.

unsloth/gemma-3n-E4B-it-unsloth-bnb-4bit — это 4-битная версия Gemma 3n E4B-it, разработанная Unsloth на базе модели Google gemma-3n-E4B-it. Модель предназначена для диалоговых и текстовых задач, включая генерацию ответов и использование в приложениях на базе Transformers. В карточке указана поддержка английского языка и формат image-text-to-text, однако текущие рекомендации README подтверждают поддержку только текста. Модель относится к семейству Gemma 3n и имеет размер 4B; используется 4-битное квантование bnb, рассчитанное на снижение требований к памяти. Максимальная длина контекста составляет 32K токенов. Для запуска рекомендуется Transformers или совместимые инструменты, а для Gemma 3n указаны параметры temperature 1.0, top_k 64 и top_p 0.95. Unsloth заявляет ускорение до 2 раз и снижение использования памяти до 80% для сценариев тонкой настройки, но конкретные результаты зависят от оборудования и конфигурации. Основные ограничения — отсутствие заявленной поддержки изображений в текущей версии, ограниченная информация о точной архитектуре и отсутствие подробных результатов оценки качества в README. Модель распространяется по лицензии Gemma; перед использованием необходимо учитывать условия этой лицензии.

GLM-4-32B-Base-32K — базовая языковая модель семейства GLM-4, разработанная Arcee AI на основе THUDM/GLM-4-32B-Base-0414. Это плотная авторегрессионная модель с 31,6 млрд параметров и контекстом до 32 768 токенов; веса представлены в формате safetensors. Модель прошла дополнительное предобучение на длинных последовательностях, итеративное слияние чекпойнтов и дистилляцию знаний короткого контекста, чтобы сохранить возможности исходной версии и улучшить обработку контекста длиной до 32 тысяч токенов. Модель предназначена прежде всего как основа для дальнейшего обучения с длинным контекстом. Её можно применять в сценариях, где требуется учитывать большой объём текста, например при анализе длинных документов или поиске фактов в них. README описывает её как proof-of-concept и приводит улучшенные результаты на бенчмарках длинного контекста и ряде стандартных тестов. Поддерживаемые языки — китайский и английский. Лицензия — MIT.

MaziyarPanahi/GLM-4.6V-Flash-GGUF — это набор файлов модели в формате GGUF для оригинальной модели GLM-4.6V-Flash, разработанной zai-org и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и локального запуска в совместимых приложениях и библиотеках. Основная характеристика репозитория — поддержка нескольких уровней квантизации: 2-, 3-, 4-, 5-, 6- и 8-битной. Формат GGUF ориентирован на использование с llama.cpp и совместимыми инструментами, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими решениями для локального вывода, в том числе с GPU-ускорением. Это позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. README не содержит сведений об архитектуре, размере модели, поддерживаемых языках и модальностях, длине контекста, результатах оценки или ограничениях исходной GLM-4.6V-Flash. Лицензия в предоставленных данных также не указана, поэтому условия использования следует уточнять в карточке оригинальной модели и соответствующих файлах репозитория.

mlx-community/GLM-4.7-4bit — языковая модель для генерации текста, преобразованная сообществом mlx-community из базовой модели zai-org/GLM-4.7 в формат MLX с использованием mlx-lm версии 0.30.0. По указанным метаданным модель предназначена для работы с текстом и поддерживает английский и китайский языки. Она может применяться для диалоговой генерации и других задач, связанных с продолжением текста, через библиотеку mlx-lm. Ключевая особенность модели — 4-битное представление, которое уменьшает требования к памяти по сравнению с полноформатной версией, но потенциально может ограничивать точность по сравнению с исходной моделью. Архитектура, число параметров, размер контекста, дополнительные модальности и перечень поддерживаемых сценариев в README не указаны. Для использования требуется MLX и библиотека mlx-lm. Модель распространяется по лицензии MIT.

MLX-версия языковой модели GLM-4.7, разработанной организацией zai.org и конвертированной сообществом mlx-community из исходной модели zai-org/GLM-4.7 с помощью mlx-lm 0.30.0. Модель предназначена для генерации текста и запуска в экосистеме MLX, в том числе через библиотеку mlx-lm на совместимом оборудовании Apple. Типичные сценарии включают диалоговое взаимодействие и другие задачи текстовой генерации. Модель использует 6-битное квантование и формат MLX. В карточке указаны поддерживаемые языки English и Chinese, модальность — текстовая. Архитектура, количество параметров и размер контекста в README не уточняются. К сильным сторонам относятся адаптация для MLX и снижение требований к памяти благодаря 6-битному представлению; ограничения — отсутствие подробных данных о качестве, производительности, точном аппаратном охвате и возможностях исходной GLM-4.7. Модель распространяется по лицензии MIT.

MLX-совместимая 4-битная квантизованная версия GLM-5.3, преобразованная сообществом mlx-community из базовой модели zai-org/GLM-5.3-BF16 с использованием mlx-lm 0.31.3. Модель предназначена для генерации текста и ориентирована на запуск на одном Apple Mac Studio с чипом M3 Ultra и 512 ГБ памяти; заявлено, что она комфортно помещается в такой конфигурации. Поддерживаемые языки — английский и китайский. Ключевое преимущество версии — стандартная 4-битная квантизация, которую авторы описывают как стабильную и быструю по сравнению с некоторыми альтернативными рецептами квантизации, склонными к избыточному обдумыванию и повторному пересмотру решений. Для работы используется библиотека MLX и пакет mlx-lm. Архитектура, точный размер модели, длина контекста, дополнительные модальности и результаты benchmark в README не указаны. Лицензия обозначена как other с названием glm-5.3; конкретные условия необходимо уточнять в лицензии исходной модели.

local-inference-lab/GLM-5.3-Flash-NVFP4 — квантованная и дистиллированная версия модели zai-org/GLM-5.3-Flash-BF16. Модель предназначена для генерации текста и диалоговых сценариев, поддерживает английский и китайский языки, а также мультимодальные задачи с использованием встроенного vision encoder. Архитектура сохранена: 45 decoder-слоёв, включая 3 плотных слоя и 42 MoE-слоя с 288 маршрутизируемыми экспертами в каждом, из которых для каждого токена активируются 8, дополнительно используется общий эксперт. Механизм внимания сочетает linear attention и DeepSeek Sparse Attention; заявленный размер модели на диске составляет около 199 ГБ. Длина контекста в README не указана. Ключевая особенность модели — quantization-aware distillation: веса маршрутизируемых экспертов обучались с учётом NVFP4-квантования, чтобы компенсировать ошибки низкой точности и приблизить ответы к исходной BF16-модели. Экспертные gate, up и down projections хранятся в NVFP4, вспомогательный MTP-модуль использует MXFP8, а остальные основные компоненты преимущественно сохраняют BF16 или FP32. Сильными сторонами являются сочетание MoE-архитектуры, дистилляции и низкобитного представления весов при сохранении vision encoder и MTP. Ограничения включают значительный объём модели, дополнительные требования к памяти для KV-кэша и буферов, а также необходимость runtime с поддержкой архитектуры glm5_next и смешанного формата ModelOpt NVFP4/MXFP8, включая покомпонентные масштабы активаций. Модель распространяется по лицензии MIT.

Это квантизированная GGUF-версия Gemma 3n E4B Instruct, разработанной Google и подготовленной пользователем bartowski для запуска через llama.cpp и совместимые приложения. Модель предназначена для генерации текста, а также, согласно указанным тегам, для сценариев автоматического распознавания и перевода речи и преобразования аудио или видео в текст. Доступен запуск, в частности, через LM Studio и другие проекты на базе llama.cpp. В README указано, что модель имеет размер E4B и представлена в нескольких вариантах квантизации от Q2 до Q8, с размером файлов примерно от 3 до 7,35 ГБ. Более качественными и рекомендуемыми названы варианты Q5–Q8, а варианты Q3 и ниже подходят для систем с ограниченным объёмом оперативной памяти, но снижают качество. Мультимодальность, поддерживаемые языки и размер контекста в предоставленных данных не уточнены. Формат промпта требует проверки по исходной карточке модели, поскольку шаблон чата в README не задан явно. Модель удобна для локального запуска на совместимом оборудовании благодаря выбору уровней квантизации, однако качество зависит от выбранного варианта, а низкие уровни могут заметно уступать исходной модели. Для использования требуется принять лицензию Google Gemma на Hugging Face; конкретные условия лицензии следует учитывать отдельно.