I.3Извлечение и структурирование данных

bcoding/deepseek-llvm-sft-merged-7B — дообученная bcoding модель для генерации текста и диалогового общения. Она основана на unsloth/DeepSeek-R1-Distill-Qwen-7B-unsloth-bnb-4bit, использует плотную архитектуру Qwen2 с 7,1 млрд параметров и рассчитана на контекст до 131 072 токенов. Для обучения применялись Unsloth и библиотека Hugging Face TRL; карточка сообщает об ускоренном обучении. Модель подходит для генерации ответов в чате и других текстовых сценариев. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/DeepSeek-V2.5-GGUF — это набор файлов модели в формате GGUF для базовой модели DeepSeek-V2.5, разработанной deepseek-ai. Квантованные файлы подготовлены пользователем MaziyarPanahi и предназначены для локального запуска задач генерации текста. Модель ориентирована на использование с llama.cpp и совместимыми инструментами, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, candle и другие приложения, поддерживающие GGUF. Формат подходит для локального инференса с возможностью задействовать CPU и GPU в зависимости от выбранного клиента и конфигурации. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между размером файлов, требованиями к памяти и качеством генерации. В README не указаны точная архитектура и размер модели, поддерживаемые языки, длина контекста, конкретные системные требования или лицензия, поэтому эти характеристики нельзя достоверно описать.

inferencerlabs/DeepSeek-V4-Flash-0731-MLX-Q3i — квантованная версия модели DeepSeek-V4-Flash-0731, разработанной deepseek-ai, подготовленная для выполнения на устройствах Apple с использованием библиотеки MLX и её модифицированной версии. Модель предназначена для генерации текста и локального текстового инференса, в том числе в сценариях, где требуется запуск крупной языковой модели при ограниченном объёме оперативной памяти. Сборка использует метод сжатия INF, не зависящий от обучающих данных, и формат MLX. Согласно README, она рассчитана на работу в системе с 128 ГиБ RAM при сохранении связности ответов. На M3 Ultra с 512 ГиБ RAM заявлена скорость около 39,7 токена в секунду при генерации примерно 500 токенов; потребление памяти в этом тесте составляло около 104,6 ГиБ. Архитектура, точный размер модели, поддерживаемые языки, контекстное окно и модальности в README не указаны; по назначению это текстовая модель. К сильным сторонам относятся возможность локального запуска на совместимом оборудовании Apple, уменьшенные требования к памяти благодаря квантованию и сохранение приемлемой связности генерации. Ограничения включают зависимость от MLX и аппаратной конфигурации, возможное снижение качества по сравнению с исходной моделью из-за квантования, а также отсутствие подробных данных о точности и поддерживаемых сценариях. Лицензия в README не указана; условия использования следует уточнять для исходной модели и данной квантованной сборки отдельно.

DolphinVision 72B — мультимодальная модель, созданная Quan Nguyen, Eric Hartford и Cognitive Computations. Она дообучена на базе Qwen2-72B и предназначена для диалогов, генерации текста и анализа изображений: модель может отвечать на вопросы о содержимом изображений и описывать его. Модель содержит 71,5 млрд параметров, использует архитектуру llava-qwen2 и поддерживает контекст до 131 072 токенов. В README приведены результаты на наборах VQA v2, MMBench, MMMU, MathVista и RealWorldQA. Авторы характеризуют её как uncensored и отмечают способность обсуждать изображения, от которых могут отказаться другие модели. Лицензия указана как other, поэтому конкретные условия использования следует проверять в карточке модели. Это крупная модель, для запуска которой требуются значительные вычислительные ресурсы; приведённые бенчмарки не гарантируют качество на любых данных.

Eclipse-13B-dpo — языковая модель Xenon1, созданная дообучением Mistral-7B-v0.1 на датасете UltraFeedback с применением методов из статьи Self-Rewarding Language Models. Она предназначена для генерации текста и выполнения инструкций в диалоговом формате; для запросов используется шаблон с токенами [INST] и [/INST], также доступный через apply_chat_template(). В основе указана архитектура Mistral с Grouped-Query Attention, Sliding-Window Attention и токенизатором Byte-fallback BPE; метаданные классифицируют веса как MixtralForCausalLM с архитектурой MoE и указывают 7,1 млрд параметров. Контекст составляет 32 768 токенов, формат весов — safetensors, основной язык карточки — английский. Модель распространяется по лицензии Apache-2.0.

Einstein-4D-Marcoro14-7B-full-slerp — объединённая языковая модель, созданная с помощью LazyMergekit методом SLERP из argilla/distilabeled-Marcoro14-7B-slerp-full и Weyaxi/Einstein-v4-7B. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, рассчитанная на генерацию текста; базовая модель Einstein-v4-7B предназначена для диалогов, следования инструкциям и ответов на вопросы, включая научные и математические темы. Модель принимает текст и генерирует текст. Её родной контекст составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors, а лицензия указана как Apache-2.0. Карточка не приводит отдельной оценки качества или подробных ограничений для полученного объединения.

bingbort/Einstein_x_Dolphin — объединённая языковая модель на архитектуре Mistral, созданная методом SLERP с помощью mergekit из Weyaxi/Einstein-v6-7B и cognitivecomputations/dolphin-2.8-mistral-7b-v02. Модель содержит 7,1 млрд параметров, работает с текстом и предназначена для генерации ответов в диалоговом формате. Модель подходит для чат-общения и решения задач, сочетающих возможности исходных моделей Einstein и Dolphin. Заявленная длина контекста составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors; для работы используется библиотека Transformers. Язык модели в предоставленных данных не установлен отдельно. Условия лицензии в карточке не приведены.

howey/electra-large-mnli — англоязычная модель классификации текста на базе архитектуры ELECTRA-Large, опубликованная пользователем howey и предназначенная для задач, связанных с MultiNLI. ELECTRA разработана Google как Transformer-энкодер; данная версия дообучена для классификации отношений между парами текстов, например определения entailment, contradiction и neutral. Модель содержит около 433,9 млн параметров и поддерживает контекст до 512 токенов. Она работает с текстом, использует библиотеку Transformers и доступна через PyTorch. Модель подходит для классификации текстовых пар и zero-shot-подобных сценариев при передаче подходящих гипотез, но не является генеративной моделью и не предназначена для свободного создания текста. В карточке модели лицензия не указана, поэтому условия коммерческого и производного использования следует уточнять у владельца репозитория и в файлах модели.

EuroLLM-1.7B-Instruct — мультиязычная языковая модель с 1,7 млрд параметров, разработанная Unbabel, Instituto Superior Técnico, Instituto de Telecomunicações, University of Edinburgh и другими исследовательскими организациями при финансировании Европейского союза. Это первая версия серии EuroLLM, дообученная следовать инструкциям; модель построена на плотном Transformer с архитектурой Llama, групповым запросным вниманием, RMSNorm, SwiGLU и RoPE. Длина контекста — 4096 токенов. Модель предназначена для диалогов, выполнения общих текстовых инструкций и машинного перевода. Она поддерживает множество европейских языков, а также арабский, китайский, хинди, японский и корейский. В карточке приведены результаты тестирования перевода на FLORES-200, WMT-23 и WMT-24; на FLORES-200 модель превзошла сравниваемую Gemma-2B и показала конкурентные результаты относительно Gemma-7B. Модель не прошла выравнивание по предпочтениям людей и может выдавать галлюцинации, вредоносный или ложный текст. Распространяется по лицензии Apache 2.0.

EVA-Qwen2.5-32B-v0.0-GGUF — это текстовая генеративная модель на базе EVA-Qwen2.5-32B-v0.0, разработанной EVA-UNIT-01. Представлена в формате GGUF и предназначена для локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель ориентирована на диалоговую генерацию текста, следование инструкциям, написание текстов и roleplay-сценарии. Модель содержит 32 миллиарда параметров; точная архитектура, размер контекста и перечень поддерживаемых языков в README не указаны. Доступны варианты от F16 до различных уровней квантования Q8, Q6, Q5, Q4 и Q3, включая imatrix-квантизации. Более крупные варианты обеспечивают лучшее качество, а компактные требуют меньше оперативной памяти, но могут заметнее терять в качестве. Некоторые варианты оптимизированы для ARM и требуют поддержки SVE или i8mm; они не предназначены для Mac или Windows. Квантизацию выполнил bartowski с использованием llama.cpp и imatrix. Модель распространяется по лицензии Apache-2.0. README не содержит результатов бенчмарков, поэтому фактическое качество в конкретных задачах следует оценивать отдельно.

EXAONE-4.0-1.2B-GGUF — квантизированная версия языковой модели EXAONE 4.0, разработанной LG AI Research. Модель предназначена для генерации текста, диалоговых приложений, локального запуска и on-device-сценариев, где важны компактный размер и умеренное потребление ресурсов. Серия EXAONE 4.0 поддерживает режимы рассуждения и без рассуждения, использование инструментов агентами и многоязычную работу на английском, корейском и испанском языках. Вариант содержит около 1,07 млрд параметров без учёта эмбеддингов, 30 слоёв и механизм внимания GQA с 32 головами и 8 KV-головами. Размер словаря составляет 102 400 токенов, заявленная длина контекста — 65 536 токенов. Модель распространяется в формате GGUF с вариантами квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_M и IQ4_XS, а также с весами BF16; поддерживается llama.cpp. Сильными сторонами являются компактность, возможность локального и встраиваемого использования, поддержка трёх языков, длинного контекста и двух режимов генерации. Ограничением по сравнению с 32B-версией серии является существенно меньший размер, поэтому модель может уступать ей в качестве, глубине рассуждений и сложных профессиональных задачах; конкретные результаты тестирования для данного варианта в предоставленных данных не приведены. Лицензия указана как EXAONE, с типом other и отдельным файлом LICENSE; точные условия использования в README не раскрыты.

Exodia-7B — разговорная языковая модель на архитектуре Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Карточка описывает её как результат слияния нескольких моделей, призванный объединить их сильные стороны и снизить слабые стороны; конкретные исходные модели и разработчик в README не названы. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы с учётом контекста и работу с разными типами запросов. Доступны веса PyTorch. Лицензия — MIT. README заявляет широкую применимость и повышенное покрытие знаний, но не приводит оценок, тестов или конкретных примеров, подтверждающих эти заявления. Указанные характеристики не подтверждают поддержку изображений, аудио или других нетекстовых входов.

MaziyarPanahi/Experiment26Yamshadow_AlloyingotneoyExperiment28 — объединённая Mistral-модель для генерации текста, созданная слиянием automerger/Experiment26Yamshadow-7B и automerger/AlloyingotneoyExperiment28-7B. Она содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Подходит для генерации и продолжения текста в диалоговых и других текстовых сценариях. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

Карточка модели aTrain-core/faster-distil-whisper-large-v2 на Hugging Face совпадает с карточкой Systran/faster-distil-whisper-large-v2, поэтому описание составлено по ней. Это конверсия модели distil-whisper/distil-large-v2 в формат CTranslate2, подготовленная для использования с CTranslate2 и проектами на его основе, например faster-whisper. Модель предназначена для распознавания речи по аудиозаписям и транскрибирования речи в текст. Веса сохранены в FP16; при загрузке тип вычислений можно выбирать через параметр compute_type в CTranslate2. В карточке указана поддержка английского языка. Репозиторий использует библиотеку CTranslate2, а лицензия — MIT.

Firefly-Qwen1.5-en-7b — англоязычный чат-ассистент, разработанный на базе Qwen1.5-7B и дообученный командой Firefly на инструкциях на английском языке. Это плотная авторегрессионная языковая модель семейства Qwen с 7,1 млрд параметров, предназначенная для диалога и генерации ответов. Модель принимает текст и выдаёт текст; для общения используется шаблон чата Qwen1.5-7B-Chat. Контекстная длина по метаданным — 32 768 токенов. Карточка сообщает о результатах оценки на Open LLM Leaderboard и описывает обучение с QLoRA на одной V100, но приведённая таблица результатов относится преимущественно к варианту DPO и не подтверждает независимо заявленное сравнение именно этой модели. Китайский язык может работать благодаря возможностям базовой Qwen1.5, однако авторы его не оценивали; основной язык обучения и применения — английский. Модель распространяется по лицензии Apache-2.0.

flammen3-mistral-7B — созданная flammenai объединённая языковая модель на архитектуре Mistral с 7,1 млрд параметров. Она получена методом SLERP с помощью mergekit из предварительно обученных моделей nbeerbower/flammen2 и yam-peleg/Experiment26-7B; веса опубликованы в формате safetensors и рассчитаны на использование с Transformers. Модель предназначена для генерации текста и других сценариев, поддерживаемых конвейером text-generation. Она принимает текст, выдаёт текст и имеет контекстное окно до 32 768 токенов. Карточка не описывает специализированные области применения или языки модели, поэтому их нельзя надёжно определить. Лицензия — Apache-2.0. Карточка подтверждает происхождение через слияние моделей, но не приводит сравнительных оценок качества или подробных рекомендаций по применению; фактические результаты следует оценивать на целевых задачах.

m8than/gemma-2-9b-it — разговорная языковая модель семейства Gemma 2, размещённая пользователем m8than. Репозиторий содержит модель на 9 млрд параметров в формате safetensors; в метаданных указана архитектура Gemma2ForCausalLM и библиотека Transformers. Модель принимает текст и предназначена для генерации текста в диалоге; карточка также описывает сценарии дообучения Gemma 2 с помощью Unsloth и содержит ссылки на ноутбук для Colab. Заявленная длина контекста — 8192 токена. Метаданные указывают английский язык. В README сказано, что модель напрямую квантизирована в 4 бита с bitsandbytes; репозиторий помечен лицензией Gemma. Данных о сравнительных качествах и конкретных ограничениях модели в карточке нет.

mhenrichsen/gemma-2b — текстовая авторегрессионная модель семейства Gemma, разработанного Google на основе исследований и технологий, использованных при создании Gemini. Это плотная decoder-only модель с 2,5 млрд параметров; репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. Модель принимает текст и генерирует текст, поддерживает контекст до 8192 токенов и предназначена прежде всего для английского языка. Модель подходит для генерации текста, диалоговых интерфейсов, суммаризации, ответов на вопросы и исследовательских NLP-сценариев. Компактный размер облегчает запуск на ноутбуке, настольном компьютере или собственной облачной инфраструктуре. Карточка не уточняет, является ли именно эта копия предварительно обученной или настроенной для инструкций; лицензия в предоставленных данных также не указана. Качество ответов зависит от обучающих данных и формулировки запроса: модель может ошибаться в фактах, упускать языковые нюансы и демонстрировать смещения. Для использования в приложениях, генерирующих контент, следует учитывать возможность вредных или вводящих в заблуждение ответов.

PollardWeights/gemma-4-12B-it-Pollard — квантизированная GGUF-версия модели google/gemma-4-12B-it, подготовленная PollardWeights с использованием llama.cpp и метода Pollard Weights. Модель содержит около 11,9 млрд параметров, использует архитектуру gemma4_unified и предназначена для генерации текста и диалоговых сценариев. Она поддерживает текстовые, визуальные и аудиовходы; заявленный язык — английский. В README приведены измерения качества при контексте 2048 токенов, но максимальная длина контекста не указана. Модель рассчитана на локальный запуск в llama.cpp и совместимых приложениях, включая Ollama, LM Studio, koboldcpp, Jan и ramalama. Доступны варианты с разным соотношением размера и точности: IQ2_XXS размером 4,64 ГБ, IQ4_XS размером 6,78 ГБ и Q6_K размером 9,65 ГБ. Квантизация использует распределение битов по чувствительности отдельных слоёв и калибровку imatrix, что позволяет существенно уменьшить требования к памяти; наиболее точным из представленных вариантов является Q6_K, а IQ2_XXS — самым компактным, но с заметно более высоким perplexity. Ограничения включают снижение качества по сравнению с f16, отсутствие данных о широком тестировании и проверку измерений на одной машине. Распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

OsaurusAI подготовила MLX-сборку JANG_4M на основе инструкционной Gemma 4 от Google DeepMind с 12 млрд параметров. Это плотная модель семейства gemma4_unified с 48 текстовыми слоями, предназначенная для диалога и генерации текста; заявлен интерфейс для вызова инструментов. Веса упакованы в формате safetensors с аффинной смешанной точностью: эмбеддинги токенов, нормализации, компоненты обработки медиа и связанные проекторы сохранены в fp16, проекции внимания и маршрутизатора MoE — в 8-битном виде, основная часть MLP и экспертов — в 4-битном. Проверенный путь запуска через JANG-загрузчик vMLX поддерживает только текст. Хотя веса и конфигурации для изображений и аудио сохранены, для них требуется совместимая реализация Gemma 4 в MLX; в стандартном mlx_vlm такой поддержки пока нет. Модель распространяется по лицензии Gemma. Сборка предназначена для MLX и Apple Silicon; фактическое использование зависит от совместимого JANG-загрузчика и шаблонов Gemma 4.

LiconStudio/Gemma-4-31B-it-abliterated-GGUF — модифицированная версия Google Gemma 4 31B Instruct, распространяемая в формате GGUF. Модель создана с применением метода Heretic ABLiteration: из исходных весов удалено нейронное направление, связанное с отказами в ответах, без изменения архитектуры и без дополнительных затрат при инференсе. Согласно README, версия ориентирована на снижение частоты отказов при сохранении исходных возможностей модели. Модель предназначена для генерации текста, исследований чувствительных тем, анализа, тестирования безопасности, red-teaming и академических исследований выравнивания моделей. Также заявлена поддержка мультимодальных сценариев с изображениями и текстом благодаря возможностям Gemma 4; при этом vision encoder остался без изменений. Указаны языки Chinese и English. Размер модели — 31B параметров; сведения о длине контекста и точной конфигурации GGUF в README отсутствуют. Сильной стороной является низкая частота отказов: в ручном тестировании для Abliterated Version указано 4 отказа из 100, при этом авторы не наблюдали заметного ухудшения интеллектуальных способностей по сравнению с официальной версией. Ограничения включают возможную небольшую потерю качества на сложных задачах, отсутствие встроенных механизмов цензуры и необходимость самостоятельно оценивать безопасность результатов. Модель не рекомендуется для производственных систем, требующих модерации контента, приложений для несовершеннолетних и сценариев с юридическими рисками. Лицензия — Apache-2.0. Авторы предназначают модель для исследовательских и образовательных целей и предупреждают, что она может генерировать вредный, опасный или неприемлемый контент; ответственность за использование несёт пользователь.

mlboydaisuke/gemma-4-E4B-CoreAI — это текстовая генеративная модель Gemma 4 E4B, разработанная Google и преобразованная в формат Apple Core AI компанией или автором репозитория модели. Она предназначена для локального запуска на устройствах Apple под управлением iOS 27 и macOS 27, включая офлайн-диалоги, суммаризацию, генерацию текста и интеграцию в приложения через CoreAIKit. Модель может работать на GPU или Neural Engine без пользовательских ядер. Модель основана на официальном QAT-чекпойнте google/gemma-4-E4B-it-qat-q4_0-unquantized. Это плотный текстовый decoder-only трансформер без MoE: заявлены 42 слоя, скрытое представление размером 2560, промежуточный размер 10240, 8 query heads и 2 KV heads; полное внимание используется в каждом шестом слое. Веса подготовлены для округления q4_0 и представлены в виде int4-квантизации с блоками по 32 значения. Размер поставляемых файлов составляет примерно 7,1 ГБ, а пиковое потребление памяти на iPhone 17 Pro заявлено на уровне 2,2 ГБ. Сильные стороны модели — запуск полностью на устройстве, отсутствие необходимости в облачном API, совместимость с экосистемой Apple и подтверждённое совпадение жадной генерации с эталоном на указанных тестах. Ограничения включают зависимость от iOS 27 или macOS 27, аппаратной платформы Apple и конкретного runtime Core AI; сведения о поддерживаемых языках и максимальной длине контекста в карточке не указаны. Модель распространяется по лицензии Apache-2.0, при этом базовый Gemma-чекпойнт имеет собственные условия Google, на которые указывает ссылка в метаданных.

Модель armand0e/Gemma-4-E4B-it-DeepSeek-v4-Distill — дообученная на базе unsloth/gemma-4-E4B-it мультимодальная модель семейства Gemma 4 с плотной архитектурой Gemma4ForConditionalGeneration. Автор карточки указывает, что модель обучалась с использованием Unsloth и библиотеки Hugging Face TRL. Модель предназначена для диалога и генерации ответов по текстовым и визуальным входам; метаданные также отмечают поддержку интерфейса вызова инструментов. Базовая Gemma 4 E4B Instruct описана как подходящая для анализа изображений, документов, программирования и других текстовых задач, но отдельные возможности этой версии подробно не подтверждены карточкой. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не сообщает размер контекста и подробные результаты оценки качества; практическое качество дистилляции DeepSeek в README не раскрыто.

Карточка модели armand0e/Gemma-4-E4B-it-Fable-Distill на Hugging Face совпадает с карточкой armand0e/Gemma-4-E4B-it-DeepSeek-v4-Distill, поэтому описание составлено по ней. Модель armand0e/Gemma-4-E4B-it-DeepSeek-v4-Distill — дообученная на базе unsloth/gemma-4-E4B-it мультимодальная модель семейства Gemma 4 с плотной архитектурой Gemma4ForConditionalGeneration. Автор карточки указывает, что модель обучалась с использованием Unsloth и библиотеки Hugging Face TRL. Модель предназначена для диалога и генерации ответов по текстовым и визуальным входам; метаданные также отмечают поддержку интерфейса вызова инструментов. Базовая Gemma 4 E4B Instruct описана как подходящая для анализа изображений, документов, программирования и других текстовых задач, но отдельные возможности этой версии подробно не подтверждены карточкой. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не сообщает размер контекста и подробные результаты оценки качества; практическое качество дистилляции DeepSeek в README не раскрыто.

glm-4-9b-chat-GGUF — это квантизированная версия чат-модели THUDM/glm-4-9b-chat, подготовленная legraphista в формате GGUF для использования с llama.cpp. Исходная модель разработана THUDM; в README указано, что она предназначена для генерации текста и диалоговых сценариев. Поддерживаемые языки — китайский и английский. Модель имеет около 9 млрд параметров; исходный тип данных — BF16. Доступны варианты от BF16 и FP16 до 2-, 3-, 4-, 5-, 6- и 8-битных статических квантизаций, что позволяет выбирать между качеством, размером файла и требованиями к ресурсам. Размер файлов составляет примерно от 3,99 до 18,81 ГБ. Указанные варианты не используют IMatrix. Формат GGUF и совместимость с llama.cpp подходят для локального запуска, однако README не содержит сведений о длине контекста, точной архитектуре, мультимодальности, производительности или сравнительных преимуществах. Лицензия обозначена как glm-4; подробные условия доступны по ссылке на лицензию исходной модели. Ограничения и условия коммерческого использования в README не раскрыты, поэтому перед применением следует изучить полный текст лицензии.

glm-4-9b-chat-IMat-GGUF — это набор GGUF-квантизированных версий чат-модели THUDM/glm-4-9b-chat, разработанной командой THUDM. Квантизацию выполнил legraphista с использованием llama.cpp и IMatrix для ряда вариантов. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимое программное обеспечение, например llama.cpp. Модель имеет около 9 миллиардов параметров и создана на основе исходной версии в формате BF16. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантизаций; размеры файлов составляют примерно от 3,99 до 18,81 ГБ. В метаданных указана поддержка китайского и английского языков. Для низкобитных вариантов применена IMatrix, призванная улучшить качество квантизации, однако конкретные показатели качества и максимальный размер контекста в README не указаны. Главное преимущество набора — выбор между качеством, размером и требованиями к ресурсам, что позволяет запускать модель на различном локальном оборудовании. Ограничения связаны с потерями качества при более агрессивной квантизации, а также с отсутствием в предоставленных данных подробных бенчмарков, требований к памяти и описания архитектуры. Модель распространяется по лицензии glm-4; README указывает отдельную лицензию и ссылку на лицензионные условия исходной модели.

GLM-5.2-4bit — это 4-битная квантованная версия модели GLM-5.2, преобразованная сообществом mlx-community из исходной модели zai-org/GLM-5.2 в формат MLX с использованием mlx-lm версии 0.31.3. Модель предназначена для генерации текста и локального запуска в экосистеме MLX, например через mlx-lm. Ключевые характеристики включают формат MLX, 4-битное квантование и поддержку сценариев text-generation. Данные о размере модели, архитектуре, языках, модальностях и длине контекста в README не указаны. В текущей версии квантования отсутствует блок MTP, что может ограничивать функциональность или производительность по сравнению с исходной моделью. Модель распространяется по лицензии MIT.

GLM-5.3-Flash-VQ-3.6bpw — векторно-квантизированная сборка мультимодальной модели GLM-5.3-Flash от zai-org, подготовленная для Apple Silicon с использованием MLX и VQLab. Модель предназначена для генерации и анализа текста, а также обработки изображений в сценариях, поддерживаемых GLM-5.3-Flash. Заявлены английский и китайский языки; максимальная длина контекста в README не указана. Сборка основана на исходном контрольном пункте bf16 размером 598,5 GiB и занимает 134,0 GiB. Это MoE-модель с векторной квантизацией экспертов до d=4 и K=8192; attention, embeddings и выходная голова сохранены в 8-битном affine-формате, нормы, маршрутизаторы и vision tower из 347 тензоров — в bf16. MTP-слой не квантизирован. По приведённым измерениям, модель сопоставима по качеству с affine q4, но требует на 32 GiB меньше памяти; её совпадение top-1 с bf16-учителем составляет 92,1%. Основные ограничения — очень большой объём весов и необходимость совместимого runtime. Для текста требуется mlx-lm с поддержкой model_file, для изображений — mlx-vlm версии не ниже 0.6.17; конфигурация и встроенный model.py должны быть корректно загружены. Сборка проверена в двухузловом кластере exo на Apple Silicon, поскольку превышает объём памяти одной 128-гигабайтной машины. Лицензия — MIT.

ggml-org/gpt-oss-20b-GGUF — это GGUF-квантизированная версия модели gpt-oss-20b, разработанной OpenAI и опубликованной в формате для запуска с помощью инструментов экосистемы ggml-org. Модель предназначена для генерации текста и локального или совместимого с llama.cpp использования; в README приведён пример запуска через llama serve и llama.app. Модель относится к классу text-generation и имеет размер 20B согласно названию базовой модели. Она поставляется в квантизированном формате GGUF, что обычно позволяет снизить требования к памяти по сравнению с полноразмерными весами, однако конкретный тип квантизации в README не указан. Поддерживаемые языки, размер контекста, архитектура, модальности и показатели качества не раскрыты. Лицензия модели — Apache-2.0. README указывает, что конвертация выполнена автоматически с использованием проекта ggml-org/convert, а исходными моделями названы openai/gpt-oss-20b и RedHatAI/gpt-oss-20b-speculator.eagle3. Из-за отсутствия подробных технических характеристик нельзя оценить языковое покрытие, производительность и ограничения модели более точно.

Карточка модели Asefalus/gpt-oss-20b-heretic на Hugging Face совпадает с карточкой p-e-w/gpt-oss-20b-heretic, поэтому описание составлено по ней. p-e-w/gpt-oss-20b-heretic — текстовая разговорная модель на архитектуре GPT-OSS, созданная на основе openai/gpt-oss-20b с помощью abliteration, направленной на снижение отказов. В карточке приведено сравнение: в тесте на 100 запросах модель отказала в 58 случаях против 100 у исходной модели; KL-дивергенция составила 0,96. README также описывает базовую модель как MoE с 21 млрд параметров и 3,6 млрд активных параметров, контекстом 131 072 токена и форматом Harmony; метаданные репозитория при этом указывают 1,6 млрд параметров. Модель предназначена для диалога, генерации текста и локальных или специализированных сценариев. Базовая модель поддерживает настраиваемый уровень рассуждений, вызов функций и агентные сценарии; в этом репозитории заявлено снижение числа отказов, но приведённый тест не гарантирует поведение на других запросах. Для корректной работы следует использовать формат Harmony. Лицензия — Apache-2.0.