I.6Перевод и языковая адаптация

Qwen3.5-35B-A3B-ultra-uncensored-heretic-GGUF — набор GGUF-квантизаций модели Qwen3.5-35B-A3B, подготовленный независимым разработчиком llmfan46. Это модифицированная, «decensored» версия исходной модели Qwen, созданная с использованием Heretic v1.2.0, Magnitude-Preserving Orthogonal Ablation (MPOA) и Self-Organizing Map Abliteration (SOMA). В README также указана исходная модель Qwen/Qwen3.5-35B-A3B, однако подробности о разработчике базовой модели и её полной архитектуре не приведены. Модель предназначена для локального запуска в llama.cpp, LM Studio, Ollama и других инструментах, совместимых с GGUF. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и Q4_K_S, что позволяет выбирать между качеством, размером и требованиями к VRAM. Указанное обозначение 35B-A3B отражает заявленный класс и конфигурацию модели, но точные сведения о числе активируемых параметров, размере контекста и языковой поддержке в представленном README отсутствуют. Модель поддерживает мультимодальные сценарии image-text-to-text. Для работы с изображениями требуется отдельный vision projector в формате F32 или BF16; его следует использовать вместе с любой квантизацией основной модели. Ключевая особенность модификации — существенное снижение числа отказов: в приведённом тесте 4 из 100 против 91 из 100 у оригинала, при KL divergence 0,0411, что указывает на относительно небольшое отклонение от исходного поведения. При этом снятие ограничений может повышать риски небезопасных или нежелательных ответов, а квантизация способна влиять на качество, связность и рассуждения. Лицензия — Apache 2.0.

cmp-nct/Qwen3.6-35B-A3B-GGUF — GGUF-версия модели Qwen3.6-35B-A3B, разработанной командой Qwen. По метаданным это мультимодальная модель с поддержкой сценария image-text-to-text, предназначенная для обработки изображений и текста с генерацией текстовых ответов. В репозитории также указана quantized vision projector, то есть квантизированный визуальный проектор. Модель построена на MoE-архитектуре: заявлен общий размер 35 млрд параметров и конфигурация A3B, однако точное число активных параметров, размер контекста, поддерживаемые языки и конкретные требования к оборудованию в README не указаны. Формат GGUF ориентирован на локальный запуск в совместимых инструментах, но сведения о доступных вариантах квантизации и производительности отсутствуют. Лицензия — Apache-2.0. README не содержит достаточных данных для оценки качества, сильных сторон и ограничений модели в конкретных задачах, поэтому перед использованием следует отдельно проверить совместимость рантайма, характеристики выбранного GGUF-файла и возможности мультимодального инференса.

Ryn1998/Qwen3.8-27B-Heretic-Abliterated-Uncensored-GGUF — вариант текстовой генеративной модели Qwen3.8-27B, основанный на модели Qwen/Qwen3.8-27B и доработанный с применением метода ARA (Arbitrary-Rank Ablation). Исходную abliteration-версию создал Tim Rohrbaugh, после чего она была дополнительно обработана двумя полными проходами ARA для уменьшения остаточных отказов. Модель предназначена для генерации текста, исследований, творческого письма и roleplay-сценариев, включая случаи, где требуется сниженное количество встроенных отказов. При этом она ориентирована на совершеннолетнюю аудиторию и требует ответственного использования в соответствии с законодательством. Модель содержит 27 млрд параметров и использует архитектуру Qwen3.8 с гибридом Gated DeltaNet и стандартного внимания: 64 слоя, из которых 16 используют обычное внимание, а 48 — линейное внимание Gated DeltaNet. Поддерживаются GQA с 24 attention heads и 4 KV heads, размер скрытого состояния составляет 5120, словарь содержит 248 320 токенов, максимальная длина контекста — 262 144 токена. Распространяется в формате GGUF для llama.cpp; доступны варианты с поддержкой MTP speculative decoding и без неё. Ключевая особенность — существенное снижение поведения, связанного с отказами: по приведённым независимым измерениям, их частота уменьшена с 3 из 100 у исходной abliteration-версии до 0–1 из 100, при этом заявлено небольшое изменение поведения модели (KL около 0,0085). Ограничение состоит в намеренном ослаблении защитных механизмов: модель может генерировать потенциально вредный или небезопасный контент, а отдельные guardrails всё ещё могут сохраняться. Лицензия — Apache-2.0, унаследованная от базовой модели Qwen3.8-27B.

Qwen3.8-27B-MLX-5bit — это 5-битная квантованная версия модели Qwen3.8-27B, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm; модель предназначена для запуска на устройствах Apple Silicon. Модель относится к классу image-text-to-text и рассчитана на задачи, связанные с обработкой изображений и текста, включая мультимодальные сценарии общения и генерации ответов. Она содержит 27 миллиардов параметров и использует 5-битное представление, что снижает требования к памяти по сравнению с полноразмерной версией. README не содержит данных о поддерживаемых языках и размере контекстного окна. Ключевое преимущество модели — адаптация под экосистему Apple Silicon и уменьшенный объём памяти благодаря квантованию. При этом квантование может влиять на точность и качество ответов по сравнению с исходной моделью, а запуск оптимизирован прежде всего для Apple Silicon. Модель распространяется по лицензии Apache-2.0.

bartowski/Qwen_Qwen3.5-0.8B-GGUF — это набор GGUF-квантизированных версий модели Qwen3.5-0.8B, разработанной Qwen и преобразованной bartowski с использованием llama.cpp. Модель предназначена для задач image-text-to-text и локального запуска через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Доступны варианты от BF16 до Q2_K_L, включая популярные квантизации Q4, Q5, Q6 и Q8; размер файлов составляет примерно от 0,50 до 1,56 ГБ. В README также указана поддержка MTP-слоёв и запуска с параметром --spec-type draft-mtp. Модель поставляется в формате GGUF и использует шаблон диалога с системными, пользовательскими и ассистентскими сообщениями. К сильным сторонам относятся небольшой размер, возможность локального использования и широкий выбор компромиссов между качеством и потреблением памяти. Более низкие уровни квантизации экономят ресурсы, но могут заметно снижать качество генерации; для некоторых вариантов требуется актуальная версия поддерживающего ПО. В README не указаны точные размер контекста, языки, архитектурные детали исходной модели и результаты бенчмарков. Лицензия — Apache-2.0.

NaomiBTW/rwkv7-g1c-13.3b-gguf — квантизированная версия языковой модели RWKV7 g1c с приблизительно 13,3 млрд параметров. Модель основана на BlinkDL/rwkv7-g1 и предназначена для генерации текста, включая диалоговые и другие сценарии обработки естественного языка, совместимые с форматом GGUF. Ключевые характеристики включают архитектуру RWKV7, размер около 13,3 млрд параметров и квантизацию, выполненную с использованием калибровки Bartowski calibrationv5 для imatrix. README не содержит сведений о поддерживаемых языках, размере контекста, точном типе квантизации, мультимодальности или результатах тестирования, поэтому эти свойства нельзя оценить по имеющимся данным. К потенциальным ограничениям относятся возможная потеря качества из-за квантизации и требования к ресурсам, характерные для модели такого размера. Лицензия — Apache 2.0.

Это конверсия классификатора языков речи Silero в формат GGUF для использования с CrispASR. Модель принимает монофонический PCM-аудиосигнал с частотой 16 кГц и выдаёт логарифмические вероятности для 95 языков и 58 языковых групп. В архитектуре используются обучаемый STFT-фронтенд, свёрточный энкодер в стиле MobileNet с трансформерными блоками и пулинг с весами внимания; модель содержит около 4 млн параметров. Модель подходит для определения языка речи в аудиозаписи и для автоматического выбора языка перед распознаванием речи в CrispASR, в том числе с бэкендами без встроенной идентификации языка. Наилучшие результаты указаны для фрагментов речи длительностью примерно 3–20 секунд. Конверсия выполнена из ONNX-модели snakers4/silero-lang-classifier-95; обучения или изменения возможностей не проводилось. Репозиторий распространяется по лицензии MIT.

SuperNova-Medius-GGUF — это набор GGUF-квантизаций текстовой генеративной модели SuperNova-Medius, разработанной arcee-ai и подготовленной для распространения пользователем bartowski. Модель предназначена для локального запуска и генерации текста, в частности через llama.cpp и LM Studio. В README указан формат промптов с ролями system, user и assistant на основе специальных токенов ChatML. Доступны версии от исходных весов F16 размером 29,55 ГБ до сильно сжатых вариантов Q2_K размером 5,77 ГБ. Представлены семейства квантизаций Q2, Q3, Q4, Q5, Q6, Q8 и IQ, включая варианты, оптимизированные для ARM-процессоров. Квантизация выполнена с использованием llama.cpp b3901 и метода imatrix. Наиболее качественными считаются F16, Q8_0, Q6_K_L и Q6_K; компактные варианты подходят для систем с ограниченной оперативной памятью, но могут заметно уступать по качеству. README не содержит сведений об архитектуре, количестве параметров, длине контекста, поддерживаемых языках и мультимодальности, поэтому эти характеристики нельзя достоверно указать. Для ARM-версий требуется соответствующая аппаратная поддержка; варианты Q4_0_8_8 и Q4_0_4_8 не рекомендуются для Mac и Windows. Модель распространяется по лицензии Apache-2.0.

Sakalti Tara-3.8B-v1.1 — языковая модель Sakalti для генерации текста и диалогового общения. Это плотная causal language model на архитектуре Llama с 3,7 млрд параметров, дообученная на базе Sakalti/tara-3.8B с помощью Unsloth и библиотеки TRL. В метаданных указана длина контекста 4096 токенов и поддержка английского и японского языков; среди данных для дообучения указан японский набор llm-jp/oasst2-33k-ja. Модель подходит для генерации ответов в чате и продолжения текста. Репозиторий содержит веса в формате safetensors, библиотека запуска — Transformers. Метаданные указывают лицензию MIT, тогда как README указывает Apache-2.0; лицензию следует уточнить перед использованием.

Terminal-complete12k — дообученная модель на базе Qwen/Qwen3-8B, созданная автором репозитория cuong1692001. Это плотная языковая модель с архитектурой Qwen3ForCausalLM и 7,6 млрд параметров; она принимает текст и генерирует текст. Карточка указывает на диалоговый сценарий, а базовая модель поддерживает многоязычную генерацию, рассуждения, следование инструкциям, работу с кодом и вызов инструментов. Максимальная длина контекста составляет 40 960 токенов. Модель можно применять для диалога и генерации текста. README сообщает о дообучении на наборе qwen_data_complete, но не описывает его состав, целевые задачи или результаты оценки, поэтому специфические преимущества Terminal-complete12k подтвердить нельзя. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия указана как other; конкретные условия использования в доступных данных не раскрыты.

Карточка модели thoddnn/Ternary-Bonsai-8B-mlx-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-8B-mlx-2bit, поэтому описание составлено по ней. Ternary-Bonsai-8B-mlx-2bit — языковая модель Prism ML для генерации текста и диалогов на устройствах Apple. Это производная от Qwen3-8B модель семейства Qwen3 с плотной архитектурой и 7,6 млрд параметров; в карточке указаны GQA, SwiGLU, RoPE и RMSNorm. Контекстное окно — 65 536 токенов. Веса представлены в тернарном формате {-1, 0, +1} с групповыми масштабами: релиз использует формат MLX 2-bit, около 2,15 ГиБ. Модель предназначена для локального запуска на Mac, iPhone и iPad через MLX и MLX Swift, включая диалоговые сценарии. Разработчик сообщает о среднем результате 75,5 по шести категориям бенчмарков и высокой скорости на устройствах Apple; это показатели из карточки модели, а не независимая гарантия качества. Доступен формат MLX 2-bit, поэтому модель ориентирована на совместимые устройства и программный стек Apple. README отмечает, что оценка энергопотребления на мобильном устройстве приблизительная. Лицензия — Apache-2.0.

skydheere/wav2vec2-large-mms-1b-somalia — модель распознавания речи на основе wav2vec2-large, дообученная на facebook/mms-1b-all с использованием набора данных xtreme_s. Она принимает аудио и преобразует речь в текст; репозиторий указывает архитектуру Wav2Vec2ForCTC и размер около 1,3 млрд параметров. На оценочной выборке приведены loss 0,5553 и WER 0,4330. Карточка не описывает поддерживаемый язык и условия применения подробнее. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.

Wav2Vec2-Large-XLSR-Indonesian — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на индонезийской части Common Voice. Это плотная архитектура Wav2Vec2 с CTC-выходом и примерно 402,7 млн параметров; модель принимает аудио и преобразует речь в текст. Для распознавания без языковой модели входную речь следует подавать с частотой дискретизации 16 кГц. В тесте на данных Common Voice указана оценка 25,55%; метрика в карточке не уточнена. Модель распространяется по лицензии Apache-2.0.

Whisper-Large-V3-French — модель распознавания речи, разработанная дообучением openai/whisper-large-v3 для повышения качества транскрипции на французском языке. Она принимает аудио и генерирует текст с восстановленными регистрами, пунктуацией и числительными; подходит для коротких и длинных записей, включая разговоры с фоновым шумом и специализированной лексикой, например звонки в контакт-центр. Модель основана на архитектуре Whisper и содержит 905,2 млн параметров. Для длинных записей README описывает разбиение на сегменты по 30 секунд; такой режим может немного уступать последовательному декодированию по качеству, но обеспечивает более быструю обработку. В репозитории указаны веса safetensors и поддержка Transformers; README также описывает варианты использования в других реализациях Whisper. Модель выпущена под лицензией MIT. Её специализация — французская речь, поэтому качество для других языков не установлено приведёнными данными; результаты распознавания могут зависеть от шума, акцента и предметной лексики.

Wiedervereinigung-7b-dpo-laser — это модификация чат-модели mayflowergmbh/Wiedervereinigung-7b-dpo, опубликованная cstr. Она использует архитектуру MistralForCausalLM с 32 слоями и примерно 7,1 млрд параметров и предназначена для диалогов и генерации текста. Базовая модель описана как немецко-английская. Модификация применяет LaserRMT (layer-selective rank reduction) к весовым матрицам базовой модели. Это изменение весов, а не квантизация или конвертация формата. Модель принимает текст и генерирует текст; нативная длина контекста — 32 768 токенов. Репозиторий распространяется под лицензией Apache-2.0, унаследованной от базовой модели. В карточке не указаны конкретная конфигурация LaserRMT, изменённые слои и ранги, поэтому нельзя оценить точный масштаб модификации или её влияние на качество. Собственный обучающий корпус не добавлялся; происхождение обучающих данных относится к базовой модели.

42dot LLM-SFT-1.3B — языковая модель компании 42dot, обученная следовать инструкциям на естественном языке. Это плотная causal language model на архитектуре Llama с 1,3 млрд параметров, представленная в форматах PyTorch и Safetensors; длина контекста — 4096 токенов. Модель получена supervised fine-tuning из 42dot LLM-PLM на вручную составленных парах инструкций или вопросов и ответов, включая многоходовые диалоги. Она предназначена для генерации ответов на запросы и ведения диалога; в карточке указаны английский и корейский языки. Распространяется по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование. Модель может галлюцинировать и выдавать ложную или вводящую в заблуждение информацию. Из-за данных веб-происхождения в предобучении возможны токсичные, вредные и предвзятые ответы.

AMD-OLMo-1B-SFT-DPO-GGUF — набор квантованных версий языковой модели AMD-OLMo-1B-SFT-DPO, подготовленный пользователем bartowski с использованием llama.cpp и метода imatrix. Базовая модель разработана AMD; в обучении указано использование датасета allenai/dolma. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая LM Studio и llama.cpp. В репозитории представлены варианты в формате GGUF: от полноточной версии F16 размером 2,36 ГБ до квантований IQ3_M размером 0,57 ГБ. Доступны уровни Q3–Q8 и специальные варианты, оптимизированные для ARM-процессоров. Некоторые версии используют Q8_0 для embedding- и output-весов, что призвано сохранить качество при уменьшенном размере. Рекомендуемый шаблон промпта включает роли system, user и assistant. Точные архитектурные характеристики, поддерживаемые языки и размер контекста в README не указаны. Сильная сторона модели — широкий выбор квантований для различного объёма оперативной памяти и аппаратных платформ; варианты Q5–Q6 заявлены как обеспечивающие высокое качество, а Q3–Q4 подходят для более ограниченных ресурсов. ARM-версии требуют соответствующих возможностей процессора: SVE или i8mm; они не предназначены для Mac и Windows. Модель распространяется по лицензии Apache-2.0.

BAAR2-199M — компактная предобученная языковая модель разработчика aixk для генерации текста и диалогов на устройствах с ограниченными вычислительными ресурсами. В карточке заявлены 199 млн параметров, однако метаданные указывают общий размер 354,4 млн параметров; поэтому размер модели в карточке и каталоге расходится. Архитектура обозначена как плотная FHN_T4Max_199M, веса доступны в формате safetensors. Модель предназначена для лёгких чат-сценариев, работы на периферийных и встроенных устройствах, а также генерации ответов с переданным контекстом в RAG-системах с векторным поиском. Заявлена поддержка 11 языков: корейского, английского, японского, китайского, испанского, португальского, немецкого, русского, хинди, вьетнамского и тайского. Длина контекста не приведена. Это базовый предварительно обученный чекпойнт; для специализированных задач, точных фактических ответов и более качественного выполнения инструкций автор рекомендует дообучение или RAG. Лицензия указана как некоммерческая; для коммерческого использования предлагается связаться с разработчиком.

Baichuan-13B-Base — базовая предварительно обученная языковая модель компании Baichuan Intelligent Technology, созданная после Baichuan-7B. Это плотная авторегрессионная модель семейства Baichuan с 12,9 млрд параметров по метаданным (в карточке указано около 13,3 млрд), 40 слоями и 40 головами внимания. Она обучена на 1,4 трлн токенов, использует позиционные смещения ALiBi и поддерживает контекст до 4096 токенов. Модель предназначена как основа для разработчиков: продолжения текста и адаптации под прикладные сценарии на китайском и английском языках. Это версия Base без диалогового выравнивания; для готового общения в карточке указан отдельный Baichuan-13B-Chat. Репозиторий содержит веса PyTorch. Заявленная лицензия — Community License for Baichuan-13B Model; для коммерческого использования требуется получить письменное разрешение Baichuan.

Baichuan2-7B-Chat-LLaMAfied — это преобразованная в архитектуру LLaMA версия чат-модели Baichuan2-7B-Chat, разработанной Baichuan Inc. Модель содержит 7 млрд параметров, использует плотную архитектуру LlamaForCausalLM и предназначена для генерации текста в диалоге и дообучения под прикладные задачи. Она работает с китайским и английским языками, принимает текст и выдаёт текст; заявленный контекст — 4096 токенов. Модель распространяется в формате PyTorch по лицензии Baichuan2 License, обозначенной в метаданных как other. Авторы указывают возможность дообучения и приводят результаты на бенчмарках ARC и HellaSwag. Для работы с моделью README указывает Transformers и демонстрационный запуск через LLaMA-Factory.

Карточка модели Oscilla/Bonsai-8B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-8B-mlx-1bit, поэтому описание составлено по ней. Bonsai-8B-mlx-1bit — языковая модель Prism ML для локальной генерации текста и диалогов на устройствах Apple. Она основана на плотной архитектуре Qwen3-8B с 36 блоками Transformer, grouped-query attention, SwiGLU, RoPE и RMSNorm; метаданные указывают 7,6 млрд параметров, а README — около 8,19 млрд. Модель использует 1-битные веса с группами по 128 значений и хранит параметры примерно в 1,28 ГБ, что позволяет запускать её на Mac, iPhone и iPad. Указанная длина контекста — 65 536 токенов. Модель подходит для локальных диалоговых помощников, мобильного и периферийного инференса, а также для сценариев, где важны небольшое потребление памяти, скорость и обработка данных на устройстве. README приводит результаты производительности на устройствах Apple, включая 44 токена в секунду на iPhone 17 Pro Max, и описывает также варианты запуска через связанные программные форки. Для работы требуется поддержка 1-битных ядер MLX; заявленные преимущества зависят от соответствующего программного обеспечения и оборудования. README отмечает, что измерения энергопотребления на мобильном устройстве оценочные, а полноточные модели продолжают развиваться. Лицензия — Apache-2.0.

calme-2.3-rys-78b-GGUF — это квантизированная версия большой языковой модели calme-2.3-rys-78b, разработанной MaziyarPanahi и опубликованной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск чат-ботов через llama.cpp и LM Studio. Указана поддержка английского языка и формат запросов ChatML. Модель содержит около 78 млрд параметров и относится к семейству Qwen/Qwen2, однако подробности архитектуры и размер контекста в README не приведены. Доступен широкий набор вариантов квантизации от Q8_0 до IQ1_M с размером файлов примерно от 25 до 83 ГБ. Варианты Q6_K, Q5_K_M, Q4_K_L, Q4_K_M и IQ4_XS заявлены как обеспечивающие высокое качество при меньшем размере; более низкие уровни квантизации экономят память, но снижают качество и могут быть непригодны для требовательных задач. Основные преимущества — возможность локального использования, поддержка llama.cpp, несколько вариантов компромисса между качеством и требованиями к памяти, а также квантизация с использованием imatrix. Ограничения включают значительные требования к оперативной памяти и отсутствие сведений о мультимодальности, точном контексте и результатах бенчмарков. Лицензия модели указана как MIT.

MaziyarPanahi/calme-3.2-baguette-3b — чат-модель, разработанная MaziyarPanahi на основе Qwen/Qwen2.5-3B и дообученная для общих задач на французском и английском языках. Это плотная авторегрессионная модель семейства Qwen2 с 3,1 млрд параметров, контекстом до 32 768 токенов и поддержкой шаблона ChatML. Модель предназначена для диалогов и генерации текста в общих сценариях на французском и английском языках. В карточке приведены результаты Open LLM Leaderboard: среднее значение 22,14, IFEval — 63,38 и BBH — 25,87; этих оценок недостаточно для вывода о качестве во всех задачах. Автор предупреждает, что небольшой размер модели может снижать качество на некоторых запросах и повышать чувствительность к гиперпараметрам. Рекомендуются меры контроля и проверка человеком при использовании. Лицензия указана как other, без конкретных условий в предоставленных данных.

kjanh/detect_english — модель токен-классификации, опубликованная пользователем Khanh (kjanh) на Hugging Face. По идентификатору модели она предназначена для определения английского языка в текстовых данных. Модель относится к семейству DistilBERT и использует библиотеку Transformers; в метаданных указано около 0,1 млрд параметров и контекст до 512 токенов. Поддерживаемые модальности — текстовые данные, а задача классификации выполняется на уровне токенов. Сведения о лицензии, точном наборе языков, датасете, метриках и конкретных метках классификации в доступных источниках не установлены. Результаты следует проверять на собственных данных, особенно для коротких, смешанных, многоязычных или нестандартных текстов.

EvoMerge1 — объединённая разговорная языковая модель семейства Mistral, опубликованная пользователем Knobi3. Она создана с помощью mergekit методом task arithmetic на основе Mistral-7B-Instruct-v0.2 с участием Starling-LM-7B-beta, NeuralBeagle14-7B и модели sol. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM, распространяется в формате safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев на английском и шведском языках. Лицензия Apache-2.0 разрешает коммерческое использование при соблюдении её условий. Автор сообщает, что приведены результаты только двух оценок, поэтому качество и устойчивость модели подтверждены ограниченным числом проверок.

MaziyarPanahi/gemma-2b-it-GGUF — это набор файлов модели в формате GGUF, созданный на основе google/gemma-2b-it. Исходную модель разработала Google, а конвертацию и квантованные варианты подготовил MaziyarPanahi. Модель предназначена для генерации текста и ведения диалогов. Ключевая характеристика репозитория — поддержка нескольких уровней квантования: 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат GGUF ориентирован на локальный запуск с помощью llama.cpp и совместимых инструментов, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и других клиентов. Данные о количестве параметров, поддерживаемых языках, контекстном окне и мультимодальности в README не указаны; по представленным сведениям модель является текстовой. К сильным сторонам относятся компактные квантованные варианты и возможность локального запуска на широком спектре систем с использованием CPU или GPU, в зависимости от выбранного программного обеспечения. Более агрессивное квантование уменьшает требования к ресурсам, но может снижать точность и качество ответов. Репозиторий содержит лицензионную метку «other», однако конкретные условия лицензии в README не раскрыты.

DavidAU создал эту плотную мультимодальную модель на архитектуре Gemma 3, дообучив Gemma 3 27B IT с помощью Unsloth на наборе TeichAI/gemini-3-pro-preview-high-reasoning-250x. Модель принимает текст и изображения и выдаёт текст; она предназначена для диалогов, генерации и продолжения историй, ролевых сценариев и ответов на вопросы по изображениям. Дообучение добавляет автоматическое пошаговое рассуждение для сложных запросов, а на простые модель может отвечать без него. Заявлена длина контекста 128 тысяч токенов и поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. По заявлению автора, рассуждение может улучшать генерацию текста и интерпретацию изображений; обработка изображений сохранена. Это ограниченное дообучение на рассуждения: оно не расширяет знания и навыки базовой модели. Автор приводит бенчмарки, но не описывает методику их проведения. Лицензия в предоставленных данных не указана.

Это квантизированная конверсия Gemma 4 26B A4B IT, разработанной Google, для Apple MLX. Модель основана на google/gemma-4-26B-A4B-it и использует рецепт Unsloth, адаптированный для MLX с помощью mlx-node. Она предназначена прежде всего для генерации текста и запуска мультимодальных сценариев, поскольку в составе сохранены токенизатор, шаблон диалога, процессор и vision tower; при этом для данной публикации проверялась только генерация текста. Модель содержит 25 805 936 206 исходных параметров. Веса хранятся в смешанном формате: проекции dense- и expert-MLP используют MXFP4, 4-битные группы размера 32, проекции внимания q/k/v/o — MXFP8, 8-битные группы размера 32, а маршрутизаторы, эмбеддинги, выходная голова, нормализации, vision tower и остальные тензоры — в BF16. Активации имеют 16-битную точность. Конкретные языки и размер контекстного окна в README не указаны. К сильным сторонам относятся существенное уменьшение объёма хранения по сравнению с полноразмерными весами, сохранение мультимодальных компонентов и специальная оптимизация для MLX. Ограничения включают отсутствие заявленной числовой эквивалентности с upstream-исполнением W4A4 или W8A8, глобальными шкалами активаций и FP8 KV cache; мультимодальная работоспособность отдельно не подтверждена. Для использования требуется версия mlx-node с поддержкой данного рецепта, более новая, чем стандартное поведение опубликованной v0.0.8. Модель распространяется по лицензии Apache-2.0.

Это пакет слоёв модели Gemma 4 31B Instruct, подготовленный Mesh LLM для распределённого вывода из GGUF-файлов. Он основан на unsloth/gemma-4-31B-it-GGUF и сохраняет её веса в виде отдельных артефактов по слоям; вариант квантования — UD-Q4_K_XL. Пакет предназначен для локального приватного запуска чат-модели через Mesh LLM. Слои можно распределить между несколькими компьютерами, если модель целиком не помещается на одном узле, а локальный API совместим с OpenAI Chat Completions. Для запуска требуется Mesh LLM и вычислительные ресурсы кластера. Подробности об архитектуре, языках, контексте и лицензии следует сверять с карточкой исходной модели unsloth/gemma-4-31B-it-GGUF: в предоставленных данных этих сведений нет.

lyssquant/GLM-5.2-Q2_K-MTP-Q8-layers — пакет слоёв GGUF для распределённого запуска GLM-5.2-Q2_K-MTP-Q8 в локальном кластере Mesh LLM. Репозиторий производен от meshllm/GLM-5.2-Q2_K-MTP-Q8-GGUF и разделяет исходную модель на отдельные артефакты по слоям. Указанный вариант использует Q2_K с MTP-Q8. Пакет предназначен для приватного локального вывода, распределения вычислений и памяти между несколькими машинами, а также обслуживания чата через совместимый с OpenAI локальный API. Для работы требуется Mesh LLM; карточка отсылает к исходной модели за сведениями об архитектуре, шаблоне чата и лицензии, поэтому условия использования здесь не уточняются.