II.2Создание и понимание программного кода

MiniCPM5-2B-GGUF — квантизированная версия языковой модели MiniCPM5-2B, разработанной OpenBMB и распространяемой в формате GGUF пользователем mradermacher. Модель предназначена для генерации текста и может использоваться в сценариях, требующих локального запуска, работы на периферийных устройствах и поддержки вызова инструментов. В README также заявлены возможности работы с длинным контекстом. Модель имеет около 2 миллиардов параметров, относится к текстовым моделям и ориентирована на английский и китайский языки. Доступны варианты квантизации от Q2_K до Q8_0, а также версия f16, с размером файлов примерно от 1,1 до 5,1 ГБ. Варианты Q4_K_S и Q4_K_M обозначены как быстрые и рекомендуемые, Q6_K — как обеспечивающий очень хорошее качество, а Q8_0 — как вариант с лучшим качеством среди быстрых конфигураций. Основное преимущество модели — компактность и возможность локального использования при выборе подходящего уровня квантизации. Ограничения связаны с компромиссом между размером, скоростью и качеством: менее точные варианты могут заметно уступать более крупных или слабо квантизированных версий. В README не приведены результаты бенчмарков, точный размер контекста и подробные сведения об архитектуре. Модель распространяется по лицензии Apache-2.0.

MiniCPM5-2B-mlx-4Bit — 4-битная модель для генерации текста, созданная конвертацией базовой модели openbmb/MiniCPM5-2B в формат MLX с использованием mlx-lm 0.31.2. Модель предназначена для запуска через библиотеку mlx-lm, включая локальное и периферийное использование на совместимых устройствах Apple и сценарии edge AI. В карточке заявлена поддержка английского и китайского языков, а также сценариев длинного контекста и вызова инструментов. Модель относится к семейству MiniCPM и имеет размер 2B параметров; точные архитектурные характеристики и максимальная длина контекста в README не указаны. 4-битное представление снижает требования к памяти и делает модель более подходящей для локального запуска, но может ограничивать качество по сравнению с полноразмерной версией, а возможности зависят от реализации MLX и совместимого оборудования. Модель распространяется по лицензии Apache-2.0.

MiniMax-M2-MLX-6bit — это 6-битно квантованная версия языковой модели MiniMax-M2 для генерации текста. Исходную модель разработала MiniMaxAI, а квантование в формате MLX выполнила команда LM Studio с использованием mlx_lm. Модель предназначена для запуска в LM Studio и оптимизирована для устройств Apple Silicon. В README указано, что модель относится к задачам text-generation и распространяется по лицензии MIT. Известна её MLX-архитектура представления и 6-битная квантизация, однако сведения о размере модели, поддерживаемых языках, длине контекста, точных характеристиках архитектуры и мультимодальности не приведены. Квантизация ориентирована на более эффективный локальный запуск, но может влиять на качество по сравнению с исходной моделью. Как и другие языковые модели, она способна генерировать неточные, нежелательные или вводящие в заблуждение ответы.

Mistral-12.25B-v0.2 — плотная авторегрессионная языковая модель семейства Mistral, созданная Joseph717171 методом depth-up scaling на основе alpindale/Mistral-7B-v0.2-hf. Слои исходной модели переставлены методом passthrough mergekit: конфигурация README задаёт 56 слоёв, а метаданные указывают 12,3 млрд параметров и контекст до 32 768 токенов. Модель предназначена для дальнейшего дообучения и как замена Mistral-7B-v0.2 в сценариях генерации текста. README описывает её как эксперимент для сравнения вариантов depth-up scaling; оптимальность выбранных параметров не установлена. Репозиторий содержит веса safetensors для Transformers. Лицензия — Apache-2.0.

Mistrality-7B — языковая модель для генерации текста и диалогов, созданная flemmingmiguel путём слияния моделей argilla/distilabeled-Hermes-2.5-Mistral-7B и EmbeddedLLM/Mistral-7B-Merge-14-v0.4 методом SLERP с помощью LazyMergekit. Модель основана на архитектуре MistralForCausalLM и содержит 7,1 млрд параметров; контекст — до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель подходит для диалоговых ассистентов, генерации ответов и продолжения текста. В карточке не приведены сведения о целевых языках, специальных областях применения или результаты сравнительных оценок, поэтому качество в конкретных сценариях не установлено. Лицензия — Apache-2.0.

Это пакет Mesh LLM с квантованной моделью Nemotron-3-Nano-30B-A3B в формате GGUF Q4_K_S, разделённой на артефакты по слоям. Его подготовила команда Mesh LLM на основе unsloth/Nemotron-3-Nano-30B-A3B-GGUF для распределённого инференса на локальном кластере: части модели можно разместить на нескольких машинах, если она не помещается на одном узле. Модель предназначена для генерации текста и диалогов через Mesh LLM, в том числе для локального приватного запуска и работы через совместимый с OpenAI API интерфейс чата. Пакет сохраняет исходное разделение GGUF и облегчает распределение вычислений между узлами. Подробности об архитектуре, размере, языках и лицензии следует сверять с карточкой исходной модели; в предоставленных данных этих характеристик нет.

NeuralsirkrishnaShadow_Inex12Yamshadow — слитая модель Mistral для генерации текста, созданная на основе automerger/NeuralsirkrishnaShadow-7B и automerger/Inex12Yamshadow-7B. Она предназначена для текстовых запросов и генерации ответов; архитектура плотная, число параметров — 7,1 млрд, максимальная длина контекста — 32 768 токенов. Модель распространяется в формате Safetensors по лицензии Apache-2.0. README не описывает специализированные сценарии или известные ограничения качества.

Noema-2B-GGUF — это набор GGUF-квантизированных сборок модели Noema-2B, разработанной NoemaAI-labs. Модель представляет собой примерно 2-миллиардную reasoning-модель, дообученную на базе Qwen/Qwen3.5-2B, и предназначена для генерации текста, решения математических и логических задач, а также локального запуска через llama.cpp и совместимые среды. Заявленный язык — английский. Модель использует гибридную архитектуру Qwen3.5 с Gated-DeltaNet: в ней сочетаются линейные слои и слои полноформатного внимания. Доступны варианты F16, Q8_0, Q6_K и Q4_K_M размером примерно от 1,2 до 3,5 ГБ; Q4_K_M рекомендован как наиболее сбалансированный по качеству и размеру, а Q8_0 обеспечивает наиболее высокую точность среди квантизированных вариантов. Модель настроена и оценивалась в non-thinking mode, который включается шаблоном чата по умолчанию. Для работы требуется свежая версия llama.cpp с поддержкой архитектуры qwen35; старые версии могут не загрузить модель. Рекомендуется использовать вероятностную генерацию с параметрами temperature 0.7, top-p 0.8, top-k 20 и presence penalty 1.5. Жадная генерация с temperature 0 может приводить к зацикливанию повторов. Максимальный размер контекста, подробные бенчмарки и ограничения базовой модели в данной карточке не указаны. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой Qwen/Qwen3.5-2B.

Norobara-ZLoss-8x7B-GGUF — квантизированная версия языковой модели Norobara ZLoss 8X7B, разработанной Doctor Shotgun и подготовленной в формате GGUF пользователем TheBloke. Модель основана на архитектуре Mixtral и предназначена для генерации текста по инструкциям, диалоговых сценариев и локального запуска через совместимые приложения и библиотеки. Модель обучалась на наборах данных LDJnr/Capybara, unalignment/toxic-dpo-v0.1, LDJnr/Verified-Camel, HuggingFaceH4/no_robots и связанных наборах Doctor Shotgun. В метаданных указан английский язык. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать компромисс между потреблением памяти, скоростью и качеством. Исходное обозначение 8x7B указывает на конфигурацию модели, однако точное число активных параметров и размер контекстного окна в README не указаны. GGUF-версии совместимы с llama.cpp и рядом локальных интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Сильной стороной является возможность запуска на CPU и GPU с разными уровнями квантования; ограничениями могут быть потери качества при использовании наиболее агрессивных вариантов квантования, а также отсутствие заявленной поддержки мультимодальных входов. Лицензия в README не указана, поэтому условия использования следует уточнять в репозитории исходной модели и у автора.

Это пакет GGUF-слоёв модели NVIDIA Nemotron 3 Ultra 550B A55B в варианте UD-Q4_K_XL, подготовленный Mesh LLM для распределённого вывода. Пакет получен из unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF; исходное распределение разделено на отдельные артефакты по слоям. Размер модели в параметрах и длина контекста в предоставленных данных не указаны. Пакет предназначен для локального запуска модели и распределения её слоёв между несколькими компьютерами, когда полный GGUF слишком велик для одного узла. Через Mesh LLM модель можно использовать для диалоговой генерации текста и обслуживать запросы через совместимый с OpenAI API чата. Для работы требуется Mesh LLM и кластер машин, если используется распределённый запуск. В метаданных указана лицензия «other»; условия лицензии и подробности архитектуры следует сверять с карточкой исходной модели unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF.

Это набор GGUF-квантизаций модели nyun-llama3-62B, опубликованный bartowski на основе оригинальной модели nyunai/nyun-llama3-62B. Квантизация выполнена с использованием llama.cpp версии b3070 и метода imatrix. Модель предназначена для локального запуска задач генерации текста через совместимые с llama.cpp средства инференса. В набор входят варианты с разным уровнем квантования: от Q8_0 размером 65,88 ГБ до IQ1_M размером 14,77 ГБ. В README не указаны точные архитектурные характеристики, поддерживаемые языки, размер контекста и модальности; по назначению это текстовая модель. Варианты Q5_K_M, Q4_K_M и IQ4_XS отмечены как рекомендуемые благодаря балансу качества и размера, тогда как самые компактные варианты обеспечивают меньшее качество. I-квантизации могут быть выгоднее по производительности на cuBLAS и rocBLAS, но несовместимы с Vulkan; выбор файла зависит от доступных RAM и VRAM. Шаблон чата в карточке не задан, поэтому приведённый формат может быть некорректен и требует проверки по оригинальной карточке модели. Лицензия в README не указана.

Qwen3-4B-Base-SFT-R-64 — плотная авторегрессионная языковая модель семейства Qwen3 с 3,7 млрд параметров, опубликованная David6995 как общая базовая точка для доменных экспертных моделей Qwen3-4B. Репозиторий содержит веса BF16, конфигурацию и токенизатор; модель предназначена для генерации текста и диалоговых сценариев, а метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Заявленная длина контекста — 65 536 токенов. Репозиторий распространяется по лицензии Apache-2.0. Карточка не уточняет конкретные домены обучения или оценочные результаты, поэтому применимость к специализированным задачам зависит от последующего дообучения и проверки.

Qwen3.5-4B-QAD-W4A16 — это квантизированная версия модели Qwen3.5-4B, опубликованная nota-ai. Модель предназначена для генерации текста и эффективного инференса с использованием speculative decoding. Она разработана в рамках работы Jaeyeon Kim, Jewon Lee и Bo-Kyeong Kim и занимает третье место в Efficient Qwen Competition на ICML 2026. Модель использует INT4-квантизацию формата W4A16 и Quantization-Aware Distillation (QAD), чтобы уменьшить потерю качества по сравнению с обычной посттренировочной квантизацией. В процессе также применялись методы, согласующие квантизированную целевую модель с DFlash-drafter, а сама модель оптимизирована для запуска на одной NVIDIA A10G с 24 ГБ памяти. В README заявлено сохранение качества на тестах MMLU-Pro, IFEval и GPQA-Diamond. Архитектура, поддерживаемые языки, размер контекста и мультимодальные возможности не указаны. Модель подходит для серверного текстового инференса, особенно когда важны снижение задержки и эффективное использование памяти. Для запуска через vLLM требуется поддержка quantization compressed-tensors и параметр trust-remote-code; для speculative decoding предусмотрена совместимая модель-drafter Qwen3.5-4B-DFlash-GPTQ-W4A16. Переобучение требует много GPU-памяти и минимум двух, предпочтительно восьми, GPU класса 80 ГБ, поэтому модель прежде всего ориентирована на готовое инференс-использование. Лицензия — Apache-2.0; модель производна от Qwen3.5-4B, а её дистилляционные данные происходят из закрытого по условиям доступа набора NVIDIA Nemotron-Post-Training-Dataset-v2.

lemonyins/Qwen3.6-27B-abliterated-i1-IQ4_XS-GGUF-Smaller — квантизированная версия Qwen3.6-27B, подготовленная разработчиком lemonyins на основе abliterated-варианта Huihui-Qwen3.6-27B от mradermacher. Модель предназначена для локального инференса, исследовательских задач и сценариев, где важны уменьшенный размер весов, экономия видеопамяти и большой контекст. Заявлена поддержка текстовых и, при подключении отдельного vision-проектора mmproj-BF16.gguf, визуально-текстовых входов. Модель использует формат GGUF и гибридную квантизацию: ключевые attention-слои имеют IQ4_XS, а слои FFN — IQ3_S. Для работы рекомендуется сборка llama.cpp с поддержкой TurboQuant и компактным KV-кэшем. На видеокарте NVIDIA RTX 4060 Ti 16GB заявлена скорость 18–20 токенов в секунду; при IQ4_XS-FFN-IQ3_S указана работа с контекстом до 160–200 тысяч токенов в зависимости от формата KV-кэша. При подключении vision-модуля доступный контекст уменьшается примерно на 10 тысяч токенов. Сильными сторонами являются низкое потребление памяти, увеличенный контекст при сохранении квантизации attention-слоёв и поддержка изображений через дополнительный модуль. Ограничения включают обязательную зависимость от TurboQuant для заявленных показателей памяти, возможное ухудшение качества из-за IQ3_S в FFN-слоях и отсутствие полной верификации разницы с базовой квантизацией; приведённый тест на китайском романе показал увеличение perplexity примерно на 3,14%. Языки модели и точные характеристики исходной архитектуры в README не указаны. Лицензия — Apache-2.0.

Qwen3.6-27B-Heretic2-Uncensored-Finetune-Thinking-OptiQ-4bit — текстовая языковая модель, разработанная на основе DavidAU/Qwen3.6-27B-Heretic2-Uncensored-Finetune-Thinking и адаптированная сообществом mlx-community для запуска на Apple Silicon с использованием MLX. Модель предназначена для генерации текста, включая сценарии рассуждений и creative writing. Режим thinking можно включать или отключать через суффиксы :think и :no-think в идентификаторе модели либо параметр enable_thinking в chat template. Модель использует архитектуру qwen3_5, соответствующую Qwen3.6-27B, и работает только с текстом. Она применяет смешанное квантование OptiQ: разные слои имеют разрядность 4 или 8 бит, средняя разрядность составляет около 5,6 бит на вес; 220 слоёв квантованы в 8 бит, а 276 — в 4 бита. Такой подход призван сохранить больше точности в чувствительных слоях при снижении требований к памяти. Для запуска требуются MLX и совместимое окружение Apple Silicon; модель можно использовать через mlx-optiq или mlx_lm. Поведение и возможности модели определяются базовой дообученной моделью DavidAU, тогда как данный репозиторий изменяет только способ квантования. В README не указаны поддерживаемые языки, размер контекстного окна и подробные ограничения качества. Лицензия — Apache-2.0.

PassingByPixels/Qwen3.8-27B-heretic-ara-NVFP4 — это квантизированная версия мультимодальной модели Qwen3.8-27B-heretic-ara, разработанная PassingByPixels на основе checkpoint от trohrbaugh. Исходная модель представляет собой кастомную Heretic ARA-версию Qwen3.8-27B от Qwen; данный репозиторий выполняет преобразование числового формата без дополнительного обучения, дообучения или изменения весов, за исключением восстановления MTP-головы. Модель предназначена для генерации и анализа текста и изображений, включая диалоговые сценарии с поддержкой reasoning и визуального ввода. Она рассчитана на запуск через vLLM на одном NVIDIA DGX Spark с GPU GB10 и 128 ГБ памяти. Используется смешанная точность: FFN и проекции full attention хранятся в NVFP4 — 4-битном формате с блоковыми 8-битными масштабами, а Gated DeltaNet, vision tower, embeddings, LM head и MTP-голова остаются в BF16. Размер весов уменьшен примерно с 51,8 до 20 ГБ; заявлена поддержка контекста до 131 072 токенов. В README указан английский язык. К сильным сторонам относятся существенно меньший размер, совместимость с Blackwell FP4-путём vLLM и поддержка speculative decoding через MTP. Работоспособность MTP проверена на DGX Spark, однако это не является оценкой качества модели. Ключевое ограничение — потерьное 4-битное преобразование: сравнительное тестирование качества с исходной BF16-моделью не проводилось, а заявленные возможности относятся прежде всего к исходным весам. Также отмечены ограничения совместимости MTP и FlashInfer на GB10. Модель распространяется по лицензии Apache 2.0, унаследованной от исходных моделей.

Qwen3.8-27B-heretic-MLX-bf16 — текстовая сборка для генерации ответов и диалогов, опубликованная donedynamics для Apple Silicon. Она создана конвертацией в формат MLX из trohrbaugh/Qwen3.8-27B-heretic-ara; исходная модель относится к семейству Qwen3.8 и представляет собой abliterated-производную Qwen/Qwen3.8-27B. Сборка использует библиотеку MLX и веса bfloat16 без квантизации; размер весов составляет около 50 ГБ. В шаблоне чата доступны режим рассуждений и настройка его интенсивности. Модель принимает текст и генерирует текст. Несмотря на мультимодальность исходной Qwen3.8-27B, эта сборка содержит только языковую часть и не принимает изображения или видео. Удаление отказов унаследовано от базовой модели; сама конвертация не добавляет выравнивание и не изменяет это поведение. Разработчик рекомендует оценить модель и при необходимости настроить фильтрацию перед использованием с пользователями. По README, bf16-сборка медленнее и требует больше памяти, чем квантизированные варианты; приведённые показатели скорости и памяти получены на одной конфигурации и одном коротком запросе, поэтому служат лишь ориентиром. Лицензия — Apache-2.0.

Qwen3.8-27B-nvfp4qat-NInfer — квантизированная версия модели Qwen3.8-27B, подготовленная cometkim для выполнения в runtime NInfer v3. В состав артефакта также встроен модуль-черновик DFlash2 от z-lab для speculative decoding. Модель предназначена для генерации текста, диалоговых сценариев и мультимодальных задач с обработкой текста и изображений через компоненты Text и Vision. Модель содержит около 27 млрд параметров в основном Text-компоненте и использует профиль весов NVFP4 W4A4, полученный с применением quantization-aware training из QUASAR-QAT/Qwen3.8-27B-QUASAR-NVFP4. В артефакте также присутствуют MTP, Vision, оптимизированная draft head и NVFP4-версия DFlash2 размером около 2 млрд параметров. Для DFlash2 заявлены пять слоёв, скользящее окно 2048, selector rank 256 и top-16. Размер файла составляет около 17,35 GiB. Языки и максимальная длина контекста в карточке не указаны. Сильными сторонами являются существенное уменьшение размера весов за счёт NVFP4, отсутствие необходимости в отдельном файле для DFlash2 и поддержка ускоренного декодирования в NInfer. В приведённых оценках модель получила accuracy 89,22 на GPQA-Diamond, 91,11 на AIME 2026 и 66,30 на LongBench v2, однако эффективность встроенного DFlash2 ниже, чем у профиля nvfp4full: 2,50 токена за раунд и 21,4% принятия против 5,50 и 64,3% соответственно на указанном тесте. Модель не является checkpoint для Transformers, Safetensors или GGUF и требует NInfer v3; карточка также не указывает совместимость с другими средами. Распространяется по лицензии Apache-2.0.

amd/Qwen3.8-Flash-Next-Quark-MXFP4-PLEFP8 — квантизированный чекпойнт модели Qwen3.8-Flash-Next, подготовленный Advanced Micro Devices (AMD) с использованием AMD-Quark. Модель предназначена для генерации текста по текстовым, графическим и видео­входам; заявленный язык — английский. Архитектура указана как Qwen4ExpForConditionalGeneration, а инференс реализован через SGLang. Основная особенность чекпойнта — квантизация MoE-экспертов, включая shared expert, в OCP MXFP4 для весов и динамических активаций. Таблица PLE-эмбеддингов квантизирована в Per-Tensor FP8, остальные ключевые компоненты, включая attention, Mamba-style linear-attention projections, vision tower, MTP head, router gates и lm_head, сохранены в bfloat16. Модель оптимизирована для AMD Instinct MI350X и MI355X, использует ROCm 7.2.4, PyTorch 2.11.0+rocm7.2, Transformers 5.12.1 и Linux. Чекпойнт рассчитан на ресурсоэффективное развертывание MoE-модели на совместимом оборудовании AMD. На GSM8K в режиме 5-shot он показал результат 96,44 против 96,97 у исходной Qwen3.8-Flash-Next, что соответствует восстановлению 99,5% исходной точности. Ограничения включают узкую аппаратно-программную специализацию, зависимость от конкретной версии SGLang и отсутствие в README сведений о размере модели, длине контекста и более широком наборе оценок. Лицензия обозначена как other; для модификаций указано авторство Advanced Micro Devices, Inc. за 2026 год. Полные условия приведены в файле LICENSE репозитория модели.

barozp/Qwen3.8-Whittle-MoE-27B-MLX-4bit — 4-битная версия модели, преобразованная в формат MLX для Apple Silicon. Разработчик конверсии — barozp; исходная модель logic65/Qwen3.8-Whittle-MoE-27B-A17.8B создана на основе Qwen/Qwen3.8-27B. Это постфактум сформированная MoE-модель с 27 млрд параметров, из которых 17,8 млрд активны во время обработки токена. В каждом слое используются 64 маршрутизируемых экспертных фрагмента и один общий эксперт; маршрутизатор выбирает 16 из 64 фрагментов. Вариант v2.1 включает обучение маршрутизаторов, балансировку и обучение против зацикливания. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и локального запуска через mlx-lm, включая OpenAI-совместимый локальный сервер. Она поддерживает только текстовый режим. Контекст, перечень языков и специализированные показатели производительности в README не указаны. К преимуществам относятся MoE-архитектура с меньшим числом активных параметров, 4-битное квантование с group size 64 и адаптация к экосистеме MLX, что делает модель ориентированной на запуск на устройствах Apple Silicon. Ограничения включают отсутствие MTP head: модель работает только авторегрессионно, а MTPLX speculative decoding не поддерживается. В исходных экспериментах после обучения маршрутизаторов показатель на тесте знаний составил 27/39, а в версии v2.1 — 28/39; частота одношаговых зацикливаний снизилась до 8%, а доля ошибок структурированного вывода составила 22%. Эти результаты относятся к описанным автором тестам и не заменяют независимую оценку. Модель распространяется по лицензии Apache-2.0.

robbiemu/salamandra-2b — это квантованная версия базовой модели BSC-LT/salamandra-2b, разработанной исследовательской группой Barcelona Supercomputing Center и выпущенной в семействе Salamandra. Модель предназначена для генерации текста и запуска через Transformers или llama.cpp; в README также указано, что исходная модель обучалась с нуля и относится к семейству моделей размером 2B, 7B и 40B параметров. Доступные файлы представлены в форматах GGUF с вариантами квантования IQ3_M, Q3_K_L, Q4_K_S, Q5_K_M, Q6_K и bf16. Модель ориентирована на многоязычную генерацию текста. В заявленном списке языков указаны болгарский, каталанский, чешский, валлийский, датский, немецкий, греческий, английский, испанский, эстонский, баскский, финский, французский, ирландский, галисийский, хорватский, венгерский, итальянский, литовский, латышский, мальтийский, нидерландский, нюнорск, окситанский, польский, португальский, румынский, русский, сербохорватский, словацкий, словенский, сербский, шведский и украинский, а также программный код. Архитектура описана как decoder-only Transformer, однако размер контекста и точные параметры архитектуры в предоставленных данных не указаны. Главное преимущество этой версии — несколько вариантов компромисса между размером файла и качеством: от IQ3_M размером около 1,7 ГБ до bf16 размером около 4,2 ГБ. Для большинства применений рекомендованы Q4_K_S и Q5_K_M, а Q6_K обеспечивает показатели, близкие к bf16. Ограничения квантованных вариантов отражены в росте perplexity по сравнению с bf16, особенно у наиболее сжатых форматов; назначение для диалогов или instruction-following отдельно не подтверждено. Модель распространяется по лицензии Apache 2.0.

SG Raccoon Yi 55B 200K — языковая conversational-модель, разработанная Marco Lironi на базе архитектуры Yi и опубликованная в формате GGUF. Репозиторий TheBloke содержит её квантизированные версии для локального запуска; исходная неквантизированная модель доступна в формате PyTorch. Указан английский язык. Модель предназначена для диалоговых сценариев и генерации текста. GGUF-файлы поддерживаются llama.cpp и рядом совместимых интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Доступны варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать между требованиями к памяти, скоростью и сохранением качества. В README также указан размер контекста 200K, отражённый в названии модели. К сильным сторонам относятся большой контекст и возможность локального CPU+GPU-инференса с разными уровнями квантизации. Ограничения — необходимость значительных вычислительных ресурсов для модели класса 55B, возможная потеря качества при агрессивной квантизации и отсутствие в предоставленных данных подробных результатов оценки. Модель распространяется по лицензии yi-license; README ссылается на лицензию Yi и обозначает её как нестандартную.

Это чат-модель MaziyarPanahi, полученная слиянием Mistral-7B-Instruct-v0.1 и speechless-mistral-dolphin-orca-platypus-samantha-7b-dare-0.85 методом SLERP. Она предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель принимает текст и выдаёт текст; карточка указывает формат safetensors и лицензию Apache-2.0. README описывает смешивание весов в bfloat16 с отдельными параметрами для слоёв self-attention и MLP. Данные карточки не задают конкретные языки или специализированные области применения.

TheBloke/SynthIA-70B-v1.5-AWQ — это 4-битная AWQ-квантизованная версия языковой модели Synthia 70B v1.5, разработанной Migel Tissera. Модель основана на архитектуре Llama и предназначена для генерации текста и диалогового взаимодействия; репозиторий содержит файлы для запуска на GPU. Модель имеет около 70 миллиардов параметров, поддерживает контекст длиной 4096 токенов и поставляется в формате AWQ с групповым размером 128. Объём опубликованных файлов составляет около 36,61 ГБ. AWQ ориентирована на эффективный и быстрый инференс с низкой разрядностью и поддерживается, в частности, через AutoAWQ, vLLM, Text Generation Inference и text-generation-webui. К сильным сторонам относятся существенно сниженные требования к памяти по сравнению с полноразмерной FP16-версией и высокая скорость инференса при сохранении качества, сопоставимого с распространёнными настройками GPTQ. Ограничения включают необходимость совместимого GPU-инфраструктурного стека и меньшую точность представления весов из-за 4-битной квантизации; сведения о языках обучения и специализированных прикладных возможностях в README не указаны. Модель распространяется по лицензии Llama 2.

GLM-4.5-Air-GGUF — это набор квантизированных версий языковой модели GLM-4.5-Air, разработанной zai-org и преобразованной в формат GGUF пользователем bartowski. Квантизация выполнена с использованием llama.cpp версии b6085 и метода imatrix с отдельным датасетом. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В README не указаны архитектура исходной модели, количество параметров, поддерживаемые языки, размер контекста или дополнительные модальности, поэтому эти характеристики нельзя подтвердить. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 39,62 до 117,46 ГБ; Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и ряд других вариантов отмечены как рекомендуемые. Более компактные варианты экономят память, но снижают качество, а Q2 и IQ1-варианты описаны как низкокачественные или очень низкокачественные. Для модели не найден формат промпта, его следует уточнять на странице исходной модели. Лицензия в README не указана.

ai9stars_G9v3-3B-GGUF — это GGUF-квантизированная версия языковой модели G9v3-3B, разработанной ai9stars и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, включая сценарии с длинным контекстом и вызовом инструментов. Заявлена поддержка английского и китайского языков. Исходная архитектура обозначена как Llama, однако точные параметры архитектуры и размер контекстного окна в README не указаны. Модель доступна в вариантах от BF16 до низкобитных квантований Q2 и IQ3/Q4, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемыми названы варианты Q4_K_M, Q5, Q6 и некоторые другие; для устройств с ограниченной памятью доступны более компактные версии, но с заметным снижением качества. Формат поддерживается llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другими совместимыми инструментами. Для работы может потребоваться обновление программ, если модель недавно получила поддержку. Лицензия — Apache-2.0. README не содержит подробных результатов тестирования, точных сведений о контекстном окне, системных требованиях или ограничениях исходной модели, поэтому качество и пригодность для конкретных задач следует оценивать отдельно.

DeepSeek-V4-Flash-ConfigI-GGUF — квантизированная GGUF-сборка модели DeepSeek-V4-Flash, опубликованная thetom-ai. Это MoE-модель с 284 млрд параметров, из которых активно 21 млрд; в README указаны 43 слоя, 256 маршрутизируемых экспертов с выбором top-6, hash routing, MLA attention, mHC hyper-connections и DSA indexer. Гибридная квантизация Config-I имеет эффективную точность 2,88 бита на параметр и занимает около 95 GiB; веса разделены на три файла. Модель предназначена для генерации текста и диалогов, включая запуск на системах с 128 ГБ объединённой памяти. Для чтения её весов нужен форк llama.cpp с поддержкой TurboQuant TQ3_1S; стандартный llama.cpp не подходит. README рекомендует параметры генерации temperature 1.0 и top_p 0.95, отмечая, что жадное декодирование может вызывать циклы повторов. Для исходной модели в метаданных указана лицензия MIT.

Experiment26Yamshadow_Experiment24Yam — объединённая текстовая модель семейства Mistral, созданная из automerger/Experiment26Yamshadow-7B и automerger/Experiment24Yam-7B. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и принимает контекст длиной до 32 768 токенов. Она предназначена для генерации текста и может использоваться в приложениях, которым нужны ответы или продолжение текста на основе текстового запроса. Модель распространяется в формате safetensors по лицензии Apache 2.0. Карточка не описывает специализацию по языкам или отдельные гарантии качества.

Experiment26Yam_YamStrangemerges_32 — объединённая языковая модель на архитектуре Mistral, созданная из automerger/Experiment26Yam-7B и automerger/YamStrangemerges_32-7B. Она предназначена для генерации текста и может использоваться в приложениях, которым нужна генерация ответов и продолжение текста по запросу. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий предоставляет веса в формате safetensors, лицензия — Apache-2.0. README не уточняет поддерживаемые языки и специализированные сценарии; качество объединения и поведение на конкретных задачах следует оценивать отдельно.

MaziyarPanahi/Experiment28M7_Experiment26Experiment28 — слитая языковая модель семейства Mistral, созданная на основе automerger/Experiment28M7-7B и automerger/Experiment26Experiment28-7B. Она предназначена для генерации текста и имеет 7,1 млрд параметров с контекстом до 32 768 токенов. Модель принимает текст и генерирует текст. В карточке не описаны специальные области применения или языки, поэтому её можно рассматривать как модель общего назначения для текстовых запросов и продолжения текста. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0. Карточка не приводит результатов оценки качества или иных специфических ограничений.