II.2Создание и понимание программного кода

Это GGUF-квантизированная версия языковой модели NVIDIA Nemotron-3-Super-120B-A12B, разработанной NVIDIA и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Доступны варианты квантования Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и Q3_K с размером файлов примерно от 64,65 до 128,47 ГБ; более высокие уровни квантования обычно обеспечивают лучшее качество, но требуют больше памяти. Для запуска может потребоваться актуальная версия используемого программного обеспечения с поддержкой модели. В основе лежит NVIDIA-Nemotron-3-Super-120B-A12B-BF16; по метаданным модель использует архитектурные подходы Latent MoE и MTP, однако точные параметры архитектуры и размер контекста в README не указаны. Заявлены английский, французский, испанский, итальянский, немецкий, японский и китайский языки. Сильной стороной является возможность локального инференса в различных форматах GGUF и выбора компромисса между качеством и требованиями к памяти; ограничениями остаются очень большой объём файлов, высокие требования к оперативной или видеопамяти и возможное снижение качества на низких уровнях квантования. Лицензия указана как NVIDIA Open Model License; условия следует уточнять по официальной лицензии NVIDIA.

Penjing-27B-Pollard — это квантизированная версия Qwen/Qwen3.8-27B, подготовленная PollardWeights с использованием метода Pollard Weights. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp, ik_llama.cpp, Ollama и LM Studio. Указанная архитектура — qwen3_5, объём — около 27,3 млрд параметров. Поддерживаются текстовые и графические входы, а заявленный язык — английский. Модель рассчитана на диалоговые сценарии и мультимодальные задачи, включая работу с изображениями при использовании дополнительного vision-проектора mmproj-Penjing-27B-bf16.gguf. Доступно несколько вариантов квантизации с разным соотношением размера и качества: от IQ1_KT размером 6,53 ГБ до Q6_K размером 22,43 ГБ. Квантизация основана на измерении чувствительности отдельных слоёв и использует importance matrix; это позволяет эффективнее распределять биты по сравнению с равномерным сжатием. Главное преимущество модели — существенное уменьшение требований к памяти: вариант IQ1_KT примерно на 88% меньше исходной версии f16. При этом качество зависит от выбранного файла: по измерениям на wikitext2 вариант IQ2_KT показал perplexity 5,0817 и был обозначен как рекомендуемый вариант по умолчанию, тогда как IQ1_KT обеспечивает минимальный размер, но заметно сильнее отклоняется от f16. IQ1_KT и IQ2_KT требуют ik_llama.cpp; остальные варианты совместимы со стандартным llama.cpp. Результаты измерений получены на одной машине и могут не полностью отражать качество в прикладных задачах. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Карточка модели tayaee/Qwen2.5-1.5B-Korean-DPO-smoke на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

unsloth/Qwen3-4B-Base — плотная авторегрессионная языковая модель семейства Qwen3, представленная Unsloth как производная от Qwen/Qwen3-4B-Base. Это базовая модель на стадии предобучения с примерно 3,7 млрд параметров по метаданным (в карточке указано 4,0 млрд) и контекстом до 32 768 токенов. В архитектуре 36 слоёв и групповое внимание с 32 головами запросов и 8 головами ключей и значений. Модель предназначена для генерации текста и служит основой для последующей адаптации под конкретные инструкции и сценарии. Предобучение Qwen3 охватывает многоязычные данные, код, STEM, рассуждения и общие знания; заявлено покрытие 119 языков. Эти характеристики описывают семейство и обучающие данные, а не гарантируют одинаковое качество на каждом языке и задаче. Репозиторий использует формат Safetensors и библиотеку Transformers; для поддержки архитектуры рекомендуется актуальная версия Transformers, поскольку версии ниже 4.51.0 могут не распознавать Qwen3. Лицензия — Apache-2.0.

TeichAI дообучила модель Qwen3 плотной архитектуры для генерации текста. Она основана на unsloth/qwen3-4b-thinking-2507-unsloth-bnb-4bit и содержит 3,7 млрд параметров. Модель рассчитана на диалоговое взаимодействие и генерацию ответов; в карточке также отмечен интерфейс для вызова инструментов. Модель принимает текст и выдаёт текст. Указанная длина контекста — до 262 144 токенов. В качестве обучающего набора использовался TeichAI/deepseek-v3.2-speciale-OpenCodeReasoning-3k; модель обучали с помощью Unsloth и библиотеки Hugging Face TRL. Основной указанный язык — английский. Модель распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества или подробностей о результатах обучения, поэтому пригодность для конкретных задач стоит проверять отдельно.

Qwen3.5-35B-A3B-APEX-GGUF — набор GGUF-квантований базовой модели Qwen3.5-35B-A3B, подготовленный командой LocalAI. Модель относится к семейству MoE: в исходной версии 35 млрд параметров, из которых около 3 млрд активируются для каждого токена; заявлены 256 экспертов в MoE-слое и выбор восьми экспертов вместе с общим экспертом. APEX распределяет точность квантования по слоям и типам тензоров, а варианты с индексом I используют калибровку imatrix для разных сценариев. В репозитории есть несколько конфигураций для баланса качества, размера и скорости, включая файлы около 12–24 ГБ, а также проектор зрения mmproj. Модель предназначена для локального диалога и генерации текста, в том числе для интерактивного использования и развёртывания через llama.cpp или LocalAI. README сообщает о сравнительных метриках квантований и заявляет, что некоторые варианты близки к Q8_0 и F16 по качеству при меньшем размере; эти результаты относятся к экспериментам авторов. Метаданные указывают поддержку чата и лицензию Apache-2.0. Хотя базовая модель описана как мультимодальная, карточка этой сборки определяет главную задачу как генерацию текста; наличие mmproj само по себе не уточняет поддерживаемый визуальный сценарий в данной конфигурации.

litert-community/Qwen3.5-4B — это конвертированная версия текстовой части модели Qwen3.5-4B, разработанной Alibaba, в формат LiteRT-LM для локального вывода на устройствах через runtime Google LiteRT. Модель предназначена для генерации текста, диалогов и других сценариев on-device inference на мобильных и периферийных устройствах. В поставляемый пакет не входят vision tower и MTP-головы, поэтому данная версия работает только с текстом; функции tool calling и обработки изображений не включены. Архитектура гибридная: 24 слоя GatedDeltaNet с линейным вниманием и 8 слоёв полного внимания. Линейные слои используют постоянное по размеру свёрточное и рекуррентное состояние, благодаря чему потребление памяти слабо растёт с длиной контекста; KV-кэш сохраняется только для слоёв полного внимания, с бюджетом 4096 токенов. Доступны варианты int8 размером 4,10 ГБ и Mixed INT4 размером 2,57 ГБ. INT4 рассчитан на устройства с ограниченной оперативной памятью, но немного уступает int8 на математических задачах GSM8K. Модель демонстрирует проверенную совместимость с PyTorch-оригиналом, корректную работу на CPU и GPU, включая Metal, а также поддержку многоходовых диалогов. Для использования требуется LiteRT-LM версии не ниже 0.15.0. Поставляемый пакет использует упрощённый ChatML-шаблон без визуальных и инструментальных секций, поэтому совместимость со стандартным шаблоном Qwen3.5 ограничена. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-INT8-W8A16-MTP — это мультимодальная квантизированная версия модели Qwen3.8-27B-Uncensored, опубликованная morikomorizz на основе исходной модели OrcaRouter и семейства Qwen. Модель предназначена для генерации текста и обработки изображений с текстом, включая диалоговые и аналитические сценарии. В README заявлена поддержка английского и китайского языков, а максимальный контекст составляет до 262 144 токенов. Модель использует формат W8A16: основные матричные вычисления выполняются с весами INT8 и активациями BF16, а vision tower, lm_head, MTP-компоненты и отдельные чувствительные элементы сохраняют BF16 или FP32. Размер весов на диске составляет около 29,4 ГБ, что позволяет запускать модель на одной RTX 4090 или A6000, а также на двух RTX 3090 с tensor parallelism. Поддерживаются vLLM, Marlin и speculative decoding через MTP; это не GGUF-модель. Ключевое преимущество — существенное снижение требований к памяти при заявленном близком к исходному качеству, однако производительность и совместимость зависят от подходящих GPU и версии vLLM. Исходная модель является abliterated, то есть с существенно удалёнными механизмами отказа, поэтому она может выполнять вредоносные или неэтичные запросы и требует осторожного применения. Лицензия — Apache 2.0, унаследованная от базовой модели.

Qwen3.8-27B Uncensored NVFP4-NInfer — это квантованный мультимодальный вариант Qwen3.8-27B, подготовленный igorls в формате .ninfer для собственного fork NInfer. Исходную abliterated-модель и смешанные веса NVFP4/FP8 разработала OrcaRouter, а для speculative decoding включён сопутствующий компонент DFlash2 от Inco AI. При конвертации дообучение и отдельное удаление отказов не выполнялись; сохранены BF16-эмбеддинги токенов и полная выходная голова. Модель предназначена для диалоговых и conversational-сценариев, обработки текста, а также анализа изображений и видео при сборке NInfer с поддержкой media. Заявлены английский и китайский языки. Артефакт включает целевую 27B-модель, Vision- и MTP-компоненты, оптимизированную proposal head, DFlash2-компаньон, токенизатор, шаблоны и медиаресурсы. Размер файла — около 26,27 ГБ; квалифицированная конфигурация — RTX PRO 6000 Blackwell Workstation Edition с 96 ГБ видеопамяти под Windows, CUDA target sm_120a. В приведённом примере ограничение контекста составляет 32K токенов, а общий KV-пул — 64K. Сильные стороны модели — готовая интеграция компонентов для обычной генерации и speculative decoding через MTP или DFlash2, поддержка OpenAI-совместимого API, JSON Schema, потоковой выдачи и мультимодального ввода. Ограничения связаны с форматом .ninfer: модель не загружается напрямую в Transformers, vLLM, Ollama или llama.cpp. Потребление видеопамяти превышает размер файла и зависит от контекста, CUDA-графов и параллелизма; меньшие GPU и максимальный контекст не квалифицировались. Интеграция распространяется по лицензии Apache 2.0.

Vontra/Qwen3.8-Flash-Next-MLX-2bit-MTP — это MLX-конверсия базовой модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для генерации текста и мультимодальных сценариев с изображениями и видео на устройствах Apple Silicon через совместимые MLX-совместимые среды, включая oMLX и MLX-VLM. Архитектура указана как vision-language sparse MoE с компонентами Qwen4Exp. Модель содержит 125 млрд параметров, из которых около 6 млрд активируются при обработке запроса, 48 слоёв, скрытое состояние размером 2560, 512 маршрутизируемых экспертов, 10 активных экспертов на токен и один общий эксперт. Используются Gated DeltaNet, Qwen Sparse Attention, расширенные gated residual streams, хешированные биграммные и триграммные embedding-компоненты, а также собственный MTP-блок для speculative decoding. Контекст составляет 262 144 токена и может быть расширен до 1 млн токенов в исходной модели. Языки не указаны в предоставленных данных. Ключевая особенность версии — affine-квантизация 2-bit с размером группы 32 для экспертных и predictive-embedding-модулей при сохранении чувствительных компонентов, включая attention, vision-модули, embeddings, output head и native MTP, в BF16 или совместимой исходной точности. Размер весов составляет около 80,07 ГБ, формат — MLX safetensors. На Apple M3 Studio измеренная скорость генерации составила 29,37 токена в секунду при отключённом MTP и 28,62 токена в секунду при включённом, поэтому MTP рекомендуется отключать по умолчанию. Для работы требуется runtime с поддержкой архитектуры qwen4_exp и native MTP. Модель распространяется по лицензии Qwen Community License 1.0. В предоставленных данных не приведены подробные результаты исходных оценок, полный перечень поддерживаемых языков и ограничения безопасности; за ними следует обращаться к карточке базовой модели.

Vontra/Qwen3.8-Flash-Next-MLX-3bit-MTP — это 3-битная MLX-конверсия мультимодальной модели Qwen/Qwen3.8-Flash-Next, созданная на основе официального BF16-чекпойнта. Модель предназначена для запуска на устройствах Apple Silicon через совместимые MLX-VLM и oMLX. Она поддерживает работу с текстом и изображениями, а также использует архитектуру qwen4_exp с vision-language стеком и разреженной mixture-of-experts моделью. Общий объём языковой части составляет 125B параметров, из которых активны около 6B; дополнительно указаны 51B параметров в hashed bigram/trigram embedding и 4B параметров в блоке native MTP. Контекст рассчитан на 262 144 токена. Ключевые компоненты включают Gated DeltaNet, Qwen Sparse Attention, sparse MoE-слои, gated residual streams, vision encoder и один draft-блок native MTP для speculative decoding. Квантизация выполнена методом uniform affine quantisation с группой 32; мультимодальные модули и роутеры MoE сохранены в BF16. Размер весов — около 90,774 GB. Сильные стороны модели — существенное снижение размера по сравнению с полноформатным чекпойнтом, поддержка мультимодальных сценариев и возможность ускорения генерации с помощью native MTP. В приведённом тесте на Apple M3 Studio скорость выросла с 28,0408 до 30,5895 токена в секунду, то есть примерно на 9,09%, при принятии 65,4% предложенных токенов. Ограничения включают необходимость runtime с явной поддержкой qwen4_exp и native MTP; старые версии MLX-VLM или oMLX могут быть несовместимы, а поддержка изображений зависит от используемых версий компонентов. Модель распространяется по лицензии Qwen Community License 1.0.

Vontra/Qwen3.8-Flash-Next-MLX-oQ8-MTP — общественная MLX-конверсия мультимодальной vision-language модели Qwen3.8-Flash-Next, разработанной Qwen, с сохранённым нативным блоком MTP для speculative decoding. Конверсия выполнена Vontra напрямую из официальных BF16-весов; это не официальный релиз Qwen. Модель предназначена для генерации текста и обработки изображений в совместимых MLX-VLM или oMLX-средах, прежде всего на устройствах Apple Silicon. Модель использует архитектуру sparse MoE с обозначением qwen4_exp, включает Gated DeltaNet, Qwen Sparse Attention, разреженные mixture-of-experts-слои, расширенные gated residual-потоки и хешированные биграммные и триграммные embedding-таблицы. Всего заявлено 125 млрд параметров, из которых активно около 6 млрд, 48 слоёв, 512 маршрутизируемых экспертов с выбором 10 экспертов и одного общего, 24 attention heads и 2 KV heads, размер скрытого состояния 2560 и контекст до 262 144 токенов. Формат — MLX safetensors, квантизация oQ8, близкая к равномерной 8-битной аффинной, с group size 32; размер весов составляет около 202,75 ГБ. Сильная сторона конверсии — встроенный совместимый MTP-блок, который может существенно повысить скорость генерации: в измерении на Apple M3 Studio производительность выросла с 19,5 до 35,7 токена в секунду. Однако модель требует runtime с явной поддержкой qwen4_exp и native MTP; стандартные среды без такой поддержки могут отклонить веса. Указанные результаты зависят от длины запроса, настроек генерации, версии runtime и доступной памяти. Модель распространяется по Qwen Community License 1.0; текст лицензии включён в репозиторий.

SauerkrautLM Mixtral 8X7B Instruct — это инструкционная языковая модель на архитектуре Mixtral, разработанная VAGO solutions и представленная в квантованном формате GGUF командой TheBloke. Она предназначена для генерации текста и диалогового взаимодействия, включая выполнение пользовательских инструкций, ответы на вопросы и локальный запуск через llama.cpp и совместимые интерфейсы и библиотеки. Модель основана на SauerkrautLM-Mixtral-8x7B-Instruct и использует архитектуру Mixtral 8x7B. В репозитории доступны варианты квантования с разрядностью от 2 до 8 бит для инференса на CPU и GPU. Заявлена поддержка английского, немецкого, французского, итальянского и испанского языков. Для форматирования запросов используется шаблон Mistral [INST] {prompt} [/INST]. При обучении или доработке применялся датасет argilla/distilabel-math-preference-dpo. К сильным сторонам относятся инструкционная настройка, многоязычность и широкий выбор уровней квантования, позволяющий адаптировать требования к памяти и производительности. Ограничения включают возможные потери качества из-за квантования, зависимость производительности от выбранного варианта и оборудования, а также отсутствие в предоставленных данных сведений о размере контекста и детальных результатах оценки. Указана лицензия Apache-2.0.

arcee-ai/sec-mistral-v2-Hercules — объединённая модель на основе двух предобученных языковых моделей, созданная методом SLERP с помощью mergekit. В состав вошли arcee-ai/sec-mistral-7b-instruct-1.6-epoch и Locutusque/Hercules-4.0-Mistral-v0.2-7B; конфигурация использует первый репозиторий как базовую модель. Это плотная Mistral-модель с архитектурой MistralForCausalLM и 7,1 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов и доступна в формате safetensors через Transformers. Модель подойдёт для создания чат-ботов, генерации ответов и продолжения текста. Карточка не описывает отдельную специализацию по языкам или прикладным областям. Лицензия в предоставленных данных не указана.

THUDM_GLM-4-9B-0414-GGUF — это квантизированная версия языковой модели GLM-4-9B-0414, разработанной командой THUDM. Конвертацию и квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель содержит около 9 млрд параметров, поддерживает китайский и английский языки и распространяется в формате GGUF. Доступны варианты от bf16 до низкобитных Q2–Q8-квантизаций с размером файлов примерно от 4,2 до 18,8 ГБ. Более качественные варианты Q5–Q8 обеспечивают близкое к исходной модели качество, тогда как Q3 и Q2 экономят память, но снижают качество. В README размер контекстного окна, архитектура и поддерживаемые модальности не указаны; по приведённому формату и назначению это текстовая авторегрессионная модель. Сильной стороной являются разнообразие вариантов квантизации и возможность запуска на локальном оборудовании с ограниченными ресурсами. Ограничения включают компромисс между размером, потреблением памяти и качеством, а также отсутствие данных о результатах оценки и контекстном окне. Для работы требуется совместимый llama.cpp-стек и соответствующий формат prompt: [gMASK]<sop><|system|>, <|user|>, <|assistant|>. Модель распространяется по лицензии MIT.

T-lite-0.1 — языковая модель на 7,5 млрд параметров, разработанная T-Bank AI на основе архитектуры Llama и предназначенная для дальнейшего дообучения. Это модель продолженного предварительного обучения, ориентированная на генерацию текста на русском языке и создание русскоязычных приложений с учётом языкового и культурного контекста России. Модель принимает текст и генерирует текст; в карточке указаны поддержка чата и контекст до 8192 токенов. Архитектура — плотный декодер Llama с RMSNorm, SwiGLU, RoPE и grouped-query attention. Обучение проводилось в bf16; веса доступны в формате safetensors. В обучающих данных преобладает русский язык, также сохранена часть английских данных и увеличена доля кода. В опубликованной оценке модель превзошла Llama-3-8B по общему результату бенчмарка MERA, но авторы отмечают снижение результатов на английских тестах после адаптации к русскому языку. Модель не позиционируется как готовый разговорный помощник: для прикладного использования предполагаются дополнительное дообучение и контроль качества и безопасности ответов. Лицензия в предоставленных данных не указана.

watt-tool-70B-GGUF — это квантизированная версия языковой модели watt-tool-70B, разработанной watt-ai и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, вызова функций и взаимодействия с внешними инструментами; в метаданных также указана совместимость с задачами BFCL. Поддерживается запуск через llama.cpp, LM Studio и другие проекты на базе llama.cpp. Модель имеет размер 70B параметров; в README она связана с архитектурой Llama и заявлена для английского языка. Длина контекста, точный набор поддерживаемых модальностей и дополнительные архитектурные характеристики не указаны. Доступно множество вариантов квантизации от Q2 до Q8, различающихся размером файлов и качеством: Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M и Q4_K_S отмечены как рекомендуемые, тогда как варианты Q2 и Q3 обеспечивают экономию памяти за счёт снижения качества. Сильными сторонами модели являются ориентация на function calling и tool use, а также возможность локального запуска на совместимом оборудовании. Ограничения связаны с потерями качества при использовании низкобитных вариантов квантизации, значительными требованиями к памяти у 70B-модели и отсутствием заявленной поддержки языков, кроме английского. Лицензия — Apache-2.0.

MaziyarPanahi/zephyr-7b-alpha-sharded-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и anakin87/zephyr-7b-alpha-sharded методом SLERP. Это плотная авторегрессионная архитектура Mistral с 7,1 млрд параметров; веса представлены в формате safetensors, а конфигурация слияния использует bfloat16. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Её можно использовать в чат-ботах, для ответов на вопросы и создания черновиков текста. Заявленная длина контекста составляет до 32 768 токенов. Данные о конкретно поддерживаемых естественных языках в карточке не приведены. Модель распространяется по лицензии Apache-2.0. README описывает способ объединения чекпойнтов, но не приводит сравнительных оценок качества; поэтому пригодность для конкретных задач стоит проверять на собственных примерах.

QuantFactory/ArliAI-Llama-3-8B-Dolfin-v0.5-GGUF — это квантизированная в формате GGUF версия модели ArliAI-Llama-3-8B-Dolfin-v0.5, созданная с использованием llama.cpp. Исходная модель разработана на основе Meta-Llama-3-8B-Instruct и дообучена OwenArli на улучшенных наборах данных Dolphin и WizardLM. Квантизация выполнена QuantFactory. Модель предназначена для генерации текста, диалоговых приложений и выполнения инструкций. Дообучение ориентировано на более точное следование инструкциям и менее частые отказы от ответов. Модель использует архитектуру семейства Llama 3 и содержит около 8 миллиардов параметров. Поддерживается текстовая модальность; конкретные языки в README не указаны. Заявлена работа с контекстом до 8192 токенов, хотя обучение проводилось с длиной последовательности 2048 токенов. Модель обучалась с использованием QLoRA: 4-битной загрузки, rank 64 и alpha 128; обучаемыми были примерно 2% весов. Квантизированный формат рассчитан на запуск через llama.cpp и может быть удобен для локального инференса с ограниченными аппаратными ресурсами. Ограничения включают отсутствие подробных результатов OpenLLM Benchmark в представленном README и отсутствие точной информации о поддерживаемых языках, фактическом качестве на разных задачах и требованиях к аппаратному обеспечению. Модель распространяется по лицензии Meta Llama 3 License, унаследованной от базовой Meta-Llama-3-8B-Instruct. Условия этой лицензии необходимо учитывать при использовании и распространении модели.

MaziyarPanahi/Calme-7B-Instruct-v0.1 — диалоговая языковая модель Maziyar Panahi, дообученная на базе Mistral-7B. Она предназначена для генерации связных ответов и ведения диалога; в карточке также показан пример объяснения Docker. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Заявленная длина контекста — 32 768 токенов; доступны веса PyTorch и Safetensors. Для модели указана лицензия Apache-2.0. README также упоминает отдельные квантизированные версии в формате GGUF, но это репозиторий исходной модели.

CausalLM 7B GGUF — это квантизированная версия языковой модели CausalLM 7B, разработанной командой CausalLM и подготовленной в формате GGUF пользователем TheBloke. Модель основана на архитектуре типа LLaMA и предназначена для генерации текста, включая диалоговые и инструкционные сценарии. В карточке указаны поддерживаемые языки английский и китайский, а также исходный размер 7B параметров. Данные о длине контекста и мультимодальности не предоставлены; модель описана как текстовая. Формат GGUF совместим с llama.cpp и рядом локальных интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие, что позволяет запускать модель на CPU и GPU с вариантами квантизации от 2 до 8 бит. Модель обучалась на широком наборе диалоговых, инструкционных, математических, энциклопедических и мультиязычных данных, однако конкретные показатели качества и ограничения в README не приведены. Для использования рекомендуется шаблон запросов ChatML. Указана лицензия wtfpl, но поскольку модель основана на Llama 2, README также указывает на применимость условий лицензии Meta Llama 2; взаимодействие этих лицензий требует отдельной проверки.

GLM-5.3-Flash-GGUF — квантизированная GGUF-версия модели GLM-5.3-Flash, разработанная BatiAI на основе официальных весов Z.ai. Это текстовая генеративная модель для локального запуска и сценариев on-device AI, включая диалоги, генерацию текста на английском, корейском и китайском языках, а также вызов инструментов. Модель использует архитектуру glm5next и разреженную MoE-конфигурацию: около 320 млрд параметров всего, из которых примерно 18 млрд активируются для каждого токена. В составе указаны 288 экспертов с выбором 8 экспертов на токен. Доступны варианты квантизации Q4_K_M, Q3_K_M, Q2_K, IQ3_XXS и IQ2_XXS; размер файлов составляет примерно от 76,6 до 175,7 GiB. Размер контекста в README не указан. Сильными сторонами являются возможность локального запуска, поддержка нескольких языков и проверенная генерация корейского текста и вызовов инструментов на всех заявленных уровнях квантизации. Ограничения связаны с тем, что архитектура пока требует специальной сборки llama.cpp с PR #27752 и не поддерживается стандартными сборками, Ollama и LM Studio. Вызовы инструментов выдаются в собственном XML-подобном формате, поэтому OpenAI-совместимый endpoint llama.cpp может возвращать пустое поле tool_calls; требуется самостоятельный разбор содержимого и запуск с параметром --jinja. Модель распространяется по лицензии MIT.

MLX-совместимая версия языковой модели openai/gpt-oss-120b, разработанная сообществом mlx-community и сконвертированная из исходной модели с использованием mlx-lm 0.27.0. Модель предназначена для генерации текста и диалоговых сценариев на устройствах и в окружениях, поддерживающих MLX; для работы используются библиотека mlx-lm и соответствующий токенизатор с chat template, если он доступен. Из названия следует, что модель имеет масштаб 120B параметров и представлена в формате MXFP4-Q4, однако README не содержит подробностей об архитектуре, поддерживаемых языках, размере контекста, модальностях, производительности и аппаратных требованиях. Основное преимущество — адаптация модели к экосистеме MLX и возможность локального использования через стандартный интерфейс генерации текста. Ограничения и особенности, связанные с квантизацией MXFP4-Q4, в README не раскрыты. Модель распространяется по лицензии Apache-2.0.

Gravity 30B-A5B RL — дообученная Trillion Labs модель семейства DeepSeek V3, настроенная для многошагового использования инструментов в диалогах. Это MoE-модель с 30 млрд параметров и примерно 5 млрд активных параметров; README указывает 64 эксперта с выбором top-8 и MLA-внимание. Модель принимает текст и генерирует текст, включая ответы в чате и вызовы инструментов через соответствующий интерфейс. Заявленное контекстное окно — 131 072 токена. В тесте BFCL v3 модель получила в среднем 73,11% точности на живых задачах и 30,25% на многошаговой части; результаты LAB-Bench не показывают измеримого изменения относительно базовой модели. Для корректного обслуживания автор рекомендует использовать полный контекст и специальные парсеры вызовов инструментов и рассуждений. Модель распространяется по лицензии Apache-2.0.

K2-Horizon-7B-Uno MLX 6-bit — языковая модель для генерации текста, подготовленная hermitdave на основе IFM/K2-Horizon-7B-Uno от Institute of Foundation Models. Это плотная авторегрессионная модель семейства K2-Horizon с 8 млрд параметров; исходная модель описана как дополненная диффузией, а LoRA-адаптер объединён с базовыми весами. Репозиторий содержит равномерно квантованную до 6 бит версию в формате MLX для запуска на Apple Silicon. Модель предназначена для генерации ответов и рассуждений по текстовым запросам. Заявлено контекстное окно до 524 288 токенов; для запуска автор рекомендует высокий уровень усилия рассуждения. Для работы с K2-Horizon в oMLX требуется версия 0.6.4 или новее с патчем поддержки этой архитектуры. Модель распространяется по лицензии Apache 2.0. Квантование до 6 бит может влиять на качество относительно исходных весов; README также указывает на требование к поддерживаемой версии oMLX при использовании этого способа запуска.

LFM2.5-Encoder-350M-hallucination-detector — модель KRLabsOrg из проекта LettuceDetect для выявления неподтверждённых фрагментов в ответах по заданному контексту. Это двунаправленный энкодер LiquidAI/LFM2.5-Encoder-350M с линейной головой классификации токенов, дообученный отмечать участки ответа, которые не подтверждаются контекстом. Модель принимает вопрос, контекст и ответ, а затем выполняет разметку токенов; результаты можно использовать для определения галлюцинаций в RAG-ответах, выводах инструментов и ответах кодовых агентов. В README указаны обучение на 66 368 примерах в течение трёх эпох, максимальная длина входа 8 192 токена и тестовая span-F1 0,603 на объединённом наборе из 10 698 примеров. В мультиязычном выявлении на уровне примеров результаты сопоставимы с энкодером mmBERT. Модель обучалась на данных о галлюцинациях в коде и прозе, включая RAGTruth, структурированные документы и 14-язычный набор PsiloQA; в метаданных карточки перечислены английский, немецкий, испанский, французский, итальянский и нидерландский. Лицензия указана как other, поэтому условия использования следует сверить с карточкой модели. В приведённых результатах span-F1 ниже, чем у сравниваемых mmBERT-base и Qwen-2B; качество зависит от источника данных и формата ответа.

Это разговорная модель семейства Llama 3 с плотной архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Репозиторий опубликован Unsloth; веса представлены в формате safetensors и напрямую квантованы до 4 бит с помощью bitsandbytes. Модель предназначена для генерации текста и диалогового общения, в том числе для использования с шаблонами ShareGPT ChatML и Vicuna. Модель может служить основой для ответов на вопросы, ведения диалога и продолжения текста. README также описывает сценарии дообучения Llama 3 8B с использованием ноутбуков Unsloth, но не сообщает, что этот чекпойнт сам был дообучен на конкретном наборе данных. В метаданных указан контекст 8192 токена и английский язык. Лицензия — llama3; применимость конкретных условий следует сверять с лицензией Llama 3.

Llama-3-8B-Instruct-Gradient-1048k-GGUF — набор GGUF-квантизаций модели Llama-3-8B-Instruct-Gradient-1048k, разработанной Gradient AI и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев с использованием шаблона сообщений Llama 3; заявленный контекст — до 1 048 000 токенов. Указан английский язык, поддерживается текстовая модальность. Модель основана на архитектуре Llama 3 с примерно 8 млрд параметров. Набор включает варианты квантизации от Q8_0 до Q2_K и IQ2–IQ4, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Наиболее качественными в README названы Q8_0 и Q6_K, а Q5_K_M, Q5_K_S, Q4_K_M и другие варианты рекомендованы как компромисс между качеством и потреблением ресурсов. Файлы предназначены для запуска через llama.cpp; квантизация выполнена с использованием imatrix. Сильными сторонами являются большой заявленный контекст, широкий выбор уровней квантизации и возможность локального запуска на оборудовании с разным объёмом памяти. Более сильное сжатие уменьшает размер модели, но снижает качество генерации; варианты Q2 и часть Q3 описаны как низкокачественные или пригодные главным образом при жёстких ограничениях памяти. В README указана лицензия llama3; отдельные требования исходной модели и ограничения применения следует уточнять в условиях этой лицензии.

Модель ms122222/mein_qwen_14b_merged разработана ms122222 как дообученная версия Huihui-Qwen3-14B-abliterated-v2. Это плотная авторегрессионная модель семейства Qwen3 с 14 млрд параметров для генерации текста и диалогов; поддерживает интерфейс вызова инструментов. Контекст — до 40 960 токенов, основной язык в карточке — английский. Модель подходит для ответов в чате, генерации и продолжения текста, а также сценариев с передачей запросов инструментам. По README, обучение выполнялось с использованием Unsloth и Hugging Face TRL. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/Mistral-7B-Instruct-v0.2-GGUF — это набор файлов модели в формате GGUF для Mistral-7B-Instruct-v0.2, разработанной Mistral AI (mistralai) и преобразованной в квантизированный формат MaziyarPanahi. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Базовая модель имеет 7 миллиардов параметров и относится к семейству Mistral Instruct. В репозитории доступны варианты квантизации с разрядностью от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством. Формат GGUF поддерживается llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другими инструментами. README не содержит сведений о языках, размере контекста, точной архитектуре или результатах оценки качества. Основные преимущества — возможность локального запуска, широкий выбор уровней квантизации и поддержка GPU-ускорения в совместимых приложениях. Ограничения связаны с потерей части качества при более агрессивной квантизации, а также с необходимостью выбирать подходящий GGUF-файл и программную среду. Модель распространяется по лицензии Apache-2.0.