II.6Документация и сопровождение разработки

HappyLlama1 — разговорная текстовая модель, дообученная ehristoforu на базе voidful/Llama-3.2-8B-Instruct с использованием Unsloth и библиотеки TRL. Она предназначена для генерации текста и ведения диалогов; метаданные также указывают интерфейс вызова инструментов. Модель семейства Llama использует плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131072 токенов. В карточке приведены результаты оценок Open LLM Leaderboard: средний балл 26,04, IFEval — 73,63, BBH — 28,50. Модель принимает текст и генерирует текст. В метаданных указан английский язык. Лицензия — Apache-2.0. Карточка не описывает специализацию дообучения или отдельные гарантии качества, поэтому применимость к конкретным задачам стоит оценивать по собственным примерам.

Hathor_Gamma-L3-8B-0.6-GGUF — квантизированная версия языковой модели Hathor_Gamma-L3-8B-0.6, разработанной Nitral-AI. Файлы в формате GGUF подготовлены пользователем bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия; в README указан английский язык и шаблон запросов в формате, совместимом с Llama 3. Модель содержит около 8 миллиардов параметров и доступна в нескольких вариантах квантования от Q8 до Q2 и IQ2/IQ3/IQ4. Размер файлов составляет примерно от 2,75 до 9,52 ГБ. Старшие варианты квантования обеспечивают очень высокое качество при повышенных требованиях к памяти, тогда как младшие позволяют запускать модель на устройствах с ограниченным объёмом RAM, но заметно снижают качество. Некоторые варианты используют f16 для весов эмбеддингов и выходного слоя и отмечены как экспериментальные. Эта сборка удобна для локального запуска через llama.cpp и совместимые инструменты. README не содержит сведений о длине контекста, мультимодальности, данных обучения, результатах тестирования или точных архитектурных особенностях. Лицензия указана как other, без дополнительных условий в представленном описании, поэтому перед использованием следует проверить лицензию исходной модели Nitral-AI.

solidrust/Hermes-3-Llama-3.1-8B-AWQ — это 4-битная AWQ-квантизированная версия текстовой авторегрессионной модели Hermes-3-Llama-3.1-8B, разработанной NousResearch. Квантизацию выполнил Suparious. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск через Transformers, AutoAWQ, vLLM, Text Generation WebUI и Hugging Face Text Generation Inference. Модель основана на архитектуре Llama 3.1 с заявленным размером 8B параметров. Она работает в режиме text generation и использует диалоговый шаблон с ролями system, user и assistant. В README не указаны точный размер контекста, поддерживаемые языки и дополнительные модальности, поэтому эти характеристики нельзя подтвердить. Ключевое преимущество версии — 4-битная AWQ-квантизация, рассчитанная на снижение требований к памяти и ускорение инференса при сопоставимом с распространёнными настройками GPTQ качестве. Ограничения включают необходимость совместимого окружения: заявлена поддержка Linux и Windows с GPU NVIDIA; для macOS рекомендуется использовать модели в формате GGUF. Лицензия в README не указана.

Kwaipilot/HiPO-8B — диалоговая языковая модель Kwaipilot, дообученная на базе Qwen/Qwen3-8B методом, связанным с фреймворком HiPO (Hybrid Policy Optimization for Dynamic Reasoning). Модель предназначена для генерации ответов с управляемым рассуждением: она может выбирать между режимом Think-on с рассуждением и Think-off без него, чтобы сочетать точность с экономией токенов. Модель имеет плотную архитектуру Qwen3ForCausalLM и около 7,6 млрд параметров, работает с текстом и поддерживает контекст до 40 960 токенов. В README описан структурированный формат ответов, в котором путь рассуждения представлен явно. В экспериментах авторы HiPO сообщают об улучшении точности и сокращении длины ответов и частоты включения рассуждений; эти результаты относятся к описанному подходу и не гарантируют аналогичный эффект в каждом сценарии. Репозиторий распространяется по лицензии Apache-2.0. README не уточняет языковой охват и не приводит отдельной оценки качества именно этого чекпойнта.

Dax1211/horizon-corebreach-coder-3b-16bit — дообученная модель генерации текста на базе Qwen2.5-Coder-3B-Instruct. Разработчик указывает, что обучение выполнялось с помощью Unsloth и библиотеки TRL от Hugging Face. Модель содержит 3,1 млрд параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате и задач, связанных с кодом; в метаданных также заявлен интерфейс вызова инструментов. Карточка не уточняет конкретные языки программирования или сценарии, на которых проводилось дообучение. Модель распространяется в формате safetensors под лицензией Apache-2.0.

Huihui4-8B-A4B — разговорная модель семейства Gemma 4, созданная Huihui AI на основе google/gemma-4-26B-A4B-it. Разработчики сократили число экспертов MoE со 128 до 32 и дообучили модель методом supervised fine-tuning на более чем 500 диалоговых примерах из данных предпочтений для кода; в таблице оценки также приведён результат варианта после 750 шагов дообучения. На каждом токене активируются 8 экспертов. Модель предназначена для диалоговых задач, особенно для помощи с кодом, а также для планирования простых задач и локального запуска на потребительском оборудовании. Карточка заявляет поддержку анализа изображений, унаследованную от мультимодальной базовой модели, однако обучение описано как диалоговое и ориентированное на код. Репозиторий использует Transformers и формат safetensors; README рекомендует vLLM, llama.cpp и Hugging Face Transformers. По данным README, для FP16 требуется менее 18 ГБ видеопамяти, а для квантованных INT4/INT8 вариантов — примерно 6–9 ГБ. Оценка качества предварительная: приведены тесты perplexity и краткое описание диалоговых проверок, но нет подробных бенчмарков. Модель распространяется по лицензии Apache-2.0.

Huihui4-8B-A4B-v2 — разговорная модель Huihui AI на архитектуре Gemma 4, полученная прореживанием экспертов и дообучением SFT базовой модели google/gemma-4-26B-A4B-it. В модели оставлено 32 эксперта из исходных 128, при обработке каждого токена активируются 8. Модель поддерживает диалог и анализ изображений с выдачей текста; в метаданных для неё указан формат safetensors и библиотека Transformers. Модель предназначена для диалоговой помощи с кодом, планирования простых задач и локального запуска на потребительском оборудовании. Дообучение использует данные huihui-ai/GLM-5.1-Multilingual-STEM, а режим рассуждений оформлен в формате GLM-5.1. Автор сообщает о предварительных тестах диалога и оценке perplexity, но не приводит подробных сравнительных результатов. Лицензия — Apache-2.0.

Huihui-MoE-0.8B-2E — языковая модель с архитектурой Mixture of Experts от huihui.ai, созданная на основе Qwen/Qwen3-0.6B. В слоях MLP используются два эксперта, из которых для каждого токена активируется один. По метаданным, общее число параметров составляет 507,9 млн, а длина контекста — 40 960 токенов. Модель предназначена для генерации текста, ответов на вопросы и диалоговых приложений. Она может служить основой для дальнейшего дообучения под конкретные задачи; в карточке указано, что модель не проходила fine-tuning, а веса маршрутизации экспертов инициализированы случайно, поэтому без дообучения выбор экспертов может быть неоптимальным. Для загрузки указана библиотека Transformers, файлы представлены в формате safetensors. Лицензия — Apache-2.0.

Huihui-Qwen3.8-27B-abliterated-FP8-v2 — мультимодальная модель для обработки текста и изображений, созданная пользователем batsclamp на основе huihui-ai/Huihui-Qwen3.8-27B-abliterated. Это версия v2, квантизированная из upstream-релиза от 24 августа 2026 года; исходная модель основана на семействе Qwen3.8. Модель предназначена для генерации текста, рассуждений, работы с изображениями, а также сценариев с вызовом инструментов и использованием vLLM. Модель имеет размер 27B параметров и поддерживает контекст до 262 144 токенов при указанной конфигурации обслуживания. Используется гибридная архитектура с Mamba-проекциями и визуальной башней; 256 плотных линейных модулей квантизированы в FP8 E4M3 с поканальными статическими масштабами для весов и динамическим масштабированием по токенам для активаций. Формат хранения — compressed-tensors float-quantized. Визуальная часть, эмбеддинги, нормализации, lm_head и MTP-модуль сохранены в BF16, что позволяет использовать speculative decoding. Преимуществами являются уменьшенный размер по сравнению с BF16-версией, совместимость с vLLM и потенциально более высокая точность квантизации благодаря поканальному масштабированию. При этом качество FP8-варианта не подтверждено полноценными бенчмарками: заявлены только структурная проверка и тестовая генерация. Модель аблитерирована, поэтому у неё удалено исходное поведение отказа и отсутствуют гарантии безопасности оригинального релиза; при высоком уровне reasoning effort она может расходовать очень большой бюджет вывода и возвращать пустой ответ при преждевременном ограничении max_tokens. Лицензия — Apache 2.0.

Hy3-Razor-226B-A21B-E144of192 — производная диалоговая модель Tencent Hy3, сжатая методом RAZOR. В каждом MoE-слое оставлены 144 из 192 маршрутизируемых экспертов; остальные удалены без градиентного дообучения и восстановления. В метаданных указано 16,6 млрд параметров, тогда как README приводит 226 млрд для этого чекпойнта и 295 млрд для базовой модели. На токен активно около 21 млрд параметров. Модель предназначена для генерации текста в диалогах и других сценариях, поддерживаемых базовой Hy3. Пул экспертов сокращён для снижения вычислений на токен; внимание, общие эксперты, эмбеддинги и языковая голова сохранены. Контекст — 262 144 токена. Для запуска требуется версия Transformers с реализацией архитектуры hy_v3; веса представлены в bfloat16. Удаление экспертов является потерей информации: хотя точность задач может в значительной степени сохраняться, меняются разнообразие ответов, форматирование и поведение при завершении генерации. Поведение на областях, далёких от конечного калибровочного набора, не охарактеризовано. Лицензия — Apache-2.0.

ICONN-1-Mini-Beta — компактная разговорная языковая модель с 7 млрд параметров, разработанная ICONNAI на собственной архитектуре ICONN. Модель предназначена для генерации текста и диалогового взаимодействия; каталог также указывает интерфейс вызова инструментов. Она опубликована в формате Safetensors и рассчитана на контекст до 65 536 токенов. Модель позиционируется как облегчённый вариант семейства ICONN 1 для приложений, которым нужна разговорная генерация при сравнительно небольшом размере модели. В карточке заявлены естественное понимание и создание текста, однако конкретные результаты оценки качества и поддерживаемые языки не приведены. Лицензия — Apache 2.0.

Infinity-Instruct-7M-Gen-Llama3_1-8B-GGUF — набор GGUF-квантизованных версий языковой модели Infinity-Instruct-7M-Gen-Llama3_1-8B, разработанной BAAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель обучалась на датасете BAAI/Infinity-Instruct. Модель предназначена для генерации текста и работы с инструкциями, а также для локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель рассчитана на 8 миллиардов параметров и поддерживает текстовый ввод и вывод на английском языке. В репозитории представлены варианты от F16 до низкобитных Q2–Q8 и IQ-квантизаций, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размеры файлов варьируются примерно от 3,5 до 16,1 ГБ; наиболее качественными в README названы варианты Q6 и Q5, а Q4_K_M указан как сбалансированный вариант по размеру и качеству. Сильная сторона набора — возможность локального использования на оборудовании с разным объёмом памяти благодаря широкому выбору квантизаций. Ограничения связаны с потерей качества в низкобитных вариантах, а также с тем, что README не содержит данных о максимальной длине контекста, подробной архитектуре, результатах бенчмарков и поддержке других языков или модальностей. Лицензия указана как llama3.1.

Карточка модели amd/Instella-MoE-16B-A3B-Midtrain на Hugging Face совпадает с карточкой amd/Instella-MoE-16B-A3B-Think, поэтому описание составлено по ней. Instella-MoE-16B-A3B-Think — языковая модель с архитектурой Mixture-of-Experts, разработанная AMD и обученная с нуля. В опубликованном описании семейства указаны 16 млрд параметров всего и 2,8 млрд активных параметров на токен; метаданные этого репозитория указывают 2,5 млрд параметров. Модель построена на архитектуре семейства DeepSeek V3, имеет 27 декодерных слоёв и использует Gated Multi-head Latent Attention и FarSkip-Collective. Репозиторий содержит веса Safetensors для Transformers. Модель предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Контекст составляет 32 768 токенов. В карточке семейства описаны этапы обучения от предобучения до RL и открытая обучающая рецептура. Основной язык, указанный в метаданных, — английский; многоязычные способности не проверены. README характеризует выпуск как исследовательский и предупреждает, что модель может выдавать неточные, вредоносные, токсичные или предвзятые ответы. Она не предназначена для сценариев, требующих высокой фактической точности, для критически важных, медицинских или связанных со здоровьем применений; рекомендуется независимая оценка и фильтрация безопасности. Лицензия в метаданных обозначена как other.

ruGPTlarge Instructions — русскоязычная модель генерации текста на базе GPT-2, дообученная в инструктивном формате. Разработчик сообщает, что модель подходит для выполнения инструкций в режимах zero-shot и few-shot и показывает лучшие результаты на русском языке по сравнению с XGLM 1.7B и mGPT; независимые результаты оценки не приведены. Модель предназначена для ответов на инструкции и промпты, а также для продолжения текста. В метаданных указаны возможности работы с кодом и тематические метки finance и code, но специальных оценок для этих сценариев README не приводит. Контекст составляет 2048 токенов; доступны веса PyTorch и Safetensors для библиотеки Transformers. Модель создана дообучением ruGPTlarge на наборе ru_turbo_alpaca. Лицензия — Apache 2.0. Качество зависит от промпта и параметров генерации; сведения о точности, ограничениях безопасности и подробном составе обучающих данных отсутствуют.

internlm2_5-20b-chat-IMat-GGUF — это GGUF-квантизованная версия чат-модели internlm/internlm2_5-20b-chat, подготовленная legraphista с использованием llama.cpp (сборка b3524). Исходная модель имеет формат BF16, а в репозитории доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и более компактных IQ-квантизаций. Некоторые варианты используют IMatrix для калибровки квантования, что рассчитано на более эффективное сохранение качества при уменьшении размера модели. Модель предназначена для локального запуска задач генерации текста и чат-взаимодействия через совместимые инструменты, включая llama.cpp. Доступны файлы размером примерно от 7,55 до 39,73 ГБ, поэтому требования к оперативной или видеопамяти зависят от выбранного варианта. Ключевые характеристики исходной архитектуры, поддерживаемые языки, размер контекста, результаты тестирования и конкретные сильные стороны в README не указаны; качество и скорость также будут зависеть от уровня квантования и оборудования. Лицензия обозначена как other, без дополнительных условий в представленном README.

chargoddard/internlm2-7b-llama — версия InternLM2-7B, преобразованная в формат весов Llama. Репозиторий создан пользователем chargoddard; исходная модель — internlm/internlm2-7b. Модель предназначена для генерации текста. Она содержит 7,4 млрд параметров, использует плотную архитектуру LlamaForCausalLM и поддерживает контекст до 32 768 токенов. В метаданных указаны английский и китайский языки. Карточка не приводит отдельных оценок качества или прикладных преимуществ. Использование регулируется лицензией исходной модели InternLM; в метаданных она обозначена как other.

Модель braindao/iq-code-evmind-0.5b — компактная языковая модель семейства Qwen2, разработанная braindao как дообучение braindao/iq-code-evmind-0.5b-instruct-v0.2411.4. Она предназначена для генерации текста и диалогового взаимодействия; метаданные также указывают интерфейс вызова инструментов. Модель содержит 494 млн параметров, принимает текст и поддерживает контекст до 32 768 токенов. Модель опубликована в формате Safetensors и распространяется по лицензии Apache-2.0. Карточка сообщает об обучении с использованием Unsloth и TRL. README не описывает специализированную область применения или результаты оценки качества, поэтому её стоит рассматривать как компактную модель общего назначения, а качество ответов и вызова инструментов проверять на целевых задачах.

IvmeLabs/Ivme-Conversate-N-v2-Instruct — компактная инструктивная языковая модель от IvmeLabs с 9 021 600 параметрами. Это плотный decoder-only Transformer с tied embeddings, multi-head attention, RoPE, SwiGLU и RMSNorm; архитектура повторяет рецепт базовой модели Ivme-Conversate-v2-Base без заявленной архитектурной новизны. Модель обучалась за одну эпоху примерно на 900 млн токенов, с упором на инструкции и диалоги с самого начала обучения. В набор данных вошли многоходовые диалоги UltraChat-200k, SODA, трассы рассуждений UltraInteract, математические задачи Orca Math, инструкции Dolly-15k и примеры SQL. Она предназначена для генерации ответов в диалоге и выполнения текстовых инструкций, включая рассуждения, математические задачи и составление SQL. Карточка указывает английский язык, библиотеку Transformers и лицензию Apache-2.0. Для загрузки в Transformers README требует trust_remote_code=True.

Jaskier-7b-dpo-v6.1 — языковая модель от bards.ai на архитектуре Mistral с 7,1 млрд параметров. Модель предназначена для генерации текста; в карточке указано обучение методом Direct Preference Optimization на наборе предпочтений для математических ответов. README называет её производной от более ранней версии Jaskier-7b-dpo-v5.6, созданной на основе Mistral 7B, однако метаданные не подтверждают точную цепочку базовых моделей для версии v6.1. Модель принимает текст и выдаёт текст. В метаданных указан контекст до 32 768 токенов и английский язык. Весы опубликованы в формате safetensors для Transformers. Лицензия — CC BY 4.0. README помечает модель как рабочую версию, которая может быть не готова к промышленному применению.

Novocoders/jaskier-7b-NeuralDPO — дообученная модель для генерации текста на базе bardsai/jaskier-7b-dpo-v5.6. Она построена на архитектуре Mistral и содержит 7,1 млрд параметров; модель обучали методом DPO на наборе NeuralNovel/Neural-DPO с использованием Axolotl. Модель предназначена для генерации текста и ответов на запросы. Метаданные указывают контекст длиной до 32 768 токенов. Репозиторий содержит веса в форматах PyTorch и Safetensors. Лицензия — CC BY 4.0.

Juanako-7B-v1 — диалоговая языковая модель, разработанная fblgit на архитектуре Mistral и содержащая 7,1 млрд параметров. Это дообученная версия fblgit/zephyr-lora-dpo-b1: автор провёл дополнительный этап DPO с методом Uniform Neural Alignment (UNA) на наборе HuggingFaceH4/ultrafeedback_binarized. Модель предназначена для генерации ответов в диалоге и следования инструкциям; контекст — до 32 768 токенов. В карточке приведены результаты ряда тестов на рассуждение, общие знания и понимание текста. Автор предупреждает, что более поздние версии Juanako показывают лучшие результаты. Модель распространяется под лицензией Artistic-2.0. Автор помечает применение как исследовательское; представленные оценки не гарантируют качество в конкретных задачах.

NousResearch k2-merged-3.5T-bf16 — экспериментальная объединённая («frankenmerge») языковая модель, созданная на основе моделей Kimi K2-07, Kimi K2-09 и Kimi K2 Base. Модель предназначена для генерации и продолжения текста, а также диалоговых сценариев. В метаданных она обозначена как text-generation и conversational, использует библиотеку Transformers и формат safetensors. Модель содержит 63,2 млрд параметров, поддерживает контекст длиной до 131 072 токенов и относится к архитектурному семейству DeepSeek V3. В названии указано представление BF16, подходящее для запуска на совместимом оборудовании. Модель имеет лицензию modified-MIT, при этом в метаданных Hugging Face лицензия обозначена как other; условия распространения и использования следует проверять перед применением в продукте. Из-за экспериментального характера объединения возможны нестабильность поведения, непредсказуемое качество и высокие требования к памяти.

bartowski/kalomaze_Qwen3-16B-A3B-GGUF — набор GGUF-квантизаций базовой модели kalomaze/Qwen3-16B-A3B. Квантизации подготовлены bartowski с использованием llama.cpp b5255 и метода imatrix. Модель предназначена для генерации текста и локального инференса через llama.cpp, LM Studio и другие совместимые проекты. В набор входят варианты от BF16 размером 32,08 ГБ до компактных низкобитных форматов. Доступны Q8_0, Q6_K_L, Q6_K, Q5, Q4, IQ4, Q3 и Q2-варианты с разным соотношением качества, размера и требований к памяти. Наиболее качественными и рекомендуемыми обозначены Q6_K_L, Q6_K, Q5_K и Q4_K; Q4_K_M указан как вариант по умолчанию для большинства сценариев, а низкобитные Q3 и Q2 обеспечивают экономию памяти ценой снижения качества. Модель поддерживает текстовую генерацию; сведения о языках, размере контекста и точной архитектуре в представленном README не указаны. Для работы следует использовать шаблон запросов с маркерами <|im_start|> и <|im_end|>. Распространение выполняется по лицензии Apache-2.0.

Kanana-1.5-15.7B-A3B-base — базовая языковая модель от Kakao, первая MoE-модель семейства Kanana. Она предназначена для генерации текста и служит основой для прикладных решений, включая последующее дообучение. По данным карточки, разреженная архитектура обеспечивает возможности, сопоставимые с плотной Kanana-1.5-8B, при использовании 37% FLOPS на токен; в описании семейства также упоминаются дистилляция по текущей политике и обучение с подкреплением на этапе постобучения. Модель имеет архитектуру Mixtral MoE, распространяется в формате safetensors и поддерживает контекст до 32 768 токенов. Карточка указывает английский и корейский языки. Весы доступны на Hugging Face; лицензия обозначена как other, поэтому перед использованием следует проверить её условия в репозитории. Оценки приведены для базовой и instruct-моделей, но часть результатов instruct-модели в карточке отмечена как предназначенная только для сравнения.

NotoriousH2 дообучил диалоговую модель kakaocorp/kanana-1.5-8b-instruct-2505 и объединил результат в репозитории kanana-1.5-8b-instruct-2505-Persona-Merged. Это плотная Llama-архитектура с 7,5 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; доступны интерфейс вызова инструментов и контекст до 32 768 токенов. Модель подходит для ведения диалогов и генерации ответов на текстовые запросы. Базовая модель также предназначена для программирования и математики, однако README не описывает, как именно Persona-Merged меняет её поведение или качество на этих задачах. Модель принимает текст и выдаёт текст; среди языковых метаданных указан английский. Веса опубликованы в формате Safetensors. Лицензия — Apache-2.0. README сообщает о дообучении с использованием Unsloth и библиотеки TRL, но не приводит сведения о данных обучения, методике объединения или оценке качества.

yeeun2/kanana-1.5-8b-instruct-2505-Safe-DPO — плотная языковая модель семейства Llama с 7,5 млрд параметров, представленная в формате safetensors. Карточка указывает, что модель разработана yeeun2 и дообучена на yeeun2/kanana-1.5-8b-instruct-2505-Safe-DPO с использованием Unsloth и библиотеки TRL; метаданные также классифицируют её как дообученную модель. Она предназначена для генерации текста и диалогового взаимодействия, поддерживает контекст до 32 768 токенов и интерфейс вызова инструментов. Модель можно применять для диалоговых помощников и генерации текстовых ответов на английском языке. Лицензия Apache-2.0 разрешает использование на её условиях. README не приводит оценок качества, результатов тестирования или подробностей о данных дообучения, поэтому уровень безопасности и качество в конкретных сценариях по карточке оценить нельзя.

MLX-квантизированная версия языковой модели Kimi-K2.6, разработанной Moonshot AI (исходная модель — moonshotai/Kimi-K2.6) и преобразованной сообществом mlx-community с помощью mlx-lm 0.31.2. Модель предназначена для генерации текста и локального запуска на компьютерах Apple, прежде всего на Mac Studio с чипом M3 Ultra и 512 ГБ памяти, через библиотеку MLX и инструмент mlx-lm. Ключевая особенность — схема динамической смешанной квантизации DQ3_K_M. Большинство тензоров сохраняется в 8-битном представлении, а экспертные тензоры — в смешанном 3- и 4-битном формате с отдельными участками повышенного качества. Такой подход рассчитан на качество, близкое к 4-битной квантизации, при меньшем размере, чем у стандартной 4-битной версии, чтобы сохранить память для контекстного окна. За это приходится платить небольшим снижением скорости генерации. README не сообщает точный размер модели, архитектуру, максимальную длину контекста, поддерживаемые языки и набор специализированных задач. Для использования требуется установить mlx-lm; запуск предусматривает параметр trust-remote-code. Модель распространяется по лицензии modified-MIT, обозначенной как other. Условия лицензии следует проверять по исходной карточке модели, поскольку README не приводит её полный текст.

NVIDIA Kimi-K2-Thinking-NVFP4 — квантизированная версия языковой модели Kimi-K2-Thinking, разработанной Moonshot AI и подготовленной с применением NVIDIA TensorRT Model Optimizer. Модель предназначена для разработчиков и исследователей, создающих большие языковые модели и приложения на их основе, включая задачи генерации и обработки текста. Она принимает текстовые последовательности и генерирует текст. Модель использует трансформерную архитектуру DeepSeek V3 и содержит около 1 трлн параметров. Это текстовая авторегрессионная модель без заявленной поддержки других модальностей или указания поддерживаемых языков и размера контекстного окна. Веса и активации линейных операторов в MoE-компонентах трансформерных блоков квантизированы в формат NVFP4; указана версия nvidia-modelopt 0.39.0. Для инференса предусмотрена интеграция с vLLM, SGLang и TensorRT-LLM, предпочтительно на GPU NVIDIA Blackwell под Linux; тестирование проводилось на B200. К сильным сторонам относятся существенный масштаб модели и снижение требований к хранению и инференсу благодаря NVFP4-квантизации. Ограничения включают необходимость совместимой NVIDIA GPU-инфраструктуры и дополнительного тестирования перед внедрением. Базовая модель может воспроизводить токсичные высказывания и общественные предубеждения, а также выдавать неточные, неполные, нерелевантные или избыточные ответы. Использование регулируется NVIDIA Open Model License с дополнительными условиями Modified MIT License исходной модели; модель разрешена для коммерческого и некоммерческого применения.

KnowLM-13B-Base-v1.0 — базовая языковая модель организации ZJUNLP, построенная на архитектуре LLaMA и дополнительно обученная на китайских и английских двуязычных данных. Модель содержит 12,9 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает контекст длиной до 2048 токенов. Модель предназначена для генерации текста и понимания китайского и английского языков; дополнительный этап предобучения усиливает понимание китайского. Её можно использовать как основу для текстовых приложений и последующего дообучения. Модель распространяется по лицензии Apache-2.0.

koOpenChat-sft-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, полученная объединением mistralai/Mistral-7B-Instruct-v0.2 и maywell/koOpenChat-sft методом SLERP. Она основана на плотной архитектуре Mistral и содержит 7,1 млрд параметров; репозиторий предоставляет веса в формате Safetensors. Модель предназначена для генерации текста и диалоговых ответов на инструкции, с контекстом до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и других сценариев общения на естественном языке. Метаданные не подтверждают специализированные предметные области или перечень поддерживаемых языков. Лицензия — Apache-2.0.