II.1Анализ требований и архитектура ПО

NikiKrutan/Kiwen1.2-27B-MTP-GGUF — это набор квантованных моделей в формате GGUF, созданный пользователем NikiKrutan на основе beyoru/Kiwen1.2-27B и предназначенный для запуска через llama.cpp. Модель ориентирована на диалоговые и агентские сценарии, программирование, рассуждения, математику и задачи, требующие сложной логики. В описании также заявлена многоязычность, включая английский, русский и вьетнамский языки. Ключевая особенность проекта — экспериментальная стратегия квантования niki-allocator: тип квантования выбирается отдельно для каждого тензора с учётом оценок и проверок на основе KLD-метрик. Доступно 15 вариантов размера примерно от 8500 до 23000 МиБ; автор рекомендует выбирать самый большой вариант, который помещается в доступную память, поскольку больший размер обычно обеспечивает лучшее качество. Это позволяет адаптировать модель под разные аппаратные конфигурации, но скорость работы зависит от оборудования и параметров llama.cpp и отдельно не измерялась. README не сообщает точные архитектурные характеристики исходной модели, размер контекста или подтверждённую поддержку мультимодального ввода, поэтому эти свойства нельзя надёжно определить по представленным данным. Модель распространяется по лицензии Apache-2.0. Для корректной работы требуется использовать рекомендованный авторами chat template; шаблон froggeric и его производные объявлены неподходящими.

Ling-3.0-tiny-MLX-4bit — MLX-конверсия модели inclusionAI/Ling-3.0-tiny, опубликованная rapid-mlx. Это языковая модель для генерации текста, рассуждений и вызова инструментов, рассчитанная на локальный запуск на компьютерах Apple Silicon через MLX и rapid-mlx. Модель использует разреженную MoE-архитектуру: всего 7,9 млрд параметров, из которых 1,3 млрд активируются для каждого токена; применяются 128 экспертов с выбором top-8 и одним общим экспертом. В архитектуре используется гибридный стек внимания KDA и MLA, контекст поддерживает до 131 072 токенов. Квантование выполнено в 4 битах с размером группы 64, размер файла составляет около 4,2 ГБ, поэтому модель помещается и работает на Mac с 8 ГБ unified memory. Языки и специализированные модальности в README не указаны; модель предназначена для работы с текстом. Сильными сторонами являются большое контекстное окно, низкое число активных параметров при сохранении общей ёмкости 7,9 млрд параметров, поддержка рассуждений и нативного разбора вызовов инструментов. Ограничения связаны с зависимостью от MLX и Apple Silicon, а также с необходимостью использовать rapid-mlx, поскольку архитектура bailing_hybrid пока не входит в upstream mlx-lm. 4-битное квантование может снижать точность по сравнению с полной версией, однако в README приведены результаты проверки соответствия реализации официальному коду. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

LLaDA2.0-mini-CAP — языковая модель компании InclusionAI, основанная на диффузионной архитектуре Mixture-of-Experts и обученная с применением Confidence-Aware Parallel (CAP). Она предназначена для генерации текста в диалогах, ответов на вопросы, рассуждений, математических задач и программирования. CAP повышает эффективность параллельного декодирования: в README заявлено ускорение генерации в 1,46 раза относительно LLaDA2.0-mini при снижении среднего результата на указанных тестах с 70,15 до 67,32. Модель содержит 1,2 млрд параметров по метаданным; README описывает базовую архитектуру как 16B-A1B MoE, 20 слоёв и 16 голов внимания. Длина контекста — 32 768 токенов. Для инференса предназначен формат safetensors и библиотека Transformers; доступны чат и интерфейс вызова инструментов. README рекомендует температуру 0, block_length 32 и steps 32, предупреждая, что повышенная температура может вызывать смешение языков и немного снижать качество. Лицензия — Apache-2.0.

LLaDA2.0-mini-preview — диффузионная языковая модель с архитектурой Mixture-of-Experts от InclusionAI. Это предварительная instruction-tuned версия семейства LLaDA, предназначенная для диалогов и практических задач генерации текста. README указывает 16 млрд параметров всего и около 1,4 млрд активных при инференсе; в метаданных Hugging Face указан размер 1,2 млрд параметров. Модель содержит 20 слоёв, использует RoPE и поддерживает контекст до 8192 токенов согласно метаданным; README указывает 4096 токенов. Модель подходит для генерации кода, математических рассуждений, ответов на вопросы и сценариев с вызовом инструментов. В README заявлено обучение на серии Ling2.0 примерно на 20 трлн токенов и приведены результаты бенчмарков, но их детализация в доступном фрагменте неполная. Репозиторий содержит веса safetensors и рассчитан на работу через Transformers. Лицензия — Apache-2.0. README обозначает модель как preview, поэтому её качество и поведение следует оценивать для конкретных задач; при повышении температуры авторы предупреждают о возможном смешении языков и снижении качества.

Это конвертированная в формат Hugging Face версия диалоговой модели Llama 2 70B Chat, разработанной Meta и опубликованной пользователем daryl149. Это плотная авторегрессионная языковая модель семейства Llama с 68,7 млрд параметров, предназначенная для генерации текста в диалоге и ответов на запросы. Карточка указывает контекст длиной 2048 токенов и формат PyTorch. Модель подходит для чат-ботов, ответов на вопросы, составления текстов и других задач генерации текста. README описывает веса как конвертированные, поэтому это преобразование формата, а не отдельное дообучение. Указана лицензия Llama 2 Community License от Meta: она разрешает использование и распространение на заданных условиях, включая передачу текста лицензии и соблюдение Acceptable Use Policy; для продуктов с более чем 700 млн ежемесячных активных пользователей требуется отдельное разрешение Meta.

amd/Llama-3.1-8B-Instruct-w-int8-a-int8-sym-test — это вариант Llama 3.1 8B Instruct, опубликованный AMD. Он предназначен для генерации текста, диалоговых ассистентов и других задач обработки естественного языка; инструкционно дообученная версия оптимизирована для многоязычного общения. Вариант содержит 8 млрд параметров и использует 8-битное симметричное квантование весов и активаций; на странице модели также указаны форматы BF16 и I8. README этого репозитория пуст, поэтому характеристики квантования следует считать основными подтверждёнными сведениями именно об этом варианте, а не результатами отдельной оценки качества. Базовая Llama 3.1 разработана Meta и представляет собой авторегрессионную модель на оптимизированной архитектуре Transformer с Grouped-Query Attention. Она работает с текстом на входе и выдаёт многоязычный текст и код, поддерживает контекст до 128 тысяч токенов и заявленные языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning from human feedback; модель поддерживает диалоговые сценарии и tool use. Квантование может снизить требования к памяти и ускорить инференс на совместимом оборудовании, но конкретные показатели качества, скорости и совместимости для этого тестового репозитория не указаны. Использование регулируется Llama 3.1 Community License от Meta, а также Acceptable Use Policy. Лицензия допускает коммерческое и исследовательское применение при соблюдении её условий, включая требования к распространению и маркировке; для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрено отдельное лицензионное условие.

Meta Llama 3.2 1B — авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer. Это предварительно обученная многоязычная модель с примерно 1,23 млрд параметров; она принимает и генерирует текст, а также может работать с кодом. В карточке указаны контекст до 128 тысяч токенов, Grouped-Query Attention и обучение на смеси общедоступных данных. Модель предназначена для генерации текста и адаптации к различным задачам обработки естественного языка. Её можно использовать для черновиков и продолжения текста, перефразирования запросов, краткого изложения и диалоговых приложений после соответствующей настройки. Разработчик — Meta; модель доступна через библиотеку Transformers в формате safetensors. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Это предварительно обученная модель, а не версия, настроенная специально для диалога; качество и безопасность ответов следует проверять и при необходимости адаптировать для конкретного применения. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

MaziyarPanahi/Llama-3.3-70B-Instruct-GGUF — это набор квантованных файлов модели Llama-3.3-70B-Instruct в формате GGUF. Исходную модель разработала meta-llama, а квантованные версии подготовил MaziyarPanahi. Модель предназначена для генерации текста и работы в диалоговых сценариях с инструкциями. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между размером файла, требованиями к памяти, скоростью работы и качеством вывода. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые инструменты, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие приложения с поддержкой GGUF. Модель работает с текстом; сведения о мультимодальности, поддерживаемых языках и размере контекстного окна в README не указаны. К сильным сторонам относятся возможность локального использования, широкий выбор уровней квантования и совместимость с популярной экосистемой llama.cpp. К ограничениям относятся потенциальная потеря качества в более компактных вариантах квантования, высокие требования к ресурсам для 70-миллиардной модели и зависимость от совместимого программного обеспечения. Лицензия в предоставленных данных не указана.

RedHatAI/Llama-4-Scout-17B-16E-Instruct-quantized.w4a16 — мультимодальная instruct-модель, разработанная Red Hat совместно с Neural Magic на основе Meta Llama-4-Scout-17B-16E-Instruct. Она предназначена для диалоговых приложений, генерации и обработки текста, а также задач image-text-to-text с изображениями и текстовыми запросами на входе и текстом на выходе. Поддерживаются арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский языки. Модель использует архитектуру Llama4ForConditionalGeneration. Её веса квантизированы в INT4 по схеме W4A16 без квантизации активаций, что примерно на 75% снижает требования к памяти GPU и размер на диске по сравнению с представлением весов в 16 бит. Для инференса предусмотрена интеграция с vLLM, Red Hat AI Inference Server, Red Hat Enterprise Linux AI и OpenShift AI; модель валидирована в RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4. К сильным сторонам относятся мультимодальность, поддержка нескольких языков и сниженные требования к ресурсам благодаря квантизации. README не указывает число активируемых параметров, максимальную длину контекста, точные показатели качества или аппаратные требования, поэтому производительность в конкретных сценариях следует проверять отдельно. Модель выпущена 25 апреля 2025 года и распространяется по лицензии Llama 4; применяются условия лицензии Meta Llama 4.

Карточка модели joe-sidley-adc/lora-finetuned на Hugging Face совпадает с карточкой unsloth/gpt-oss-20b-BF16, поэтому описание составлено по ней. unsloth/gpt-oss-20b-BF16 — вариант модели gpt-oss-20b от Unsloth, основанный на openai/gpt-oss-20b и предназначенный для генерации текста, диалога и задач с рассуждениями. Это модель семейства gpt_oss с архитектурой MoE; метаданные указывают 1,6 млрд параметров и контекст 131 072 токена. Версия размещена в формате safetensors и использует библиотеку Transformers. Модель рассчитана на сценарии с низкой задержкой и локальный запуск, а также на специализированные приложения и агентные системы. Она поддерживает настраиваемый уровень рассуждений, вызов функций и структурированный вывод; для корректной работы требуется формат диалога Harmony. Вариант BF16 распространяется по лицензии Apache 2.0, допускающей коммерческое использование. Карточка описывает возможности семейства gpt-oss; сведения о языковой специализации именно этой версии не приведены.

unsloth/Meta-Llama-3.1-70B-bnb-4bit — это 4-битно квантованная версия базовой модели Meta Llama 3.1 70B, подготовленная Unsloth для эффективного использования и дообучения. Модель предназначена прежде всего для генерации и обработки текста, включая диалоговые сценарии, продолжение текста и адаптацию под специализированные наборы данных с помощью fine-tuning или DPO. Указан английский язык и поддержка библиотеки Transformers; мультимодальность не заявлена. Ключевая характеристика модели — размер 70 млрд параметров и представление в формате bnb-4bit, снижающее требования к памяти по сравнению с полной точностью. README не содержит сведений о длине контекста, точной архитектуре, вычислительной производительности именно этой версии или результатах оценки качества. К сильным сторонам относятся крупный размер базовой модели и возможность более доступного запуска и дообучения; ограничениями являются повышенные требования к вычислительным ресурсам по сравнению с меньшими моделями и возможные потери качества из-за 4-битной квантизации. Модель распространяется по лицензии llama3.1.

Карточка модели Openintelligent123/Meta-Llama-3.1-8B на Hugging Face совпадает с карточкой unsloth/Meta-Llama-3.1-8B, поэтому описание составлено по ней. Meta-Llama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, опубликованная Meta и представленная в репозитории Unsloth в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев; карточка также описывает её как основу для дообучения с помощью ноутбуков Unsloth. Модель содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Для использования действует лицензия Llama 3.1. README не приводит результатов оценки качества или подробных ограничений применения.

MLX-Community/Meta-Llama-3.1-8B-Instruct-4bit — это 4-битная квантизованная версия инструкционно дообученной языковой модели Meta Llama 3.1, адаптированная сообществом mlx-community для запуска с использованием MLX. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, написание и преобразование текста, а также другие задачи обработки естественного языка. Модель относится к семейству Llama и содержит 8 миллиардов параметров. Она работает в текстовой модальности, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В README размер контекстного окна не указан. Квантизация до 4 бит снижает требования к памяти и может упростить локальный запуск, однако потенциально уменьшает точность по сравнению с полноразмерной версией. Модель разработана для практического применения в локальных и ресурсоограниченных средах, но README не содержит подробных результатов тестирования, сведений о производительности или известных ограничениях качества. Распространение и использование регулируются Llama 3.1 Community License от Meta; она предусматривает соблюдение Acceptable Use Policy, сохранение уведомления об авторских правах и дополнительные требования к атрибуции и перераспространению. Для продуктов с более чем 700 миллионами ежемесячно активных пользователей требуется отдельное разрешение Meta.

Карточка модели bofenghuang/Meta-Llama-3-8B на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B, поэтому описание составлено по ней. Meta Llama 3 8B — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta. Эта версия принимает текст и генерирует текст, в том числе код; карточка репозитория описывает предварительно обученные и настроенные варианты семейства, но не уточняет, какой именно вариант представлен в этом репозитории. Модель предназначена для генерации текста на английском языке. Предварительно обученную версию можно адаптировать для разных задач генерации естественного языка, а настроенные варианты предназначены для диалоговых сценариев. Архитектура основана на оптимизированном Transformer и использует Grouped-Query Attention; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель подходит для создания разговорных помощников, генерации и продолжения текста и кода. Результаты требуют проверки, а для приложения следует настроить дополнительные меры безопасности под конкретную аудиторию и сценарий. Лицензия — специальная коммерческая лицензия Meta Llama 3 с условиями использования и ограничениями; перед внедрением необходимо ознакомиться с её текстом и Acceptable Use Policy.

Meta-Llama-3-8B — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta. Репозиторий содержит веса в формате Safetensors; модель насчитывает около 7,5 млрд параметров и имеет контекст до 8192 токенов. Архитектура основана на оптимизированном Transformer с Grouped-Query Attention. Модель предназначена для генерации текста и кода на английском языке. Она подходит для диалогового помощника и может служить основой для задач генерации естественного языка. Карточка описывает семейство Llama 3 с предварительно обученными и настроенными для инструкций вариантами; метаданные этого репозитория не уточняют вариант обучения, поэтому возможности конкретной версии в чате следует оценивать с учётом этого ограничения. Модель статична и обучена на офлайн-данных. Использование регулируется специальной коммерческой лицензией Meta Llama 3 и Acceptable Use Policy; перед применением необходимо соблюдать их условия. Для языков помимо английского карточка допускает дообучение при соблюдении этих правил, но исходное назначение модели ограничено английским языком.

Карточка модели median-group/Meta-Llama-3-8B-logits на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B, поэтому описание составлено по ней. Meta Llama 3 8B — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta. Эта версия принимает текст и генерирует текст, в том числе код; карточка репозитория описывает предварительно обученные и настроенные варианты семейства, но не уточняет, какой именно вариант представлен в этом репозитории. Модель предназначена для генерации текста на английском языке. Предварительно обученную версию можно адаптировать для разных задач генерации естественного языка, а настроенные варианты предназначены для диалоговых сценариев. Архитектура основана на оптимизированном Transformer и использует Grouped-Query Attention; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель подходит для создания разговорных помощников, генерации и продолжения текста и кода. Результаты требуют проверки, а для приложения следует настроить дополнительные меры безопасности под конкретную аудиторию и сценарий. Лицензия — специальная коммерческая лицензия Meta Llama 3 с условиями использования и ограничениями; перед внедрением необходимо ознакомиться с её текстом и Acceptable Use Policy.

MiMo-V2.5-Pro-Base — базовая языковая модель Xiaomi семейства MiMo-V2.5. Это плотная модель с архитектурой Mixture-of-Experts: в README указаны 1,02 трлн параметров всего и 42 млрд активных, тогда как метаданные репозитория указывают 27,7 млрд параметров; размер следует считать противоречивым. Веса опубликованы в формате safetensors с FP8, библиотека для работы — Transformers, лицензия — MIT. Модель предназначена как базовый чекпойнт для генерации текста и дальнейшей адаптации под агентные сценарии, программирование и сложные задачи с длинным контекстом. В карточке описаны гибридное внимание, сочетание локального скользящего и глобального внимания и три модуля Multi-Token Prediction. Для варианта Base README указывает контекст до 256 тысяч токенов; заявленный для основной версии Pro контекст до 1 млн токенов не следует автоматически относить к этому варианту. В метаданных также отмечены чат, код и интерфейс вызова инструментов; поддерживаемые языки — английский и китайский. Xiaomi сообщает о предварительном обучении на 27 трлн токенов и последующем обучении с инструкциями, агентным обучением с подкреплением и дистилляцией от нескольких учителей. В README приведены результаты тестов, однако они не гарантируют качество в конкретном применении. Лицензия MIT разрешает использование на её условиях.

bartowski/MiMo-V2.5-Pro-GGUF — это набор GGUF-квантизаций языковой модели MiMo-V2.5-Pro, разработанной XiaomiMiMo. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix; исходная модель указана как XiaomiMiMo/MiMo-V2.5-Pro. Модель предназначена для генерации текста, работы с агентскими сценариями, задачами программирования и применений с длинным контекстом. В карточке указаны английский и китайский языки, текстовая модальность и формат GGUF для запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Длина контекста, точная архитектура и число параметров не указаны. Доступно множество вариантов квантования от IQ1 до Q4, с размерами файлов примерно от 212 до 640 ГБ; Q4_K_M отмечен как рекомендуемый вариант с хорошим качеством, а более компактные варианты экономят память ценой снижения качества. К сильным сторонам относятся поддержка разных уровней компромисса между качеством и требованиями к памяти, совместимость с экосистемой llama.cpp и возможность локального запуска. Ограничения — очень большой размер файлов, зависимость от поддержки модели конкретным инструментом и ухудшение качества у низкобитных квантов, особенно IQ1 и некоторых Q2–Q3 вариантов. В карточке указана лицензия MIT.

Mistral-7B-Instruct-v0.1-GGUF — это квантизированная версия текстовой instruct-модели Mistral-7B-Instruct-v0.1, разработанной Mistral AI и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии, в средах, совместимых с GGUF и LlamaEdge. Модель основана на архитектуре Mistral, имеет 7 миллиардов параметров и поддерживает только текстовую модальность. Размер контекста составляет 4096 токенов, а для взаимодействия используется шаблон mistral-instruct: <s>[INST] {prompt} [/INST]. README не указывает поддерживаемые языки. Доступны варианты квантизации от 2 до 8 бит размером примерно от 2,7 до 7,7 ГБ; Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые, поскольку обеспечивают баланс между размером и качеством. Основные преимущества модели — возможность локального запуска, широкий выбор уровней квантизации и совместимость с LlamaEdge версии 0.2.8 и выше. Более агрессивная квантизация уменьшает требования к ресурсам, но может приводить к заметной потере качества. Лицензия модели — Apache-2.0.

osanseviero/mistral-instruct-frankenmerge — объединённая диалоговая языковая модель, созданная из Mistral-7B-Instruct-v0.2 и Mistral-7B-Instruct-v0.1 с помощью mergekit и метода passthrough. Это плотная авторегрессионная модель семейства Mistral с 8,9 млрд параметров, рассчитанная на генерацию текста и выполнение инструкций; поддерживает контекст до 32 768 токенов и диалоговый режим. Модель подходит для создания чат-ботов, ответов на вопросы и генерации текста по инструкциям. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Карточка не приводит сравнительных оценок качества или специальных ограничений применения.

MistralLite — языковая модель Amazon, дообученная на базе Mistral-7B-v0.1 для работы с длинными контекстами. Это плотная авторегрессионная модель Mistral с 7,1 млрд параметров, принимающая текст и генерирующая текст; заявленная длина контекста — до 32 768 токенов. При дообучении использованы адаптация Rotary Embedding с rope_theta=1000000 и скользящее окно размером 16 384 токена. Модель предназначена для извлечения строк и тем из длинных текстов, суммаризации и ответов на вопросы по предоставленному контексту. По карточке, она лучше справляется с рядом задач извлечения и ответа по длинному контексту и может обслуживаться на одном экземпляре AWS g5.2xlarge, а также через TGI или vLLM. README сравнивает её с Mistral-7B-Instruct-v0.1, но указывает дообучение именно от Mistral-7B-v0.1. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов сравнительных тестов, а длина контекста в конкретном обслуживании зависит от настроек сервера; приведённые примеры задают пределы ниже заявленных 32 768 токенов.

Mistral-Nemo-Base-2407 — предварительно обученная генеративная языковая модель, совместно разработанная Mistral AI и NVIDIA. Это плотный трансформер Mistral с 12,1 млрд параметров, 40 слоями, группированным вниманием к запросам (GQA) и словарём примерно на 128 тысяч токенов. Модель выпущена в июле 2024 года и распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста и служит базой для дальнейшей адаптации под конкретные задачи. Она обучалась на многоязычных данных и коде; заявленное окно контекста составляет 128 тысяч токенов. Среди указанных языков — английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский. Для запуска рекомендован mistral-inference; README также описывает использование через Transformers. Карточка приводит результаты на общих и многоязычных бенчмарках и рекомендует для генерации температуру 0,3. Поскольку это базовая предварительно обученная модель, она не имеет механизмов модерации и не является специализированной инструкционной версией; поведение в прикладных сценариях может требовать дополнительной настройки. Для неё доступна также отдельная instruct-версия.

Nanbeige4.1-3B-GGUF — квантованная версия языковой модели Nanbeige4.1-3B, разработанной командой Nanbeige на базе Nanbeige4-3B-Base. Модель дообучалась с применением supervised fine-tuning и reinforcement learning и предназначена для генерации текста, рассуждений, программирования, решения математических и научных задач, использования инструментов и агентных сценариев. Репозиторий GGUF подготовлен Mungert с использованием llama.cpp. Модель относится к компактному классу с примерно 3 млрд параметров, работает с текстом и заявлена для английского и китайского языков. Среди заявленных сильных сторон — многошаговое рассуждение, согласование предпочтений и способность поддерживать длительные агентные процессы с большим числом вызовов инструментов. В README также описан специальный подход к квантованию: отдельные важные слои переводятся в более высокую точность, что может повысить качество при сохранении относительно небольшого размера файлов, но увеличивает их объём. Конкретный контекстный размер и параметры отдельных вариантов квантования не указаны, а фактическое качество зависит от выбранного GGUF-файла и настроек запуска. Модель распространяется по лицензии Apache 2.0. Она подходит для локального запуска через совместимые инструменты экосистемы llama.cpp и для приложений, которым нужны рассуждения, генерация кода или агентное взаимодействие при ограниченных вычислительных ресурсах. Как компактная и квантованная модель, она может уступать более крупным или полноточным системам в отдельных задачах; приведённые результаты относятся к исходной Nanbeige4.1-3B и не обязательно полностью характеризуют каждый GGUF-вариант.

Soulfate24/Nanbeige4.2-3B-DSpark-ASHQ1-Remix-GGUF — это объединённая и представленная в формате GGUF версия Nanbeige4.2-3B с DSpark, подготовленная в рамках набора ASHQ1-Remix. Репозиторий предназначен для генерации текста и диалогового использования; базовая модель имеет 3,2 млрд параметров и ориентирована на рассуждения, программирование и агентные задачи с вызовом инструментов. В README описана активационно-зависимая квантизация GGUF с параметрами, основанными на измеренных экспериментах, и поддержкой линии AutoRound с ограничениями насыщения. Модель поддерживает английский и китайский языки. Репозиторий распространяется по лицензии Apache-2.0. Карточка не приводит отдельные сведения о длине контекста и конкретных уровнях квантования для данного файла.

NeoHorse-1-9B-GGUF — текстовая причинно-следственная языковая модель примерно на 9 млрд параметров, разработанная TokenRhythm и дообученная на базе Qwen3.5-9B. Модель позиционируется как прототип в направлении рекурсивного самоулучшения и ориентирована на агентные сценарии, использование инструментов, программирование, рассуждения и следование инструкциям. Репозиторий содержит веса в формате GGUF для локального запуска с llama.cpp, Ollama и LM Studio. Доступны варианты BF16, а также 8-, 5- и 4-битные квантизации, позволяющие уменьшить требования к дисковому пространству и оперативной памяти. Модель работает только с текстом; сведения о поддерживаемых языках и размере контекстного окна в предоставленных данных не указаны. Сильными сторонами заявлены улучшения по сравнению с базовой Qwen3.5-9B на наборе из десяти бенчмарков, а также специализация на агентных рабочих процессах и tool use. При этом NeoHorse описана как первоначальный прототип, поэтому заявленные возможности рекурсивного самоулучшения относятся к исследовательскому framework и не означают полностью автономное самообучение модели. Модель распространяется по лицензии Apache-2.0.

nvidia_AceInstruct-72B-GGUF — это GGUF-квантизованная версия instruct-модели AceInstruct-72B, разработанной NVIDIA и подготовленной пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста в диалоговом и инструкционном формате, включая задачи общего назначения, программирование и математику. В README указана поддержка английского языка. Модель имеет размер 72B параметров; конкретная архитектура и максимальная длина контекста не указаны. Доступны варианты квантизации от Q8_0 до Q2_K и IQ-квантов с размером файлов примерно от 29 до 77 ГБ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше оперативной памяти; варианты Q4_K_M, Q5_K_M и Q6_K отмечены как рекомендуемые. Формат рассчитан на запуск через llama.cpp, LM Studio и другие совместимые проекты. К сильным сторонам относятся широкий выбор вариантов квантизации и возможность локального запуска, а также специализация исходной модели на инструкциях, коде и математике. Ограничениями являются высокие требования к памяти даже у компактных вариантов, снижение качества при низкой квантизации и отсутствие в предоставленных данных подробных результатов тестирования, сведений о мультимодальности и контекстном окне. Распространение указано по лицензии CC BY-NC-4.0, которая ограничивает коммерческое использование.

Модель mlx-community/NVIDIA-Nemotron-3-Nano-4B-BF16 — версия NVIDIA Nemotron 3 Nano, подготовленная сообществом mlx-community для запуска через MLX на устройствах Apple. В карточке указано, что она конвертирована из nvidia/NVIDIA-Nemotron-3-Nano-4B-BF16 с помощью mlx-lm 0.31.1; метаданные классифицируют связь как дообучение и указывают архитектуру NemotronHForCausalLM. Репозиторий содержит веса safetensors, а размер модели составляет 6,4 млрд параметров. Модель предназначена для генерации текста в диалоге и может использоваться для ответов на вопросы, программирования, рассуждений и агентных сценариев с интерфейсом вызова инструментов. Поддерживает контекст длиной до 262 144 токенов и ориентирована на английский язык. Для использования требуется библиотека mlx-lm; лицензия указана как other, поэтому условия следует сверить с лицензией базовой модели и репозитория перед применением.

NVIDIA-Nemotron-Nano-9B-v2-Base — базовая большая языковая модель NVIDIA для продолжения заданного текста. Она обучена с нуля на корпусе примерно из 20 триллионов токенов, а затем подвергнута прореживанию и дистилляции из NVIDIA-Nemotron-Nano-12B-v2-Base на примерно 480 миллиардах токенов. Архитектура Nemotron-Hybrid сочетает преимущественно слои Mamba-2 и MLP с четырьмя слоями внимания; размер модели — 8,89 млрд параметров. Модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и рассчитана на разработчиков и исследователей, создающих языковые модели и приложения на их основе. Она обучалась на английском и 15 других естественных языках, а также на данных для 43 языков программирования; в корпус входят веб-страницы, диалоги, статьи и материалы по математике, науке, финансам и праву. NVIDIA указывает готовность к коммерческому использованию; лицензия в карточке обозначена как other, поэтому перед использованием следует проверить её условия. Модель оптимизирована для ускорения на GPU NVIDIA, а для конкретного сценария требуется отдельная проверка качества и безопасности.

Occamy-1.0 — модель Accio-Lab для длительной совместной работы с инструментами и выполнения многоэтапных задач. Она дообучена на базе Qwen/Qwen3.6-35B-A3B: сохраняет архитектуру исходного чекпойнта с MoE, 35 млрд общих и 3 млрд активных параметров. Модель принимает текст и изображения и предназначена для диалогов, агентных рабочих процессов, программирования, поиска, работы с файлами и структурированными API. Обучение сосредоточено на надёжном выполнении действий, отслеживании состояния, восстановлении после сбоев и продолжении работы в длинных взаимодействиях. Модель поддерживает вызов инструментов и обработку изображений; выпущены веса BF16 и варианты GGUF, а README также упоминает FP8 и NVFP4. Она рассчитана на обычные сценарии совместной работы, но retrieval-задачи и взаимодействие с браузером или рабочим столом через визуальный интерфейс остаются ограничениями. Лицензия — Apache-2.0.

Occiglot-7B-EU5-Instruct — инструктивная языковая модель, разработанная Occiglot Research Collective. Это плотный авторегрессионный трансформер с архитектурой Mistral и 7,1 млрд параметров, дообученный на 400 млн токенов многоязычных и программных инструкций. Модель принимает текстовые запросы в формате ChatML и генерирует текст; заявленная длина контекста — 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы, выполнения инструкций и задач с кодом на английском, испанском, французском, немецком и итальянском языках. Карточка приводит предварительные результаты тестирования и отмечает, что часть неанглоязычных оценок основана на машинном переводе, поэтому их следует интерпретировать осторожно. Модель не проходила выравнивание по безопасности и может создавать проблемный контент. Распространяется по лицензии Apache 2.0.