II.3Рефакторинг, миграция и модернизация

joshnader/Meta-Llama-3.1-8B-Instruct-Q4_K_M-GGUF — это квантизированная версия Meta-Llama-3.1-8B-Instruct в формате GGUF, подготовленная для запуска с llama.cpp и совместимых инструментов. Базовую модель разработала Meta. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, написание и преобразование текста, а также другие задачи обработки естественного языка. Модель содержит 8 миллиардов параметров и использует квантизацию Q4_K_M, что уменьшает требования к памяти по сравнению с полной версией и делает её более подходящей для локального запуска. Указанные языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель работает только с текстом; сведения о размере контекстного окна и точной архитектуре в карточке не приведены. К сильным сторонам относятся инструкционное обучение, поддержка нескольких языков и возможность эффективного локального инференса благодаря формату GGUF и квантизации. Ограничения связаны с возможным снижением качества относительно моделей без квантизации, а также с тем, что модель может генерировать неточные или нежелательные ответы. Использование регулируется Llama 3.1 Community License от Meta; при распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая требования об атрибуции, отображении «Built with Llama» и соблюдении Acceptable Use Policy.

Meta-Llama-3-8B-Instruct-old-GGUF — это GGUF-версия инструкционно дообученной большой языковой модели Meta Llama 3 с 8 млрд параметров, подготовленная для распространения пользователем bartowski. Исходную модель разработала Meta. Она предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, подготовку текста и другие задачи обработки естественного языка. В README указаны английский язык и текстовая модальность; модель относится к семейству Llama 3 и использует архитектуру decoder-only Transformer, однако подробности о контекстном окне, вариантах квантизации и характеристиках конкретной GGUF-сборки не приведены. Сильными сторонами являются относительно компактный размер для локального запуска и ориентация на следование инструкциям. Ограничения, связанные с качеством, безопасностью и применимостью результатов, в README отдельно не описаны. Модель распространяется по лицензии Meta Llama 3 Community License. При распространении материалов или продуктов на их основе требуется соблюдать условия лицензии, включая указание «Built with Meta Llama 3», сохранение уведомления об авторстве и соблюдение Acceptable Use Policy. Для организаций с более чем 700 млн ежемесячных активных пользователей предусмотрено получение отдельной лицензии Meta.

Kaoeiri/MS_Moingooistral-2409-22B — объединённая языковая модель, созданная Kaoeiri с помощью mergekit методом task arithmetic на основе unsloth/Mistral-Small-Instruct-2409 и Kaoeiri/Moingooistrial-22B-V1-Lora. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM, размером 22 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова функций. Репозиторий содержит веса safetensors; в README указаны bfloat16 и объединённый токенизатор. Сведения о конкретных языках и специализации по предметной области в доступных данных отсутствуют. Лицензия в предоставленных источниках не указана.

Это квантованная сборка модели NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16, подготовленная FreedomAISVR в формате GGUF. Она предназначена для генерации текста и диалогов, включая задачи рассуждения. Архитектура сочетает Mamba2 и Transformer и использует MoE: из 128 экспертов для каждого токена выбираются шесть. Всего в модели около 30 млрд параметров, из которых активно около 3 млрд; контекст — до 262 тыс. токенов. Веса экспертов хранятся в MXFP4, плотные веса — в Q8_0, а тензоры Mamba2 — в F16 для совместимости с CUDA-ядрами SSM. В репозитории также есть F16-проектор SigLIP для обработки изображений. Для полноценного запуска требуется среда с поддержкой GGUF и мультимодального проектора, например llama.cpp. Гибридный формат экономит память, однако операции Mamba2 на CUDA могут переходить на CPU, что снижает скорость. README не уточняет лицензию производной сборки; метаданные указывают лицензию «other», поэтому условия следует сверить с карточкой модели и условиями базовой модели.

Occiglot-7B-DE-EN-Instruct — генеративная языковая модель с открытыми весами, разработанная Occiglot Research Collective. Это плотный авторегрессионный трансформер Mistral с 7,1 млрд параметров, настроенный на выполнение инструкций на английском и немецком языках. Модель также обучалась на инструкциях, связанных с кодом. Модель подходит для диалогов, ответов на инструкции и генерации текста на английском и немецком языках. Она обучена в формате ChatML, а её контекстное окно составляет 32 768 токенов. Это первая версия исследовательского проекта Occiglot; авторы отмечают, что результаты оценки предварительные, а часть неанглоязычных тестов основана на машинном переводе. Модель не проходила выравнивание по безопасности и может выдавать проблемные ответы. Для использования предоставлены веса в формате safetensors; лицензия — Apache 2.0.

MaziyarPanahi/OpenHermes-2.5-neural-chat-7b-v3-1-7B-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и Weyaxi/OpenHermes-2.5-neural-chat-7b-v3-1-7B. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста в ответ на инструкции и диалоговые запросы; поддерживает контекст до 32 768 токенов. Модель принимает текст и выдаёт текст, поэтому подходит для диалоговых помощников, ответов на вопросы и выполнения текстовых инструкций. В метаданных указана лицензия Apache-2.0. Языки модели по имеющимся данным определить нельзя.

ihughes15234/Phi-3.5-mini-instruct_unslothcpy — разговорная инструктивная версия компактной языковой модели семейства Phi-3.5, представленная в карточке с материалами Unsloth по тонкой настройке. Модель содержит 3,7 млрд параметров, использует плотную архитектуру и предназначена для генерации текста и многоходового диалога. Метаданные указывают контекст 4096 токенов; заявленные в README 128K относятся к Phi-3.5-mini в целом и не подтверждены для этой конкретной копии. Модель подходит для генерации ответов и создания приложений на базе языковой модели в условиях ограниченных вычислительных ресурсов и требований к задержке. В README базовая Phi-3.5 описана как многоязычная модель с сильными сторонами в рассуждениях, коде, математике, логике, обобщении длинных документов и ответах на вопросы по ним; эти характеристики не являются отдельной оценкой данного репозитория. Указана лицензия MIT. Как и другие языковые модели, она может ошибаться; перед применением в рискованных сценариях следует проверять точность и безопасность ответов.

Microsoft Phi-3 Medium-4K-Instruct в этом репозитории представлен в формате ONNX и оптимизирован для инференса через ONNX Runtime на NVIDIA GPU с CUDA. Это конверсия инструкционной модели семейства Phi-3 с плотной архитектурой Phi3ForCausalLM и примерно 13,8 млрд параметров; исходная модель прошла дообучение с учителем и оптимизацию по предпочтениям для следования инструкциям и повышения безопасности. Модель принимает текст и генерирует текстовые ответы в диалоговом формате; поддерживает контекст до 4096 токенов. В README описаны варианты FP16 и INT4, причём INT4 получен квантованием RTN; метаданные указывают формат ONNX. Модель подходит для диалоговых ассистентов, ответов на вопросы, рассуждений, математики и генерации кода. README сообщает о тестировании на NVIDIA A100 и минимальном требовании CUDA GPU с Compute Capability 7.0 или выше; приведённые замеры производительности относятся к A100 и не гарантируют таких же результатов на другом оборудовании. Лицензия — MIT.

mainbrains поддерживает форк Phi-3-Mini-4K-Instruct — компактной плотной языковой модели семейства Phi-3 с 3,7 млрд параметров и контекстом до 4096 токенов. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения, математики, логики и программирования; она дообучена следовать инструкциям и выдавать структурированные ответы. Модель рассчитана на применение в условиях ограниченных вычислительных ресурсов и требований к низкой задержке, в том числе как локальный узел для генерации текста и работы с инструментами. README заявляет запуск на компактном оборудовании, но фактическая скорость зависит от аппаратуры и способа инференса. Карточка описывает преимущественно англоязычное обучение и предупреждает о снижении качества на других языках, а также о возможных неточностях, предвзятости и оскорбительных ответах. Лицензия — MIT.

win10/Qwen2.5-12.3B — языковая модель семейства Qwen2.5, созданная автором репозитория с помощью mergekit из слоёв Qwen/Qwen2.5-7B. Конфигурация использует метод passthrough и формат bfloat16; в метаданных архитектура указана как плотная Qwen2ForCausalLM с 11,7 млрд параметров. Модель предназначена для генерации текста и диалогового применения. Её можно использовать для ответов на вопросы, написания текстов и интеграции в чат-системы; метаданные также отмечают интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. Метаданные указывают библиотеку Transformers и лицензию не сообщают, поэтому условия использования определить по доступным данным нельзя.

RedHatAI/Qwen3-0.6B-quantized.w4a16 — квантизированная версия языковой модели Qwen3-0.6B, разработанная RedHat совместно с Neural Magic. Это авторегрессионная модель архитектуры Qwen3ForCausalLM для генерации текста по текстовому вводу. Модель предназначена для рассуждений, function calling, многоязычного следования инструкциям, перевода и создания специализированных предметных экспертов посредством дообучения. Указанный размер базовой модели — 0,6 млрд параметров. Веса линейных слоёв трансформера сжаты до INT4 с использованием GPTQ, асимметричной поканальной групповой схемы с размером группы 64; параметры сохраняются в формате w4a16. Это примерно на 75% снижает размер на диске и требования к памяти GPU по сравнению с 16-битным представлением весов. В README приведены сценарии оценки с длиной контекста до 40960 токенов, однако точное максимальное контекстное окно модели отдельно не указано. Модель поддерживает только текстовые входы и выходы. К преимуществам относятся уменьшенное потребление памяти и эффективное развёртывание, в частности через vLLM с OpenAI-совместимым сервером. К ограничениям относятся возможные потери качества из-за INT4-квантизации, а также отсутствие в предоставленных данных подробных результатов оценки, перечня поддерживаемых языков и гарантий качества для конкретных прикладных задач. Модель распространяется по лицензии Apache-2.0; использование не должно нарушать применимые законы и нормативные требования.

Qwen3.6-27B-Omnimerge-v4-MTP-GGUF — квантизированная GGUF-версия модели ManniX-ITA/Qwen3.6-27B-Omnimerge-v4, подготовленная автором ManniX-ITA. Модель имеет 27,78 млрд параметров и заявленную архитектуру Qwen3.5; репозиторий содержит объединённые веса в форматах от F16 до низкобитных IQ- и Q/K-квантизаций. В метаданных указаны поддержка английского языка, reasoning и vision, а также pipeline image-text-to-text, однако подробные сведения о контекстном окне и точном наборе мультимодальных возможностей не приведены. Главная особенность этой версии — сохранённая MTP (Multi-Token Prediction) head, предназначенная для self-speculative decoding в llama.cpp. При использовании llama.cpp с поддержкой MTP модель может предлагать несколько токенов за шаг и ускорять генерацию; для этого требуется версия с поддержкой соответствующего PR и режим draft-mtp. Без MTP-функциональности модель работает в стандартном режиме декодирования. Доступно 19 уровней квантизации и эталонная F16-версия, что позволяет выбирать компромисс между качеством, скоростью и потреблением памяти; рекомендуемым балансом в README названа Q6_K. Модель подходит для локального текстового и, при наличии соответствующего мультимодального проектора, визуально-текстового вывода, включая задачи рассуждения. Ограничения связаны с существенными требованиями к памяти, зависящими от выбранной квантизации, необходимостью совместимой версии llama.cpp для ускорения MTP и возможной потерей качества на низких битностях. Распространяется по лицензии Apache-2.0.

Карточка модели nwzjk/Qwen3.6-34B-80L-Fable-5-Heretic на Hugging Face совпадает с карточкой hiebo/Qwen3.6-34B-80L-Fable-5-Heretic, поэтому описание составлено по ней. Qwen3.6-34B-80L-Fable-5-Heretic — мультимодальная модель семейства Qwen от hiebo, дообученная на основе Qwen/Qwen3.6-27B. По карточке, модель расширена с 64 до 80 слоёв и примерно 34 млрд параметров, обучена методом дистилляции на 4 665 агентных трассах Fable-5 с применением QLoRA, а затем объединена с головами MTP для спекулятивного декодирования. Архитектура — Qwen3_5ForConditionalGeneration; заявлены чередование линейного и полного внимания, чат и работа с изображениями. Модель предназначена для диалоговых сценариев с рассуждениями и использованием инструментов, а также для задач, где нужно совместно обрабатывать текст и изображения. В README указаны запуск через Transformers и vLLM и максимальная длина контекста 256K; конфигурация запуска по умолчанию задаёт 4096 токенов. Карточка заявляет ускорение генерации с MTP, но приводит показатель принятия токенов и ускорение только для vLLM. Модель опубликована в формате safetensors; README описывает BF16-веса. Лицензия в предоставленных данных не указана.

mlx-community/Qwen3.6-35B-A3B-4bit-DWQ — это MLX-совместимая 4-битная версия модели Qwen3.6-35B-A3B, опубликованная сообществом mlx-community. Исходную модель разработала команда Qwen компании Alibaba Cloud. Она предназначена для локального запуска и генерации текста, диалогов, а также мультимодальных сценариев с обработкой изображений и видео; репозиторий поддерживает использование через MLX и mlx-lm. Модель имеет архитектуру Mixture of Experts с 35 млрд параметров, из которых на один токен выбираются 8 из 256 экспертов. Конфигурация включает гибридные linear attention и full attention, 40 слоёв и максимальную длину контекста 262 144 токена. Исходная модель поддерживает текстовые и визуальные входы; для производного MLX-файла заявлена 4-битная квантизация, уменьшающая размер до примерно 20,7 ГБ и предназначенная прежде всего для запуска на совместимом оборудовании Apple Silicon. Сильная сторона варианта — существенно сниженные требования к памяти по сравнению с полной моделью и возможность локального использования через MLX. Ограничения включают зависимость от MLX-совместимой инфраструктуры и потенциальную потерю качества из-за квантизации; в карточке производного репозитория подробные результаты тестов, перечень поддерживаемых языков и отдельные ограничения не указаны. Для исходной Qwen3.6-35B-A3B указана лицензия Apache-2.0, однако отдельная лицензия производного репозитория mlx-community явно не приведена.

Qwen3.8-27B-MXFP4-MagicQuant-GGUF — адаптированная GGUF-сборка модели Qwen3.8-27B, основанная на официально постобученном и квантованном чекпойнте AMD Qwen3.8-27B-Quark-AWQ-MXFP4. Репозиторий подготовлен magiccodingman и содержит исходную нативную MXFP4-версию, а также варианты дополнительного квантования по рецептам MagicQuant и Unsloth. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, включая обработку изображений благодаря поддержке vision projectors. Также заявлена поддержка MTP. Размер базовой модели составляет 27B параметров, формат распространения — GGUF, а нативная версия занимает около 18,89 ГБ. Доступны варианты с различными уровнями квантования; среди рекомендуемых по соотношению качества и размера указаны MQ-IQ4_XS_1, UD-Q4_K_S, UD-IQ4_XS и UD-Q3_K_XL. Для них заявлено близкое соответствие логитам нативной MXFP4-версии при уменьшении размера примерно на 20,7–31,05%. Сильной стороной сборки является наличие нескольких проверенных вариантов квантования, опубликованных tensor maps, результатов KLD-тестов и сведений об imatrix, что упрощает выбор между качеством и требованиями к памяти. Ограничения связаны с потерями качества при агрессивном квантовании: один вариант UD-IQ2_XXS был удалён после провала установленного порога качества, а остальные низкобитные варианты также могут заметно отличаться от нативной версии. Это адаптированный downward clone, а не новый полный поиск рецептов MagicQuant; языки и размер контекстного окна в README не указаны. Лицензия — Apache-2.0.

RemySkye/Qwen3.8-Flash-Next-REAM-60Pct-GGUF — пользовательская высококачественная сборка модели Akicou/Qwen3.8-Flash-Next-REAM-60Pct в формате GGUF. Она предназначена для запуска и генерации текста через llama.cpp на системах примерно с 64 ГиБ оперативной памяти, включая локальные сценарии инференса. Лицензия в README не указана. Модель использует архитектуру qwen4exp и разреженную Mixture-of-Experts (MoE). В ней около 129 млрд сохранённых параметров до обрезки PLE, около 90 млрд физических параметров после неё, а на каждый токен активируется примерно 6 млрд параметров. Большая таблица PLE/n-gram была сокращена с 16 до 4 активных голов: сохранены 2 из 8 bigram- и 2 из 8 trigram-голов. Итоговый файл занимает около 56 ГБ, или 52 ГиБ. Применён смешанный профиль квантования BALANCED_MAX_PROTECTED: основные компоненты используют форматы от Q4_K до Q8_0, а критичные малые тензоры сохраняются в BF16/F32. Ключевое преимущество сборки — сохранение более высокой точности основных весов за счёт уменьшения крупной таблицы n-грамм вместо агрессивного квантования всей модели до Q2/Q3. Это делает модель практичнее на машине с 64 ГиБ RAM, оставляя место для контекста, KV-кэша, рабочих буферов и операционной системы. Ограничениями являются большой объём файла, зависимость от актуальной версии llama.cpp с поддержкой Qwen3.8/qwen4exp и возможная потеря части информации PLE из-за удаления 12 из 16 голов. Фактическое потребление памяти зависит от размера контекста, настроек llama.cpp, GPU-offload и используемого backend.

Это вариант модели Qwen3-Next-80B-A3B-Thinking, подготовленный командой minjaechoi как экспериментальный чекпойнт r26 с разреженными экспертами MoE. Средняя точность весов маршрутизируемых экспертов составляет 2,125 бита, остальные веса — BF16; в репозитории веса сохранены в тензорах BF16 после деквантизации. Модель предназначена для генерации текста и диалога, включая сложные рассуждения, а интерфейс поддерживает вызов инструментов. Она использует архитектуру Qwen3-Next и рассчитана на контекст до 262 144 токенов. Метаданные указывают 2,3 млрд параметров, а для загрузки доступны safetensors и библиотека Transformers. Сверхнизкая точность маршрутизируемых экспертов может ограничивать качество по сравнению с исходной моделью; README характеризует этот вариант как внутренний исследовательский чекпойнт. Лицензия наследуется от Qwen3-Next-80B-A3B-Thinking.

Qwopus3.6-35B-A3B-v1-MTP-GGUF — модель Jackrong, основанная на unsloth/Qwen3.6-35B-A3B. Это мультимодальная модель в формате GGUF для генерации текста и обработки связок «изображение—текст», ориентированная на диалоговые сценарии, рассуждения, работу с инструментами и вызов функций. В метаданных указана поддержка английского, китайского, испанского, русского и японского языков. Релиз сохраняет MTP-компоненты исходной архитектуры Qwen3.6. Multi-Token Prediction позволяет одновременно предсказывать несколько последующих токенов и использовать speculative decoding: черновая модель предлагает последовательность токенов, а целевая модель проверяет её параллельно. Это может повысить скорость инференса при совместимости используемого движка с MTP, включая llama.cpp и производные решения. Доступны варианты с разными уровнями квантования — от Q2_K до Q8_0, а также BF16. Для оптимальной производительности требуется соответствующая draft-модель, поддерживающая спекулятивное декодирование; без такой связки преимущество MTP может быть недоступно. Точный размер контекста, подробности архитектуры, результаты оценки качества и ограничения мультимодальных возможностей в README не указаны. Модель распространяется по лицензии Apache 2.0.

Swift-Qwen3.8-27B-Genesis-F16-GGUF — мультимодальная модель на базе Swift-Qwen3.8-27B, опубликованная LuffyTheFox. Автор применил к весам метод Genesis для численной коррекции тензоров; модель распространяется в формате GGUF F16 и рассчитана на запуск в llama.cpp, LM Studio, koboldcpp и других совместимых средах. Лицензия — Apache-2.0. Модель предназначена для диалогов, анализа изображений и видео, а также задач общего назначения, включая программирование. README указывает плотную архитектуру на 27 млрд параметров с визуальным энкодером, 64 слоями языковой модели и контекстом 262 144 токена; заявлена возможность расширения контекста до 1 000 000 токенов при поддержке со стороны среды запуска. Указана поддержка текста, изображений и видео, однако для работы с изображениями нужен отдельный файл mmproj. Автор описывает Genesis как постобработку тензоров без переобучения и заявляет, что она снижает шум весов, сохраняя выученные знания. Эти заявления не сопровождаются в карточке независимыми результатами оценки. Для работы с шаблоном диалога рекомендуется llama.cpp с флагом --jinja; README также советует использовать контекст не менее 128K токенов для сохранения возможностей рассуждения. Модель помечена как uncensored; качество и поведение на разных задачах могут отличаться от заявлений автора.

Sakalti/ultiima-108B — языковая модель для генерации текста, созданная автором репозитория с помощью mergekit из слоёв Sakalti/ultiima-72B. Использован метод passthrough: в итоговую модель включены диапазоны слоёв базовой модели, а веса записаны в формате float16. Архитектура — плотная Qwen2ForCausalLM с 106,6 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для диалогов и генерации текста; метаданные также указывают интерфейс вызова инструментов. Лицензия обозначена как other, поэтому условия использования следует уточнять по карточке репозитория. README описывает способ сборки, но не приводит оценки качества или подробные ограничения применения.

airoboros-65b-gpt4-1.4 — языковая модель на архитектуре LLaMA с 65 млрд параметров, дообученная автором jondurbin методом QLoRA на синтетических данных, созданных GPT-4. Модель предназначена для диалогов и генерации текста: отвечает на вопросы, следует инструкциям, пишет тексты и код, поддерживает ролевые и многоходовые разговоры, загадки и викторины. Для ответов по заданному контексту в карточке описан специальный формат промпта, который помогает модели опираться на предоставленные источники. Модель принимает текст и выдаёт текст. Указанная длина контекста — 2048 токенов; веса опубликованы в формате PyTorch. README предупреждает, что модель ещё не тестировалась, и отмечает, что ответы по контексту могут быть выдуманы, если контекст не содержит ответа. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

AutomatosX AX-Qwen3.8-27B-MLX-AXQ-4bit-MTP — это смешанно-точечный квантованный чекпойнт на базе Qwen/Qwen3.8-27B, предназначенный для запуска на Apple Silicon через MLX. Основная языковая часть модели квантована с применением AXQuant, а голова multi-token prediction и vision tower сохранены в формате BF16. Модель имеет 27,36 млрд логических параметров, архитектуру Qwen3_5ForConditionalGeneration и поддерживает генерацию текста, а также визуальный ввод; аудио не поддерживается. Максимальный заявленный контекст — 262 144 токена, однако практический предел зависит от объёма unified memory устройства. Модель ориентирована на локальный текстовый инференс, разработку и сценарии, где важны сниженный объём хранения и запуск на компьютерах Apple Silicon. Она совместима с MLX-LM для стандартного текстового инференса, а для использования MTP и связанных runtime-возможностей предусмотрены AX Engine, oMLX и MTPLX. Полный размер загрузки составляет около 18,20 ГБ, измеренный общий показатель — 5,2338 BPW. Заявления об ускорении MTP ограничены профилями, указанными в сертификатах, и не гарантируются для всех конфигураций; MLX-LM также может не использовать vision- и MTP-компоненты. Репозиторий содержит MLX Safetensors и не включает веса PyTorch или GGUF. Модель распространяется по лицензии Apache-2.0. Для работы требуются совместимые версии MLX-инструментов и достаточный объём памяти; качество и возможности визуального инференса зависят от выбранного runtime и его поддержки дополнительных компонентов.

Baichuan2-7B-Chat-4bits — 4-битная квантованная чат-модель семейства Baichuan 2, разработанного Baichuan Intelligence. Это плотная авторегрессионная языковая модель на 7 млрд параметров для диалогов и генерации текста на китайском и английском языках. Модель обучена на корпусе объёмом 2,6 трлн токенов; доступный контекст составляет 4096 токенов. Модель предназначена для ответов в чате, генерации текста и решения общих языковых задач, включая сценарии в областях права, медицины, математики, программирования и перевода. В README отмечены результаты оценки на китайских и англоязычных бенчмарках. Для запуска требуется PyTorch 2.0 или новее. Для академического использования модель открыта. Коммерческое использование требует соблюдения Apache 2.0 и специального соглашения сообщества Baichuan 2, включая получение официального разрешения; для него также указаны ограничения по масштабу и типу организации. Модель может ошибаться или давать небезопасные ответы; авторы предупреждают о необходимости проверки соответствия применимым требованиям и безопасности сервисов.

Behemoth-Gigaberg-SLERP-0.2 — объединённая языковая модель на архитектуре Mistral, созданная методом SLERP с помощью mergekit из Behemoth-123B-v1.2 и Gigaberg-Mistral-Large-123B. Модель предназначена для генерации текста и диалогового общения; в метаданных также заявлен интерфейс вызова инструментов. Модель содержит 122,2 млрд параметров, использует формат safetensors и имеет контекстное окно до 131 072 токенов. Она принимает текст и генерирует текст. Данные о поддерживаемых естественных языках в предоставленной карточке не приведены. Лицензия и конкретные ограничения применения в предоставленных данных не описаны. Качество и надёжность ответов могут зависеть от запроса и сценария использования; ответы следует проверять, особенно при вызове инструментов.

DeepSeek-TNG-R1T2-Chimera-GGUF — GGUF-версия 671-миллиардной языковой модели DeepSeek-TNG R1T2 Chimera, разработанной командой TNG Tech из Мюнхена и распространяемой в формате Unsloth Dynamic 2.0. Модель создана методом Assembly of Experts на основе трёх моделей DeepSeek: R1-0528, R1 и V3-0324. Архитектура — трансформер DeepSeek-MoE; точные сведения о поддерживаемых языках и размере контекста в README не указаны. Модель предназначена для генерации текста и задач, требующих рассуждений, включая математические и другие сложные интеллектуальные запросы. По заявлению разработчиков, она примерно на 20% быстрее обычной R1 и более чем вдвое быстрее R1-0528, при этом превосходит R1 в ряде тестов, включая GPQA и AIME-24. По сравнению с первой R1T Chimera она обеспечивает более стабильное использование токенов рассуждений и более высокие интеллектуальные показатели. Ограничения включают более слабые результаты на сложных бенчмарках по сравнению с R1-0528, большую сдержанность в ответах относительно R1T и отсутствие рекомендации для интенсивных сценариев с function calling из-за влияния родительской модели R1. Модель выпущена 2 июля 2025 года. В README указана лицензия MIT; также пользователям предлагается учитывать рекомендации по ответственному использованию моделей DeepSeek и требования EU AI Act.

Rarri/DeepSeek-V4-Flash-0731-NVFP4 — это квантизированная версия модели DeepSeek-V4-Flash-0731, разработанная на основе релиза deepseek-ai и подготовленная с помощью NVIDIA Model-Optimizer. Модель предназначена для генерации текста и высокопроизводительного инференса с использованием vLLM или TensorRT-LLM на GPU NVIDIA Blackwell с поддержкой NVFP4. Она ориентирована на сценарии, где важны высокая скорость декодирования и использование длинного контекста, включая speculative decoding с механизмом DSpark. Модель содержит 304 млрд параметров, 43 слоя MoE, 256 маршрутизируемых экспертов в каждом MoE-слое и три слоя multi-token prediction (MTP). Все маршрутизируемые экспертные веса, включая MTP-экспертов, переведены в NVFP4 W4A4; attention, роутеры, shared experts, embeddings и lm_head сохранены в исходном формате FP8. Поддерживается контекст до 131K токенов. Экспертные веса преобразованы без потери значений исходных MXFP4-весов, а speculative decoding в тестовой конфигурации примерно удваивал скорость однопоточного декодирования, достигая типичных 200–240 токенов в секунду. Ключевые ограничения — зависимость от GPU Blackwell (sm_120+), специализированных сборок инференсных фреймворков и гибридной FP8/NVFP4-MoE-разметки. Рекомендуемые параметры speculative decoding включают жадное семплирование, пять draft-токенов и bf16 draft head; вероятностное семплирование может приводить к некорректному выводу в NVFP4-пути. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

Gemma-2-9B-Chinese-Chat — языковая модель для диалоговой генерации текста, разработанная Shenzhi Wang, Yaowei Zheng, Guoyin Wang, Shiji Song и Gao Huang. Она создана на базе google/gemma-2-9b-it и дообучена для китайско- и англоязычных пользователей с использованием алгоритма ORPO и более чем 100 тысяч пар предпочтений. Обучение проводилось с помощью LLaMA-Factory. Модель предназначена для общения, ролевых сценариев, использования инструментов, решения математических задач, написания текстов и кода. По сравнению с исходной моделью заявлено уменьшение случаев, когда на китайские запросы модель отвечает по-английски, а также снижение смешения китайского и английского языков в ответах. Модель поддерживает китайский и английский языки, содержит около 9,24 млрд параметров и имеет контекстное окно до 8K токенов. Доступны версии BF16 и GGUF, включая варианты q4_k_m, q8_0 и f16. Сильными сторонами модели являются ориентация на китайско-английские диалоги, улучшенные ролевые ответы, работа с инструментами и математикой, а также наличие форматов для локального запуска через совместимые приложения. Ограничения включают контекст длиной 8K токенов и возможную неточность или непредсказуемость ответов в ролевых сценариях; разработчики отдельно предупреждают, что ответы о личности и происхождении модели могут быть случайными. Модель распространяется по Gemma License.

ddalcu/gemma-4-e2b-it-4bit-textonly — облегчённая сборка Google Gemma 4 E2B, подготовленная в формате MLX на основе mlx-community/gemma-4-e2b-it-4bit. Это instruction-tuned языковая модель для генерации и обработки текста, предназначенная прежде всего для текстовых чат-приложений и локального запуска на устройствах Apple, включая сценарии on-device inference. Модель использует 4-битное affine-квантизование языкового backbone и эмбеддингов, полностью сохраняя веса и качество текстовой генерации исходной модели. Из неё удалены веса vision tower и audio tower: 1 415 из 2 511 тензоров. Размер загрузки сокращён примерно с 3,55 до 2,5 ГБ, то есть приблизительно на 30%. Модель поддерживает только взаимодействие «текст на входе — текст на выходе»; изображения и аудио она не обрабатывает. Сведения о размере контекста и языках в README не указаны. Основные преимущества — меньший размер по сравнению с мультимодальной сборкой и сохранение её текстовых возможностей при работе с MLX. Ограничение — отсутствие мультимодальных входов; для обработки изображений и аудио рекомендуется исходная модель mlx-community/gemma-4-e2b-it-4bit. README указывает лицензию Gemma. Для некоторых версий mlx-vlm при загрузке может потребоваться режим strict=False из-за отсутствующих весов vision-модуля.

Это GGUF-квантизированная версия инструкционной модели Gemma 3 12B IT, разработанной Google и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска в LM Studio, llama.cpp и совместимых проектах. Модель поддерживает текстовые сценарии и работу с изображениями через vision-компонент, для которого требуется отдельный файл MMPROJ в формате GGUF. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций объёмом примерно от 6 до 23,5 ГБ; версии Q4–Q6 отмечены как рекомендуемые благодаря балансу качества и требований к памяти. Архитектура, максимальный контекст и список поддерживаемых языков в представленном README не указаны. Основные преимущества — возможность локального запуска, широкий выбор уровней квантизации и поддержка анализа изображений при использовании совместимой сборки llama.cpp. Ограничения связаны с необходимостью подбора квантизации под доступную память, а для мультимодальной работы — с отдельным vision-компонентом и специальной поддержкой Gemma 3. Модель распространяется по лицензии Google Gemma; для доступа на Hugging Face требуется принять условия этой лицензии.

Jan-v1-AIO-GGUF — набор GGUF-квантованных версий моделей семейства Jan-v1, опубликованный prithivMLmods. В состав входят Jan-v1-2509, Jan-v1-edge и Jan-v1-4B, предназначенные для локального запуска через совместимые inference-движки, интеграции с приложением Jan, автономной работы и повышения приватности. Модели ориентированы на генерацию текста, агентское рассуждение, решение задач, использование инструментов, ответы на фактические вопросы и сценарии с веб-поиском. Jan-v1-4B — языковая модель на 4 млрд параметров, построенная на архитектуре Qwen3-4B-thinking и поддерживающая контекст до 256 000 токенов. Для неё заявлена точность 91,1% на бенчмарке SimpleQA. Jan-v1-edge — облегчённая модель для быстрой работы на устройствах с ограниченными ресурсами; она дистиллирована из более крупной Jan-v1 и дообучалась в два этапа: supervised fine-tuning и reinforcement learning with verifiable rewards. В README точные размеры Jan-v1-2509 и Jan-v1-edge, а также сведения о мультимодальности не указаны. Поддерживается английский язык. Доступны варианты с разными типами квантования — от Q2_K до Q8_0, а также BF16, F16 и F32, что позволяет выбирать между размером файлов, требованиями к памяти и потенциальным качеством. Размеры файлов варьируются примерно от 778 МБ до 16,1 ГБ в зависимости от модели и формата. Ограничения включают зависимость производительности от выбранного квантования и оборудования, а также отсутствие в README подробных результатов для всех вариантов. Модели распространяются по лицензии Apache-2.0.