II.3Рефакторинг, миграция и модернизация

MaziyarPanahi/dolphin-2.6-mistral-7b-GGUF — это набор квантованных файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе модели cognitivecomputations/dolphin-2.6-mistral-7b, разработанной cognitivecomputations. Модель предназначена для генерации текста и может использоваться локально через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, LM Studio, GPT4All и llama-cpp-python. Модель относится к семейству Mistral и имеет размер 7B параметров согласно идентификатору базовой модели. Доступны варианты квантования от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством генерации. В метаданных указан английский язык; другие языки, поддерживаемые моделью, размер контекста и мультимодальные возможности не заявлены. Основные преимущества — совместимость с широким набором инструментов для локального запуска и возможность подобрать степень квантования под доступное оборудование. Ограничения связаны с потерями качества при более агрессивном квантовании, а также с отсутствием в предоставленных данных подробных оценок, описания точных сценариев применения и характеристик контекстного окна. Распространение указано по лицензии Apache-2.0.

K2-Horizon-3.7B-GGUF — GGUF-версия языковой модели K2-Horizon-3.7B, разработанной IFM. Репозиторий предназначен для запуска модели с помощью llama.cpp и содержит тензоры в исходной точности BF16, метаданные токенизатора и совместимый с llama.cpp шаблон чата. Модель относится к семейству K2-Horizon и представляет собой небольшую плотную decoder-only модель с 3,7 млрд параметров и контекстным окном 524 288 токенов. Указан английский язык. Модель предназначена для генерации текста и оценивается на задачах, связанных с агентными сценариями, программированием и рассуждениями. Ключевые сильные стороны — большой контекст, открытость весов, публикация обучающих данных, рецептуры, кода обучения и ресурсов для оценки, а также наличие промежуточных контрольных точек для анализа изменений возможностей в процессе обучения. Ограничение версии GGUF заключается в необходимости использовать сборку llama.cpp с поддержкой архитектуры K2 Horizon; такая поддержка на момент публикации находилась в разработке, а совместимая версия доступна в форке MBZUAI-IFM. Лицензия модели — Apache-2.0. В README не указаны точные детали вычислительных требований, результаты отдельных тестов, поддерживаемые языки помимо английского и дополнительные сведения о качестве или ограничениях применения.

Nous-Hermes-13b — языковая модель Nous Research, дообученная совместно с Teknium и Karan4D на более чем 300 тысячах инструкций. В её основе Llama с плотной архитектурой и примерно 12,9 млрд параметров; модель распространяется в формате PyTorch. Она принимает текстовые инструкции в формате Alpaca и предназначена для генерации текста и диалоговых ответов. Модель обучалась преимущественно на синтетических ответах GPT-4 и наборах инструкций по общим темам, ролевым сценариям, программированию, математике и естественным наукам. Карточка заявляет длинные ответы и низкий уровень галлюцинаций, но не приводит в предоставленных материалах независимой проверки этих свойств. Контекст модели — 2048 токенов; карточка указывает английский язык. Лицензия — GPL.

amazingvince/openhermes-7b-dpo — экспериментальная DPO-донастройка модели OpenHermes, опубликованная автором репозитория. В README она описана как дообучение OpenHermes на данных, призванных улучшить способности модели; базовая линия OpenHermes 2.5 основана на Mistral 7B и включает дополнительное обучение на наборах инструкций по программированию. Метаданные указывают на плотную авторегрессионную архитектуру MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате, включая ответы на инструкции и вопросы; базовое семейство также ориентировано на задачи с кодом. В карточке сказано, что модель экспериментальная, а подробности будут добавлены позднее. Доступны веса Safetensors, лицензия — Apache-2.0. README не приводит результатов именно этой версии, поэтому её качество и улучшения относительно базовой модели подтвердить нельзя.

TheBloke/phi-2-GGUF — это набор квантованных файлов модели Phi-2, разработанной Microsoft и преобразованной TheBloke в формат GGUF для локального запуска. Модель предназначена для генерации текста и кода, а также для задач, поддерживаемых исходной Phi-2, с использованием совместимых локальных приложений и библиотек. Phi-2 — языковая модель типа phi-msft, работающая с текстом и ориентированная на английский язык. В README не указаны размер модели, архитектурные детали и максимальная длина контекста. Доступны варианты квантования от 2 до 8 бит, включая методы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать между меньшим потреблением памяти и качеством вывода. Модель использует шаблон запроса «Instruct: {prompt} Output:». Главное преимущество версии GGUF — возможность запуска на CPU и совместимом GPU через llama.cpp и ряд сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Ограничения качества и применимости связаны с квантованием, англоязычной специализацией и возможностями исходной Phi-2; мультимодальность не заявлена. Лицензия указана как microsoft-research-license, применимая к исходной модели Microsoft.

Qwen3.6-40B-Fable-Fusion-6-Core-Deckard-Eleanor-Heretic-Uncensored — дообученная плотная мультимодальная модель семейства Qwen3.5 от DavidAU с 40 млрд параметров и архитектурой Qwen3_5ForConditionalGeneration. Она предназначена для диалогов, рассуждений, программирования, творческого письма и ролевых сценариев; метаданные также указывают поддержку изображений и интерфейс вызова инструментов. В карточке заявлены подробные ответы и адаптивное использование токенов рассуждения, однако приведённые заявления о превосходстве в тестах не сопровождаются проверяемыми результатами. Модель использует формат safetensors, библиотеку Transformers и распространяется по лицензии Apache-2.0. Указаны английский и китайский языки. README описывает вариант GGUF как отдельный ресурс; представленные здесь метаданные относятся к safetensors-модели.

Max-GE/Qwen3.8-27B-uncen — многоэтапная fine-tune-модель на базе DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. Согласно README, модель создана с использованием Unsloth, методов COLD FUSION и Fable Fusion и ориентирована на повышение качества рассуждений, общее решение задач, программирование, творческое письмо, создание историй и roleplaying. Заявлена как uncensored/abliterated-модель. Модель относится к семейству Qwen3.8 с размером 27B и поддерживает английский и китайский языки. Репозиторий содержит Regular и MTP GGUF-квантизации, включая варианты с точностью 4 и 8 бит; заявлена поддержка трёх режимов мышления. Основной особенностью разработчики называют сокращение объёма reasoning-токенов примерно от двух до десяти раз по сравнению с обычной Qwen3.8 при сохранении детализации и качества, а также оптимизацию скорости генерации. README также указывает тег image-text-to-text, но не приводит подробностей о визуальном энкодере или подтверждённой обработке изображений. Сильными сторонами заявлены высокие результаты на ARC-C и ARC-E, улучшение по сравнению с базовыми моделями Qwen и эффективность на потребительском оборудовании. Эти результаты представлены разработчиками и не сопровождаются в карточке независимой методологией проверки. Возможные ограничения включают зависимость характеристик от выбранной GGUF-квантизации, отсутствие данных о размере контекста и детальных тестах безопасности, а также uncensored-настройку, которая может повышать риск нежелательных или небезопасных ответов. В метаданных указана лицензия Apache-2.0.

RWKV-7 World — базовая авторегрессионная языковая модель семейства RWKV от BlinkDL, предназначенная для генерации текста и использования в качестве основы для дообучения. Модель обучалась на корпусе примерно из 3,1 трлн токенов для версии World-v3; в обучающих данных преобладает английский язык, также представлены другие языки и программный код. В README указаны варианты семейства от 0,1B до примерно 7B параметров, но размер именно этой публикации не уточнён. Модель рассчитана на продолжение текста, диалоговые и вопросно-ответные сценарии при использовании рекомендованных шаблонов запросов. Архитектура RWKV-7 поддерживается пакетом rwkv версии 0.8.28 и выше. Карточка сообщает о обучении более чем на 100 языках; метаданные перечисляют 12 языков, включая русский, китайский, английский, французский, испанский, немецкий, португальский, итальянский, японский, корейский, вьетнамский и арабский. В README приведены результаты MMLU для нескольких вариантов RWKV-7-v3 и сравнение с RWKV-6, но эти оценки не являются характеристиками конкретного файла модели. Это базовая модель, а не специализированный чат-чекпойнт; качество ответов и следование инструкциям могут зависеть от шаблона и дополнительного дообучения. Лицензия — Apache-2.0.

CleverQwen2-1.5B — объединённая языковая модель на архитектуре Qwen2, созданная автором trollek с помощью mergekit методом Model Stock. В основу слияния взята trollek/Qwen2-1.5B-Instruct-Abliterated; также объединены cognitivecomputations/dolphin-2.9.3-qwen2-1.5b, M4-ai/Hercules-5.0-Qwen2-1.5B и Replete-AI/Replete-Coder-Qwen2-1.5b. Модель содержит 1,5 млрд параметров, использует формат safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия на английском языке; объединение моделей включает варианты общего назначения и для программирования. Автор сообщает, что при слиянии число параметров выросло примерно на 300 млн и что модель работает ожидаемым образом, но подробные оценки качества не приводит. Лицензия — Apache-2.0.

SirSahOl подготовил конверсию DeepSeek-R1-Distill-Qwen-1.5B в формат MLX для запуска на компьютерах Apple Silicon. Это плотная причинно-языковая модель семейства Qwen2 с 1,5 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие. Исходная модель дообучена DeepSeek на примерах рассуждений; её сильные стороны включают решение задач на рассуждение, математику и программирование. Заявленная длина контекста — 131 072 токена. Репозиторий содержит веса safetensors в 16-битном представлении и использует библиотеку MLX. Версия 16-bit рассчитана на устройства Apple Silicon с большим объёмом памяти; для компактных систем автор README рекомендует варианты с меньшей разрядностью. В README приведены замеры на Apple M1 с 8 ГБ памяти, но эти результаты относятся к указанной конфигурации. Модель распространяется по лицензии MIT.

Llama-3-Alpha-Centauri-v0.1 — экспериментальная чат-модель семейства Llama 3, созданная автором серии Centaurus на основе дообучения и слияния моделей. Она предназначена для генерации ответов, рассуждений и анализа, в том числе по темам STEM, компьютерных наук, программирования и социальных наук. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст длиной до 8192 токенов. В карточке указана цель создать менее цензурированную модель; среди упомянутых возможностей — логическая дедукция, критическое мышление и анализ. В метаданных отмечен набор NobodyExistsOnTheInternet/ToxicQAFinal. README сообщает о настройках LoRA и 4-битного обучения, но не уточняет базовый репозиторий, а поля базовой модели в метаданных нет. Автор описывает модель как экспериментальную и предупреждает, что эффективность может меняться. Модель может выдавать токсичные или нежелательные ответы; пользователь отвечает за их интерпретацию и применение. Лицензия — llama3.

LTM-SFR-RUN-1 — дообученная языковая модель, опубликованная deepjoysur на базе unsloth/qwen2.5-coder-7b-instruct-bnb-4bit. Это плотная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и 7,1 млрд параметров; карточка указывает обучение с Unsloth и библиотекой TRL. Модель предназначена для генерации текста в диалоговом формате и поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст, поддерживает английский язык и контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Указана лицензия Apache-2.0. README не раскрывает специализацию дообучения или результаты оценки качества, поэтому пригодность для конкретных задач следует проверять на собственных примерах.

my-first-moe-3b — объединённая языковая модель, созданная автором репозитория chubakur с помощью mergekit и метода SLERP на основе Qwen/Qwen2.5-1.5B-Instruct и Qwen/Qwen2.5-Coder-1.5B-Instruct. Несмотря на название, в метаданных архитектура указана как плотная Qwen2ForCausalLM с 1,5 млрд параметров, а не MoE. Модель предназначена для генерации текста и диалогов; объединение инструктивной и кодовой моделей может быть полезно для обычных запросов и задач с программным кодом. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. Файлы представлены в формате safetensors и рассчитаны на использование с Transformers; в метаданных также отмечен интерфейс вызова инструментов. В карточке не приведены результаты оценки качества или подробные сведения о поддерживаемых языках. Лицензия в предоставленных данных не указана.

Parable-Granite-4.1-3B-Claude-Fable-5-heretic — языковая модель для генерации текста, разработанная автором saidutta69 на основе AnkitAI/Parable-Granite-4.1-3B-Claude-Fable-5, которая, в свою очередь, дообучена на ibm-granite/granite-4.1-3b. Модель предназначена для локального диалога, рассуждений, планирования, генерации кода, терминальных сценариев, агентских задач и использования инструментов. Заявлен английский язык, поддерживаются форматы Safetensors и GGUF для запуска через Transformers, vLLM, llama.cpp, Ollama, LM Studio и Jan. Это текстовая causal language model архитектуры GraniteForCausalLM с нативным размером около 3,4 млрд параметров. Версия создана методом abliteration с помощью Heretic v1.4.0: целевые изменения весов в attention output и MLP down-projections подавляют поведение отказа без дополнительного fine-tuning. Модель сохраняет trace-дистиллированные возможности исходной Parable-версии в области рассуждений, планирования и работы с терминалом. Для локального запуска доступны квантизации от Q2_K до Q8_0; вариант Q4_K_M требует около 2,1 ГБ под веса и примерно 1 ГБ дополнительно для контекста. К сильным сторонам относятся малый размер, возможность работы на ноутбуках и CPU, широкий набор GGUF-квантизаций и существенно сниженное число отказов по сравнению с исходной моделью: 5 против 96 на 100 проверенных adversarial-запросов. При этом это не улучшение базовых возможностей, а версия той же модели с удалёнными защитными ограничениями; снижение отказов сопровождается измеримым отклонением от исходного поведения, а заявленные показатели получены на ограниченных тестах. Контекстное окно, точные языковые возможности и дополнительные модальности в карточке не указаны. Распространяется по лицензии Apache-2.0.

Это конвертированная в формат MLX версия Phi-3-mini-4k-instruct от Microsoft, подготовленная mlx-community. Модель представляет собой плотную авторегрессионную языковую модель семейства Phi-3 с 3,7 млрд параметров и контекстом 4096 токенов; карточка указывает 4-битную версию для запуска на устройствах Apple через mlx-lm. Модель предназначена для диалоговой генерации текста и помощи с кодом. Вход и выход — текст; в метаданных указан английский язык. Репозиторий создан 23 апреля 2024 года. Модель распространяется по лицензии MIT. Подробности о качестве и ограничениях предлагается смотреть в карточке исходной модели.

PhoneLM-1.5B-Instruct — англоязычная авторегрессионная языковая модель на 1,6 млрд параметров, разработанная командой mllmTeam. Это дообученная для следования инструкциям версия PhoneLM-1.5B, предназначенная для генерации текста и диалоговых ответов. Модель использует декодерный трансформер с 19 слоями, скрытым размером 2560, 16 головами внимания и контекстом до 2048 токенов. Архитектура включает Rotary Position Embeddings для первой четверти размерности голов внимания, LayerNorm с обучаемыми смещениями и ReLU в полносвязных слоях; токенизатор основан на токенизаторе SmolLM с размером словаря 49 152. В обучении использовались наборы инструкций, диалогов, математических заданий и кода. Модель распространяется в формате safetensors по лицензии Apache-2.0. Она рассчитана прежде всего на английский язык; сведений о поддержке других языков нет.

LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Final-GGUF — мультимодальная модель в формате GGUF, основанная на HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive. Модель разработана автором LuffyTheFox с применением метода Genesis — посттренировочной числовой коррекции тензоров без дополнительного обучения или тонкой настройки. В README также упоминается исходная разработка Qwen и Tongyi Lab Alibaba Group. Модель предназначена для диалоговых сценариев, генерации текста, задач программирования и работы с изображениями благодаря заявленной поддержке vision и pipeline image-text-to-text. Указана архитектура MoE с 35 млрд параметров и 3 млрд активных параметров, однако размер контекста в README не приведён. Заявлены английский, китайский и мультиязычный режимы работы. Доступны режимы с рассуждением и без него, а также рекомендации по настройкам генерации и запуску на GPU. К заявленным сильным сторонам относятся отсутствие отказов в указанном тесте из 465 запросов, повышенная стабильность, ясность контекста и следование инструкциям после коррекции тензоров. При этом модель позиционируется как uncensored, поэтому может не применять стандартные ограничения безопасности. Фактическое качество, устойчивость, требования к памяти и поддержка конкретных мультимодальных сценариев зависят от выбранной квантизации и среды запуска. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Brainwaves-WFH — экспериментальная слитая модель от независимой лаборатории NightmediaAI. Она объединяет Qwen3.8-27B-Brainwaves, Wichtel-Qwen3.6-27B и Qwen3.8-27B-Fable-Distill-Heretic-ara; каталог также указывает merge с этими моделями. Это плотная мультимодальная архитектура семейства Qwen3.5 с 27 млрд параметров по названию репозитория, предназначенная для диалогов и следования инструкциям, включая работу с изображениями. Карточка приводит результаты тестов рассуждений и производительности для нескольких форматов точности, но не описывает конкретный протокол тестирования. Модель ориентирована на широкие сценарии генерации текста: рассуждения, математику, STEM, программирование и творческое письмо, в том числе создание сюжетов и ролевые диалоги. Метаданные указывают поддержку английского, китайского, японского и испанского языков. Для работы доступны веса Safetensors и библиотека Transformers. Карточка не сообщает размер контекста, а теги одновременно упоминают 256k и 1M, поэтому длину контекста нельзя определить надёжно. Лицензия — Apache-2.0.

toffee-3b-beta-i1-GGUF — это набор квантизированных GGUF-версий языковой модели toffee-3b-beta, разработанной zait-ai и подготовленной квантизатором mradermacher. Модель предназначена для генерации текста, диалогов и выполнения инструкций, включая задачи программирования и математического рассуждения. Обучение проводилось с использованием наборов данных HuggingFaceH4/ultrachat_200k, nvidia/OpenMathInstruct-2 и m-a-p/CodeFeedback-Filtered-Instruction. Модель относится к семейству Mistral/Ministral и имеет размер около 3 миллиардов параметров. Заявлен английский язык; поддержка других языков, мультимодальность и размер контекстного окна в README не указаны. Репозиторий содержит варианты квантования от IQ1_S до Q6_K с размером файлов примерно от 1,2 до 3,3 ГБ. Более лёгкие варианты требуют меньше памяти, но могут заметно уступать по качеству; среди доступных вариантов Q4_K_M отмечен как быстрый и рекомендуемый, а Q4_K_S — как удачный компромисс размера, скорости и качества. Сильными сторонами модели являются компактный размер, возможность локального запуска в формате GGUF и специализация на чатах, инструкциях, математике и коде. Ограничения включают снижение качества при низких уровнях квантования и отсутствие в предоставленных данных подробных характеристик архитектуры, контекстного окна, производительности и результатов сравнительных тестов. Модель распространяется по лицензии MIT.

Это репозиторий трёх GGUF-квантований Xing4.0-29B-A4B, подготовленных автором vincespeed с помощью Apex-Quant для запуска через llama.cpp. В основе — XingChen-AGI/Xing4.0-29B-A4B, диалоговая модель архитектуры Xing4_0ForCausalLM: 29 млрд параметров всего, около 4 млрд активных на токен, с 40 слоями, включая блоки Mixture-of-Experts и Multi-Latent Attention. Доступны профили i-quality, i-balanced и i-compact с разным соотношением качества, размера и скорости; файлы занимают примерно 14–22 ГБ. Модель предназначена для генерации текста и диалогов. Её можно использовать для ответов на вопросы, написания текстов, рассуждений и программирования; исходная модель также рассчитана на длинный контекст и агентные задачи с инструментами. В README указана поддержка контекста до 65 536 токенов для приведённой оценки памяти KV-кэша. Репозиторий содержит только квантованные варианты и не сообщает отдельного языкового списка. При тестировании автор получил вывод, состоящий из пробелов, на CPU и при частичной выгрузке на GPU; возможны проблемы маршрутизации экспертов в некоторых конфигурациях, поэтому качество инференса следует проверять на целевом окружении. Черновая голова Multi-Token Prediction при обычном инференсе не исполняется, а спекулятивное декодирование зависит от движка. Лицензия — Apache 2.0.

bhenrym14 создал экспериментальную модификацию Airoboros 33B GPT-4 1.4.1 на архитектуре Llama. Это плотная авторегрессионная языковая модель примерно на 32,3 млрд параметров, дообученная с помощью QLoRA и RoPE scaling; веса опубликованы в формате safetensors. README описывает обучение на синтетическом наборе airoboros-gpt4-1.4.1 и расширение контекстного окна до 8192 токенов, однако метаданные указывают native context в 2048 токенов, поэтому фактическую поддержку длинного контекста следует считать экспериментальной. Модель предназначена для диалоговых ответов, следования инструкциям, ответов по предоставленному контексту, ролевых сценариев, загадок и задач на программирование. Обучающие данные включают примеры кода на десяти языках программирования; естественные языки в карточке явно не перечислены. Автор сообщает о хороших впечатлениях от отдельных экспериментов, но отмечает, что влияние на задачи вне оценки perplexity не установлено. README не сообщает лицензию.

CodeBarcenas-13b — языковая модель для генерации кода на Python, разработанная автором репозитория Danielbrdz. Она основана на WizardLM/WizardCoder-Python-13B-V1.0 и дообучена на наборе mlabonne/Evol-Instruct-Python-1k. Модель построена на плотной архитектуре Llama и содержит 12,9 млрд параметров; для запуска доступны веса PyTorch, контекст — до 16 384 токенов. Модель предназначена для генерации и продолжения кода Python, а также для ответов на инструкции и вопросы по этому языку программирования. Указана лицензия llama2. В README не приведены результаты оценки качества или подробные сведения об ограничениях; качество ответов может зависеть от формулировки запроса и обучающих данных.

Gaperon-1125-8B — двуязычная авторегрессионная языковая модель с 8 млрд параметров, разработанная командой ALMAnaCH в Inria Paris. Модель построена на архитектуре Llama 3 и обучена примерно на 4 трлн токенов с поэтапным смешиванием данных; финальная фаза включала около 20% данных в формате инструкций. Используется токенизатор Llama 3.1 BPE с размером словаря 128 256 токенов. Модель предназначена для генерации текста на французском и английском языках, работы с кодом и исследований двуязычного NLP, стратегий обучения и отбора данных. В обучающих данных преобладает английский язык (54–65% токенов), доля французского составляет 24–39%, кода — 8–14%. README указывает, что это основной выпуск проекта для общего использования в масштабе 8B, однако также характеризует его как исследовательскую модель и не рекомендует для производственных и критически важных применений. Для диалоговых задач авторы советуют SFT-вариант; качество на бенчмарках уступает моделям, специально оптимизированным под них или более крупным моделям. Лицензия в метаданных — BigScience OpenRAIL-M.

Mungert/gemma-3-27b-it-qat-q4_0-GGUF — экспериментальная GGUF-квантизация модели google/gemma-3-27b-it, разработанная сообществом Mungert на базе Gemma 3 от Google. Это instruction-tuned модель с поддержкой текста и изображений, предназначенная для локального запуска и решения задач генерации текста, программирования, анализа и работы с мультимодальным вводом. Точные сведения о языках и размере контекстного окна в README не указаны. Модель получена посредством повторной квантизации исходной QAT Q4_0-модели с использованием imatrix-файлов Google для последующего сжатия до более низкой точности. Формат GGUF ориентирован на запуск в совместимых инструментах, включая llama.cpp. Автор приводит предварительные сравнения perplexity и качественный тест генерации .NET-кода, где вариант на основе QAT показал преимущество над сопоставимой квантизацией из BF16, однако подчёркивает, что тестовый набор был небольшим, результаты нестабильны, а окончательные выводы делать нельзя. Сильной стороной является потенциально более высокое качество при низкой разрядности по сравнению с обычной квантизацией из BF16, а также возможность локального запуска с уменьшенными требованиями к памяти. Ограничения включают экспериментальный статус, отсутствие полноценной независимой оценки и возможные ошибки модели в сложных технических задачах; приведённый пример также показывает, что модель может неправильно интерпретировать детали TLS и постквантовой криптографии. Для использования на Hugging Face требуется принять лицензию Google Gemma; в README указана лицензия gemma.

GOOD-4x1b — языковая модель для генерации текста и диалогов, созданная Shaurya25 с помощью набора VortexMerge. Это MoE-модель семейства Mixtral, объединяющая экспертов на основе OEvortex/HelpingAI-unvelite, OEvortex/lite-hermes, OEvortex/HelpingAI-Lite и OEvortex/HelpingAI-Lite-1.5T. В конфигурации указаны базовая модель OEvortex/HelpingAI-Lite, тип данных float16 и маршрутизация cheap_embed; README связывает экспертов с ролями общего ассистента, помощника по коду и ассистента с менее ограниченным поведением. Модель предназначена для диалогового общения, ответов на запросы и генерации кода. Метаданные указывают 1 млрд параметров и контекст 2048 токенов. Репозиторий содержит веса safetensors, модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов оценки качества или подробных ограничений; короткий контекст ограничивает работу с длинными входными текстами.

Это GGUF-квантизированная версия модели DeepSeek-R1-Distill-Llama-70B-abliterated, разработанной huihui-ai и подготовленной к публикации пользователем bartowski. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. В основе лежит модель с архитектурой Llama и размером 70B параметров; в README также указано, что она относится к вариантам abliterated и uncensored. Доступны многочисленные уровни квантизации, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M, Q4_K_S, IQ4_XS и варианты Q3. Размер файлов составляет примерно от 30,91 до 74,98 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp версии b4585. Формат запроса использует специальные токены DeepSeek. Сильной стороной являются варианты с высокой точностью, особенно Q6_K и Q5_K_M, а Q4_K_M предлагает более экономичный компромисс между качеством и размером. Версии с меньшей битностью позволяют снизить требования к оперативной памяти, но обеспечивают более низкое качество. README не содержит сведений о поддерживаемых языках, размере контекста, фактической производительности и точных аппаратных требованиях. Лицензия в предоставленных данных не указана.

Kimi-K2-Base-BF16 — базовая языковая модель, опубликованная Unsloth на основе Kimi-K2-Base от Moonshot AI. Это модель семейства DeepSeek V3 с архитектурой Mixture-of-Experts: в исходной карточке указаны 1 трлн параметров всего и 32 млрд активируемых параметров; метаданные этого репозитория указывают 37,9 млрд параметров. Веса представлены в формате safetensors, библиотека — Transformers, контекст составляет 131 072 токена. Модель предназначена для генерации текста и служит основой для исследовательских и прикладных доработок, включая настройку под диалоги, рассуждения, программирование и агентные сценарии с вызовом инструментов. Карточка описывает возможности семейства Kimi K2, но отдельно отмечает, что Kimi-K2-Base — именно базовая модель; подробные рекомендации по чату и вызову инструментов относятся преимущественно к варианту Instruct. Карточка не сообщает поддерживаемые естественные языки и не приводит условий лицензии: в метаданных указано только значение «other».

Llama3.1-8B-ShiningValiant2-GGUF — это квантизированная GGUF-версия языковой модели Llama3.1-8B-ShiningValiant2, разработанной ValiantLabs и подготовленной к распространению пользователем bartowski. Модель предназначена для генерации текста, диалоговых и инструкционных сценариев, включая работу с научно-техническими темами: физикой, биологией, химией, информатикой и инженерией. Указан английский язык. Модель основана на архитектуре Llama и имеет около 8 млрд параметров. Она представлена в форматах от F16 до различных вариантов квантизации Q8, Q6, Q5, Q4, Q3 и IQ4, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Файлы подготовлены с использованием llama.cpp и imatrix; запуск рекомендуется через LM Studio. В README не указаны модальности, максимальный размер контекста и результаты сравнительных тестов, поэтому её преимущества можно уверенно связывать главным образом с выбором размера и уровня квантизации. Качество и потребление памяти зависят от выбранного варианта: F16 обеспечивает максимальное сохранение исходных характеристик, а квантизированные версии подходят для локального запуска на менее производительном оборудовании, но могут уступать по качеству. Некоторые варианты оптимизированы для ARM и требуют соответствующей аппаратной поддержки. Модель распространяется по лицензии llama3.1.

Neural-Chat-v1-1 — языковая чат-модель, дообученная Intel и командой NeuralChat на базе mosaicml/mpt-7b. Это плотная авторегрессионная модель MPTForCausalLM с 7 млрд параметров; максимальная длина последовательности — 2048 токенов. Модель предназначена для генерации текста и ответов на инструкции, а также может применяться для задач вроде генерации кода. Для дообучения использован набор Intel/neural-chat-dataset-v1-1, содержащий около 1,1 млн инструкционных примеров; метаданные также указывают набор allenai/real-toxicity-prompts. Карточка приводит результаты оценки на наборах задач языкового моделирования и проверку токсичности, но они не гарантируют качество в конкретном применении. Основной язык карточки — английский; в обучающих данных есть также примеры на китайском. Модель может выдавать фактически неверные ответы, а также предвзятый, оскорбительный или иной нежелательный текст. Перед внедрением требуется проверка безопасности и качества для целевого сценария. Репозиторий распространяется по лицензии Apache-2.0.

LuffyTheFox/Qwen3.6-27B-Uncensored-Genesis-MTP-GGUF — мультимодальная локальная модель семейства Qwen3.6, созданная LuffyTheFox на основе HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive. Автор применяет собственный метод Genesis для численной коррекции весов GGUF без дополнительного обучения или дообучения, стремясь уменьшить шум в тензорах и повысить стабильность генерации. Базовая модель связана с Tongyi Lab команды Alibaba Group, однако сведения о точном авторстве исходной архитектуры в README ограничены. Модель предназначена прежде всего для локального использования, включая программирование и работу в LM Studio с агентом Bionic. Она поддерживает текст, изображения и видео; для работы с изображениями требуется отдельный файл mmproj. Заявлены языки English, Chinese и многоязычная поддержка. Модель содержит 27 млрд плотных параметров, 64 слоя, 48 слоёв линейного внимания и 16 слоёв полноформатного gated attention. Нативный контекст составляет 262 тысячи токенов и может быть расширен примерно до 1 млн с помощью YaRN. К сильным сторонам относятся большой контекст, мультимодальность, ориентация на локальный запуск и заявленная автором коррекция деградации весов. При этом README не содержит независимых результатов тестирования, поэтому преимущества Genesis над исходной моделью нельзя считать подтверждёнными. Для запуска рекомендуется квантование Q3_K_M при наличии около 16 ГБ VRAM или Q4_K_M при 24 ГБ VRAM, максимальная выгрузка на GPU и F16 для K/V cache. Модель обозначена как uncensored, поэтому её поведение и защитные ограничения могут отличаться от стандартных версий Qwen. Указана лицензия Apache-2.0.