II.3Рефакторинг, миграция и модернизация

TokenRhythm/NeoHorse-1-4B-MLX — версия модели NeoHorse-1-4B для локального запуска на компьютерах Apple Silicon. Это плотная языковая модель на архитектуре Qwen3.5 с 3,4 млрд параметров, представленная в формате BF16 и адаптированная для среды MLX-LM. Модель создана TokenRhythm; исходные веса преобразованы из BF16 с изменением имён и расположения тензоров и представления нормализации, без квантизации. Модель предназначена для диалога, следования инструкциям, программирования, рассуждений и агентных сценариев с вызовом инструментов. Для запуска требуется MLX-LM; карточка описывает OpenAI-совместимый API и обработку вызовов инструментов через шаблон чата. Указанное в README среднее по десяти бенчмаркам относится к исходной NeoHorse-1-4B, а не к отдельной оценке MLX-версии. Лицензия — Apache-2.0.

Open-Instruct Human-mix 7B — языковая модель семейства LLaMA, дообученная командой Allen Institute for AI на смеси созданных людьми инструкционных данных: FLAN V2, CoT, Dolly и OpenAssistant 1. Это плотная авторегрессионная модель примерно с 6,6 млрд параметров; для неё указаны библиотека Transformers и контекст до 2048 токенов. Модель предназначена для генерации текста по инструкциям: ответов на вопросы, выполнения текстовых заданий, рассуждений и генерации кода. Она обучена преимущественно на англоязычных данных, а карточка приводит результаты по нескольким академическим и прикладным бенчмаркам. Для лучшего качества следует соблюдать формат входного запроса, описанный в карточке. Репозиторий содержит diff весов, поэтому для использования нужна исходная модель LLaMA в формате Hugging Face. Указаны лицензия AI model license и исходная лицензия LLaMA; перед применением необходимо учитывать условия обеих лицензий. Модель не описана как мультимодальная и имеет ограниченное контекстное окно.

Pythia 6.9B Tulu — языковая модель Allen Institute for AI, дообученная на смеси наборов инструкций FLAN V2, CoT, Dolly, OpenAssistant 1, GPT4-Alpaca, Code-Alpaca и ShareGPT. Это плотная авторегрессионная модель GPT-NeoX с 8,8 млрд параметров в метаданных и контекстом до 2048 токенов. Модель предназначена для генерации ответов на инструкции, диалоговых запросов, рассуждений и кода. В карточке приведены результаты на наборах тестов для общих знаний, математики, вопросов и ответов и генерации кода; авторы отмечают, что результат зависит от соблюдения обучающего формата с переводом строки после маркера сообщения. Модель поддерживает английский язык. Она распространяется в формате PyTorch и является полным набором весов, а не diff. Условия использования определяются лицензией модели из LICENSE.txt и исходной лицензией Pythia из pythia_license.txt; их конкретные положения в предоставленных данных не приведены.

Dans-PersonalityEngine-V1.3.0-24b-GGUF — квантизированная версия модели Dans-PersonalityEngine V1.3.0 с 24 млрд параметров, опубликованная PocketDoc и подготовленная bartowski в формате GGUF для llama.cpp. Модель предназначена для генерации текста общего назначения, ролевого общения, написания и продолжения историй, совместного творчества, выполнения инструкций, рассуждений, математических и научно-технических задач, программирования, работы с инструментами и агентскими сценариями. В датасетах обучения также представлены материалы по химии, биологии, климату, праву, медицине и финансам. Модель поддерживает английский, арабский, немецкий, французский, испанский, хинди, португальский, японский и корейский языки. Архитектура исходной модели в README не указана; доступна в нескольких вариантах точности и квантизации, включая BF16, Q8_0, Q6_K_L, Q6_K, Q5_K и Q4. Варианты Q6_K_L, Q6_K, Q5_K_L, Q5_K_M и Q5_K_S отмечены как рекомендуемые благодаря высокому качеству. Размеры файлов составляют примерно от 14,87 до 47,15 ГБ в зависимости от варианта. Сильными сторонами являются широкий набор обучающих сценариев, поддержка многоязычной генерации, возможности ролевого общения и написания текстов, а также совместимость с llama.cpp и LM Studio. Ограничения включают значительные требования к дисковому пространству и памяти, зависящие от выбранной квантизации; длина контекста, мультимодальность и точные характеристики архитектуры в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-122B-A10B-Uncensored-HauhauCS-Aggressive — GGUF-квантизированная версия базовой модели Qwen/Qwen3.5-122B-A10B, опубликованная HauhauCS под идентификатором botp. Это мультимодальная MoE-модель для генерации и анализа текста, изображений и видео, включая диалоговые, аналитические, творческие и программные сценарии. Вариант Aggressive отличается минимизированными отказами и существенно ослабленными защитными ограничениями, поэтому требует особенно осторожного применения. Модель содержит 122 млрд параметров, из которых около 10 млрд активируются на каждом проходе. Архитектура включает 256 экспертов, 8 маршрутизируемых и 1 общего эксперта на токен, 48 слоёв с гибридным сочетанием линейного внимания Gated DeltaNet и полного softmax-внимания в соотношении 3:1. Заявлены контекст до 262 тысяч токенов, словарь размером 248 тысяч токенов и поддержка 201 языка. Для работы с изображениями требуется отдельный файл mmproj; модель совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-совместимыми средами. Доступны варианты квантизации от IQ2_M до Q8_K_P размером примерно от 40 до 145 ГБ, однако README не приводит независимых оценок качества, производительности или фактического покрытия языков. Распространяется по лицензии Apache-2.0.

Svenuks/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная версия Qwen3.6-35B-A3B, подготовленная HauhauCS. Это модель типа Mixture of Experts с 35 млрд параметров, из которых около 3 млрд активируются при каждом проходе; используется 256 экспертов, из них 8 выбираются для каждого токена. Архитектура включает 40 слоёв и сочетает линейное внимание с полным softmax-вниманием в соотношении 3:1. Модель поддерживает текст, изображения и видео, языки English, 中文 и другие языки, заявленные как multilingual, а её нативный контекст составляет 262K токенов. Модель предназначена для диалогов, генерации и анализа текста, рассуждений, программирования, а также мультимодальных сценариев с обработкой изображений и видео. Вариант Aggressive отличается усиленным снятием встроенных отказов: согласно README, он генерирует ответы без отказов, хотя иногда может добавлять короткие дисклеймеры. Для работы с изображениями требуется отдельный файл mmproj, а для llama.cpp рекомендуется использовать флаг --jinja и контекст не менее 128K токенов для сохранения возможностей рассуждения. Модель распространяется в формате GGUF с вариантами квантования от IQ2_M и Q2_K_P до Q8_K_P; доступны файлы размером примерно от 11 до 44 ГБ. Квантования K_P оптимизированы с использованием importance matrix и анализа конкретной модели, что должно улучшать сохранение качества при умеренном увеличении размера файла. README не приводит результатов независимых тестов, поэтому фактическое качество и производительность зависят от квантования и оборудования. Отсутствие отказов может быть преимуществом для исследовательских и творческих задач, но одновременно означает ослабление защитных ограничений и повышенные риски небезопасного использования. Указанная лицензия — Apache 2.0.

Qwen3.8-27B-Ridge-GGUF — квантизированная GGUF-версия официальной модели Qwen3.8-27B, разработанная Empero. Модель предназначена для локального запуска в llama.cpp, Ollama, LM Studio, jan, KoboldCpp и других совместимых средах, включая задачи генерации текста, рассуждений и работы с изображениями. Модель использует гибридную архитектуру из 64 слоёв: на каждые три слоя Gated-DeltaNet приходится один слой полноценного внимания, а также сохраняет встроенную MTP-голову для ускорения генерации. Основной файл имеет квантизацию Ridge с эффективностью 3,69 бит на параметр и размером 11,73 GiB. Поддерживаются английский и китайский языки. Для обработки изображений требуется отдельный BF16-файл mmproj размером около 0,87 GiB. Заявлены нативное контекстное окно 262 тысячи токенов и расширение YaRN до 1 миллиона токенов, однако такие режимы существенно увеличивают требования к памяти. Сильная сторона сборки — специальное распределение точности, учитывающее чувствительность состояния Gated-DeltaNet: соответствующий путь хранится в Q8_0, а микшеры — в Q4_K. По измерениям из карточки, perplexity на Wiki-подобном наборе составляет 7,82 против 7,15 у BF16-версии. Ограничения связаны с потерями качества квантизации, большими затратами памяти при длинном контексте и необходимостью отдельного vision-проектора для изображений. Лицензия — Apache-2.0.

SmolLM3-3B-trellis-3inst-4bpw-kernel — это квантованная версия языковой модели SmolLM3-3B, разработанной HuggingFaceTB. Модель предназначена для генерации текста, диалоговых приложений, локального инференса и интеграции с vLLM или Transformers, включая использование в coding agents через OpenAI-совместимый API. Поддерживаются английский, французский, испанский, итальянский, португальский, китайский, арабский и русский языки. Модель работает в текстовой модальности; базовая архитектура и точный размер контекста в README не раскрыты, однако в примере конфигурации указано ограничение контекста 4096 токенов. Веса сжаты до 4,0 бит на параметр методом GLQ: используются trellis-coded quantization QTIP TCQ в варианте 3inst, randomized Hadamard transform и LDLQ. Сжатые веса хранятся в памяти и декодируются на лету объединённым CUDA-ядром, что снижает требования к VRAM. Указаны средний SQNR весов 22,06 дБ и близкая к базовой perplexity на WikiText-2: 9,23 против 9,12 у bf16-версии. Для экономии памяти под длинный контекст доступна E8-квантизация KV-кэша, уменьшающая его размер примерно в четыре раза при 4-битном режиме. Ограничения включают необходимость CUDA-совместимой среды и glq версии не ниже 0.7.0; приведённые результаты AIME являются единичными оценками с заметной погрешностью. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/Trinity-Mini-GGUF — набор файлов модели Trinity-Mini в формате GGUF, подготовленный MaziyarPanahi на основе оригинальной модели arcee-ai. Модель разработана Arcee AI и предназначена для генерации текста, рассуждений, а также прикладных сценариев, включая работу с математикой и кодом. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые приложения и библиотеки. Trinity-Mini — разреженная Mixture-of-Experts модель архитектуры AfmoeForCausalLM с 26 млрд общих параметров и 3 млрд активных параметров. Она содержит 128 экспертов, из которых одновременно используются 8, а также одного общего эксперта. Контекстное окно составляет 128 тысяч токенов. Модель обучалась на 10 трлн токенов, включая дополнительные данные по математике и программированию. В репозитории доступны варианты квантования с разной разрядностью — от 2 до 8 бит. К сильным сторонам относятся большое контекстное окно, эффективная MoE-архитектура и возможность локального запуска с выбором уровня квантования. README не содержит сведений о поддерживаемых языках, результатах конкретных бенчмарков и ограничениях качества, поэтому эти характеристики нельзя оценить точнее. Для работы требуются совместимые версии llama.cpp или других клиентов, поддерживающих GGUF. Модель распространяется по лицензии Apache 2.0.

Bagel 34B v0.4 — это дообученная jondurbin модель на базе 01-ai/yi-34b-200k, разработанная с использованием вычислительных ресурсов Convai Technologies. Это плотная причинно-авторегрессионная модель семейства Llama с 33,9 млрд параметров и контекстом до 200 000 токенов. Она предназначена для генерации текста в диалогах и по инструкциям. Модель обучалась на разнообразных наборах данных для диалогов, ответов на вопросы, рассуждений, математики, программирования, суммаризации и ролевого общения. В карточке также перечислены данные для вызова функций и offensive cybersecurity, а README указывает на несколько вариантов формата запросов: Vicuna, Llama 2, Alpaca и ChatML; по умолчанию используется шаблон Llama 2. Метаданные отмечают поддержку чата, но отдельная возможность вызова инструментов не подтверждена. Модель принимает текст и генерирует текст. Данные карточки указывают на многоязычные обучающие материалы, включая набор Belebele, однако конкретный перечень поддерживаемых языков не задан. Лицензия обозначена как other, поэтому условия использования следует уточнить на странице модели. Обучение на разных форматах и источниках может давать неоднородное качество; ответы могут быть ошибочными, а специализированные навыки не гарантированы.

CerebrumDolphin-2.0-Mistral-7B-v0.2 — языковая модель на архитектуре Mistral, созданная объединением моделей cognitivecomputations/dolphin-2.8-mistral-7b-v02 и Locutusque/OpenCerebrum-2.0-7B методом SLERP с помощью mergekit. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов. В описании базовой модели упоминаются программирование, математика и естественно-научные вопросы; карточка этой модели не приводит отдельных результатов оценки качества. Доступны веса в формате safetensors для Transformers. Лицензия в предоставленных данных не указана.

DeepSeek-R1-Distill-Qwen-14B-GGUF — квантизированная GGUF-версия модели DeepSeek-R1-Distill-Qwen-14B, разработанной deepseek-ai и подготовленной компанией Second State Inc. Модель предназначена для текстового диалога и генерации ответов, а также может использоваться в локальных приложениях и сервисах на базе LlamaEdge. Для взаимодействия применяется шаблон запросов ChatML. Модель содержит 14 млрд параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации Q2_K–Q8_0 и f16 размером примерно от 5,77 до 29,5 ГБ. Варианты с меньшим числом бит требуют меньше памяти, но могут заметно терять в качестве; README рекомендует Q4_K_M как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с небольшими потерями качества. Модель рассчитана на работу через llama.cpp и LlamaEdge, включая запуск как локального чат-приложения или API-сервиса. Сильными сторонами являются большой контекст, возможность локального развертывания и широкий выбор компромиссов между размером, требованиями к ресурсам и качеством. Ограничения связаны с потерями качества при низкой квантизации и значительными требованиями к памяти для крупных вариантов. Сведения о поддерживаемых языках, точной архитектуре, назначении обучения и лицензии в README не указаны.

G9v3-3B — плотная причинная языковая модель команды AI9Stars на архитектуре LlamaForCausalLM с примерно 2,7 млрд параметров. Она предназначена для локального запуска и сценариев с ограниченными ресурсами; поддерживает контекст длиной до 131 072 токенов. Модель рассчитана на повседневные задачи ассистента, программирование, работу с инструментами и рассуждения. В README описаны режимы генерации с включённым и отключённым режимом обдумывания; метаданные указывают поддержку чата и английского и китайского языков. Для запуска подходят Transformers, vLLM и SGLang. Модель может выдавать неточные, предвзятые или небезопасные ответы, поэтому результаты следует проверять, особенно перед использованием в важных решениях. Лицензия — Apache-2.0.

Gemma 4 12B MXFP4 CRACK — мультимодальная модель на базе Google Gemma 4 12B Instruct, опубликованная dealignai. Это дообученная и квантизированная 4-битная версия с архитектурой Gemma4 Unified и гибридным скользящим и глобальным вниманием; автор заявляет поддержку изображений и аудио, многоязычность, рассуждения и генерацию кода. Модель предназначена для диалогов, ответов на вопросы, анализа изображений и аудио, многошаговых рассуждений и генерации кода; интерфейс также поддерживает вызов инструментов. README сообщает об удалении отказов и высокой готовности отвечать на запросы из вредоносных категорий HarmBench, при заявленном сохранении результата MMLU базовой модели. Эти показатели приведены автором и не являются независимой проверкой. Для запуска автор рекомендует vMLX с поддержкой Gemma 4 на Mac с Apple Silicon; стандартные mlx_lm и mlx_vlm, согласно README, поддерживают модель не полностью. Лицензия указана как Gemma; автор позиционирует публикацию как исследовательскую и возлагает на пользователей ответственность за соблюдение законов.

Карточка модели PS4Research/Hk6vAazgWreoKsXr на Hugging Face совпадает с карточкой PS4Research/0VOz3fgU0qp4lVar, поэтому описание составлено по ней. PS4Research/0VOz3fgU0qp4lVar — дообученная модель генерации текста на архитектуре Olmo 3, созданная PS4Research на основе allenai/Olmo-3.1-32B-Think. В карточке указано, что для обучения использовались Unsloth и библиотека TRL от Hugging Face; модель содержит 31,7 млрд параметров и поддерживает контекст до 65 536 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; интерфейс поддерживает вызов инструментов. Базовая модель ориентирована на английский язык и задачи рассуждений, в том числе математику и программирование. Сведений о специальных улучшениях, полученных при дообучении, в карточке нет. Лицензия — Apache-2.0.

Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP — квантизированная версия модели Huihui-Qwen3.6-27B-abliterated, опубликованная пользователем или организацией sakamakismile и основанная на семействе Qwen3.5. Это гибридная модель с чередованием linear attention и периодических блоков full attention, дополненная встроенной MTP-головой для speculative decoding. Модель предназначена для генерации текста, рассуждений и вызова инструментов; заявлена также мультимодальная совместимость с визуальными и видеотокенами, но данный вариант ориентирован на текстовый режим. Модель использует формат NVFP4 с конфигурацией modelopt W4A4 и имеет размер 27B параметров. Поддерживается контекст до 262144 токенов, при этом в рекомендуемой конфигурации используется 65536 токенов. Предусмотрен вывод рассуждений в тегах <think> и XML-вызовы инструментов. Для ускорения генерации применяется MTP с тремя спекулятивными токенами; в приведённых тестах на четырёх NVIDIA RTX PRO 2000 Blackwell заявлены скорости около 81–83 токенов в секунду для одного потока и до примерно 880 токенов в секунду при 24 одновременных запросах. К сильным сторонам относятся поддержка длинного контекста, экономичное KV-кэширование, ускоренная генерация и интеграция с vLLM. Основные ограничения — необходимость четырёх GPU NVIDIA Blackwell по 16 ГБ, совместимого ПО и CUDA 13.x для оптимальных NVFP4-ядер, а также возможные риски, связанные с характером abliterated-модели и отсутствием заявленных ограничений безопасности. Лицензия — Apache-2.0.

L3.1-Moe-4x8B-v0.2 — языковая модель архитектуры Mixture of Experts, созданная автором moeru-ai с помощью mergekit-moe. Она объединяет четыре модели на базе Llama 3.1: Llama-3.1-SuperNova-8B-Lite_TIES_with_Base, Llama-3.1-8B-ArliAI-RPMax-v1.2, rombos_Replete-Coder-Instruct-8b-Merged и Llama-3.1-8B-Squareroot-v0. В каталоге указано 7,5 млрд параметров и контекст до 131 072 токенов; модель предназначена для генерации текста в диалоговом формате, включая ответы на инструкции и генерацию кода. Модель распространяется в формате safetensors и использует библиотеку Transformers. В README приведены результаты оценивания на Open LLM Leaderboard, включая среднее значение 17,47 и результат 54,07 на IFEval (0-shot). Лицензия — Llama 3.1; перед использованием следует соблюдать её условия. Карточка не описывает детально языковое покрытие и ограничения качества.

TheBloke/Llama-2-70B-GGUF — это квантованные файлы большой языковой модели Llama 2 70B, разработанной Meta. Модель предназначена для генерации текста и может использоваться в локальных сценариях: чат-ботах, ассистентах, написании и преобразовании текста, а также других задачах, поддерживаемых text-generation. Указан английский язык; сведения о мультимодальности отсутствуют, поэтому модель следует считать текстовой. Модель основана на Llama 2 70B и распространяется в формате GGUF, разработанном командой llama.cpp. Формат поддерживает метаданные, специальные токены и улучшенную токенизацию. Репозиторий подготовлен TheBloke и содержит варианты квантования от 2 до 8 бит для инференса с использованием CPU и GPU; доступны методы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K с различным компромиссом между размером, скоростью и сохранением качества. Модель совместима с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, ctransformers и llama-cpp-python. К сильным сторонам относятся возможность локального запуска, поддержка CPU и GPU, широкий выбор уровней квантования и совместимость с популярными инструментами. Ограничениями являются очень большой размер исходной модели, потенциальное снижение качества при агрессивном квантовании и отсутствие в предоставленных данных сведений о размере контекста, производительности, точных требованиях к памяти и специализированном дообучении. Лицензия указана как llama2; условия её применения следует проверять в документации Meta.

unsloth/Meta-Llama-3.1-70B-Instruct — квантованная версия Meta-Llama-3.1-70B-Instruct, разработанная на основе модели Meta компанией Unsloth. Модель предназначена для диалоговых приложений, генерации и продолжения текста, а также дообучения на собственных наборах данных с использованием инструментов Unsloth. Она ориентирована прежде всего на англоязычные сценарии. Модель относится к семейству Llama 3.1, имеет размер 70B параметров и поддерживается библиотекой Transformers. README не содержит подробностей об архитектуре, модальностях и размере контекстного окна; по представленным данным модель является текстовой. Unsloth позиционирует свои инструменты как позволяющие ускорять дообучение и снижать потребление памяти, а также экспортировать результат в GGUF и использовать его через vLLM, однако эти характеристики относятся к процессу дообучения и экосистеме Unsloth, а не обязательно к самой модели. К сильным сторонам относятся большой размер модели и возможность адаптации под пользовательские данные. Ограничения включают отсутствие заявленной поддержки других языков и модальностей, а также отсутствие в README подробных оценок качества, требований к оборудованию и характеристик инференса. Модель распространяется по лицензии llama3.1; конкретные условия этой лицензии следует учитывать перед использованием.

Minotaur 13B Fixed — инструктивно дообученная языковая модель OpenAccess AI Collective на базе LLaMA-13B. Версия Fixed исправляет ошибку первого выпуска, из-за которой часть обучающих наборов не попала в обучение. Модель содержит 12,9 млрд параметров, использует плотную архитектуру LLaMA и принимает текстовые запросы; указанное окно контекста — 2048 токенов. Модель рассчитана на диалог в формате USER:/ASSISTANT: и генерирует текстовые ответы. Модель предназначена для следования инструкциям, ответов на вопросы, объяснений и задач по математике и естественным наукам, краткого пересказа, ролевого диалога, сочинения текстов и кода. Для дообучения использовались открытые наборы данных, включая WizardLM, Alpaca-CoT, GPTeacher и наборы по математике, физике, химии и биологии. Лицензия — Apache-2.0. Модель не проходила выравнивание с человеческими предпочтениями методами вроде RLHF и может выдавать проблемные ответы, особенно при соответствующих запросах. Это дообученная модель, поэтому применимы также ограничения базовой LLaMA-13B.

Mistral-7B-Instruct-v0.3-4bit — это 4-битная квантованная версия инструкционной языковой модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI. Модель была конвертирована сообществом mlx-community в формат MLX с использованием mlx-lm версии 0.14.3. Модель предназначена для генерации текста и выполнения пользовательских инструкций в сценариях, поддерживаемых исходной инструкционной моделью. Она рассчитана на запуск через библиотеку mlx-lm и формат MLX, что делает её ориентированной на совместимые устройства и программное окружение Apple MLX. Размер модели — 7 миллиардов параметров, используется 4-битное представление весов. К преимуществам относятся компактность по сравнению с полноформатной версией и возможность локального запуска в MLX-окружении. Ограничения включают возможную потерю качества из-за 4-битной квантования, зависимость от mlx-lm и совместимого оборудования, а также отсутствие в предоставленных данных сведений о поддерживаемых языках, размере контекста, конкретных модальностях и результатах тестирования. Модель распространяется по лицензии Apache-2.0.

NeuralHermes 2.5 - Mistral 7B — это диалоговая модель для генерации текста и следования инструкциям, разработанная Mlabonne на основе teknium/OpenHermes-2.5-Mistral-7B. Модель дополнительно обучена методом Direct Preference Optimization (DPO) на наборе диалогов mlabonne/chatml_dpo_pairs с шаблоном ChatML; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель подходит для диалоговых приложений, ответов на инструкции, генерации текста и помощи с кодом. В README сообщается об улучшении результатов на нескольких бенчмарках относительно исходной модели, однако приведённые данные не гарантируют качество для конкретных задач. Доступна лицензия Apache-2.0; запуск возможен через LM Studio и другие интерфейсы.

NVIDIA-Nemotron-Nano-9B-v2-Base — базовая большая языковая модель NVIDIA для продолжения заданного текста. Она обучена с нуля на корпусе примерно из 20 триллионов токенов, а затем подвергнута прореживанию и дистилляции из NVIDIA-Nemotron-Nano-12B-v2-Base на примерно 480 миллиардах токенов. Архитектура Nemotron-Hybrid сочетает преимущественно слои Mamba-2 и MLP с четырьмя слоями внимания; размер модели — 8,89 млрд параметров. Модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и рассчитана на разработчиков и исследователей, создающих языковые модели и приложения на их основе. Она обучалась на английском и 15 других естественных языках, а также на данных для 43 языков программирования; в корпус входят веб-страницы, диалоги, статьи и материалы по математике, науке, финансам и праву. NVIDIA указывает готовность к коммерческому использованию; лицензия в карточке обозначена как other, поэтому перед использованием следует проверить её условия. Модель оптимизирована для ускорения на GPU NVIDIA, а для конкретного сценария требуется отдельная проверка качества и безопасности.

OpenHermes-2.5-Mistral-7B-x2 — объединённая модель на архитектуре Mistral, созданная IsakNordgren с помощью LazyMergekit на основе teknium/OpenHermes-2.5-Mistral-7B. В README указан метод слияния dare_ties с параметрами density 0,53 и weight 0,6; каталог характеризует базовую модель как дообученную на инструкциях и диалогах. Модель содержит 7,1 млрд параметров, использует формат safetensors и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового общения; её можно применять для ответов на вопросы, составления текстов и помощи с кодом. Данные карточки не описывают отдельные языки, поэтому нельзя определить, на каких языках она рассчитана в первую очередь. Условия лицензии в предоставленных данных не приведены.

Карточка модели antoniogalizia/Phi-3-mini-4k-instruct на Hugging Face совпадает с карточкой microsoft/Phi-3-mini-4k-instruct, поэтому описание составлено по ней. Phi-3-Mini-4K-Instruct — компактная плотная языковая модель Microsoft семейства Phi-3 с 3,7 млрд параметров. Она обучена на синтетических данных и отфильтрованных общедоступных веб-источниках, а затем дообучена методом supervised fine-tuning и оптимизирована по предпочтениям (DPO) для следования инструкциям и повышения безопасности. Для диалогов рекомендуется использовать формат чата. Модель предназначена для генерации текста общего назначения, диалоговых систем, задач рассуждения, математики и программирования. Компактный размер рассчитан на сценарии с ограниченными вычислительными ресурсами и требованиями к задержке; длина контекста составляет 4096 токенов. Модель ориентирована прежде всего на английский язык, также в карточке указана поддержка французского. Модель может ошибаться, выдавать предвзятые или оскорбительные ответы; качество на языках, отличных от английского, может быть ниже. Для критичных сценариев требуется отдельная проверка качества и безопасности. Лицензия — MIT.

bartowski/Phi-3-mini-4k-instruct-GGUF — набор GGUF-квантизированных версий Phi-3-mini-4k-instruct, исходно разработанной Microsoft. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи обработки естественного языка и программирования. В README указана поддержка английского языка и контекстное окно на 4K токенов; модальность — текстовая. Ключевая особенность репозитория — квантизация с использованием llama.cpp и метода imatrix. Доступны варианты от Q8_0 до очень компактных IQ1_S, что позволяет выбирать между качеством и требованиями к памяти. Наиболее высокое качество дают Q8_0 и Q6_K, а Q4- и Q3-варианты ориентированы на более экономичное локальное использование; варианты с низкой разрядностью заметно уступают по качеству, хотя некоторые из них остаются пригодными для практических задач. Модель удобна для локального запуска через совместимую инфраструктуру llama.cpp, однако конкретные требования к памяти и производительность зависят от выбранного варианта квантизации. README не содержит подробностей об архитектуре и точном числе параметров исходной модели. Распространение указано по лицензии MIT.

Qwen1.5-110B-Chat-GGUF — квантизированная GGUF-версия диалоговой языковой модели Qwen1.5-110B-Chat, разработанной командой Qwen. Квантизацию выполнила Second State Inc. Модель предназначена для генерации текста и ведения диалогов, включая использование в чат-приложениях и локальных сервисах инференса через LlamaEdge. Модель содержит 110 млрд параметров, работает с текстовой модальностью и ориентирована на английский язык. Для взаимодействия используется шаблон ChatML, заявленный размер контекста — 32 000 токенов. Доступны варианты квантизации Q2_K, Q3_K, Q4_0, Q4_K_M, Q4_K_S, Q5_0 и Q5_K_M с разными компромиссами между размером, требованиями к ресурсам и качеством. В README рекомендуются варианты Q4_K_M и Q5_K_M; более низкие уровни квантизации обеспечивают меньший размер, но могут приводить к существенной потере качества. К сильным сторонам относятся большой размер исходной модели, диалоговая специализация, поддержка длинного контекста и возможность запуска в формате GGUF с LlamaEdge. Ограничениями являются значительные требования к памяти даже у квантизированных вариантов, а также ухудшение качества при сильной квантизации. Модель распространяется по лицензии Tongyi Qianwen; точные условия определяются текстом лицензии, указанным в репозитории исходной модели.

TheCluster выпустил MLX-версию Qwen3.5-4B Heretic — мультимодальную диалоговую модель на 4 млрд параметров, доработанную из coder3101/Qwen3.5-4B-heretic. Модель принимает текст и изображения и генерирует текст; поддерживает диалог и режим рассуждений, который по умолчанию отключён. Файлы представлены в формате safetensors с точностью bfloat16 и предназначены для запуска в среде MLX. Версия Heretic создана с помощью Heretic v1.2.0 методом подавления отказов: в приведённой авторами проверке модель отказала в 4 случаях из 100, тогда как исходная Qwen3.5-4B — в 94. Это делает её менее склонной отказываться от запросов, но не гарантирует точность или безопасность ответов. Карточка предлагает разные параметры генерации для общих задач, рассуждений и программирования; повышенный штраф за присутствие может вызывать смешение языков и немного снижать качество. Лицензия — Apache-2.0.

Qwen3.5-9B-Claude-4.6-HighIQ-THINKING-HERETIC-UNCENSORED-FP8-vLLM — это FP8-квантизированная версия модели DavidAU/Qwen3.5-9B-Claude-4.6-HighIQ-THINKING-HERETIC-UNCENSORED, созданная kanocz для инференса в vLLM. Модель основана на архитектуре Qwen3.5 и представляет собой результат последовательной дообученной линейки с базой Qwen/Qwen3.5-9B, uncensored fine-tune и дистилляцией рассуждений в стиле Claude 4.6. Формат распространения — Apache 2.0. Модель предназначена для генерации текста, задач с рассуждениями и поддерживает режим thinking с парсером qwen3, вызов инструментов и мультимодальную работу с изображениями. Заявлена поддержка контекста до 262 144 токенов. README не указывает перечень поддерживаемых языков, поэтому языковые возможности отдельно не уточняются. Используется блочная динамическая квантизация FP8 E4M3 с размером блока 128×128; квантизировано 200 слоёв, а 560 компонентов, включая embeddings, norms, vision encoder, lm_head и специфичные для DeltaNet слои, сохранены в исходной точности. Размер весов составляет около 11,3 ГБ против примерно 19 ГБ в BF16. На RTX 3090 заявлена работа через Marlin kernel, а на Ada/Hopper — с native FP8; совместимость с vLLM протестирована. FP8 KV cache позволяет дополнительно экономить память. Ограничения включают зависимость от vLLM для проверенного сценария, отсутствие поддержки llama.cpp и отсутствие валидации в SGLang; для полной конфигурации на RTX 3090 требуется около 22,5 ГБ из 24 ГБ видеопамяти.

Jackrong/Qwen3.5-9B-GLM5.1-Distill-v1 — экспериментальная модель на 9 млрд параметров, разработанная Jackrong на базе Qwen3.5-9B. Она обучена методом supervised fine-tuning с дистилляцией рассуждений из GLM-5.1, с использованием Unsloth и LoRA. В карточке также указан pipeline image-text-to-text, однако подробности о поддержке изображений не приведены. Модель предназначена для диалогов, следования инструкциям, многошагового рассуждения, математики, STEM-задач, программирования и исследовательских сценариев. Обучающие данные включают очищенные и отфильтрованные наборы с рассуждениями GLM-5.1 и Qwen3.5. Заявлены поддержка английского, китайского, японского и испанского языков, а также улучшенная декомпозиция задач, структурированность ответов и стабильность следования инструкциям. Ожидаемые преимущества модели — более последовательное решение сложных задач, организованная подача результатов и лучшее использование знаний базовой модели. При этом автор подчёркивает, что улучшения для модели такого размера, вероятно, будут постепенными, а не радикальными; подтверждённые количественные результаты и ограничения производительности в README не описаны. Модель распространяется по лицензии Apache-2.0 и ориентирована на локальный inference в формате GGUF, в том числе через llama.cpp. Размер контекста в карточке не указан.