II.3Рефакторинг, миграция и модернизация

Luminea-Dare — объединённая диалоговая языковая модель от Arkhiveus, созданная методом DARE TIES с помощью mergekit. В качестве основы использована Arkhiveus/L3.1-70B-Luminea; при объединении также использованы NeverSleep/Lumimaid-v0.2-70B и nvidia/Llama-3.1-Nemotron-70B-Instruct-HF. Модель предназначена для генерации текста в диалоге и ответов на инструкции. По описанию автора, она сохраняет формат ответов Nemotron и стиль письма Lumimaid. Это плотная Llama-архитектура класса LlamaForCausalLM с 69,5 млрд параметров, контекстом до 131 072 токенов и весами в формате safetensors для Transformers. В метаданных лицензия не приведена.

Карточка модели yentinglin/Llama-3.1-Taiwan-8B на Hugging Face совпадает с карточкой yentinglin/Llama-3.1-Taiwan-8B-Instruct, поэтому описание составлено по ней. yentinglin/Llama-3.1-Taiwan-8B-Instruct — чат-модель на базе архитектуры Llama, разработанная yentinglin. Она предназначена для генерации текста в диалогах и других сценариях, где требуется следовать инструкциям. Модель содержит 7,5 млрд параметров, использует библиотеку Transformers и формат Safetensors; заявленная длина контекста — 131 072 токена. В метаданных также отмечен интерфейс вызова инструментов. Карточка предупреждает, что ответы нужно самостоятельно проверять на точность и пригодность. Модель не предназначена для медицинской диагностики, юридических консультаций и финансовых решений. В предоставленных материалах условия лицензии не описаны.

shb777/Llama-3.3-8B-Instruct-128K — доработанная версия Llama 3.3 8B Instruct, созданная на основе allura-forge/Llama-3.3-8B-Instruct. Это плотная авторегрессионная языковая модель с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. В карточке указано, что для версии включена полная длина контекста — 131 072 токена; также добавлены настройки rope_scaling, шаблон чата Unsloth в конфигурации токенизатора и обновлена конфигурация генерации. Модель можно использовать для ответов в чате, продолжения текста и других сценариев генерации. Метаданные отмечают интерфейс для вызова инструментов, но README не описывает его поведение или качество. Модель опубликована в формате safetensors и распространяется по лицензии llama3.3. README также ссылается на GGUF-варианты, однако этот репозиторий описан как safetensors-модель.

Meta Llama 3.1 8B Instruct GGUF — это квантизированная версия инструкционной языковой модели Meta Llama 3.1 с примерно 8 миллиардами параметров. Исходную модель разработала Meta, а данный вариант подготовлен для библиотеки GGUF и распространяется quantizer’ом brooketh; он предназначен для локального использования в приложениях на базе llama.cpp, включая Backyard AI. Модель ориентирована на генерацию текста и диалоговые сценарии, в которых требуется следовать инструкциям. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленный контекст составляет до 131 072 токенов. Формат GGUF позволяет распределять вычисления между CPU и GPU и запускать модель на более широком спектре оборудования, однако квантизация снижает требования к ресурсам ценой возможного ухудшения связности и качества при более низкой точности. Модель не дообучена специально для roleplay. Лицензия указана как llama3.1; перед использованием следует ознакомиться с её условиями. README не содержит сведений о конкретном уровне квантизации, размере файла, требованиях к памяти или результатах тестирования, поэтому производительность и качество на конкретном оборудовании заранее определить нельзя.

Tess-4-27B-GGUF — это квантизированная версия модели Tess-4-27B, разработанной migtissera. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. По данным карточки, модель ориентирована на мультимодальные сценарии image-text-to-text, агентные задачи, рассуждения, работу с длинным контекстом и использование инструментов. Указана архитектурная принадлежность к семейству Qwen3, однако точный размер контекста, поддерживаемые языки и подробные характеристики модальностей в README не приведены. Доступны варианты от BF16 до низкоразрядных Q2–Q8-квантизаций; размеры файлов составляют примерно от 13 до 55 ГБ. Варианты Q5–Q6 обозначены как высококачественные, а Q4_K_M — как типичный вариант для большинства сценариев. Сильной стороной являются различные уровни квантизации, позволяющие выбирать между качеством, скоростью и требованиями к памяти, а также поддержка экосистемы llama.cpp. Более низкоразрядные варианты экономят память, но могут заметно уступать по качеству; некоторые форматы являются устаревшими или не рекомендуются. Модель и её квантизированные варианты распространяются по лицензии Apache-2.0.

Nous Hermes 2 Mixtral 8x7B SFT — языковая модель Nous Research, полученная supervised fine-tuning базовой Mixtral 8x7B. Она предназначена для диалогов и следования инструкциям, включая многошаговые беседы в формате ChatML. Обучение использовало более миллиона примеров, преимущественно синтетических данных GPT-4 и материалов из открытых наборов данных. Модель построена на архитектуре Mixtral sparse Mixture of Experts; метаданные указывают 7,1 млрд параметров и контекст до 32 768 токенов. Она принимает текст и генерирует текст, поддерживает английский язык. В README приведены результаты на нескольких бенчмарках, однако они не гарантируют качество для конкретного применения. Для запуска требуются значительные вычислительные ресурсы: в README отмечено, что даже 4-битный вариант требует более 24 ГБ VRAM. Модель распространяется по лицензии Apache-2.0.

NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-NVFP4-GGUF — GGUF-представление NVFP4-квантизованной эластичной языковой модели NVIDIA. В одном чекпойнте заключены три вложенных варианта на 30B, 23B и 12B параметров с общим пространством весов; для генерации можно выбрать подходящий размер. Модель основана на NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 и сочетает Mamba-2, Transformer и Mixture-of-Experts. В базовой архитектуре 23 слоя Mamba-2 и MoE, 6 слоёв внимания, а в каждом MoE-слое — 128 экспертов и один общий, из которых на токен активируются шесть. Модель предназначена для диалогов, рассуждений и генерации текста, а вложенные размеры позволяют выбирать компромисс между качеством, вычислительными затратами и задержкой. Контекст в README указан до 128K в примере развёртывания и до 1M при увеличении настройки. Поддерживаются английский, немецкий, испанский, французский, итальянский и японский языки. В README описана квантизация NVFP4 с дистилляцией с учётом квантизации и заявлена готовность к коммерческому использованию. Лицензия в метаданных обозначена как other, поэтому конкретные условия следует сверять с лицензией репозитория.

TheBloke/Orca-2-13B-GGUF — это квантизированная версия языковой модели Orca 2 13B, разработанной Microsoft и преобразованной TheBloke в формат GGUF. Модель предназначена для генерации текста и диалогового взаимодействия, включая работу через llama.cpp и совместимые графические интерфейсы и библиотеки. Для форматирования запросов используется шаблон ChatML с системным сообщением, запросом пользователя и ответом ассистента. Модель относится к архитектуре Llama и содержит около 13 миллиардов параметров. Она работает только с текстом; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. GGUF-файлы доступны с различными уровнями квантизации от 2 до 8 бит, что позволяет выбирать компромисс между размером модели, требованиями к памяти и качеством генерации, а также запускать её на CPU и GPU. К сильным сторонам относятся поддержка широкого набора локальных инструментов, возможность GPU-ускорения и выбор вариантов квантизации. Ограничения связаны с возможной потерей качества при низкой разрядности и с тем, что точные характеристики производительности и контекстного окна не приведены. В метаданных указана лицензия other, без уточнения конкретных условий использования.

QevaCoT-7B-Stock — объединённая языковая модель на базе семейства Qwen2.5, созданная методом Model Stock с помощью mergekit. В слияние вошли Qwen2.5-7B и несколько моделей на его основе, включая инструктивные и ориентированные на рассуждения варианты. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2ForCausalLM и работает через библиотеку Transformers; заявленная длина контекста — 131 072 токена. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы и задачи, где полезны пошаговые рассуждения. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

Qwen3-4B-Instruct-2507-4bit — языковая instruct-модель для генерации текста, разработанная командой Qwen и конвертированная сообществом mlx-community в формат MLX из базовой модели Qwen/Qwen3-4B-Instruct-2507. Модель предназначена для диалогового взаимодействия и выполнения текстовых запросов с использованием chat template. Модель содержит 4 миллиарда параметров и представлена в 4-битном формате квантования. Она работает с текстовой модальностью; сведения о поддерживаемых языках и размере контекста в README не указаны. Формат MLX и использование библиотеки mlx-lm ориентированы на запуск модели в экосистеме MLX. Конкретные преимущества и ограничения качества по сравнению с исходной моделью в предоставленных данных не описаны; 4-битное представление может влиять на точность, но степень такого влияния не указана. Модель распространяется по лицензии Apache 2.0. Конвертация выполнена с использованием mlx-lm версии 0.26.2.

Sehyo/Qwen3.5-122B-A10B-NVFP4 — квантизированная версия модели Qwen/Qwen3.5-122B-A10B, подготовленная Sehyo с использованием схемы квантования NVFP4. Модель относится к семейству Qwen3.5 и имеет MoE-архитектуру; для загрузки и запуска используется библиотека Transformers, а для поддержки NVFP4 рекомендуется nightly-версия vLLM. Модель предназначена для запуска Qwen3.5-122B-A10B в более компактном квантизированном формате, что может быть полезно для инференса больших языковых моделей и сценариев, где важны снижение требований к памяти и эффективное выполнение. Квантование выполнено с помощью VLLM LLM Compressor с поддержкой Qwen3.5 MoE. При калибровке использовано 512 образцов из наборов ultrachat_200k и Nemotron-Post-Training-Dataset-v2, максимальная длина последовательности составляла 4096 токенов, а калибровка охватывала всех экспертов MoE. Ключевые особенности — NVFP4-квантование и наличие весов MTP (multi-token prediction), добавленных для поддержки speculative decoding в vLLM. Ограничения README не описывает: неизвестны точный размер контекста исходной модели, поддерживаемые языки, модальности, показатели качества и требования к оборудованию. Лицензия в предоставленных данных не указана.

Mirai’s Qwen3.8-27B Medium Quantization — это 4-битная квантованная версия модели Qwen3.8-27B, подготовленная Mirai Labs для эффективного локального запуска на устройствах Apple с Apple silicon. Модель предназначена для генерации текста и локальных сценариев использования, включая агентские задачи, диалоги и работу с длинным контекстом; подробности об исходной архитектуре, языках и размере контекста в представленном описании не указаны. Модель использует асимметричную целочисленную 4-битную квантизацию с 4-битными zero points, масштабами bfloat16 и размером группы 64. Для уменьшения выбросов активаций и весов применяются блочно-диагональные Random Hadamard Transforms. Квантование выполнено после обучения и дополнено quantization-aware distillation. По сочетанию размера и KL-дивергенции разработчики относят чекпойнт к Pareto-фронту; по уровню квантизации и размеру он сопоставим с Unsloth UD-Q4_K_M. Сильная сторона модели — компромисс между качеством и эффективностью при локальном инференсе на Apple silicon. Основные ограничения заключаются в текущей поддержке только Apple silicon и необходимости использовать совместимое программное обеспечение, например пакет mirai или сборку uzu. Лицензия — Apache-2.0. Для архитектурных характеристик, языков, контекстного окна, оценок и ограничений следует обращаться к карточке исходной модели Qwen3.8-27B.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, разработанная HauhauCS и распространяемая в формате GGUF по лицензии Apache-2.0. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также работы с изображениями и видео. Aggressive-профиль ориентирован на прямые ответы с минимальным вступлением и без стандартного поведения отказа. Это плотная языковая модель на 27 млрд параметров с vision encoder. Архитектура включает 64 слоя, размер скрытого состояния 5120, размер FFN 17408, словарь 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживаются английский, китайский и другие языки; заявлены текстовая, визуальная и видеомодальности. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Для обработки изображений и видео требуется отдельный vision projector в формате BF16. Модель сохраняет встроенный механизм NextN/MTP исходной Qwen3.8 и дополнительно поставляется с профилем ускорения HauhauCS FastMTP 32K, совместимым с различными текстовыми квантованиями. Доступны варианты от Q2 до Q8, включая специализированные K_P-кванты, оптимизированные для сохранения качества при уменьшенном размере. Ограничения включают значительные требования к памяти, зависимость визуального ввода от отдельного проектора и потенциальные риски некорректных или небезопасных ответов из-за uncensored-профиля; для критически важных длинноконтекстных агентских задач README рекомендует более сбалансированный вариант, если он доступен.

desva0/Qwen3.8-27B-Uncensored-W4A16 — квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Репозиторий содержит сборку OrcaRouter с удалённым встроенным поведением отказа, дополнительно преобразованную в формат W4A16. Модель предназначена для работы с текстом и изображениями, поддерживает английский и китайский языки, рассуждения и вызов функций. Модель использует архитектуру Qwen3_5ForConditionalGeneration и содержит около 27 млрд параметров в исходной версии. Применена 4-битная симметричная квантизация весов с размером группы 128 в формате compressed-tensors pack-quantized; визуальные линейные слои сохранены в более высокой точности для поддержания возможностей анализа изображений. Размер весов составляет примерно 15 ГБ, благодаря чему модель рассчитана на запуск на одной видеокарте с 24 ГБ памяти, например RTX 3090. В README указана возможность использования контекста до 32768 токенов при настройке vLLM, причём фактическая длина зависит от доступной памяти под KV-кэш. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, поддержка function calling и возможность локального запуска на потребительском GPU. Ограничения связаны с потерями точности, возможными для 4-битной квантизации, зависимостью от совместимой версии vLLM и формата compressed-tensors, а также с отсутствием встроенного поведения отказа: модель может выполнять запросы, которые согласованная модель отклонила бы, поэтому ответственность за защитные меры и корректное применение лежит на пользователе. Модель распространяется по лицензии Apache-2.0; при перераспределении необходимо сохранять лицензию и атрибуцию.

SzilviaB/Qwen-Supernova-14B — объединённая методом SLERP модель на базе Qwen2.5-14B и SuperNova-Medius, созданная с помощью mergekit. Это плотная авторегрессионная языковая модель Qwen2 с 14 млрд параметров для генерации текста и диалогового взаимодействия; репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. Модель принимает текстовые запросы и генерирует текст. Контекстное окно составляет до 131 072 токенов, что позволяет работать с длинными запросами и документами. Метаданные указывают на поддержку интерфейса вызова инструментов, однако README не описывает его поведение и не приводит оценок качества. Модель создана сообществом SzilviaB путём слияния предварительно обученных моделей Qwen/Qwen2.5-14B и arcee-ai/SuperNova-Medius; конфигурация mergekit задаёт кривую SLERP с упоминанием влияния Hermes и WizardMath на разные слои. Лицензия в предоставленных данных не указана.

MaziyarPanahi/zephyr-7b-sft-full-Mistral-7B-Instruct-v0.1 — чат-модель для генерации текста в ответ на инструкции и диалоговые запросы. Она создана слиянием методом SLERP моделей mistralai/Mistral-7B-Instruct-v0.1 и alignment-handbook/zephyr-7b-sft-full; архитектура — плотная MistralForCausalLM с 7,1 млрд параметров. Модель принимает текст и генерирует текст. Заявленная длина контекста — 32 768 токенов. Репозиторий распространяется в формате safetensors; лицензия — Apache-2.0. Карточка не приводит результатов оценки качества или специальных ограничений применимости.

Behemoth-Magnum-v4-SLERP-123b — объединённая языковая модель, созданная автором репозитория методом SLERP с помощью mergekit. В объединение вошли Magnum-v4-123b от anthracite-org и Behemoth-123B-v1.2 от TheDrummer. Модель основана на архитектуре MistralForCausalLM и содержит 122,2 млрд параметров. Модель предназначена для генерации текста и диалогового общения. Она принимает текст и выдаёт текст; заявленная длина контекста составляет 131 072 токена. В метаданных также отмечен интерфейс вызова инструментов. Лицензия в предоставленных данных не указана, поэтому условия использования определить нельзя.

MaziyarPanahi/calme-2.2-qwen2-72b-GGUF — квантизированная версия дообученной языковой модели calme-2.2-qwen2-72b, разработанной и квантизированной MaziyarPanahi на основе Qwen/Qwen2-72B-Instruct. Модель предназначена для генерации текста в диалоговых и общих сценариях использования больших языковых моделей, включая ответы на вопросы, рассуждения и решение задач. Для работы используется шаблон ChatML; поддерживаемые форматы GGUF рассчитаны на запуск через совместимые инструменты, например llama.cpp. Модель основана на архитектуре Qwen2 с заявленным размером 72 млрд параметров и представлена в вариантах квантизации от 2 до 16 бит, включая Q2_K, 3-, 4-, 5-, 6- и 8-битные варианты. Квантизация позволяет снизить требования к памяти, однако может уменьшать точность по сравнению с полноразмерной версией; README не содержит сведений о длине контекста, точном наборе языков, требованиях к оборудованию и результатах комплексного сравнения. В опубликованных оценках указаны результаты на TruthfulQA, Winogrande, ARC-Challenge и GSM8K, но они не гарантируют качество в конкретных прикладных сценариях. Лицензия обозначена как other с названием tongyi-qianwen; в качестве лицензионного документа указана лицензия Qwen/Qwen2-72B-Instruct. Перед использованием необходимо проверить её условия, особенно требования к распространению и коммерческому применению.

DeepHermes 3 Preview — предварительная версия языковой модели серии Hermes, разработанная Nous Research. Это плотная авторегрессионная модель семейства Llama с 3,2 млрд параметров, дообученная на базе meta-llama/Meta-Llama-3.2-3B. Она предназначена для диалогов, следования инструкциям и генерации текста; режим рассуждений с развёрнутой цепочкой рассуждений и обычный режим ответа переключаются системным запросом. Модель также поддерживает интерфейс вызова функций и генерацию структурированных ответов в формате JSON. Модель использует формат чата Llama-Chat, рассчитана на контекст до 131 072 токенов и поддерживает английский язык. В карточке описаны применение Transformers и vLLM, а веса доступны в формате safetensors. Это предварительный выпуск с ранними возможностями рассуждения, поэтому возможны нестабильное поведение и недочёты. Лицензия — Llama 3 Community License (llama3).

Deepseek-LLM-7B-Chat-GGUF — чат-модель Deepseek LLM 7B Chat, разработанная DeepSeek и представленная в формате GGUF. Репозиторий содержит квантизированные варианты модели, подготовленные Second State Inc., с разрядностью от 2 до 8 бит и размером файлов примерно от 2,72 до 7,35 ГБ. Модель предназначена для диалогового взаимодействия и может запускаться локально через LlamaEdge версии 0.2.8 или новее. Заявленный размер контекста составляет 4096 токенов. Доступны варианты с различным компромиссом между размером файла и качеством: Q2_K и варианты Q3 обеспечивают минимальные требования к ресурсам, но сопровождаются существенной потерей качества, тогда как Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые сбалансированные варианты. Модель работает с текстовыми запросами по шаблону deepseek-chat; сведения о поддерживаемых языках, точной архитектуре и результатах оценивания в README не приведены. Лицензия указана как deepseek, тип — other; применяются условия, описанные в файле LICENSE.

Это квантизированная instruction-tuned модель Gemma 3 12B, разработанная Google и представленная сообществом abhishekchohan в формате для размещения на Hugging Face. Модель предназначена для диалоговых сценариев и задач генерации текста, а также заявлена как image-text-to-text модель, то есть может обрабатывать текстовые и визуальные данные. В репозитории предусмотрены chat template и средства разбора tool calls для использования с vLLM. Модель использует архитектуру Gemma 3 с 12 миллиардами параметров и квантизацию W4A16, выполненную с помощью LLM Compressor: веса представлены в 4-битной точности, а активации — в 16-битной. Это существенно снижает требования к памяти и делает модель более подходящей для развёртывания на потребительском оборудовании при сохранении хорошего качества работы, однако квантизация может влиять на точность по сравнению с полной версией. Языки и размер контекстного окна в README не указаны. Для запуска рекомендуется vLLM с соответствующими chat template, parser для Gemma и поддержкой автоматического выбора инструментов. Модель распространяется на условиях Gemma license; перед использованием необходимо ознакомиться с условиями и принять лицензию Google на Hugging Face.

granite-3.0-2b-instruct-GGUF — это GGUF-квантизированная версия языковой модели Granite 3.0 2B Instruct, разработанной IBM и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и выполнения инструкций, включая ответы на вопросы, понимание прочитанного, рассуждения, математические задачи, синтез кода и многоязычные сценарии. Модель содержит около 2 миллиардов параметров и распространяется в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от F16 до квантизаций Q4–Q8 с размером файлов примерно от 1,52 до 5,27 ГБ. README не указывает точное максимальное окно контекста, архитектурные детали или полный список поддерживаемых языков; при этом приведены результаты тестирования на наборе PAWS-X для семи языков. К сильным сторонам относятся компактный размер, возможность локального запуска и несколько вариантов квантизации с разным соотношением качества и требований к памяти. Квантизированные версии могут уступать исходным весам в точности, особенно при более агрессивном сжатии. Модель ориентирована на текстовые задачи и не заявлена как мультимодальная. Лицензия — Apache 2.0.

LFM2-8B-A1B-GGUF — языковая модель для генерации текста, разработанная компанией Liquid AI. Она предназначена прежде всего для edge AI и локального запуска на устройствах, включая производительные смартфоны, планшеты и ноутбуки. Модель распространяется в формате GGUF и ориентирована на использование с llama.cpp и совместимыми инструментами. Модель построена по архитектуре Mixture of Experts (MoE): содержит около 8,3 млрд общих параметров, из которых при обработке запроса активно используется около 1,5 млрд. По заявлению разработчика, её качество сопоставимо с плотными моделями на 3–4 млрд параметров, а скорость выше, чем у Qwen3-1.7B. По сравнению с LFM2-2.6B улучшены возможности программирования и работы со знаниями. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Размер контекста и дополнительные модальности в README не указаны. Сильными сторонами модели являются сочетание компактного активного размера, скорости и эффективности использования памяти, что делает её подходящей для локального вывода и on-device-сценариев. Ограничения включают отсутствие в предоставленных данных подробных результатов тестирования, точного размера контекста и информации о мультимодальности; заявленные характеристики качества и скорости приведены разработчиком без детальной методики сравнения. Модель распространяется по лицензии lfm1.0.

Ling-2.6-flash-MXFP4 — квантизированная версия языковой модели Ling-2.6-flash, подготовленная Jinho Jang из OsaurusAI на базе модели InclusionAI. Это гибридная MoE-модель с архитектурой Bailing-V2.5: в ней 103 млрд параметров, из которых активно около 8 млрд, 256 экспертов с выбором восьми на токен, 32 слоя с сочетанием MLA и Lightning Linear Attention, а также голова Multi-Token Prediction. Контекст составляет 131 072 токена. Модель предназначена для генерации текста, диалога, рассуждений и вызова инструментов; её можно применять в многошаговых агентных сценариях. Все основные веса представлены в 4-битном формате MXFP4 с группами по 32 значения, а нормализации, роутеры, смещения экспертов и параметры наклона сохранены в FP16 или FP32. Файлы общим размером около 63 ГБ рассчитаны на запуск через MLX на компьютерах Apple Silicon с достаточным объёмом памяти. Квантизация уменьшает объём модели относительно исходной версии в BF16 и позволяет использовать штатную загрузку MLX без отдельной среды TurboQuant. При этом заявленный сценарий запуска требует мощного Apple Silicon и не гарантирует совместимость с другими платформами. Модель распространяется по лицензии MIT.

Это 4-битно квантованная версия инструкционной языковой модели Llama 3.2 3B Instruct, опубликованная сообществом mlx-community на базе модели Meta Llama 3.2. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, составление и преобразование текста. Формат ориентирован на использование с экосистемой MLX; в метаданных также указана совместимость с библиотекой Transformers. Модель относится к текстовым, одномодальным моделям и содержит около 3 млрд параметров. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Ключевая особенность — 4-битное квантование, которое снижает требования к памяти и может облегчать локальный запуск, но потенциально ограничивает точность по сравнению с полноразмерной версией. Длина контекста и другие характеристики архитектуры в представленном README не указаны. Модель распространяется по Llama 3.2 Community License от Meta. Лицензия разрешает использование, копирование, модификацию и распространение на безвозмездной основе при соблюдении её условий, включая передачу текста лицензии, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов и сервисов с более чем 700 миллионами ежемесячных активных пользователей предусмотрены дополнительные лицензионные требования.

Marco-o1 — языковая модель команды MarcoPolo Team из AI Business, Alibaba International Digital Commerce. Это дообученная на основе Qwen2-7B-Instruct модель с архитектурой Qwen2ForCausalLM и примерно 7,1 млрд параметров. Она предназначена для диалогов и сложных рассуждений, в том числе для открытых задач, где нет однозначного ответа, а также для математики, физики, программирования и перевода. Модель обучали с использованием данных Chain-of-Thought, включая открытые и синтетические наборы. В исследовательском подходе команды также применяются поиск по дереву Монте-Карло, оценка уверенности и саморефлексия для исследования нескольких вариантов решения. Контекст составляет до 32 768 токенов. В README приведены результаты на английской и китайской версиях MGSM и примеры перевода разговорных выражений; упоминаются также мультиязычные сценарии. Авторы отмечают, что возможности рассуждения пока уступают полноценной модели OpenAI o1, а работа над улучшениями продолжается. Модель распространяется по лицензии Apache-2.0.

MLX-Community/Meta-Llama-3.1-8B-Instruct-4bit — это 4-битная квантизованная версия инструкционно дообученной языковой модели Meta Llama 3.1, адаптированная сообществом mlx-community для запуска с использованием MLX. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, написание и преобразование текста, а также другие задачи обработки естественного языка. Модель относится к семейству Llama и содержит 8 миллиардов параметров. Она работает в текстовой модальности, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В README размер контекстного окна не указан. Квантизация до 4 бит снижает требования к памяти и может упростить локальный запуск, однако потенциально уменьшает точность по сравнению с полноразмерной версией. Модель разработана для практического применения в локальных и ресурсоограниченных средах, но README не содержит подробных результатов тестирования, сведений о производительности или известных ограничениях качества. Распространение и использование регулируются Llama 3.1 Community License от Meta; она предусматривает соблюдение Acceptable Use Policy, сохранение уведомления об авторских правах и дополнительные требования к атрибуции и перераспространению. Для продуктов с более чем 700 миллионами ежемесячно активных пользователей требуется отдельное разрешение Meta.

Meta-Llama-3.1-8B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Meta-Llama-3.1-8B-Instruct, разработанной Meta Llama и подготовленной для распространения компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций и работу в приложениях на базе GaiaNet. Для взаимодействия используется шаблон llama-3-chat, а запуск поддерживается llama.cpp. Модель основана на архитектуре Llama и содержит 8 миллиардов параметров. Она работает в текстовой модальности, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленный размер контекста составляет 128 000 токенов. Квантизация выполнена с использованием llama.cpp b4466, что делает модель более подходящей для запуска в средах с ограниченными ресурсами, однако README не уточняет конкретный формат квантизации, требования к оборудованию и возможные компромиссы между скоростью, качеством и потреблением памяти. Модель распространяется по лицензии llama3.1. README не содержит подробностей о дополнительных ограничениях лицензии и не приводит результаты оценки качества, поэтому её преимущества и ограничения можно описать только на общем уровне: это компактная инструкционная модель с широкой поддержкой языков и большим контекстом, но без подтвержденных характеристик производительности для отдельных задач.

Millie 1.1 — мультимодальная языковая модель с поддержкой изображений от LLMs For All, представленная в формате GGUF для локального запуска на устройствах с ограниченной памятью. Это MoE-модель примерно с 35 млрд параметров и 3 млрд активных параметров на токен; около 90% весов хранятся в троичном представлении, остальные тензоры используют более высокую точность. Для обработки изображений предусмотрен отдельный файл vision encoder/projector, который можно не устанавливать при работе только с текстом. Модель основана на Qwen/Qwen3.6-35B-A3B и подходит для диалогов, ответов на вопросы по изображениям и локального мультимодального помощника. В приведённой авторами оценке результаты близки к исходной модели на MMLU Redux и HumanEval+, а на GPQA Diamond заметно ниже; измерения выполнены в отдельных запусках и не гарантируют аналогичных результатов в других сценариях. Репозиторий распространяется по лицензии Apache-2.0.

Mistral-7b-FFT-Test3-Mistral-7B-Instruct-v0.1 — объединённая модель MaziyarPanahi на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием mistralai/Mistral-7B-Instruct-v0.1 и Dans-DiscountModels/Mistral-7b-FFT-Test3 методом SLERP; в конфигурации указана точность bfloat16. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Она поддерживает контекст до 32 768 токенов и представлена в формате safetensors. Лицензия — Apache-2.0. Карточка не сообщает о специальных областях применения или языках модели.