II.4Отладка, тестирование и качество ПО

T3qm7xNeuralsirkrishna_YamExperiment24 — объединённая модель на архитектуре Mistral с 7,1 млрд параметров, созданная из automerger/T3qm7xNeuralsirkrishna-7B и automerger/YamExperiment24-7B. Она предназначена для генерации текста и ведения диалогов; модель принимает текст и выдаёт текст, поддерживая контекст до 32 768 токенов. Веса доступны в формате Safetensors, лицензия — Apache 2.0.

Ternary-Bonsai-8B-gguf — языковая модель для генерации текста, разработанная Prism ML на базе Qwen3-8B. Она предназначена для локального и встраиваемого запуска, включая сценарии on-device, через llama.cpp и совместимые инструменты. Модель распространяется в формате GGUF Q2_0 и ориентирована на задачи диалога, ответов на вопросы, рассуждений и программной интеграции. Модель содержит 8,19 млрд параметров, включая около 6,95 млрд параметров без учёта эмбеддингов, и использует 36 декодерных Transformer-блоков с GQA, архитектурой SwiGLU, RoPE и RMSNorm. Длина контекста составляет 65 536 токенов, размер словаря — 151 936 токенов. Веса квантизованы до троичного представления {-1, 0, +1} с групповым масштабированием FP16; размер рекомендуемого файла Q2_0 составляет около 2,03 GiB, или 2,18 GB. Главное преимущество модели — существенное снижение требований к памяти: примерно в 7,5 раза по сравнению с FP16 при заявленном сохранении информации для троичных весов. По приведённым бенчмаркам она показывает высокое качество среди моделей сопоставимого размера, но уступает исходной Qwen3-8B по среднему результату. Для работы с форматом Q2_0 требуется специальная ветка Prism ML для llama.cpp, поскольку поддержка этого формата ещё не включена в основную ветку проекта. Языки, на которых модель оптимизирована, в README не указаны. Лицензия — Apache 2.0.

EuroLLM-22B-Instruct-2512-GGUF — это квантизированная версия инструкционной языковой модели EuroLLM-22B-Instruct-2512, разработанной utter-project и подготовленной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с инструкциями, благодаря чему может использоваться в локальных чат-ботах, ассистентах и приложениях на базе llama.cpp. Модель имеет размер 22 млрд параметров и представлена в формате GGUF с вариантами квантизации от BF16 до Q3. Доступна поддержка llama.cpp, LM Studio и других совместимых проектов. Заявлена работа с широким набором языков, включая английский, немецкий, испанский, французский, итальянский, португальский, польский, русский, китайский, японский, корейский, арабский, хинди и многие другие европейские языки. Формат prompt использует шаблон ChatML с ролями system, user и assistant. Сильными сторонами являются широкий языковой охват, возможность локального запуска и выбор между вариантами квантизации, позволяющий балансировать качество и требования к памяти. Рекомендуемыми считаются варианты Q4_K_M, Q5_K_M, Q6_K и другие близкие к ним; менее битные варианты подходят для систем с ограниченным объёмом оперативной памяти, но могут обеспечивать более низкое качество. Архитектура, размер контекста и мультимодальные возможности в README не указаны; по имеющимся данным модель является текстовой и не поддерживает изображения или другие модальности. Распространение осуществляется по лицензии Apache-2.0.

lilmeaty/abcdef — объединённая языковая модель, созданная автором репозитория с помощью mergekit. В слияние методом passthrough вошли 11 предварительно обученных моделей, включая варианты Llama 3.2 3B, Qwen2.5-3B, Ministral-3b, Stable Code 3B, Granite 3B и корейскую Bllossom. В метаданных указаны архитектура Llama с причинной генерацией текста, 1,6 млрд параметров и контекст до 131 072 токенов. Модель предназначена для генерации текста и ответов на запросы; состав слияния охватывает чатовые, корейские, неконцензурированные и кодовые варианты. Репозиторий использует формат safetensors и библиотеку Transformers. README не сообщает лицензию, поэтому условия использования по имеющимся сведениям определить нельзя.

IsValorum/Apodex-1.1-mini-APEX-I-MiniPlus-V2-GGUF — это GGUF-квантизированная версия модели Apodex-1.1-mini, разработанная Apodex и квантизированная IsValorum. Модель предназначена для локального запуска и поддерживает сценарии генерации текста, рассуждений и обработки изображений вместе с текстом; в карточке также заявлены MoE-архитектура, speculative decoding и Multi-Token Prediction (MTP), однако подробные параметры базовой модели в представленном фрагменте README отсутствуют. Модель ориентирована на многоязычное применение. В заявленных языках указаны английский, китайский, испанский, французский, немецкий, португальский, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Для визуальных задач предусмотрен мультимодальный vision projector в формате Q8_0; конкретный размер модели, число параметров и точное максимальное окно контекста для этой версии не указаны. README описывает возможность работы с длинным контекстом свыше 160 тысяч токенов, но это приведено как характеристика практических испытаний семейства MiniPlus, а не как строгое спецификационное ограничение данной сборки. К сильным сторонам относятся специализированная покомпонентная квантизация, сохранение router gates в F32, token output head в Q6_K, attention gates в Q8_0 и использование не менее 3-битных представлений для ключевых reasoning-экспертов. Такая конфигурация призвана сохранить качество рассуждений и снизить требования к памяти по сравнению с неквантизированными моделями. Ограничения связаны с потерями точности, неизбежными для квантизированной версии, зависимостью производительности от аппаратного обеспечения и неполнотой опубликованных технических характеристик. Лицензия — Apache-2.0.

CollectiveCognition-v1.1-Mistral-7B-dare-0.85-Mistral-7B-Instruct-v0.1 — чат-модель на базе Mistral-7B-Instruct-v0.1, созданная слиянием весов Mistral-7B-Instruct-v0.1 и uukuguy/CollectiveCognition-v1.1-Mistral-7B-dare-0.85 методом SLERP. Модель разработана для генерации текста и ответов на запросы в диалоговом формате. Архитектура — плотная авторегрессионная MistralForCausalLM, размер — 7,1 млрд параметров, контекст — до 32 768 токенов; файлы опубликованы в формате safetensors с точностью bfloat16. Модель подходит для чат-ботов, ответов на инструкции и продолжения текста. В карточке не заявлены специализированные области или языки, поэтому назначение следует считать общим. Лицензия — Apache-2.0.

DeepSeek-R1-Distill-Qwen-14B-4bit — это 4-битная версия модели DeepSeek-R1-Distill-Qwen-14B, преобразованная сообществом mlx-community в формат MLX. Исходная модель опубликована deepseek-ai; конвертация выполнена с использованием mlx-lm версии 0.21.1. Модель предназначена для генерации текста и диалогового использования через библиотеку mlx-lm, включая применение chat template и формирование ответов на пользовательские запросы. Ключевая характеристика — квантование до 4 бит, что обычно снижает требования к памяти по сравнению с полной точностью, но README не содержит точных сведений о влиянии квантования на качество. Размер исходной модели — 14B параметров. Данные о поддерживаемых языках, длине контекста, архитектуре, модальностях, ограничениях, лицензии и конкретных сценариях применения в README не указаны.

mlx-community/DeepSeek-V3.1-8bit — это 8-битная версия модели DeepSeek-V3.1, преобразованная сообществом mlx-community в формат MLX из исходной модели deepseek-ai/DeepSeek-V3.1. Модель предназначена для генерации текста и локального использования через библиотеку mlx-lm на устройствах, поддерживающих MLX. Она может применяться для диалогов и других задач текстовой генерации; в README приведён пример использования с chat template и сообщениями в формате ролей. Ключевые характеристики — формат MLX, 8-битное представление весов и тег text-generation. Конвертация выполнена с помощью mlx-lm версии 0.26.3. Данные о точном размере модели, архитектуре, поддерживаемых языках и длине контекста в README не указаны. Сжатое 8-битное представление может быть удобно для локального запуска, однако конкретные требования к памяти, производительность и качество по сравнению с исходной моделью не описаны. Модель распространяется по лицензии MIT.

Devlin Alpha 22B A3B — экспериментальная текстовая языковая модель от Devlin-AI, основанная на Qwen3.6-35B-A3B и распространяемая в формате GGUF. Модель ориентирована на агентские сценарии и задачи, требующие рассуждений; в метаданных также указаны MoE-архитектура и pruning экспертов. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая Ollama, LM Studio, KoboldCpp и text-generation-webui с бэкендом llama.cpp. Указан размер 22B с конфигурацией A3B, поддерживаются режимы с рассуждениями и без них. Это текстовая модель без MTP-головы; для корректного применения шаблона чата Qwen3.6 при использовании llama.cpp требуется включать параметр jinja. В примере запуска указан контекст до 262144 токенов. К сильным сторонам относятся специализация на агентских задачах, поддержка локального инференса и возможность использования в режимах с рассуждениями. При этом модель является версией для разработки и тестирования, не рекомендуется для production, а результаты бенчмарков в README отсутствуют. Языки, точные характеристики модальностей помимо текстовой генерации и дополнительные ограничения производительности не указаны. Модель распространяется по лицензии Apache 2.0 как производная работа Qwen3.6-35B-A3B.

MaziyarPanahi/dolphin-2.6-mistral-7b-GGUF — это набор квантованных файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе модели cognitivecomputations/dolphin-2.6-mistral-7b, разработанной cognitivecomputations. Модель предназначена для генерации текста и может использоваться локально через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, LM Studio, GPT4All и llama-cpp-python. Модель относится к семейству Mistral и имеет размер 7B параметров согласно идентификатору базовой модели. Доступны варианты квантования от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством генерации. В метаданных указан английский язык; другие языки, поддерживаемые моделью, размер контекста и мультимодальные возможности не заявлены. Основные преимущества — совместимость с широким набором инструментов для локального запуска и возможность подобрать степень квантования под доступное оборудование. Ограничения связаны с потерями качества при более агрессивном квантовании, а также с отсутствием в предоставленных данных подробных оценок, описания точных сценариев применения и характеристик контекстного окна. Распространение указано по лицензии Apache-2.0.

Карточка модели dnouv/embeddinggemma-300m на Hugging Face совпадает с карточкой google/embeddinggemma-300m, поэтому описание составлено по ней. EmbeddingGemma — компактная модель эмбеддингов Google DeepMind на 300 млн параметров, построенная на Gemma 3 с инициализацией T5Gemma. Она преобразует текстовые запросы и документы в векторы и предназначена для семантического поиска, оценки сходства, классификации и кластеризации. Модель поддерживает более 100 языков и рассчитана на локальное использование на телефонах и компьютерах с ограниченными ресурсами. Модель принимает текст с контекстом до 2048 токенов и выдаёт эмбеддинги размерностью 768; с помощью Matryoshka Representation Learning размерность можно сократить до 512, 256 или 128 с последующей нормализацией. Она подходит для поиска документов и кода по запросу, поиска материалов для систем вопросов и ответов, обнаружения дубликатов и тематической группировки текстов. Для работы предусмотрена библиотека Sentence Transformers. Качество представлений зависит от охвата и возможных смещений обучающих данных; модель может хуже учитывать тонкие языковые оттенки, сарказм и переносный смысл. Лицензия указана как Gemma; применяются условия использования Gemma и её политика запрещённого использования.

Falcon-H1-34B-Base — базовая языковая модель семейства Falcon-H1, разработанная TII (Technology Innovation Institute). Это плотная причинная модель-декодер с гибридной архитектурой Transformers и Mamba и примерно 29,6 млрд параметров. Она предназначена для генерации продолжений текста и служит базой для построения приложений и последующей адаптации под конкретные задачи. Модель работает с текстом, поддерживает многоязычные сценарии, включая английский и русский, и имеет контекстное окно до 262 144 токенов. Для запуска README указывает библиотеки Transformers, vLLM и llama.cpp; файлы репозитория представлены в формате safetensors. В таблице оценки приведены результаты на общих и логических задачах, но конкретные метрики зависят от теста и сценария применения. Лицензия — Falcon-LLM License. Это базовая модель, поэтому для диалоговых приложений и специализированных задач может потребоваться дополнительная настройка; качество также зависит от промпта и способа развёртывания.

FuseLLM-7B — языковая модель, разработанная исследователями Sun Yat-sen University и Tencent AI Lab. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров, созданная методом слияния знаний трёх открытых моделей разных архитектур: Llama-2-7B, OpenLLaMA-7B и MPT-7B. Авторы извлекали их генеративные распределения и переносили общие знания и сильные стороны в целевую модель посредством дополнительного обучения. Модель предназначена для генерации текста и может применяться для рассуждений, ответов на вопросы, понимания прочитанного, генерации кода и машинного перевода. README приводит оценки на бенчмарках общих знаний, здравого смысла, кода и генерации текста. Модель принимает текст и генерирует текст; заявленный родной контекст — 2048 токенов, язык карточки — английский. Весы доступны в форматах PyTorch и Safetensors. FuseLLM-7B выпущена под лицензией Apache-2.0. Результаты бенчмарков не гарантируют качество в конкретном приложении; модель имеет относительно короткое окно контекста и не описана как instruction-tuned релиз.

GLM4.7-Distill-LFM2.5-1.2B — компактная плотная языковая модель на архитектуре Liquid AI LFM2, разработанная автором репозитория на основе LiquidAI/LFM2.5-1.2B-Instruct. Модель содержит около 1,5 млрд параметров по метаданным (в README указано 1,2 млрд) и обучена методом офлайн-дистилляции: для обучения использовались синтетические ответы GLM-4.7 и открытые наборы инструкций. Учитель не нужен при запуске, а цепочки рассуждений в модель не включены. Модель предназначена для диалогового помощника, следования инструкциям, планирования и разбиения задач, суммаризации, объяснений, лёгкой помощи с кодом и агентных сценариев, включая локальный запуск на периферийных устройствах. Заявлены контекст до 128 000 токенов и поддержка английского языка; метаданные также указывают интерфейс для вызова инструментов. Модель ориентирована на краткие ответы и совместима с Transformers и safetensors. Автор предупреждает, что модель может галлюцинировать, ошибаться в сложных логических выводах и уверенно отвечать при недостатке оснований; она не подходит для актуальных событий и критически важных медицинских, юридических или безопасностных решений без проверки. Лицензия — Apache-2.0.

MLX-формат модели GLM-4.7-Flash-6bit, конвертированной сообществом mlx-community из базовой модели zai-org/GLM-4.7-Flash с использованием mlx-lm 0.30.5. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе в сценариях диалогового взаимодействия с применением chat template. Из доступных данных известно, что модель поддерживает английский и китайский языки и распространяется по лицензии MIT. Формат 6bit указывает на квантованное представление, однако точные сведения об архитектуре, количестве параметров, размере контекста, модальностях, производительности и ограничениях в README не приведены. Для использования требуется установка mlx-lm; модель рассчитана на окружение MLX.

GLM-5.3-Flash-VQ-2.7bpw — векторно-квантизированная версия мультимодальной модели GLM-5.3-Flash от zai-org, подготовленная TheDrainFlorist для Apple Silicon. Модель поддерживает работу с текстом и изображениями, ориентирована на задачи генерации и понимания текста, анализа изображений, программирования и других сценариев, доступных базовой vision-модели. Заявлены английский и китайский языки. Точная длина контекста в README не указана. Модель использует архитектуру MoE и занимает около 101,9 GiB. В основе применяется data-free vector quantization: большинство экспертных слоёв представлены кодами d=4/K=512, а восемь слоёв имеют повышенный размер кодбука d=4/K=2048; attention, эмбеддинги и выходная голова используют 8-битное affine-квантование, нормы, маршрутизаторы и vision tower из 347 тензоров сохраняются в bf16. Такой компромисс позволяет разместить модель на Mac с 128 ГБ памяти и обеспечивает лучшее качество, чем указанный affine q3 сопоставимого размера, хотя качество заметно ниже исходной bf16-модели и более крупных вариантов квантования. Для запуска требуется совместимый стек MLX: mlx-lm с поддержкой model_file и mlx-vlm версии не ниже 0.6.17 для изображений. Встроенный runtime поставляется внутри checkpoint, поэтому загрузчик должен поддерживать параметр model_file. Основные ограничения — большой объём памяти, зависимость от Apple Silicon и специализированного MLX-окружения; показатели производительности и качества приведены для конкретных тестовых корпусов и не гарантируют аналогичные результаты во всех задачах. В карточке указана лицензия MIT.

GLM-5.3-MLX-mixed-4_8bit — сборка модели GLM-5.3 от zai-org, адаптированная PipeNetwork для MLX и Apple Silicon. Это генеративная текстовая модель на архитектуре Mixture-of-Experts glm_moe_dsa с 744 млрд параметров, 256 экспертами и маршрутизацией top-8. В архитектуре используется MLA со sparse attention в стиле DeepSeek-V3.2. Модель предназначена для генерации текста и локального инференса на компьютерах Apple Silicon. Экспертные слои занимают около 724,8 млрд параметров и квантизованы в 4 бита, тогда как attention, общие эксперты, плотные слои, эмбеддинги и lm_head хранятся в 8 битах; маршрутизаторы, нормы и индексатор сохранены в исходной точности. Размер файлов составляет около 427,8 ГБ, для запуска рекомендуется Mac с 512 ГБ оперативной памяти. Сборка использует библиотеку MLX и требует специального runtime-файла glm_moe_dsa.py; указанный README рекомендует запуск через mlx-lm с включённым trust remote code. По измерениям на wikitext-2 модель имеет perplexity 2,7420, что лучше равномерной 4-битной версии, хотя смешанная квантизация требует примерно на 9 ГБ больше места. Основные ограничения — крайне высокие требования к памяти, отсутствие multi-token-prediction layer и возможное снижение качества на контекстах свыше 2048 токенов из-за особенностей sparse indexer; заявленная длина контекста в README не указана. Лицензия — GLM-5.3 license, унаследованная от исходной модели; точные условия приведены в файле LICENSE.

Это квантованная версия Granite 3.0 2B Instruct — инструкционно настроенной языковой модели, разработанной IBM под именем ibm-granite/granite-3.0-2b-instruct. Репозиторий MaziyarPanahi/granite-3.0-2b-instruct-GGUF содержит файлы модели в формате GGUF, предназначенные для локального запуска и совместимые с экосистемой llama.cpp. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые и другие сценарии текстовой обработки. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов, включая решения с GPU-ускорением. Из предоставленных данных не указаны точное устройство архитектуры, размер контекстного окна, поддерживаемые языки, результаты тестирования и конкретные ограничения качества. Лицензия в README также не указана, поэтому условия использования следует уточнять в исходном репозитории базовой модели IBM и в материалах данного репозитория.

Hermes-3-Llama-3.1-70B-lorablated — диалоговая модель mlabonne на архитектуре Llama 3.1, созданная слиянием Hermes-3-Llama-3.1-70B от NousResearch с адаптером abliteration. Модель предназначена для генерации ответов в диалоге и выполнения инструкций; версия lorablated настроена на снижение отказов отвечать на допустимые запросы. В карточке приведены результаты оценивания на IFEval и BBH. Модель содержит 69,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; максимальный контекст — 131 072 токена. Для работы с ней нужны текстовые запросы, ответы генерируются в текстовом виде. Указана библиотека Transformers. Сведений о лицензии в доступных данных нет.

InternLM2-Chat-1.8B — диалоговая языковая модель второго поколения семейства InternLM, разработанная командой InternLM. Это плотная авторегрессионная модель на 1,7 млрд параметров, предназначенная для общения, следования инструкциям и генерации текста; в карточке также отмечены функция вызова инструментов и применение для downstream-сценариев. Модель прошла supervised fine-tuning, а затем дополнительное выравнивание с помощью онлайн-RLHF поверх InternLM2-Chat-1.8B-SFT. Метаданные указывают контекст до 32 768 токенов. README семейства заявляет поддержку очень длинных входов до 200 000 символов и сильные результаты на задачах работы с длинным текстом, а также улучшения в рассуждениях, математике и программировании; это характеристики серии InternLM2, а не отдельная оценка данного чекпойнта. Модель подходит для чат-ботов, ответов на инструкции и генерации текста на китайском и английском языках. Модель может генерировать предвзятые, дискриминационные или иные вредоносные ответы. Код распространяется по Apache-2.0; для весов заявлен свободный доступ для академических исследований и возможность запросить бесплатное разрешение на коммерческое использование.

Vikhrmodels/it-5.2-fp16-cp — русско-английская чат-модель семейства Vikhr, разработанного Александром Николичем, Константином Королёвым и Артёмом Шельмановым. Это плотная авторегрессионная модель архитектуры Llama с 7,3 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. Модель основана на версии Vikhr 0.5: в ней увеличили объём данных SFT, чтобы повысить стабильность работы с JSON, многоходовыми диалогами, длинным контекстом и сложными запросами. Нативная длина контекста составляет 32 768 токенов. Модель распространяется в формате safetensors и доступна по лицензии Apache 2.0. Карточка не приводит результаты количественных оценок качества и подробностей о тренировочных данных. Описанные улучшения JSON и многоходовых диалогов являются заявлением авторов; фактическое качество на конкретных задачах может различаться.

jina-embeddings-v2-base-code-GGUF — GGUF-квантизированная версия модели jinaai/jina-embeddings-v2-base-code, разработанной jinaai и преобразованной в GGUF компанией Second State Inc. Это модель для получения векторных представлений текста и исходного кода, предназначенная для семантического поиска, сравнения схожести, классификации и других задач feature extraction, включая работу с кодовыми фрагментами. Указан английский язык. Модель поддерживает контекст до 8192 токенов и формирует embedding размерностью 768. Доступны варианты квантования от 2 до 8 бит, а также f16; размеры файлов составляют примерно от 82,7 до 323 МБ. В README вариант Q4_K_M отмечен как сбалансированный и рекомендуемый, тогда как низкобитные варианты обеспечивают меньший размер ценой заметной потери качества. Модель может запускаться через LlamaEdge с prompt type embedding. Распространяется по лицензии Apache-2.0. Ограничения зависят от выбранного варианта квантования: чем сильнее сжатие, тем выше потенциальная потеря качества embeddings. Архитектура исходной модели, точное число параметров и перечень поддерживаемых языков, кроме указанного английского, в предоставленных данных не описаны.

LFM2.5-8B-A1B-Uncensored-Gaston-GGUF — модифицированная GGUF-версия модели Liquid AI LFM2.5-8B-A1B, подготовленная Gastón Parravicini. Это текстовая reasoning-модель для диалогов и генерации текста, ориентированная на локальный запуск через llama.cpp, Ollama и совместимые инструменты. Вариант получил abliteration для существенного снижения отказов от ответов при сохранении рассуждений и общих возможностей базовой модели. Модель использует гибридную архитектуру из свёрточных LIV-блоков, Grouped Query Attention и разреженного MoE: всего около 8,3 млрд параметров, из которых примерно 1,5 млрд активны на каждом токене; задействованы 32 эксперта, четыре из них выбираются для токена. Заявлено контекстное окно 128K, обучение на 38 трлн токенов и поддержка английского, испанского, французского, немецкого, китайского, японского, корейского и арабского языков. Доступны квантизации IQ4_XS, Q4_K_M, Q5_K_M, Q6_K, Q8_0 и F16; Q4_K_M рекомендована как компромисс между качеством и размером. Сильными сторонами являются высокая скорость, компактное активное число параметров, сохранённый режим рассуждений с тегами <think> и заявленная частота отказов 1% на AdvBench после модификации. Ограничение модели — нестандартная гибридная архитектура, из-за которой обычные инструменты abliteration несовместимы без специальной адаптации. Версия предназначена для сценариев, где требуется меньше ограничений на генерацию, поэтому её ответы следует дополнительно проверять на безопасность и достоверность. Указана лицензия lfm-open-license-v1 от Liquid AI; подробные условия приведены по ссылке на лицензию базовой модели.

deltanym/llama3.1-base-instruct-gradient-1 — объединённая автором модель на архитектуре Llama 3.1, созданная методом SLERP с помощью mergekit из meta-llama/Llama-3.1-8B и meta-llama/Llama-3.1-8B-Instruct. Это плотная причинная языковая модель примерно на 7,5 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; метаданные указывают поддержку интерфейса вызова инструментов. Модель принимает текст и выдаёт текст, использует библиотеку Transformers, веса опубликованы в формате safetensors, а длина контекста составляет 131 072 токена. Модель подходит для диалоговых ассистентов, генерации и продолжения текста, а также сценариев с вызовом инструментов. Инструкционно настроенная базовая модель поддерживает несколько языков, однако точный перечень языков для этого слияния не приведён. Лицензия в предоставленных данных не указана. Результат слияния может отличаться по поведению от обеих исходных моделей; качество и ограничения отдельно не описаны.

MLX-квантованная версия Llama 3.2 3B Instruct, опубликованная сообществом mlx-community на основе модели Meta. Это языковая модель для генерации текста и выполнения инструкций, подходящая для диалоговых систем, ответов на вопросы, создания и преобразования текста и других задач обработки естественного языка. Модель имеет размер 3 миллиарда параметров и представлена в 8-битном формате, что ориентировано на более эффективный запуск по сравнению с полноразмерной версией. Указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель текстовая; сведения о размере контекста и дополнительных модальностях в README не приведены. К сильным сторонам относятся компактный размер, instruction-tuning и возможность использования в экосистеме MLX. Ограничения включают отсутствие заявленных характеристик контекстного окна и результатов бенчмарков, а также возможные ошибки, неточности и ограничения качества при работе с языками и сценариями вне заявленного набора. Модель распространяется по Llama 3.2 Community License от Meta; при использовании и распространении действуют требования лицензии, включая соблюдение Acceptable Use Policy, указание «Built with Llama» и сохранение уведомления об атрибуции.

Llama-3.2-3B-Instruct-GGUF — квантованная версия инструкционной языковой модели Llama-3.2-3B-Instruct, разработанной Meta и преобразованной в формат GGUF компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая чат-взаимодействие и вызов инструментов с формированием JSON-запросов функций. Модель содержит около 3 миллиардов параметров, работает с текстом и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленный размер контекста составляет 128 000 токенов. Доступны варианты квантования от Q2_K до Q8_0 и F16 с размером файлов примерно от 581 МБ до 1,32 ГБ. В README рекомендуются варианты Q4_K_M, Q5_K_M и Q5_K_S как компромисс между размером и качеством; более агрессивное квантование уменьшает размер, но может заметно ухудшать качество ответов. Модель подходит для локального запуска на устройствах с ограниченными ресурсами и интеграции через LlamaEdge, включая сервисный и командный режимы. Для работы требуется совместимая версия LlamaEdge; в README указана версия v0.16.5 или новее. Ограничения включают снижение качества в младших вариантах квантования, а также отсутствие сведений о мультимодальности и подробных результатах оценки. Модель распространяется по лицензии Llama 3.2.

winglian публикует вариант Meta Llama 3 8B с контекстным окном до 1 048 576 токенов. Это авторегрессионная плотная языковая модель на архитектуре Transformer с Grouped-Query Attention, предназначенная для генерации текста и кода. Она принимает текст и может использоваться для продолжения текста, диалоговых сценариев и адаптации к различным задачам генерации естественного языка. В карточке указано семейство Llama 3, но не описаны конкретные изменения PoSE или способ обучения этого чекпойнта. Поэтому его происхождение относительно исходной модели нельзя уверенно определить. README описывает Llama 3 как модель для коммерческого и исследовательского применения на английском языке; лицензия — пользовательская коммерческая лицензия Meta Llama 3. Ограничения включают ориентацию на английский язык и необходимость отдельно настраивать меры безопасности для конкретного приложения.

Llama-3-Instruct-8B-SPPO-Iter3-GGUF — квантизированная версия инструкционной языковой модели Llama-3-Instruct-8B-SPPO-Iter3, разработанной UCLA-AGI. Квантизацию в формате GGUF выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы в диалоговом формате с системными и пользовательскими инструкциями. Модель имеет около 8 миллиардов параметров, поддерживает текстовую модальность и ориентирована на английский язык. В репозитории доступны варианты квантизации от Q8 до Q2, различающиеся размером файла, требованиями к памяти и качеством генерации. Версии Q5–Q8 характеризуются высоким качеством, тогда как варианты Q3 и Q2 экономят память, но заметно уступают по качеству; некоторые варианты с суффиксом L используют F16 для весов эмбеддингов и выходного слоя и обозначены как экспериментальные. Модель подходит для локального запуска и ресурсоограниченных сценариев, где важен баланс между качеством и потреблением памяти. Ограничения включают зависимость результатов от выбранного уровня квантизации, отсутствие заявленной поддержки других модальностей и отсутствие в README сведений о размере контекстного окна и результатах бенчмарков. Для корректного использования следует применять указанный формат промпта Llama 3. Модель распространяется по лицензии Apache-2.0.

Magnum-v1-72b-Qwen2.5 — слитая автором модели языковая модель на архитектуре Qwen2 для диалогов и генерации текста. Веса объединяют влияние anthracite-org/magnum-v1-72b с Qwen/Qwen2.5-72B-Instruct: автор извлёк LoRA из ранней модели Magnum и перенёс её на Qwen2.5-Instruct, после чего объединил результат в самостоятельную модель. Размер — 71,5 млрд параметров, формат — safetensors, контекст — 32 768 токенов. Модель предназначена для творческой генерации и общения; в описании также отмечены генерация кода и сохранение улучшений Qwen2.5. Заявлены английский язык и интерфейс для вызова инструментов. Автор сообщает о положительных результатах собственных проб, но не приводит формальной оценки качества. Лицензия указана как other.

Arx12/Maple-Preview-Exact-GGUF — это сторонний набор GGUF-репаков модели Maple-Preview, разработанной DeepGrove. Репаки подготовлены и проверены Arx12 на основе официальных файлов DeepGrove; данный репозиторий не является официальным релизом DeepGrove. Модель предназначена для генерации текста и задач, требующих рассуждений, с акцентом на соотношение качества, скорости и потребления памяти. Агентные сценарии и широкое постобучение пока ограничены по сравнению с планируемой полной версией Maple. Maple-Preview представляет собой reasoning-модель с архитектурой Mixture-of-Experts: 20 млрд общих параметров, около 1 млрд активных параметров на токен, 24 трансформерных слоя, 256 экспертов и 8 активных экспертов на токен. Используется ternary-weight дизайн и конфигурация внимания 3:1 SWA-512:GA, объединяющая скользящее и глобальное внимание. Контекст — до 131 072 токенов, заявленный язык — английский. Доступны варианты с точным репаком матриц TQ2_0 в Q4_0 или Q8_0, а также F16-представление; для некоторых вариантов LM head квантуется отдельно, поэтому полная побитовая идентичность вывода между форматами не гарантируется. Сильной стороной является сохранение представленных значений исходных матриц при репаках Q4_0 и Q8_0, подтверждённое проверкой всех 168 исходных TQ2_0 матриц, а также возможность работы с очень длинным контекстом и сравнительно небольшим числом активных параметров. Ограничения включают preview-статус, возможное отставание в агентных задачах и то, что exact-репак не восстанавливает точность, утраченную до исходного квантования; различия в вычислительных ядрах могут менять логиты и текст. Модель и производные репаки распространяются по лицензии MIT.