II.2Создание и понимание программного кода

J.A.R.V.I.S. Titan V15 MoE Decoupled — диалоговая языковая модель Dhanesh на архитектуре JarvisTitanMoEForCausalLM. Согласно карточке, она основана на DeepSeekMoE с общим экспертом и восемью маршрутизируемыми экспертами, из которых активируются два; также заявлены слои Tri-Brid памяти с локальным скользящим окном внимания, извлечением значимых KV-состояний и нейронной памятью Titans. Метаданные каталога указывают 7,1 млрд параметров и контекст 32 768 токенов. Модель предназначена для генерации текста в диалоге и взаимодействия с инструментами через соответствующий интерфейс. Карточка описывает объединённые автономные веса M4, включающие калиброванный адаптер Tri-Brid, а метаданные связывают модель с дообучением Jarvis-Titan-V14-MoE-Merged. В репозитории указаны веса Safetensors. Лицензия обозначена как other, поэтому условия использования следует проверять в материалах репозитория.

Карточка модели dhanesh-hf/Jarvis-Titan-V15-MoE-Merged на Hugging Face совпадает с карточкой dhanesh-hf/Jarvis-Titan-V15-MoE-Decoupled, поэтому описание составлено по ней. J.A.R.V.I.S. Titan V15 MoE Decoupled — диалоговая языковая модель Dhanesh на архитектуре JarvisTitanMoEForCausalLM. Согласно карточке, она основана на DeepSeekMoE с общим экспертом и восемью маршрутизируемыми экспертами, из которых активируются два; также заявлены слои Tri-Brid памяти с локальным скользящим окном внимания, извлечением значимых KV-состояний и нейронной памятью Titans. Метаданные каталога указывают 7,1 млрд параметров и контекст 32 768 токенов. Модель предназначена для генерации текста в диалоге и взаимодействия с инструментами через соответствующий интерфейс. Карточка описывает объединённые автономные веса M4, включающие калиброванный адаптер Tri-Brid, а метаданные связывают модель с дообучением Jarvis-Titan-V14-MoE-Merged. В репозитории указаны веса Safetensors. Лицензия обозначена как other, поэтому условия использования следует проверять в материалах репозитория.

AtomicChat/Ling-3.0-flash-GGUF — набор GGUF-квантизаций модели inclusionAI/Ling-3.0-flash, подготовленный AtomicChat. Модель предназначена для генерации текста и диалоговых сценариев, запускаемых локально через llama.cpp; в GGUF встроен шаблон чата, поддерживаются режим рассуждений и вызовы инструментов. Исходная модель имеет 124 млрд параметров, из которых 5,1 млрд активны при обработке токена. Архитектура сочетает гибридное линейное внимание и Mixture-of-Experts на 512 экспертов: 35 блоков KDA чередуются с 7 блоками gated MLA в соотношении 5:1. Доступны варианты размером примерно от 32,4 до 89,4 ГБ; наиболее качественным вариантом для соответствующего объёма памяти заявлен AD-Q5_K_M. Контекст в примере запуска составляет 32 768 токенов, однако максимальный поддерживаемый размер контекста в README не указан. Языки и мультимодальные возможности не заявлены. Ключевая особенность — квантизация Atomic Dynamic, при которой точность распределяется с учётом роли тензоров, типа проекции и глубины блока. По приведённым измерениям, некоторые варианты имеют меньшую ошибку KL относительно BF16, чем стандартные квантизации llama.cpp аналогичного размера. При этом для запуска требуется специальная сборка llama.cpp TurboQuant и значительный объём памяти; память нужна также под контекст. Варианты с очень малым размером, особенно AD-IQ1_S и AD-IQ2_M, заметно теряют качество. Для Intel GPU готового SYCL-архива нет. Лицензия — MIT.

Llama 2 13B Chat — языковая модель Meta для диалоговых сценариев, представленная в формате Hugging Face Transformers. Это авторегрессионная модель на оптимизированной архитектуре Transformer с 13 млрд параметров; версия Chat выровнена с помощью контролируемого дообучения и обучения с подкреплением на основе отзывов людей. Она принимает текст и генерирует текст, а для диалога ожидает специальный формат сообщений Llama 2. Модель рассчитана прежде всего на англоязычные запросы и имеет контекст длиной 4 тысячи токенов. Модель подходит для создания чат-ассистентов и генерации ответов на вопросы и инструкции. Meta сообщает о хороших результатах на ряде тестов и оценок полезности и безопасности, однако ответы могут быть неточными, предвзятыми или нежелательными; перед внедрением требуется проверка под конкретный сценарий. Использование регулируется лицензией Meta Llama 2; для получения весов необходимо принять её условия.

RedHatAI/Llama-2-7b-dolphin-open_platypus-pruned_50 — разреженная на 50% модель Llama 2 с 7 млрд параметров, дообученная для следования инструкциям на смеси наборов Platypus, Open Orca и Dolphin. Архитектура — LlamaForCausalLM; модель принимает текст и генерирует текст. Контекст составляет 4096 токенов. Карточка описывает запуск через Transformers, а для ускоренного вывода с учётом разреженности — через nm-vllm или deepsparse. Модель предназначена для ответов на инструкции и запросы в текстовом формате. В приведённых в карточке бенчмарках её результаты немного ниже результатов Llama-2-7b-instruct: например, 45,10% против 48,60% на MMLU и 78,86% против 79,45% на HellaSwag. Лицензия в предоставленных данных не указана.

RedHatAI/Llama-3.2-1B-Instruct-FP8-dynamic — квантизированная версия Meta Llama 3.2 1B Instruct, разработанная Neural Magic. Это текстовая autoregressive-модель для генерации текста и диалоговых сценариев в формате ассистента, включая коммерческое и исследовательское использование. В README заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, однако отдельно указано ограничение на использование языков, отличных от английского. Модель использует архитектуру Meta-Llama-3.2 и принимает текст на входе, возвращая текст. Веса и активации линейных операторов внутри transformer-блоков квантизированы в FP8; для весов применяется симметричная поканальная квантизация, а активации квантизуются динамически на уровне токенов. По сравнению с 16-битным представлением это примерно вдвое снижает требования к дисковому пространству и памяти GPU. Модель предназначена для эффективного инференса с vLLM и может предоставляться через OpenAI-совместимый интерфейс. Ключевое преимущество — снижение потребления ресурсов при сохранении близкого к исходной модели качества: средний результат на указанной подвыборке OpenLLM Leaderboard составляет 50,88 против 51,70 у неквантизированной версии. Ограничение — небольшая потеря точности после квантизации, а также необходимость совместимого окружения vLLM. Модель выпущена 25 сентября 2024 года, версия 1.0, и распространяется по лицензии llama3.2.

Magpie-Align/Llama-3-8B-Magpie-Air-MT-SFT-v0.1 — плотная авторегрессионная языковая модель семейства Llama 3, дообученная на наборе Magpie-Air-MT-300K-v0.1. Модель содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Для диалога рекомендуется использовать официальный шаблон чата Llama 3. Модель предназначена для генерации ответов на инструкции и ведения диалога. Авторы сообщают о результатах, сопоставимых с Llama-3-8B-Instruct на некоторых задачах, и приводят оценки Alpaca Eval 2 и Arena Hard. Модель опубликована в форматах PyTorch и Safetensors и распространяется по лицензии Meta Llama 3 Community License. Она унаследует ограничения базовой Llama 3 и качество данных дообучения; приведённые оценки не гарантируют одинаковую производительность на всех запросах.

Llama3-ChatQA-1.5-8B-IMat-GGUF — это GGUF-квантизированная версия текстовой модели Llama3-ChatQA-1.5-8B, разработанной NVIDIA. Квантизацию выполнил legraphista с использованием llama.cpp b3003 и методов IMatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы и работу в локальных приложениях, совместимых с llama.cpp. Модель имеет около 8 млрд параметров, поддерживает английский язык и работает с текстовой модальностью. Доступны варианты от FP16 и Q8_0 до низкобитных форматов Q2, Q3, Q4, IQ2, IQ3 и IQ4; для части вариантов применена IMatrix-квантизация. Размер файлов варьируется примерно от 2,61 до 16,07 ГБ, что позволяет выбирать между качеством, скоростью и требованиями к памяти. Размер контекстного окна в README не указан. Основное преимущество модели — широкий выбор GGUF-вариантов для запуска на оборудовании с разным объёмом памяти и возможность эффективного локального использования через llama.cpp. Ограничения связаны с компромиссами квантизации: низкобитные варианты могут уступать FP16 по качеству, а точные требования к производительности и совместимости зависят от выбранного формата и оборудования. Модель распространяется по лицензии llama3.

KKHYA/llavaqwen2.5-32b-finetune-nm-mask-moe-4e-2k-2of4-imp-h200_20260815_093205 — языковая модель на архитектуре LlavaQwen2ForCausalLM с 32 млрд параметров. В метаданных указаны библиотека Transformers, форматы PyTorch и Safetensors, а также контекст длиной до 131072 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. README сообщает, что модель обучена с нуля, но не содержит сведений о датасете, оценке качества или предполагаемых сценариях применения. Лицензия в предоставленных данных не указана.

gaverfraxz/Meta-Llama-3.1-8B-Instruct-HalfAbliterated-DELLA — текстовая модель на архитектуре Llama, созданная методом слияния DELLA на основе Meta-Llama-3.1-8B и двух инструктивных вариантов: Meta-Llama-3.1-8B-Instruct и его версии abliterated от mlabonne. Модель рассчитана на генерацию текста и диалоговые ответы; слияние сочетает instruct-модель с вариантом, у которого ослаблены ограничения на ответы. Модель содержит 7,5 млрд параметров, работает с текстом и имеет контекстное окно до 131 072 токенов. Для запуска предусмотрена библиотека Transformers, веса опубликованы в формате safetensors. Лицензия — llama3.1. Слияние с abliterated-вариантом означает, что защитные ограничения могут быть ослаблены; качество и поведение на конкретных запросах могут отличаться от исходной instruct-модели.

Модель nicolepcx/Meta-Llama-3.1-8B-Instruct-tiny разработана nicolepcx и представляет собой дообученную инструктивную модель семейства Llama 3.1 с плотной архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. В качестве основы указана unsloth/meta-llama-3.1-8b-instruct-bnb-4bit; для обучения использовались Unsloth и библиотека TRL. Модель предназначена для генерации текста в диалоговом формате и выполнения инструкций; интерфейс также поддерживает вызов инструментов. Метаданные указывают английский язык и контекстное окно до 131 072 токенов. Репозиторий содержит веса safetensors, а лицензия — Apache-2.0.

MiMo-V2.6-Flash-RL-JANG2L — это опубликованная OsaurusAI квантованная версия Xiaomi MiMo-V2.6-Flash-RL для запуска через MLX на Apple Silicon. В ней применена смешанная низкоразрядная квантовка JANG: основные экспертные проекции хранятся в 2 битах, часть проекций — в 3 битах, а защищённые ранние слои сохранены в исходном формате MXFP4. Заявлено около 2,73 эффективного бита на параметр; текстовые веса занимают около 95,87 GiB. Модель содержит 12 млрд параметров и поддерживает контекст до 1 048 576 токенов. Модель предназначена для диалоговой генерации текста, рассуждений и вызова инструментов, а также для ответов по изображениям и видео. В README описаны рабочие текстовые и инструментальные диалоги и ответы на изображения и видео в интеграционной сборке Osaurus. Качество квантованной модели не эквивалентно исходной: авторы отмечают искажения на чувствительных позициях и ограниченность проведённых тестов; результаты тестов не являются оценкой на официальных бенчмарках. Репозиторий сохраняет веса обработки изображений, видео и аудио, однако распознавание аудио в тестах Osaurus не прошло квалификацию, а аудио-вывод и совместное понимание синхронизированных аудио и видео не подтверждены. Для запуска требуется Osaurus версии 0.25.13 или новее; модель использует формат MLX и safetensors. Лицензия — MIT.

Minico-M1 Preview — компактная языковая модель, разработанная Mincofficial и дообученная на базе LiquidAI/LFM2.5-350M на наборе QyrouNnet-AI/exp-reasoning-effort-control. Она предназначена для генерации текста в диалогах и задач рассуждения; шаблон чата поддерживает видимые блоки рассуждений и уровни усилий low, medium, high и max. Модель построена на плотной архитектуре LFM2 и содержит 343,9 млн параметров, поддерживает контекст до 128 000 токенов и интерфейс вызова инструментов. Это предварительный выпуск для ознакомления и совместимости. В репозитории safetensors-файл является экспортом в float16, полученным деквантованием исходного файла GGUF Q8_0, поэтому его веса приближённые и не соответствуют исходному полноточному чекпойнту обучения. Применяется лицензия базовой модели LiquidAI/LFM2.5-350M.

MiniCPM5-2B-heretic-abliterated-GGUF — это набор GGUF-квантизованных версий языковой модели MiniCPM5-2B-heretic-abliterated, подготовленный mradermacher на основе модели insraq. Модель предназначена для генерации текста, диалоговых сценариев, работы с длинным контекстом и вызова инструментов, а также для локального запуска на устройствах с ограниченными ресурсами и edge-системах. В метаданных указана библиотека Transformers и поддержка английского и китайского языков. Модель содержит около 2 млрд параметров; точные сведения об архитектуре и размере контекстного окна в README не приведены. Доступны варианты квантования Q2_K, Q3_K, IQ4_XS, Q4_K, Q5_K, Q6_K, Q8_0 и f16 размером примерно от 1,1 до 5,1 ГБ. Более компактные варианты экономят память, но могут снижать качество, тогда как Q6_K и Q8_0 обеспечивают более высокое качество при больших требованиях к ресурсам. Название и теги указывают на модификацию heretic/abliterated, однако подробности применённых изменений, результаты тестирования и ограничения такой модификации в README не описаны. Лицензия исходной модели указана как Apache-2.0; для практического использования следует также учитывать условия библиотек и компонентов, с которыми запускаются GGUF-файлы.

Карточка модели Iambackup/MiniMax-M2.5-UNCENSORED-JANG_2L на Hugging Face совпадает с карточкой Ishowbackup/MiniMax-M2.5-UNCENSORED-JANG_2L, поэтому описание составлено по ней. MiniMax-M2.5-UNCENSORED-JANG_2L — производная модель MiniMaxAI/MiniMax-M2.5, подготовленная Jinho Jang. Это языковая модель с архитектурой MiniMax M2 MoE и интерфейсами чата и вызова инструментов. В README указаны 230 млрд параметров, 256 экспертов и около 10 млрд активных параметров на токен; смешанная квантизация JANG_2L задаёт 8 бит для внимания, 6 бит для эмбеддингов и 2 бита для экспертов. Метаданные указывают 2,9 млрд параметров, поэтому оценку размера из README следует считать расходящейся с ними. Для хранения требуется около 63 ГБ; формат JANG поддерживается MLX Studio и пакетом jang-tools на Apple Silicon. Контекст — 196 608 токенов. Модель предназначена для генерации ответов в чате, рассуждений и работы с инструментами. README также описывает CRACK — изменение весов, удаляющее отказы, связанные с защитными настройками; это может позволить получать вредоносные или опасные ответы. В README приведены результаты тестов MMLU и HarmBench, но они не являются независимой оценкой качества. Лицензия в метаданных — Apache-2.0; модель рассчитана на английский, китайский и корейский языки.

MiniMax-M2.5-UNCENSORED-JANG_2L — производная модель MiniMaxAI/MiniMax-M2.5, подготовленная Jinho Jang. Это языковая модель с архитектурой MiniMax M2 MoE и интерфейсами чата и вызова инструментов. В README указаны 230 млрд параметров, 256 экспертов и около 10 млрд активных параметров на токен; смешанная квантизация JANG_2L задаёт 8 бит для внимания, 6 бит для эмбеддингов и 2 бита для экспертов. Метаданные указывают 2,9 млрд параметров, поэтому оценку размера из README следует считать расходящейся с ними. Для хранения требуется около 63 ГБ; формат JANG поддерживается MLX Studio и пакетом jang-tools на Apple Silicon. Контекст — 196 608 токенов. Модель предназначена для генерации ответов в чате, рассуждений и работы с инструментами. README также описывает CRACK — изменение весов, удаляющее отказы, связанные с защитными настройками; это может позволить получать вредоносные или опасные ответы. В README приведены результаты тестов MMLU и HarmBench, но они не являются независимой оценкой качества. Лицензия в метаданных — Apache-2.0; модель рассчитана на английский, китайский и корейский языки.

Карточка модели princeton-nlp/Mistral-7B-Instruct-CPO на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Instruct-8B-SimPO-v0.2, поэтому описание составлено по ней. Llama-3-Instruct-8B-SimPO-v0.2 — диалоговая языковая модель семейства Llama, выпущенная командой Princeton NLP как модель из работы SimPO (Simple Preference Optimization with a Reference-Free Reward). Она предназначена для генерации текста в формате инструкций и диалога. Модель содержит 7,5 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Модель связана с исследованием оптимизации предпочтений без эталонной модели. В карточке не приведены подробности обучения, оценки качества или специальные области применения; метаданные указывают поддержку чата и формат весов safetensors. Лицензия в предоставленных данных не указана.

Карточка модели princeton-nlp/Mistral-7B-Instruct-SLiC-HF на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Instruct-8B-SimPO-v0.2, поэтому описание составлено по ней. Llama-3-Instruct-8B-SimPO-v0.2 — диалоговая языковая модель семейства Llama, выпущенная командой Princeton NLP как модель из работы SimPO (Simple Preference Optimization with a Reference-Free Reward). Она предназначена для генерации текста в формате инструкций и диалога. Модель содержит 7,5 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Модель связана с исследованием оптимизации предпочтений без эталонной модели. В карточке не приведены подробности обучения, оценки качества или специальные области применения; метаданные указывают поддержку чата и формат весов safetensors. Лицензия в предоставленных данных не указана.

0xA50C1A1/Mistral-Nemo-Instruct-2407-Heretic-v2 — англоязычная разговорная модель генерации текста на архитектуре Mistral, разработанная как производная unsloth/Mistral-Nemo-Instruct-2407. Это плотная авторегрессионная модель на 12,1 млрд параметров с контекстом до 131 072 токенов; поддерживает чат и интерфейс вызова инструментов. Модель изменена методом abliteration, чтобы реже отказывать в ответах: в карточке указано 4 отказа из 100 запросов против 88 у исходной модели. Модель подходит для диалогов и генерации текста, в том числе для сценариев, где требуется снизить частоту отказов. Abliteration не гарантирует корректность ответов и может повлиять на поведение модели; приведённое сравнение отказов не описывает качество выполнения задач в целом. Доступна по лицензии Apache-2.0.

Mistral-ORPO-α — диалоговая языковая модель, разработанная KAIST AI и дообученная на базе mistralai/Mistral-7B-v0.1 методом оптимизации предпочтений ORPO. В отличие от подхода с предварительным этапом supervised fine-tuning, ORPO непосредственно обучает модель предпочитаемым ответам. Для обучения использован датасет HuggingFaceH4/ultrafeedback_binarized. Модель с плотной архитектурой MistralForCausalLM содержит 7,1 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Карточка приводит результаты сравнительных оценок на AlpacaEval, MT-Bench и IFEval. Основной язык в метаданных — английский. Модель подходит для диалоговых ответов и выполнения текстовых инструкций. Доступна по лицензии MIT. Результаты бенчмарков не гарантируют качество на конкретных задачах.

NeuralSOTA-7B-slerp — объединённая модель, созданная Kukedlc с помощью LazyMergekit на основе трёх моделей: NeuralSoTa-7b-v0.1, NeuralSynthesis-7B-v0.3 и NeuralSirKrishna-7b. В карточке указан метод слияния dare_ties; архитектура — плотная MistralForCausalLM с 7,1 млрд параметров, веса представлены в формате safetensors и типе bfloat16. Модель предназначена для генерации текста и диалога. Она принимает текст и поддерживает контекст до 32 768 токенов. Данные карточки не уточняют поддерживаемые языки, специализированные области или сравнительное качество. Лицензия в предоставленных сведениях не указана.

Это конвертированная в GGUF версия NVIDIA Nemotron 3.5 Lightning 30B-A3B NVFP4, подготовленная автором репозитория для запуска через llama.cpp. Из конвертации исключены MTP-слои; веса сохранены в автоматически выбранном формате исходной модели. Модель предназначена для генерации текста и диалогового использования. Автор сообщает, что она запускалась на двух видеокартах RTX 5060 Ti по 16 ГБ, с контекстом до 1 048 576 токенов и квантизацией KV-кэша q8_0; по его оценке, для этого не требуется выгружать экспертные слои в оперативную память. Поддерживаемые языки по карточке: английский, испанский, французский, немецкий, итальянский и японский. Это конверсия исходной модели NVIDIA в GGUF для llama.cpp, а не самостоятельное дообучение; базовая модель — nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4. Репозиторий указывает лицензию «other», поэтому перед использованием следует проверить условия исходной модели и репозитория.

Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

OpenBeagle-11B — разговорная языковая модель семейства Mistral, опубликованная vicgalle. Это плотная авторегрессионная модель на 10,6 млрд параметров для генерации текста и диалога; она использует библиотеку Transformers и веса в формате safetensors. Нативная длина контекста — 32 768 токенов. Модель подходит для ведения диалога и генерации ответов на запросы. В README приведены результаты оценки на Open LLM Leaderboard, включая показатели на задачах AI2 Reasoning Challenge и HellaSwag. Модель выпущена под лицензией Apache-2.0. В метаданных указан датасет OpenHermesPreferences-1k.

Openbuddy Mistral 7B v13 — языковая модель для генерации текста и диалогового взаимодействия, разработанная командой OpenBuddy на базе архитектуры Mistral. Представленная версия распространяется в формате GGUF и квантизирована TheBloke, что позволяет запускать её локально с использованием llama.cpp и совместимых приложений и библиотек. Модель предназначена для ответов на вопросы, ведения многоязычных диалогов и других сценариев текстовой генерации. В README заявлена поддержка китайского, английского, французского, немецкого, японского, корейского, итальянского и русского языков. Размер модели — 7B параметров; модальность — текстовая. Длина контекста в предоставленных данных не указана. К сильным сторонам относятся компактный размер по сравнению с крупными моделями, возможность локального запуска на CPU и GPU, а также доступность нескольких вариантов квантизации — от 2 до 8 бит. Ограничения включают неизвестную длину контекста и отсутствие в README подробных сведений о качестве, датасете обучения и результатах оценки. Модель следует использовать с учетом возможных ошибок и устаревания знаний; в шаблоне указана граница знаний 2021 года. Лицензия модели указана как Apache-2.0. Репозиторий содержит именно GGUF-версии исходной модели OpenBuddy; конкретный уровень квантизации следует выбирать отдельно в зависимости от доступной памяти и требований к качеству.

OrcaAgent-llama3.2-8b-GGUF — это набор GGUF-квантизаций модели OrcaAgent-llama3.2-8b, разработанной Isotonic и квантизированной bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и агентских сценариев; обучение связано с наборами данных microsoft/orca-agentinstruct-1M-v1 и Isotonic/agentinstruct-1Mv1-combined. Указан английский язык. В основе лежит 8-миллиардная модель семейства Llama 3.2. Доступны варианты от F16 до Q2_K_L, различающиеся размером файла, требованиями к памяти и качеством: от 16,07 ГБ для F16 до примерно 3,69 ГБ для Q2_K_L. Наиболее сбалансированным вариантом README называет Q4_K_M размером 4,92 ГБ; варианты Q5 и Q6 обеспечивают более высокое качество, а Q3 и Q2 подходят для систем с ограниченным объёмом оперативной памяти. Формат GGUF поддерживается llama.cpp и приложением LM Studio. Сильная сторона модели — наличие множества уровней квантизации для локального запуска и выбора компромисса между качеством и потреблением памяти. Ограничения включают снижение качества в наиболее компактных вариантах, отсутствие сведений о размере контекста, мультимодальности и точных архитектурных характеристиках, а некоторые ARM-оптимизированные варианты требуют поддержки специальных инструкций и не рекомендуются для Mac. Лицензия — Apache-2.0.

dealignai/Ornith-1.5-9B-UNCENSORED-GGUF — квантизированная GGUF-версия мультимодальной модели Ornith 1.5 9B, разработанной Ornith AI и подготовленной Dealign.ai. Модель предназначена для запуска через llama.cpp и поддерживает работу с текстом и изображениями; для визуального ввода требуется отдельный проектор mmproj. Доступны варианты квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_M, Q3_K_M и Q2_K объёмом примерно от 3,6 до 8,9 ГБ. Архитектура Ornith 1.5 сочетает GatedDeltaNet (SSM) и attention. Модель поддерживает рассуждения с выдачей трассы <think>, включённые по умолчанию, а также сценарии анализа изображений и генерации текста. В README приведён пример контекста 8192 токена для llama-server, однако максимальный размер контекста явно не указан. Вариант Q4_K_M рекомендован как сбалансированный по качеству и размеру; для изображений с любой текстовой квантизацией используется один и тот же vision-проектор. Главная особенность сборки — удаление или ослабление отказов и защитных ограничений с сохранением заявленных знаний, связности и возможностей рассуждения. По данным README, разница с базовой моделью по MMLU не превышает 3 процентных пунктов, однако низкие уровни квантизации заметно снижают абсолютное качество, особенно Q2_K. Из-за сниженных защитных механизмов модель может генерировать опасный, незаконный или вредоносный контент, поэтому её следует использовать ответственно и законно. Лицензия — MIT, унаследованная от базовой модели.

q36 — диалоговая языковая модель на архитектуре Qwen3, опубликованная пользователем tjcrims0n. Это полноразмерный экспорт весов после слияния LoRA-адаптера, полученного в эксперименте Annihilate trial 71, с дообученной базовой моделью khazarai/Qwen3-4B-Qwen3.6-plus-Reasoning-Distilled. Модель содержит 3,7 млрд параметров, принимает текст и генерирует текст; максимальная длина контекста — 262 144 токена. Модель предназначена для диалоговых ответов и генерации текста, в том числе для задач с рассуждениями, унаследованных от базовой модели. В README указаны нулевые отказы в шести проверках, но этого недостаточно для выводов о надёжности или безопасности ответов. Веса сохранены в формате Safetensors с точностью bfloat16 и доступны по лицензии Apache-2.0.

Qwen2.5-0.5B-Instruct — компактная плотная авторегрессионная языковая модель семейства Qwen2.5 с примерно 494 млн параметров, подготовленная FuriosaAI для запуска на ускорителе RNGD через Furiosa-LLM. Это предварительно скомпилированная сборка базовой инструктивной модели Qwen/Qwen2.5-0.5B-Instruct; она сохраняет её назначение для генерации текста и диалогов, выполнения инструкций и вызова инструментов через парсер Hermes. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов и работает в исходной точности 16 бит без квантизации. Сборка ориентирована на лёгкое развертывание с низкой задержкой: на RNGD используется параллелизм по тензорам с размером 4 PE, что позволяет разместить модель на одной карте. Карточка указывает многоязычную поддержку, а метаданные отмечают английский язык. Лицензия — Apache 2.0. Как компактная модель, она может уступать более крупным моделям в сложных задачах; запуск этой сборки рассчитан на Furiosa-LLM и оборудование FuriosaAI RNGD.

Qwen2.5-32B-Instruct-20241228_103029 — дообученная модель для генерации текста, созданная на основе Qwen/Qwen2.5-32B-Instruct и обученная с помощью TRL. Она предназначена для диалогов и ответов на пользовательские запросы; интерфейс поддерживает вызов инструментов. Модель имеет плотную архитектуру Qwen2 с 32 млрд параметров и принимает контекст длиной до 32 768 токенов. Модель подходит для генерации ответов и другого текста в приложениях, использующих Transformers. В карточке не приведены сведения о датасете, конкретной специализации дообучения или проверках качества. Формат весов — safetensors; лицензия и языки в предоставленных данных не указаны.