II.2Создание и понимание программного кода

MaziyarPanahi/Llama-3-8B-Instruct-DPO-v0.2 — диалоговая языковая модель, созданная MaziyarPanahi методом DPO дообучения Meta Llama 3 8B Instruct. Модель использует архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Она принимает текстовые сообщения в шаблоне ChatML и генерирует текстовые ответы.

Карточка модели princeton-nlp/Llama-3-Instruct-8B-DPO-v0.2 на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Instruct-8B-SimPO-v0.2, поэтому описание составлено по ней. Llama-3-Instruct-8B-SimPO-v0.2 — диалоговая языковая модель семейства Llama, выпущенная командой Princeton NLP как модель из работы SimPO (Simple Preference Optimization with a Reference-Free Reward). Она предназначена для генерации текста в формате инструкций и диалога. Модель содержит 7,5 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Модель связана с исследованием оптимизации предпочтений без эталонной модели. В карточке не приведены подробности обучения, оценки качества или специальные области применения; метаданные указывают поддержку чата и формат весов safetensors. Лицензия в предоставленных данных не указана.

Карточка модели princeton-nlp/Llama-3-Instruct-8B-RRHF-v0.2 на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Instruct-8B-SimPO-v0.2, поэтому описание составлено по ней. Llama-3-Instruct-8B-SimPO-v0.2 — диалоговая языковая модель семейства Llama, выпущенная командой Princeton NLP как модель из работы SimPO (Simple Preference Optimization with a Reference-Free Reward). Она предназначена для генерации текста в формате инструкций и диалога. Модель содержит 7,5 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Модель связана с исследованием оптимизации предпочтений без эталонной модели. В карточке не приведены подробности обучения, оценки качества или специальные области применения; метаданные указывают поддержку чата и формат весов safetensors. Лицензия в предоставленных данных не указана.

Карточка модели princeton-nlp/Llama-3-Instruct-8B-SLiC-HF на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Instruct-8B-SimPO-v0.2, поэтому описание составлено по ней. Llama-3-Instruct-8B-SimPO-v0.2 — диалоговая языковая модель семейства Llama, выпущенная командой Princeton NLP как модель из работы SimPO (Simple Preference Optimization with a Reference-Free Reward). Она предназначена для генерации текста в формате инструкций и диалога. Модель содержит 7,5 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Модель связана с исследованием оптимизации предпочтений без эталонной модели. В карточке не приведены подробности обучения, оценки качества или специальные области применения; метаданные указывают поддержку чата и формат весов safetensors. Лицензия в предоставленных данных не указана.

Llama-3-Perky-Pat-Instruct-8B-GGUF — квантизированная GGUF-версия инструкционной языковой модели Llama-3-Perky-Pat-Instruct-8B. В качестве базовых моделей указаны Meta-Llama-3-8B-Instruct от Meta и Llama-3-8B-Instruct-MopeyMule от failspy; исходная модель опубликована grimjim. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия по инструкциям. Она поддерживает текстовый ввод и вывод, использует формат промптов Llama 3 с ролями system, user и assistant. Размер базовой модели — 8 миллиардов параметров. Сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Репозиторий содержит множество вариантов квантизации от Q8_0 до Q2_K и IQ2/IQ3/IQ4, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Варианты Q5–Q6 и Q4 описаны как обеспечивающие высокое или хорошее качество, тогда как варианты Q2–Q3 экономят память, но заметно уступают по качеству. Лицензия указана как llama3; конкретные условия её применения следует проверять в документации лицензии Llama 3.

M7Yamshadowexperiment28_OgnoExperiment27 — слитая языковая модель на архитектуре Mistral, созданная объединением automerger/M7Yamshadowexperiment28-7B и automerger/OgnoExperiment27-7B. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и диалогов; поддерживает контекст длиной до 32 768 токенов. Модель принимает текст и выдаёт текст. Репозиторий содержит веса в формате SafeTensors. Она распространяется по лицензии Apache-2.0. Сведения о конкретных языках обучения и известных ограничениях в карточке не приведены.

M7Yamshadowexperiment28_YamshadowExperiment28 — слитая языковая модель на архитектуре Mistral, созданная объединением automerger/M7Yamshadowexperiment28-7B и automerger/YamshadowExperiment28-7B. Она предназначена для генерации текста и диалогов по текстовым запросам. Модель содержит 7,1 млрд параметров, использует формат весов Safetensors и поддерживает контекст до 32 768 токенов. Репозиторий распространяется по лицензии Apache-2.0.

Marcoroni-neural-chat-7B-v2-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая языковая модель, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.2 и Toten5/Marcoroni-neural-chat-7B-v2. Она предназначена для генерации текста и ответов на инструкции в формате диалога. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Поддерживает контекст до 32 768 токенов; опубликованные веса представлены в формате safetensors. Карточка не приводит сведения о поддерживаемых языках. Модель можно применять для диалоговых помощников, ответов на вопросы и генерации текста. Репозиторий распространяется по лицензии Apache-2.0. Качество ответов и конкретные языковые возможности в карточке не описаны.

Matter-0.1-Slim-7B-C-DPO — диалоговая языковая модель на 7,1 млрд параметров, созданная сообществом 0-hero на основе Mistral 7B. Модель прошла полное дообучение методом DPO на версии slim-C датасета Matter, собранного из более чем 35 наборов данных и содержащего свыше 6 млрд токенов. Она использует архитектуру MistralForCausalLM и формат диалога ChatML; заявленная длина контекста — 32 768 токенов. Модель предназначена для генерации ответов в чате и поддерживает интерфейс вызова функций. Её можно использовать как разговорного ассистента и для задач, где приложению нужно передавать модели запросы на вызов инструментов. Веса доступны в форматах PyTorch и Safetensors. Модель распространяется по лицензии Apache-2.0. README не приводит сравнительных оценок качества или подробностей языкового охвата; результаты могут зависеть от запроса и способа настройки ChatML и вызова функций.

MeliodasPercival_01_YamExperiment26 — объединённая языковая модель семейства Mistral, созданная на основе automerger/MeliodasPercival_01-7B и automerger/YamExperiment26-7B. Она предназначена для генерации текста и диалогов. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и принимает текстовый контекст длиной до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

MiniCPM5-2B-heretic-GGUF — это набор GGUF-квантизованных версий языковой модели MiniCPM5-2B-heretic, разработанной Dingdust и опубликованной в формате GGUF пользователем mradermacher. Модель предназначена для генерации текста, работы с длинным контекстом, вызова инструментов и локального запуска на устройствах с ограниченными ресурсами. В карточке указана поддержка английского и китайского языков. Модель относится к семейству MiniCPM и имеет размер 2 млрд параметров. Доступны варианты квантования от Q2_K до Q8_0, IQ4_XS и f16; размер файлов составляет примерно от 1,1 до 5,1 ГБ. Варианты Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как обеспечивающий очень хорошее качество, а Q8_0 — как вариант с наилучшим качеством среди перечисленных. Архитектура и максимальная длина контекста в README не указаны; по тегам модель ориентирована на текстовые сценарии, edge AI и on-device deployment. К сильным сторонам относятся компактный размер, возможность локального запуска и выбор между несколькими уровнями компромисса по скорости, качеству и потреблению памяти. Ограничения связаны с потерями качества при низком квантовании, а также с отсутствием в карточке подробных результатов оценки, описания конкретной архитектуры и точного размера контекста. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/mistral-7b_open_platypus-Mistral-7B-Instruct-v0.1 — языковая чат-модель, созданная слиянием Mistral-7B-Instruct-v0.1 и mistral-7b_open_platypus методом SLERP. Она предназначена для генерации ответов на инструкции и диалоговые запросы. Модель построена на плотной архитектуре Mistral с 7,1 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. В карточке указана поддержка английского языка. Модель распространяется в формате safetensors по лицензии Apache-2.0. Подходит для чат-ботов и других приложений, которым нужны ответы на текстовые запросы. Сведения о специализированной области применения и отдельных ограничениях качества в карточке не приведены.

Moonlight-16B-A3B-Instruct-MXFP4_MOE-GGUF — квантованная в формате GGUF модель Moonlight-16B-A3B-Instruct, опубликованная пользователем noctrex. Это чат-модель для генерации текста и выполнения инструкций на основе архитектуры Mixture-of-Experts; она имеет 16 млрд общих и около 3 млрд активных параметров. Модель предназначена для диалогов и генерации ответов на текстовые запросы. Вариант MXFP4_MOE использует квантование MXFP4 и распространяется в формате GGUF. Сведения о поддерживаемых языках, длине контекста и лицензии в предоставленных данных отсутствуют.

NeuralsirkrishnaShadow_ShadowYam — объединённая языковая модель на архитектуре Mistral, созданная путём слияния automerger/NeuralsirkrishnaShadow-7B и automerger/ShadowYam-7B. Модель содержит 7,1 млрд параметров и предназначена для генерации текста; контекстное окно составляет до 32 768 токенов. Модель подходит для генерации продолжений и ответов по текстовым запросам. Репозиторий распространяет веса в формате Safetensors по лицензии Apache 2.0. README не сообщает о специализации по языкам или прикладным областям.

NeuralSynthesis-7B-v0.3 — объединённая языковая модель семейства Mistral, созданная Kukedlc с помощью LazyMergekit. Модель содержит 7,1 млрд параметров и использует архитектуру MistralForCausalLM; в метаданных указан контекст до 32 768 токенов. Она предназначена для генерации текста и диалога на основе текстовых запросов. Чекпойнт получен слиянием нескольких моделей методом model_stock, включая Mergerix-7b-v0.3, Ognoexperiment27Multi_verse_model-7B, T3QM7, NeuralSynthesis-7B-v0.1, M7-7b и YamshadowExperiment28-7B. Файлы опубликованы в формате safetensors. Лицензия — Apache-2.0. В карточке не приведены сведения о языковом охвате и специальные ограничения на сценарии использования.

OmniBeagleSquaredMBX-v3-7B — слитая текстовая модель, созданная paulml с помощью LazyMergekit из paulml/OmniBeagleMBX-v3-7B и flemmingmiguel/MBX-7B-v3. Она предназначена для генерации текста и может использоваться в диалоговых и других сценариях, где требуется продолжать или создавать текст по текстовому запросу. Модель построена на плотной архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Для слияния применён метод SLERP; файлы опубликованы в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

OpenBuddy-R1-0528-Distill-Qwen3-32B-Preview0-QAT-GGUF — это набор GGUF-квантизаций языковой модели OpenBuddy-R1-0528-Distill-Qwen3-32B-Preview0-QAT, разработанной OpenBuddy и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. В основе лежит 32-миллиардная модель семейства Qwen3, представленная в нескольких вариантах точности: от BF16 до Q3 и различных Q4–Q8-квантизаций. README указывает поддержку китайского, английского, французского, немецкого, японского, корейского, итальянского и финского языков. Формат GGUF и варианты квантизации позволяют выбирать между качеством, размером файлов и требованиями к оперативной памяти; рекомендуемым универсальным вариантом назван Q4_K_M размером 19,76 ГБ, а Q6_K и Q6_K_L — высококачественными вариантами. Сильные стороны модели — широкий выбор квантизаций, возможность локального запуска и сохранение высокого качества в старших вариантах. Ограничения включают значительные требования к памяти даже для компактных вариантов, а также отсутствие в README сведений о размере контекста, конкретных возможностях рассуждения, мультимодальности и результатах benchmark-тестов. Распространение указано по лицензии Apache-2.0.

Ornith-1.5-35B-A3B-MagicQuant-GGUF — набор GGUF-квантизаций модели Ornith-1.5-35B-A3B, подготовленный проектом MagicQuant на базе модели ornith-ai. Это мультимодальная модель для задач image-text-to-text, способная обрабатывать изображения и текст; для работы с изображениями требуется отдельный vision projector mmproj в формате GGUF. Лицензия — MIT. Модель использует архитектуру qwen3_5_moe с примерно 35 млрд параметров, из которых около 3 млрд активируются на одном токене. В ней предусмотрено 256 экспертов, из которых маршрутизируются 8, а также поддержка vision. Доступны варианты Q4_K_M-v2 размером 19,58 GiB, Q5_K_M размером 22,88 GiB и Q6_K-v2 размером 28,81 GiB; отдельный vision projector занимает 0,86 GiB. Данные о поддерживаемых языках и максимальной длине контекста в README не указаны. Q4_K_M-v2 рекомендован как наиболее сбалансированный вариант по размеру и скорости, тогда как Q5_K_M заявлен как самый быстрый декодер из трёх при наличии дополнительной памяти, а Q6_K-v2 обеспечивает наименьшее измеренное отклонение от BF16 среди проверенных вариантов. Гибридное распределение точности снижает объём передаваемых весов на шаг декодирования и улучшает скорость по сравнению со старыми версиями тех же уровней. Ограничения связаны с потерями качества, присущими квантизации, заметными требованиями к памяти и тем, что приведённые показатели измерялись на конкретной конфигурации AMD Strix Halo с Vulkan; они не гарантируют аналогичную производительность на другом оборудовании.

pic_7B_mistral_Full_v0.2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением Mistral AI и TokenBender. В README указан метод слияния SLERP, а метаданные относят архитектуру к плотным моделям Mistral с классом MistralForCausalLM. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Её можно применять для чат-ботов, составления текстов и ответов на вопросы в текстовом интерфейсе. В README перечислены исходные модели и настройки слияния; данные о поддерживаемых естественных языках и специализированных областях применения не приводятся. Лицензия — Apache-2.0.

Pioneer-2x7B — слитая модель для генерации текста, созданная с помощью mergekit методом SLERP из HuggingFaceH4/mistral-7b-grok и OpenPipe/mistral-ft-optimized-1218. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров; она работает через библиотеку Transformers и имеет контекст длиной до 32 768 токенов. Модель предназначена для генерации продолжений текста и диалоговых ответов. Карточка не описывает отдельные специализированные области или языки, поэтому модель следует рассматривать как универсальную языковую. Файлы представлены в формате safetensors. Лицензия в доступных данных не указана.

quantized-gemma-7b-it — преобразованная сообществом mlx-community версия Gemma 7B Instruction Tuned от Google, предназначенная для генерации текста в диалоговом формате. Модель построена на плотной архитектуре GemmaForCausalLM, содержит 8,2 млрд параметров и рассчитана на контекст до 8192 токенов. Модель подходит для ответов на вопросы, диалогов и других задач генерации текста. Репозиторий содержит веса в формате safetensors и предназначен для использования с MLX. Лицензия указана как other; условия использования следует сверить с карточкой исходной модели Google.

unsloth/Qwen2.5-0.5B-Instruct-unsloth-bnb-4bit — компактная 4-битная версия модели Qwen2.5-0.5B-Instruct, подготовленная Unsloth на базе семейства Qwen, разработанного командой Qwen. Модель предназначена для задач генерации и обработки текста, включая диалоговые приложения, следование инструкциям, работу со структурированными данными, генерацию JSON, базовое программирование и математические запросы. Модель относится к классу авторегрессионных языковых моделей и содержит около 0,49 млрд параметров, из которых около 0,36 млрд не являются параметрами эмбеддингов. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV внимания, связанные эмбеддинги слов и Grouped Query Attention с 14 головами для Q и 2 для KV. Заявлена поддержка контекста до 32 768 токенов. Семейство Qwen2.5 поддерживает более 29 языков, включая английский, китайский, русский и другие, однако для данной конкретной версии в метаданных явно указан английский язык. Ключевое преимущество версии — сниженные требования к памяти благодаря 4-битному квантованию Unsloth, при этом заявлено выборочное квантование Dynamic 4-bit для лучшего сохранения точности по сравнению со стандартными 4-битными форматами. Ограничениями являются небольшой размер модели и, как следствие, более ограниченные возможности по сравнению с крупными моделями; README также не содержит подробных результатов бенчмарков именно для этой версии. Лицензия — Apache-2.0.

mlx-community/Qwen2.5-14B-Instruct-8bit — 14-миллиардная языковая модель семейства Qwen2.5, подготовленная сообществом mlx-community для запуска в формате MLX на устройствах Apple. README сообщает, что модель преобразована из Qwen/Qwen2.5-14B-Instruct с помощью mlx-lm версии 0.18.1; метаданные указывают архитектуру Qwen2ForCausalLM и контекст до 32 768 токенов. Модель предназначена для генерации текста в диалогах, ответов на вопросы и использования интерфейса вызова инструментов. Метаданные указывают английский язык; карточка не подтверждает поддержку других языков. Репозиторий распространяется по лицензии Apache-2.0. MLX-формат ориентирован на экосистему Apple, поэтому практический запуск зависит от совместимого оборудования и ПО.

Qwen2.5-7B-Ins-v3-GGUF — это квантизированная версия текстовой генеративной модели happzy2633/qwen2.5-7b-ins-v3, подготовленная пользователем bartowski в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев; в README также указан запуск через LM Studio. Рекомендуемый формат промпта использует специальные маркеры ролей system, user и assistant. Доступны варианты от исходных весов F16 размером 15,24 ГБ до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и Q2, включая форматы IQ. Более высокие уровни обычно сохраняют лучшее качество, а компактные варианты подходят для систем с ограниченным объёмом оперативной памяти. Для ARM-процессоров предлагаются специальные варианты Q4_0, требующие поддержки sve или i8mm; некоторые из них не рекомендуются для Mac и Windows. Модель относится к классу 7B, однако точные сведения об архитектуре, поддерживаемых языках, максимальном контексте, мультимодальности, результатах тестирования и ограничениях исходной модели в предоставленном README отсутствуют. Лицензия также не указана, поэтому условия коммерческого и иного использования необходимо уточнять на странице исходной модели.

Это конвертированная версия Qwen3.6-35B-A3B, подготовленная exolabs для запуска через vLLM. Весы исходного GGUF с MXFP4-квантованием экспертов MoE и тензорами в форматах K-quant, Q8 и F32 были деквантованы и преобразованы в safetensors с точностью BF16; архитектурные тензоры Qwen3.6/GDN были переименованы и согласованы для загрузки в Transformers и vLLM. Модель предназначена для диалоговой генерации и обслуживания через vLLM. Хотя в метаданных указана задача image-text-to-text и способность vision, визуальная башня в этом артефакте отсутствует: README рекомендует запускать его только для обработки текста с параметром --language-model-only. Для мультимодального анализа изображений этот файл модели не подходит. В репозитории 21 шард safetensors общим размером около 69,3 ГБ; README сообщает об успешных проверках загрузки, генерации и запуска в vLLM. Лицензия указана как other, поэтому перед использованием следует проверить её условия на странице модели.

Это GGUF-сборка модели Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved, подготовленная cvgro с применением смешанной квантизации APEX. В модели сохранены 20 слоёв MTP для спекулятивного декодирования; README заявляет о возможном ускорении генерации на 20–50% при соответствующих настройках llama.cpp. Модель основана на мультимодальной MoE-модели Qwen3.6-35B-A3B и принимает текстовые и визуальные запросы, выдавая текст. Сборка предназначена для диалога, генерации текста и работы с изображениями. Базовая модель была модифицирована Heretic и MPOA для снижения числа отказов, а эта версия дополнительно упакована в GGUF с вариантами APEX, включая F16. README утверждает, что APEX сохраняет качество при меньшем размере файлов, но приведённые таблицы сравнений в карточке опущены. Репозиторий распространяется по лицензии Apache-2.0. Для запуска README приводит примеры с llama.cpp и Ollama; указанный в примере контекст — 131072 токена. Это рекомендация для запуска, а не подтверждённый метаданными предел контекста модели.

Shiftedx/qwen3.8-27b-aeon-ultimate-uncensored-mxfp4-vision-mtplx — независимая community-конверсия модели AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16 в формат MLX, выполненная Shiftedx. Это неофициальный релиз AEON-7 или Qwen. Модель предназначена для генерации текста и обработки изображений, включая сценарии image-text-to-text, локальный запуск на устройствах Apple через MLX и ускоренное декодирование с помощью MTPLX. Модель использует плотную архитектуру семейства Qwen3.5 с гибридными механизмами attention/GDN и 64 языковыми слоями. Языковая часть квантизирована в MXFP4, 4 бита, group size 32; 333 исходных BF16-тензора vision-компонента сохранены, а patch embedding адаптирован к осям MLX. Заявленный размер индексированного артефакта — 14,98 GiB, настроенный контекст — до 262 144 токенов. Сохраняются токенизатор, chat template, processor metadata и происхождение лицензии Apache-2.0. В состав также входят 15 BF16-тензоров для multi-token prediction; на эталонном Apple M4 Max с 64 ГБ unified memory выбранная конфигурация D2 показала медианную скорость декодирования 45,61 токена в секунду, однако результаты зависят от оборудования, промпта, контекста и версии MTPLX. К сильным сторонам относятся поддержка текста и изображений, большой контекст, компактное 4-битное представление и возможность ускоренного инференса с MTPLX. Ограничения включают экспериментальный статус, неполную квалификацию заявленного контекста и зависимость производительности от локальной конфигурации. Это аблированный, намеренно несогласованный checkpoint: он может генерировать небезопасные или незаконные материалы, поэтому операторы несут ответственность за модерацию, контроль доступа, журналирование и человеческую проверку. Модель распространяется по лицензии Apache-2.0, при этом перед использованием следует учитывать предупреждения исходной модели.

andrew-paul/Qwen3.8-27B-GGUF — квантованная версия Qwen3.8-27B, опубликованная автором репозитория andrew-paul в формате GGUF. В README описан набор вариантов KERN с поканальной по тензорам квантованием и несколькими уровнями размера и качества; файлы включают веса Q3_K MTP. Приведены объёмы файлов и сравнительные метрики KLD и результата теста 28Q относительно BF16, которые служат скрининговыми показателями и не являются общей оценкой возможностей модели. Модель предназначена для генерации текста и диалогового использования. Для запуска README рекомендует сборку llama.cpp с поддержкой Qwen MTP и приводит пример конфигурации с контекстом 32 768 токенов. Варианты KERN уменьшают требования к хранению по сравнению с BF16, но имеют отличающиеся показатели сохранения качества; например, для eqQ3_S указан объём около 11,59 ГБ и средний KLD ниже 0,1. Базовая модель указана как Qwen/Qwen3.8-27B, лицензия — Apache-2.0. Метаданные описывают базовую модель как мультимодальную, однако README этого репозитория подтверждает только сценарий генерации текста.

majentik/Qwen3.8-27B-MLX-5bit — это 5-битная квантованная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и адаптированной для Apple Silicon с использованием MLX и mlx-lm. Квантование выполнено методом affine с размером группы 64: текстовая часть модели использует 5-битное представление, а vision tower и projector сохранены в формате BF16. Модель предназначена для генерации текста и обработки задач image-text-to-text, включая сценарии, где требуется анализ изображений и формирование текстового ответа. Модель рассчитана на локальный запуск через mlx-lm на устройствах Apple Silicon. В README не указаны точное число параметров исходной архитектуры сверх обозначения 27B, поддерживаемые языки и размер контекстного окна. Среди доступных результатов оценки приведены 0,6050 на ARC Easy и 0,5350 на HellaSwag; также сообщается о прохождении проверки связности генерации без пустых ответов, циклов повторения и артефактов специальных токенов. Квантование снижает требования к памяти по сравнению с полной точностью, но может несколько ограничивать качество относительно исходной модели; характеристики производительности и совместимости зависят от конкретного устройства Apple Silicon. Модель распространяется по лицензии Apache-2.0, унаследованной от исходной Qwen/Qwen3.8-27B.

Replete-LLM-V2.5-Qwen-72b-GGUF — это набор GGUF-квантизированных вариантов языковой модели Rombos-LLM-V2.5-Qwen-72b, разработанной rombodawg и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска с использованием llama.cpp, в том числе через LM Studio, с применением указанного chat-шаблона на основе специальных токенов Qwen. Модель относится к классу крупных текстовых LLM с заявленным размером 72 млрд параметров. Доступны варианты квантизации от Q8_0 до IQ1_M, различающиеся размером файлов, требованиями к памяти и качеством. Наиболее качественными и рекомендуемыми в README названы Q6_K, Q5_K_M и Q4_K_M; низкоразрядные варианты требуют меньше оперативной памяти, но заметно уступают по качеству. Для некоторых вариантов используются улучшенные Q8_0-веса эмбеддингов и выходного слоя. Архитектура, поддерживаемые языки, размер контекста и мультимодальные возможности в предоставленных данных не указаны. Модель подходит для локальной генерации текста и диалоговых сценариев при наличии оборудования с достаточным объёмом памяти. Основные преимущества — выбор между множеством уровней квантизации, совместимость с llama.cpp и возможность запуска в LM Studio. Ограничения связаны с большими требованиями к памяти даже у компактных вариантов и потерей качества при сильной квантизации. Указана лицензия Apache-2.0.