II.4Отладка, тестирование и качество ПО

Abiray/K2-Horizon-MoVA-36B-A4B-GGUF — набор GGUF-квантизаций модели IFM/K2-Horizon-MoVA-36B-A4B, разработанной IFM. Это текстовая генеративная модель для диалогов, написания и обработки текста, программирования и других задач, выполняемых через llama.cpp. Модель использует разреженную архитектуру Mixture-of-Experts с механизмом Mixture-of-Values Attention (MoVA): всего 36 млрд параметров, из которых на каждом токене активируется около 4 млрд. Заявленное преимущество — скорость инференса, близкая к моделям меньшего размера, при сохранении возможностей модели масштаба 36B. Указан английский язык; поддержка других языков и дополнительные модальности не заявлены. Репозиторий содержит варианты квантизации от Q3_K_S до Q8_0 размером примерно от 16,4 до 39,8 ГБ. Q4_K_M обозначен как рекомендуемый баланс качества и потребления памяти, а Q8_0 обеспечивает точность, близкую к исходной BF16-модели. Точные характеристики контекстного окна в README не указаны. Для запуска требуется специальная версия llama.cpp из форка MBZUAI-IFM с веткой model/K2Horizon; стандартная upstream-версия на указанном этапе не поддерживает архитектуру k2-horizon. Модель использует ChatML-подобный формат с тегами рассуждений. Лицензия — Apache-2.0. Требования к ресурсам зависят от квантизации: для вариантов Q4_K_M рекомендуется от 24 ГБ VRAM при полной выгрузке на GPU и 32 ГБ системной RAM, тогда как для Q8_0 требуется около 48 ГБ VRAM и RAM. README не содержит независимых результатов бенчмарков или подробного описания ограничений качества.

Meta-Llama-3-8B-Instruct-GGUF — языковая модель для генерации текста, созданная Meta и представленная сообществом lmstudio-community в формате GGUF. Она основана на Meta-Llama-3-8B-Instruct и предназначена для диалоговых приложений, ответов на вопросы, следования инструкциям и других задач текстовой генерации. Указан английский язык и тип применения text-generation. Модель имеет 8 миллиардов параметров и относится к семейству Llama 3. В предоставленных данных не указаны точная архитектура, размер контекстного окна, доступные варианты квантования и дополнительные модальности, поэтому эти характеристики нельзя определить надёжно. Формат GGUF ориентирован на локальный запуск совместимыми средствами, включая приложения класса LM Studio. Модель может быть полезна для локальных текстовых помощников и других сценариев, где требуется выполнение инструкций на английском языке. Ограничения включают неизвестные параметры производительности, отсутствие подтверждённых мультиязычных возможностей и потенциальные ошибки или нежелательные ответы, характерные для генеративных языковых моделей. Использование регулируется Meta Llama 3 Community License: при распространении материалов или продуктов необходимо соблюдать условия лицензии, требования к атрибуции, Acceptable Use Policy и прочие ограничения Meta.

Это GGUF-сборка языковой модели Qwen3.8-27B, разработанной командой Qwen, с постобучением SimPO и базой из семейства EfficientThink от nerkyor. Модель предназначена для генерации текста, диалогов, рассуждений и программирования. Она относится к dense-моделям с hybrid attention и поддерживает эффективное мышление; заявлены китайский и английский языки. Версия ориентирована на запуск через llama.cpp и совместимые приложения, включая LM Studio. Модель содержит 27 млрд параметров, 65 блоков, включая встроенную MTP-голову для speculative decoding. Используется смешанная квантизация: K/Q/V-блоки ключевых attention-слоёв сохранены в Q4_K, значительная часть FFN-контуров квантизирована в IQ3_XXS, другие компоненты — в IQ3_S, а нормы — в F32. Размер файла составляет 10,12 GiB при 3,18 BPW. При использовании Q4 KV-кэша заявлена поддержка контекста свыше 130 тысяч токенов на видеокарте с 16 ГБ памяти. Для vision-сценариев требуется отдельный vision projector из базового семейства Qwen3.8. К сильным сторонам относятся существенно уменьшенный размер, сохранение повышенной точности в важных attention-компонентах, встроенная MTP-голова и возможность ускорения генерации примерно в 2–3 раза на диалоговых ответах при корректной настройке. Ограничениями являются зависимость качества от агрессивной IQ3-квантизации, необходимость совместимого ПО и настройки параметров запуска, а также непредсказуемость выходов, поскольку сборка обозначена как uncensored. Модель предоставляется по лицензии Apache 2.0, но автор рекомендует её прежде всего для личных исследований и оценки, а не для публичного или производственного использования.

amazingvince/openhermes-7b-dpo — экспериментальная DPO-донастройка модели OpenHermes, опубликованная автором репозитория. В README она описана как дообучение OpenHermes на данных, призванных улучшить способности модели; базовая линия OpenHermes 2.5 основана на Mistral 7B и включает дополнительное обучение на наборах инструкций по программированию. Метаданные указывают на плотную авторегрессионную архитектуру MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате, включая ответы на инструкции и вопросы; базовое семейство также ориентировано на задачи с кодом. В карточке сказано, что модель экспериментальная, а подробности будут добавлены позднее. Доступны веса Safetensors, лицензия — Apache-2.0. README не приводит результатов именно этой версии, поэтому её качество и улучшения относительно базовой модели подтвердить нельзя.

Ornith-1.5-35B-A3B-Huihui-Sangreal-MTP-ICE-GGUF — квантованная GGUF-версия модели Ornith-1.5-35B-A3B, разработанной Ornith AI и представленной в аблитерированной редакции huihui-ai. Релиз gbuzhf использует калибровочный корпус Sangreal, шаблон чата Qwen-Sharp от peculiar-ragdoll и встроенную обученную MTPv2-голову для speculative decoding. Модель относится к архитектуре MoE с общим размером 35B и примерно 3B активных параметров; заявлены английский и китайский языки, задача — генерация текста, включая диалоговые и программные сценарии. Размер контекста в README не указан. Доступно пять уровней ICE-квантизации размером от 14,79 до 24,85 ГБ. Вариант 15G-ICE рассчитан на видеокарты с 16 ГБ памяти, версии 19G–23G — преимущественно на конфигурации с 24–32 ГБ, а 25G-ICE предназначен для 32 ГБ и ближе всего к исходной точности BF16. Измерения показывают высокое сохранение качества на английском тексте и коде, особенно у старших вариантов; младшие уровни экономят память, но сильнее отклоняются от BF16. Модель помечена как uncensored: в весах подавлено поведение отказа, поэтому она не предоставляет встроенного защитного барьера и требует изолированного запуска с ограничением доступа к операционной системе, сети и выполнению кода. Условия использования определены лицензией MIT.

Ornith-1.5-9B-GGUF — квантованные сборки мультимодальной модели Ornith 1.5 9B, разработанной ornith-ai и преобразованной и измеренной AtomicChat. Модель распространяется в формате GGUF для локального запуска с llama.cpp и поддерживает сценарии диалога, работы с изображениями и agentic coding. Для текстового режима vision projector можно не использовать; для обработки изображений требуется отдельный проектор объёмом около 0,92 ГБ. Доступны варианты от BF16 размером 17,9 ГБ до сильно сжатых IQ2/IQ1-сборок размером 2,81–3,38 ГБ. Рекомендуемый компромисс для видеопамяти около 8 ГБ — AD-Q5_K-Q4_K: он занимает 5,93 ГБ и показывает 93,10% совпадения следующего токена с эталонной BF16-моделью. Для более высокой точности доступны Q8_0 и BF16, а варианты с низкой разрядностью заметно теряют качество: самая компактная сборка имеет согласие лишь 53,74%. В README указаны запуск с контекстом до 8192 токенов и поддержка vision, но языки модели и дополнительные архитектурные характеристики не описаны. Сильные стороны модели — возможность локального запуска, широкий выбор квантований под разный объём видеопамяти и наличие мультимодального режима. Ограничения связаны с компромиссом между размером и точностью: самые компактные варианты авторы не рекомендуют для практического использования, а качество измерялось на отдельном нейтральном корпусе и не гарантирует результаты во всех задачах. Модель и сборки распространяются по лицензии MIT.

Phi-4-MedIT-10B-o1 — языковая модель для генерации текста и решения задач, требующих рассуждений. По карточке, модель создана на основе Phi-4: её сократили с 14 млрд до примерно 10 млрд параметров методом прореживания MKA2G и дообучили за одну эпоху на данных для рассуждений. В метаданных указаны плотная архитектура семейства Llama, реализация LlamaForCausalLM и контекст до 16 384 токенов. Модель предназначена для диалогового применения, задач на рассуждения и интеграции с ReasonFlow. Основной язык обучения — английский; карточка предупреждает о снижении качества на других языках. Репозиторий содержит веса в форматах Safetensors и GGUF, а лицензия — MIT. Ответы могут быть неточными или выдуманными, а также содержать предвзятость или нежелательный контент; для чувствительных сценариев нужна дополнительная проверка.

litert-community/Qwen3-4B-Thinking-2507 — это квантизированная версия модели Qwen3-4B-Thinking-2507, разработанной командой Qwen и преобразованной в формат LiteRT-LM для локального вывода на устройствах. Модель предназначена для генерации текста и задач, требующих пошагового рассуждения: перед итоговым ответом она формирует цепочку рассуждений в блоке <think>…</think>. Основные сценарии — on-device и edge-инференс на компьютерах, мобильных устройствах и одноплатных компьютерах с использованием runtime Google LiteRT-LM. Модель представляет собой плотную causal language model архитектуры Qwen3ForCausalLM с 4 млрд параметров и 36 слоями. Доступны артефакты с INT4-квантизацией: вариант с блоком 128 размером около 2,3 ГБ и динамический вариант с блоком 32 размером около 2,1 ГБ; для первого также используются INT8-эмбеддинги и целочисленные вычисления. Контекст KV-кэша составляет 4096 токенов. Производительность зависит от устройства и backend: на Apple M4 Max с Metal GPU заявлены около 68,5 токенов/с при декодировании и задержка до первого токена около 0,28 с, а на Raspberry Pi 5 — около 1,5 токена/с. Сильные стороны модели — поддержка локального выполнения, относительно компактный размер, оптимизации LiteRT-LM для GPU и сохранение значительной части качества исходной модели после INT4-квантизации: на GSM8K указано 86% против 90% у reference-версии в формате bfloat16. Ограничения включают зависимость скорости от аппаратной платформы, сокращение качества из-за квантизации и необходимость выделять достаточно большой лимит генерации: рекомендуется max_tokens не менее 2048, иначе цепочка рассуждений может быть оборвана до появления ответа. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель на базе Qwen3.6 27B. По данным README, разработка выполнялась в сотрудничестве автора модели с Nightmedia, TeichAI, armand0e и trohrbaugh; использовались, в частности, наборы DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель распространяется в формате GGUF, включая обычные и MTP-варианты, и предназначена для запуска на потребительском оборудовании. Модель ориентирована на широкий спектр задач: следование инструкциям, решение задач, рассуждения, программирование, творческое письмо и ролевые сценарии. Заявлена поддержка английского и китайского языков, а также возможностей vision, однако подробности о поддерживаемых входных форматах и размере контекстного окна в README не указаны. MTP-варианты используют multi-token prediction; для них рекомендуется температура не выше 1 и отключённый repetition penalty, поскольку более высокие значения могут ухудшать производительность. Все квантизации относятся к NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности. К сильным сторонам относятся заявленные улучшения следования инструкциям, общего интеллекта, решения задач и рассуждений, а также доступность вариантов для разного объёма памяти. README утверждает, что модель превосходит базовую Qwen3.6 27B в шести из семи тестов и сопоставима с ней в седьмом, но независимые результаты и подробные методики приведены недостаточно. Ограничения включают отсутствие точных сведений о контекстном окне, архитектуре vision-компонента и требованиях к памяти; для MTP-вариантов также указано, что при низком уровне принятия токенов лучше использовать обычную квантизацию. Лицензия — Apache-2.0.

Qwen3-Swallow-30B-A3B-SFT-v0.2 — двуязычная языковая модель Swallow LLM, разработанная на основе Qwen3. Это вариант семейства Qwen3-Swallow с архитектурой MoE и supervised fine-tuning; в карточке указано 2,6 млрд параметров, а контекстное окно составляет до 40 960 токенов по метаданным. Модель рассчитана прежде всего на японский и английский языки. Модель предназначена для диалоговой генерации текста, японско-английского перевода, решения математических задач и программирования. Разработчики сообщают об улучшении японского языка и сохранении или повышении STEM-навыков благодаря этапам CPT и SFT; версия SFT ориентирована на рассуждения по умолчанию. Для наиболее воспроизводимого запуска рекомендован vLLM, а README советует ограничивать контекст 32 768 токенами или меньше. Модель не обучалась специально для вызова инструментов, а переключение режима рассуждений не поддерживается. Авторы также предупреждают, что модель находится на раннем этапе разработки и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.

RoyRud1902/yolo11n-text — дообученная модель детекции текстовых областей на изображениях на базе YOLO11n от Ultralytics. Компактная архитектура YOLO11n nano содержит около 2,59 млн параметров и предсказывает ограничивающие рамки одного класса — текста. Модель рассчитана на документы, снимки экрана, интерфейсы и фотографии с текстом; библиотека для работы — Ultralytics, формат весов в репозитории — PyTorch. Модель можно использовать для поиска областей текста перед OCR, анализа документов, обработки PDF и нахождения текстовых элементов в интерфейсах. В README приведены результаты обучения на наборе DonkeySmall/Yolo-Text-Detection: precision 95,7%, recall 93,6% и mAP@50 97,6%. Лицензия — Apache-2.0. Модель лучше подходит для горизонтального текста; точность на повёрнутом тексте может снижаться. Она обучалась преимущественно на документах и изображениях интерфейсов, не различает типы текста и показывает лучшие результаты при размере входа около 640 пикселей.

AI4SGI-ExoMind-9B-GGUF — набор GGUF-квантизаций компактной модели ExoMind-9B, разработанной Shanghai AI Laboratory и дообученной на базе Qwen3.5-9B. Данный репозиторий поддерживается prithivMLmods и содержит варианты модели с точностью от BF16 до Q3_K_S. Модель предназначена для ресурсосберегающих экспериментов в области научного рассуждения и агентных исследовательских сценариев. ExoMind-9B ориентирована на ответы на научные вопросы, математическое и вычислительное рассуждение, поиск источников, обоснование выводов по доступным свидетельствам, исполняемую проверку результатов, интеграцию наблюдений, использование инструментов и создание агентных прототипов. Она сохраняет мультимодальные возможности базовой модели Qwen3.5 для работы с текстом и изображениями, поддерживает английский и китайский языки и имеет контекстное окно до 262 144 токенов. Обучение проводилось методом progressive Chain-of-Interaction на траекториях рассуждений и взаимодействия. К сильным сторонам относятся компактный размер в 9 миллиардов параметров, широкий контекст, мультимодальность, поддержка научно-исследовательских и tool-use-сценариев, а также доступность нескольких GGUF-квантизаций для запуска через llama.cpp и совместимых инструментов. При этом отдельные официальные результаты бенчмарков для ExoMind-9B не приведены: опубликованные показатели относятся к более крупной модели ExoMind-35B-A3B и не должны переноситься на эту версию. Модель выпущена по лицензии Apache License 2.0; сопутствующие материалы, бренд ExoMind и некоторые элементы публикации могут регулироваться отдельными условиями.

Bylastic — модель классификации текстовых журналов от Byviz Analytics на архитектуре DistilBERT. Она распределяет записи по трём классам: ERROR, WARNING и INFO, чтобы выделять сбои, потенциальные проблемы и обычные сообщения в потоках логов. Модель предназначена для встраивания в конвейеры обработки журналов и интеграции с Elastic; веса доступны в формате safetensors, длина контекста составляет 512 токенов. Модель подходит для автоматической сортировки больших объёмов системных журналов и первичного выявления записей, требующих внимания. Карточка заявляет оптимизацию производительности и интеграцию с Elastic, но не приводит количественных результатов оценки. Лицензия — Apache-2.0.

Mungert/gemma-3-27b-it-qat-q4_0-GGUF — экспериментальная GGUF-квантизация модели google/gemma-3-27b-it, разработанная сообществом Mungert на базе Gemma 3 от Google. Это instruction-tuned модель с поддержкой текста и изображений, предназначенная для локального запуска и решения задач генерации текста, программирования, анализа и работы с мультимодальным вводом. Точные сведения о языках и размере контекстного окна в README не указаны. Модель получена посредством повторной квантизации исходной QAT Q4_0-модели с использованием imatrix-файлов Google для последующего сжатия до более низкой точности. Формат GGUF ориентирован на запуск в совместимых инструментах, включая llama.cpp. Автор приводит предварительные сравнения perplexity и качественный тест генерации .NET-кода, где вариант на основе QAT показал преимущество над сопоставимой квантизацией из BF16, однако подчёркивает, что тестовый набор был небольшим, результаты нестабильны, а окончательные выводы делать нельзя. Сильной стороной является потенциально более высокое качество при низкой разрядности по сравнению с обычной квантизацией из BF16, а также возможность локального запуска с уменьшенными требованиями к памяти. Ограничения включают экспериментальный статус, отсутствие полноценной независимой оценки и возможные ошибки модели в сложных технических задачах; приведённый пример также показывает, что модель может неправильно интерпретировать детали TLS и постквантовой криптографии. Для использования на Hugging Face требуется принять лицензию Google Gemma; в README указана лицензия gemma.

drowzeys/keys-GLM-5.3-EXL3-Abliterated — производная версия GLM-5.3 от drowzeys с правкой весов, основанной на derisk-проекции Blackfrost AI. Это полноразмерная разреженная MoE-модель с 78 слоями и 256 маршрутизируемыми экспертами. Экспертные матрицы квантованы до 3 бит в формате EXL3; остальные компоненты сохранены в bf16/fp16. Репозиторий содержит веса в safetensors и предназначен для диалоговой генерации текста. Модель рассчитана на запуск через описанный авторами стек vLLM на четырёх NVIDIA DGX Spark с контекстом до 1 000 000 токенов. README сообщает, что изменение весов направлено на снижение отказов на безвредных запросах, а проверки включали рассуждения, код, фактические вопросы и творческий текст. Это заявление авторов карточки, не независимая оценка качества. В метаданных базовой указана zai-org/GLM-5.3; лицензия — MIT. Для запуска требуются значительные аппаратные ресурсы и совместимый стек, описанный в репозитории.

Kimi-VL-A3B-Thinking — мультимодальная модель Moonshot AI для анализа изображений и текста с расширенными возможностями рассуждения. Это вариант Kimi-VL-A3B-Instruct, дообученный с помощью supervised fine-tuning на длинных цепочках рассуждений и обучения с подкреплением. Архитектура сочетает MoE-языковую модель, визуальный энкодер MoonViT с обработкой изображений в исходном разрешении и MLP-проектор. Всего в модели около 16 млрд параметров, из них при работе активируется примерно 3 млрд. Модель предназначена для визуальных вопросов и ответов, понимания диаграмм и документов, OCR, математических задач по изображениям и мультимодального рассуждения. Она поддерживает контекст до 128 тыс. токенов и рассчитана на диалоговый сценарий. README рекомендует для задач с длительным рассуждением повышать температуру генерации; также отмечено, что существует более новая версия Kimi-VL-A3B-Thinking-2506. Лицензия — MIT.

failspy/Llama-3-8B-Instruct-MopeyMule — разговорная языковая модель на базе семейства Llama 3, разработанного Meta. Она предназначена для диалоговых сценариев и генерации текста и кода; подходит для создания ассистентов, ответов на запросы и других задач генерации на естественном языке. Модель использует авторегрессионную архитектуру Transformer с Grouped-Query Attention (GQA) и содержит около 7,5 млрд параметров. Она принимает текст, выдаёт текст и рассчитана прежде всего на английский язык. Длина контекста составляет 8192 токена. Репозиторий содержит веса в формате safetensors. В README указана лицензия Meta Llama 3 с условиями коммерческого и исследовательского использования, а также ограничениями Acceptable Use Policy. Базовая карточка описывает семейство Llama 3 и не подтверждает отдельно происхождение или дополнительные особенности варианта MopeyMule.

Occiglot-7B-EU5 — базовая многоязычная генеративная языковая модель, разработанная Occiglot Research Collective. Это плотный авторегрессионный трансформер с архитектурой Mistral и 7,1 млрд параметров. Модель создана продолжительным предобучением Mistral-7B-v0.1 на 293 млрд дополнительных токенов многоязычных данных и кода; максимальная длина контекста по метаданным — 32 768 токенов. Модель предназначена для генерации и продолжения текста на английском, немецком, испанском, французском и итальянском языках, а также для работы с кодом. Её можно использовать как основу для собственных дообучений и оценок. Это базовая модель без дообучения на инструкциях, поэтому она не оптимизирована для диалога или чат-приложений; для таких сценариев авторы предлагают вариант Occiglot-7B-EU5-Instruct. Лицензия — Apache 2.0.

Occiglot-7B-FR-EN-Instruct — чат-модель с открытыми весами, разработанная Occiglot Research Collective. Это инструктивно дообученная версия occiglot-7b-fr-en: плотный авторегрессионный трансформер Mistral с 7,1 млрд параметров. Модель предназначена для диалогов и выполнения инструкций на французском и английском языках; в обучении также использовались инструкции для кода. Контекст модели по метаданным составляет 32 768 токенов. Модель обучена методом полного инструктивного дообучения на данных Open-Hermes-2B и нескольких наборах французских инструкций. Она использует шаблон чата ChatML и токенизатор Mistral-7B-v0.1. Авторы называют релиз ранним этапом исследовательского проекта; опубликованные оценки предварительные, а результаты для французского получены на ограниченных наборах и требуют осторожной интерпретации. Модель не проходила выравнивание по безопасности и может выдавать проблемный контент. Лицензия — Apache 2.0.

Q3.6-35B-A3B-abliterated-0520-MAX-GGUF — модель от prithivMLmods, основанная на Qwen/Qwen3.6-35B-A3B и распространяемая в формате GGUF. Это модифицированная версия с применением анализа направлений отказа и обучения методом абляции, направленная на снижение внутренних отказов при сохранении способностей к рассуждению и следованию инструкциям. В README также указана производная модель prithivMLmods/Q3.6-35B-A3B-abliterated-0520-MAX-STOR-check. Модель предназначена для генерации текста, подробных ответов, рассуждений и выполнения инструкций, включая сценарии локального запуска через llama.cpp или совместимые средства инференса. Указан английский язык. Архитектура описана как Mixture-of-Experts с 35 млрд параметров; максимальная длина контекста в README не указана. Наличие файлов mmproj и тега image-text-to-text указывает на заявленную поддержку мультимодального сценария, однако конкретные возможности работы с изображениями не описаны. Доступны варианты квантования от Q2_K до Q8_0, а также BF16 и F16; размеры файлов составляют примерно от 12,9 до 69,4 ГБ, что позволяет выбирать компромисс между требованиями к памяти и качеством. Сильной стороной заявляется улучшенное следование инструкциям и сниженное количество отказов, но это одновременно является ограничением для безопасного применения: поведение модели может быть менее ограничивающим, а качество и безопасность ответов требуют самостоятельной проверки. Модель предназначена авторами для исследований и обучения, а использование осуществляется на риск пользователя. Лицензия — Apache-2.0.

Qwen3.8-27B-Axon-MLQT — квантованная версия Qwen3.8-27B в формате GGUF, подготовленная Jaesoo Park из AXON Sovereign Intelligence Lab. Модель предназначена для диалоговой генерации текста и запуска локально через llama.cpp, Ollama или llama-cpp-python; в карточке также заявлены сценарии рассуждения и программирования. Весовая матрица упакована в тритовые значения {-1, 0, +1}; итоговый файл занимает 6,43 ГБ. README сообщает о тестировании на потребительской видеокарте, но приведённые показатели производительности и сохранения качества являются заявлениями автора. Модель основана на Qwen/Qwen3.8-27B; лицензия — Apache-2.0. Метаданные указывают на диалоговые возможности и задачу генерации текста.

Brooooooklyn/Qwen3.8-27B-MXFP4-mlx — это квантованная версия модели Qwen3.8-27B, разработанной командой Qwen и преобразованной в формат MLX для Apple Silicon. Модель предназначена для генерации текста, работы с изображениями и текстом, а также задач программирования. Она относится к семейству Qwen3.5 и использует плотную языковую архитектуру из 64 слоёв: 48 слоёв с линейным вниманием и 16 слоёв с полным вниманием. В составе также есть BF16 vision tower и один слой MTP для ускоренного спекулятивного декодирования. Веса используют смешанную weight-only квантизацию: MXFP4 с группами по 32 элемента для части FFN-слоёв и MXFP8 с группами по 32 элемента для остальных основных модулей, включая attention, lm_head и последние восемь FFN-слоёв. Эмбеддинги, нормализации, vision tower, MTP-подсистема и другие исключённые тензоры сохранены в BF16. Контекстное окно и полный список поддерживаемых языков в представленном описании не указаны. Модель рассчитана на локальный запуск в экосистеме MLX и требует @mlx-node/lm и @mlx-node/core версии 0.0.10 или новее. К преимуществам относятся существенное уменьшение размера весов и совместимость с Apple Silicon, однако README не содержит результатов оценки качества, производительности, работы с длинным контекстом или изображениями, поэтому эти характеристики не подтверждены. Квантизация не использует калибровочные данные и не гарантирует эквивалентность NVIDIA NVFP4 или калиброванным схемам W4A4/W8A8. Исходная модель распространяется по лицензии Apache-2.0; вклад в возможности и обучение принадлежит Qwen Team, рецепт квантизации разработан Unsloth.

Codepy-Deepthink-3B — дообученная модель PrithivMLmods на базе meta-llama/Llama-3.2-3B-Instruct для генерации текста с акцентом на рассуждения, логическую структуру и решение задач. Она предназначена для диалогов, пошаговых объяснений, помощи в программировании, учебных задач и творческого письма. Модель использует плотную архитектуру Llama с 3,2 млрд параметров и поддерживает контекст до 131 072 токенов. Карточка указывает английский язык; формат весов — safetensors. Лицензия — CreativeML OpenRAIL-M. В README приведён пример генерации пароля, но он помечен как неприменимый, поэтому качество выполнения конкретных задач программирования по карточке подтвердить нельзя.

Codetulu 2 7B — англоязычная модель-ассистент, разработанная AI2 и дообученная на базе codellama/CodeLlama-7b-hf. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров и контекстом до 8192 токенов. Обучение проводилось на смеси общедоступных, синтетических и созданных людьми данных Tulu V2, включая набор allenai/tulu-v2-sft-mixture. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы на английском языке. Её можно использовать для создания черновиков ответов, объяснений и обобщений, а также для помощи с программным кодом благодаря базовой CodeLlama. Для качественной генерации следует соблюдать формат ввода, описанный в карточке модели. Модель не проходила выравнивание безопасности на этапе RLHF и не использует фильтрацию ответов во время работы, поэтому может генерировать проблемный контент, особенно по соответствующему запросу. Лицензия — AI2 ImpACT Low-risk; перед использованием следует учитывать её условия.

cksghl1004/cpp_moondream2 — компактная модель визуального языка из семейства Moondream, опубликованная 25 июня 2025 года. Репозиторий содержит релиз Moondream от 21 июня 2025 года; модель предназначена для эффективного запуска на широком спектре устройств. Доступны веса в форматах GGUF F16 и safetensors, лицензия — Apache-2.0. Модель принимает изображения и текстовые запросы и формирует текстовые ответы. Она подходит для описания изображений, ответов на визуальные вопросы, распознавания текста в документах и таблицах, понимания диаграмм и интерфейсов, обнаружения и подсчёта объектов, а также тегирования изображений. В README отмечены улучшения OCR и понимания диаграмм, документов и экранов в обновлениях 2025 года. Рекомендуется фиксировать конкретную ревизию при использовании в производственном приложении, поскольку модель часто обновляется. Для свежего релиза в README указано, что подробные примечания к выпуску ещё не опубликованы.

INTELLECT-1-step-78000 — промежуточный чекпойнт языковой модели INTELLECT-1 от Prime Intellect и сообщества участников. Модель обучалась с нуля и относится к плотной архитектуре Llama; в метаданных указано 9,7 млрд параметров, а в README размер округлён до 10 млрд. Чекпойнт соответствует шагу 78 000 обучения. Модель предназначена для генерации текста на английском языке, включая работу с кодом и математическими текстами. Она обучалась на корпусах веб-текстов, кода и математики, а длина контекста составляет 8 192 токена. Репозиторий содержит веса в формате safetensors. Это промежуточный чекпойнт, поэтому его качество может уступать финальной версии INTELLECT-1 и instruct-модели; для диалогового следования инструкциям предпочтительнее instruct-вариант. Модель выпущена под лицензией Apache 2.0.

TroyDoesAI/Mermaid-Flow-MoE-Expert2 — текстовая модель генерации на архитектуре Llama с 10,6 млрд параметров. Она создана слиянием методом SLERP моделей TroyDoesAI/Mermaid-Solar и TroyDoesAI/Mermaid_PythonCoder; в конфигурации указана базовая модель TroyDoesAI/Mermaid-Solar. Модель предназначена для генерации текста по запросу и объединяет возможности исходных моделей, одна из которых ориентирована на код Python и Mermaid. Модель принимает текст и выдаёт текст. Нативное окно контекста составляет 4096 токенов. Репозиторий содержит веса Safetensors, для работы указана библиотека Transformers. Данных о конкретном качестве, поддерживаемых языках и лицензии в доступных источниках нет.

Mistral-Nemo-Instruct-2407-quantized.w4a16 — текстовая instruction-tuned модель семейства Mistral-Nemo, разработанная Neural Magic на основе Mistral-Nemo-Instruct-2407. Она предназначена для коммерческого и исследовательского использования в англоязычных assistant-like чат-сценариях и задачах генерации текста. Модель работает только с текстом на входе и выходе и использует INT4-квантизацию весов линейных слоёв трансформера по схеме W4A16 с алгоритмом GPTQ, групповой симметричной квантизацией и размером группы 128. Снижение разрядности с 16 до 4 бит уменьшает размер модели на диске и требования к памяти GPU примерно на 75%, что облегчает развёртывание через vLLM или Transformers. Заявленный результат на OpenLLM Leaderboard v1 составляет 70,13 против 71,61 у неквантизированной версии. К сильным сторонам относятся существенно сниженные требования к памяти и удобство эффективного инференса. Ограничения включают поддержку и заявленное назначение только для английского языка, а также небольшое снижение benchmark-показателей относительно исходной модели; размер модели и максимальная длина контекста в README не указаны. В описании указана лицензия Apache-2.0, хотя в метаданных README также присутствует значение llama2; это расхождение следует уточнить перед использованием.

RedHatAI/Phi-3-medium-128k-instruct-quantized.w4a16 — это квантизированная версия инструкционной языковой модели Phi-3-medium-128k-instruct, разработанная Neural Magic на базе модели Microsoft. Модель принимает текст и генерирует текст, предназначена прежде всего для англоязычных ассистентских диалогов, чат-ботов и задач генерации ответов, а также для коммерческого и исследовательского использования. Модель использует архитектуру Phi-3 и поддерживает контекст размером до 128 тысяч токенов. Веса линейных операторов в трансформерных блоках квантизированы в формат INT4 по схеме W4A16 с симметричной групповой квантизацией и размером группы 128; для квантизации применён GPTQ через библиотеку llm-compressor. Оптимизация сокращает объём хранения и требования к GPU-памяти примерно на 25% по сравнению с 16-битной версией. Указанный результат на OpenLLM Leaderboard v1 составляет 72,38 против 74,46 у неквантизированной модели. К сильным сторонам относятся большой контекст и сниженные требования к памяти, что упрощает эффективное развёртывание через vLLM или Transformers. Ограничения включают специализацию на английском языке, возможное снижение качества из-за квантизации и недопустимость использования в языках, отличных от английского, согласно README. В README указана лицензия MIT, однако в метаданных также присутствует обозначение llama2; перед использованием следует проверить применимые лицензионные условия.

SirSahOl преобразовал Phi-4-mini-instruct от Microsoft в формат MLX с 16-битными весами для запуска на компьютерах Apple Silicon. Это плотная авторегрессионная языковая модель семейства Phi-4 с 3,8 млрд параметров, рассчитанная на диалоговую генерацию текста. Модель подходит для ответов на вопросы, написания и редактирования текстов, генерации кода и рассуждений в приложениях с ограниченными ресурсами. Репозиторий содержит веса в формате safetensors и использует библиотеку MLX. В метаданных указан контекст 4096 токенов; автор README предупреждает о возможном ухудшении качества при очень длинном контексте и указывает, что для запуска с MLX требуется Apple Silicon M1 или новее. Бенчмарки для этой версии пока не приведены. Лицензия — MIT.