II.10Разработка и эксплуатация AI/ML-систем

Saxo, специалист по данным компании Linkbricks, дообучил эту плотную 70-миллиардную языковую модель семейства Llama на базе Saxo/Linkbricks-Horizon-AI-Japanese-Superb-V2-70B с помощью SFT и DPO. Модель ориентирована прежде всего на японский язык и обучалась на японских новостях и корпусе Википедии, а также на многоязычных данных для японского, корейского, китайского и английского языков. Модель предназначена для генерации текста, письма, программирования, математических и логических задач, анализа отзывов клиентов и публикаций в социальных сетях, а также вызова функций и инструментов. Она поддерживает контекст до 128 тысяч токенов. В метаданных указаны Transformers, формат safetensors и лицензия Apache-2.0. README сообщает об усилении японских возможностей и о поддержке function calling, однако результат зависит от задачи и качества запроса. Обучающие данные и заявленные возможности не гарантируют точность ответов; для критически важных решений результаты следует проверять.

Llama3.1-DarkStorm-Aspire-8B — плотная языковая модель семейства Llama 3.1, опубликованная ZeroXClem. Это объединение моделей Dark Enigma, Storm, Aspire и DarkStock методом TIES с использованием подхода Model Stock; в репозитории указаны 7,5 млрд параметров и формат SafeTensors. Модель предназначена для генерации текста, диалогов и следования инструкциям, включая творческое письмо, ролевые сценарии, помощь с кодом, анализ и исследовательские задачи. Она поддерживает контекст до 131 072 токенов и рассчитана прежде всего на английский язык. Карточка заявляет сильные стороны в связной генерации, творческом письме, рассуждениях и диалогах. Модель может выдавать предвзятые, ошибочные или вымышленные сведения; ответы в чувствительных сценариях требуют проверки. README также отмечает uncensored-подход, поэтому возможен чувствительный или оскорбительный контент. Лицензия — Apache-2.0.

yentinglin/Llama-3.1-Taiwan-8B-Instruct — чат-модель на базе архитектуры Llama, разработанная yentinglin. Она предназначена для генерации текста в диалогах и других сценариях, где требуется следовать инструкциям. Модель содержит 7,5 млрд параметров, использует библиотеку Transformers и формат Safetensors; заявленная длина контекста — 131 072 токена. В метаданных также отмечен интерфейс вызова инструментов. Карточка предупреждает, что ответы нужно самостоятельно проверять на точность и пригодность. Модель не предназначена для медицинской диагностики, юридических консультаций и финансовых решений. В предоставленных материалах условия лицензии не описаны.

Llama-3-Giraffe-70B-Instruct — разговорная языковая модель Abacus.AI, созданная на основе Meta Llama 3 70B Instruct с расширенным контекстом. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров; в метаданных указана длина контекста 8192 токена, а авторы заявляют эффективную длину около 128 тысяч токенов. Для расширения контекста применялись PoSE и динамическая NTK-интерполяция; обучающий адаптер переносили с Llama-3-70B-Base на Instruct-версию и выпустили слитую модель. Модель предназначена для диалогов, следования инструкциям и ответов на вопросы по длинным текстам, включая поиск информации в большом контексте. В README приведены результаты MT-Bench, близкие к исходной Llama 3 70B Instruct, и эксперименты Needle-in-a-Haystack до 128 тысяч токенов; оценивание эффективности авторы продолжают. Модель принимает текст и генерирует текст, карточка указывает английский язык. Репозиторий содержит веса Safetensors. Лицензия — Llama 3 License (llama3).

Neurona 8B v2 — предварительная диалоговая языковая модель на базе Meta Llama 3 8B Instruct, разработанная Икером Гарсией. Это плотная модель с архитектурой LlamaForCausalLM, примерно 7,5 млрд параметров и контекстом до 8192 токенов; она сохранена в формате safetensors и дообучена с помощью Axolotl на смеси англоязычных и испаноязычных наборов данных. Модель предназначена для диалога и генерации текста на испанском и английском языках. В карточке указаны сценарии RAG, вызова функций, помощи с кодом, ответов на вопросы и суммаризации; обучающие данные также включают перевод между английским и испанским, обработку новостей и экономические и медицинские тексты. Модель обозначена автором как экспериментальная предварительная версия, созданная для настройки скриптов и инфраструктуры, а не как финальный релиз. Лицензия — llama3.

llm-jp-4.1-32b-a3b-thinking — языковая модель семейства LLM-jp-4.1, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это трансформерная MoE-модель для генерации текста и диалогов; в ней 32 млрд общих параметров, из которых активируются около 3,8 млрд. Контекст составляет 65 536 токенов. Модель обучалась на 11,7 трлн токенов, а версия thinking прошла дообучение с контролируемой настройкой и выравниванием предпочтений DPO. Модель предназначена для диалоговых ассистентов и задач общего назначения: ответов на вопросы, рассуждений, математики, научных вопросов, программирования и перевода между японским и английским языками. Карточка указывает поддержку английского и японского; модель принимает текст и генерирует текст. Чат-шаблон совместим с форматом OpenAI Harmony, но для токенизации следует использовать комплектный токенизатор: токенизатор отличается от ожидаемого библиотекой openai-harmony. Разработчик характеризует релиз как модель для исследований и разработок и не рекомендует напрямую использовать её в производственных сервисах. Ответы могут быть неточными, неподходящими или нежелательными, поэтому модель следует оценивать для конкретного применения. Лицензия — Apache-2.0.

Карточка модели xuanguan5525/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Qwen2.5-32B-Instruct-MLX-4bit — языковая instruction-tuned модель для генерации текста и диалоговых сценариев, основанная на Qwen2.5-32B-Instruct, разработанной командой Qwen. Данная версия подготовлена сообществом LM Studio: MLX-квантизацию в формате 4-bit выполнил bartowski с использованием mlx-examples. Модель предназначена для работы на компьютерах Mac с Apple Silicon. Модель поддерживает обработку и генерацию текста, понимание структурированных данных и работу с длинным контекстом до 32 тысяч токенов; заявленный максимальный объём генерации составляет 8 тысяч токенов. Поддерживается более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся большой размер модели, многоязычность, поддержка длинного контекста и оптимизация для запуска на Apple Silicon благодаря MLX и 4-bit квантизации. Ограничения включают зависимость от совместимого оборудования и возможное снижение точности по сравнению с исходной моделью из-за квантизации. Как и другие генеративные модели, она может создавать неточные, вредные или неподходящие ответы. Модель распространяется по лицензии Apache-2.0.

hamishivi выпустил дообученную версию мультимодальной модели Qwen3.5-4B в формате Transformers. Это причинная языковая модель с визуальным энкодером на 4 млрд параметров, которая принимает текст и изображения и формирует текстовые ответы. Модель поддерживает диалог, визуальное понимание и вызов инструментов через соответствующий интерфейс. Модель предназначена для ответов на вопросы по изображениям, диалоговых и рассуждающих задач, работы с длинными текстовыми контекстами и сценариев с агентами и инструментами. В README заявлены поддержка 201 языков и диалектов, контекст 262 144 токена с расширением до 1 010 000 токенов и режим рассуждения по умолчанию. Архитектура сочетает Gated Delta Networks и разреженный Mixture-of-Experts. Весовые файлы совместимы с Transformers, vLLM, SGLang и KTransformers; лицензия — Apache-2.0. Изменённый шаблон чата сохраняет промежуточные рассуждения, а запуск с длинным контекстом может требовать значительных ресурсов памяти.

Svenuks/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная версия Qwen3.6-35B-A3B, подготовленная HauhauCS. Это модель типа Mixture of Experts с 35 млрд параметров, из которых около 3 млрд активируются при каждом проходе; используется 256 экспертов, из них 8 выбираются для каждого токена. Архитектура включает 40 слоёв и сочетает линейное внимание с полным softmax-вниманием в соотношении 3:1. Модель поддерживает текст, изображения и видео, языки English, 中文 и другие языки, заявленные как multilingual, а её нативный контекст составляет 262K токенов. Модель предназначена для диалогов, генерации и анализа текста, рассуждений, программирования, а также мультимодальных сценариев с обработкой изображений и видео. Вариант Aggressive отличается усиленным снятием встроенных отказов: согласно README, он генерирует ответы без отказов, хотя иногда может добавлять короткие дисклеймеры. Для работы с изображениями требуется отдельный файл mmproj, а для llama.cpp рекомендуется использовать флаг --jinja и контекст не менее 128K токенов для сохранения возможностей рассуждения. Модель распространяется в формате GGUF с вариантами квантования от IQ2_M и Q2_K_P до Q8_K_P; доступны файлы размером примерно от 11 до 44 ГБ. Квантования K_P оптимизированы с использованием importance matrix и анализа конкретной модели, что должно улучшать сохранение качества при умеренном увеличении размера файла. README не приводит результатов независимых тестов, поэтому фактическое качество и производительность зависят от квантования и оборудования. Отсутствие отказов может быть преимуществом для исследовательских и творческих задач, но одновременно означает ослабление защитных ограничений и повышенные риски небезопасного использования. Указанная лицензия — Apache 2.0.

TheWegemann/Qwen3.8-27B-LowGPU-NoMTP-IQ3XXXS-GGUF — это пользовательская GGUF-квантизация модели Qwen3.8-27B, разработанная TheWegemann совместно с авторами рецепта квантования. Модель предназначена для локального запуска через llama.cpp на видеокартах с 12 ГБ VRAM, включая сценарии работы с агентами, рассуждениями, текстом и изображениями. Модель основана на 27-миллиардной Qwen3.8-27B и занимает примерно 9,3 ГБ. Она использует гибридную архитектуру с блоками Gated DeltaNet и линейного внимания, периодическими блоками полного внимания и 64 слоями. Поддерживаются мультимодальные сценарии с совместимым F16 vision-проектором. В сборке удалена MTP-голова, чтобы уменьшить потребление видеопамяти. Рецепт IQ3XXXS является названием пользовательской схемы смешанного покомпонентного квантования, а не официальным типом квантования llama.cpp; применяются различные форматы, включая IQ1_S, IQ1_M, IQ2, IQ3, IQ4_XS, Q2_K, Q4_K, Q5_K и Q8_0. Тестирование проводилось с полным переносом на GPU, контекстом до 64 000 токенов, кэшем Q4_0, Flash Attention и сервером llama.cpp. Сильная сторона модели — сочетание относительно крупной базовой модели, мультимодальности и большого контекста с возможностью запуска на 12-ГБ GPU. Квантование агрессивно оптимизировано под ограниченный объём VRAM, а финальные слои и отдельные чувствительные тензоры сохранены с более высокой точностью. Ограничения связаны с потерями качества из-за низкой точности, отсутствием MTP и зависимостью фактического потребления памяти от версии llama.cpp, драйверов, настроек и использования видеопамяти. Сборка ориентирована прежде всего на GPU-only запуск; работа при меньшем объёме VRAM или с CPU offload возможна, но не является целевым сценарием. Модель распространяется по лицензии Apache-2.0.

Trinity-Large-Preview — разговорная модель Arcee AI на архитектуре разреженного Mixture-of-Experts (MoE), созданная на основе Trinity-Large-Base и прошедшая лёгкое дообучение для диалога. В README указано около 398 млрд параметров всего и примерно 13 млрд активных параметров на токен; метаданные каталога приводят размер 8,7 млрд параметров. Модель обучалась на более чем 17 трлн токенов, а этап настройки инструкций охватил 20 млрд токенов. Контекст составляет до 262 144 токенов. Модель предназначена для генерации текста и диалогов, в том числе с использованием интерфейса вызова инструментов. Заявлена поддержка английского, испанского, французского, немецкого, итальянского, португальского, русского, арабского, хинди, корейского и китайского языков. Доступны варианты запуска через Transformers, vLLM, llama.cpp, LM Studio и API. Карточка приводит неоднозначные результаты бенчмарков: модель выше Llama 4 Maverick на MMLU, но ниже на MMLU-Pro и GPQA-Diamond. Это preview-чекпойнт, который проходит активное обучение с подкреплением, поэтому качество может меняться. Указана лицензия other; конкретные условия использования следует проверять в репозитории модели.

Карточка модели nguyenthilaitrieulong/DeepSeek-R1-Distill-Llama-70B-abliterated на Hugging Face совпадает с карточкой huihui-ai/DeepSeek-R1-Distill-Llama-70B-abliterated, поэтому описание составлено по ней. Это экспериментальная версия DeepSeek-R1-Distill-Llama-70B, созданная huihui-ai методом abliteration: из модели удаляли склонность отказываться от ответов. Это плотная причинно-следственная языковая модель семейства Llama с 69,5 млрд параметров и контекстом до 131 072 токенов; она работает через Transformers и принимает и выдаёт текст. Модель предназначена для диалогов и генерации текста, в том числе для математических рассуждений, программирования и ответов на сложные вопросы — эти возможности унаследованы от базовой модели. Вариант с abliteration нацелен на ответы без типичных отказов, однако автор описывает метод как грубый proof of concept. Лицензия в предоставленных данных не указана.

Solstice-AI публикует GGUF-сборку DeepSeek-V4-Flash-Vision-UNCENSORED для локального мультимодального диалога и анализа изображений. В ней используются MoE-веса MXFP4 с 305 млрд параметров, включая 256 маршрутизируемых экспертов и около 18 млрд активных параметров на токен; визуальный энкодер сохранён в BF16. К сборке приложены спекулятивные черновые модели DSpark для ускорения вывода. Заявлена длина контекста 1 048 576 токенов. Модель принимает текст и изображения и выдаёт текст; среди подходящих сценариев — визуальные вопросы и ответы, анализ документов и графиков, а также задачи программирования и рассуждений в диалоге. Карточка приводит высокие результаты в ряде бенчмарков, включая DocVQA и ChartQA, но эти показатели заявлены автором и не гарантируют аналогичного качества в конкретной среде. Сборка распространяется по лицензии MIT. В README упоминается режим UNCENSORED, поэтому её ответы могут содержать материалы, которые обычно ограничиваются отказами.

Это GGUF-квантизации модели gemma-3-27b-it-ultra-uncensored-heretic, созданной независимым разработчиком LLMfan46 на основе Google Gemma 3 27B Instruct от Google DeepMind. Модель модифицирована с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA), чтобы уменьшить склонность исходной модели к отказам и ограничениям при сохранении её исходных возможностей. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и анализа изображений. Это мультимодальная модель с текстовым и графическим вводом и текстовым выводом; заявлена поддержка более 140 языков. Контекстное окно составляет 128K токенов, максимальный объём вывода — 8192 токена. Для работы с изображениями требуется отдельный vision projector, совместимый с выбранной квантизацией. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и Q4_K_S, что позволяет выбирать между качеством, размером и требованиями к памяти. По данным README, модифицированная версия показала 5 отказов из 100 против 98 из 100 у исходной модели, а KL divergence составила 0,0616; это указывает на значительно меньшее число отказов при относительно близком поведении к оригиналу. Модель совместима с llama.cpp, LM Studio, Ollama и другими инструментами, поддерживающими GGUF. Используется лицензия Gemma; применяются условия использования Google.

Карточка модели imtoolonley/Gemma-4-12B-it-qat-JANG_4M-CRACK на Hugging Face совпадает с карточкой Ishowbackup/Gemma-4-12B-it-qat-JANG_4M-CRACK, поэтому описание составлено по ней. Gemma 4 12B JANG4M CRACK — мультимодальная модель на основе Google Gemma 4 12B IT, опубликованная dealignai. Это дообученная и квантизованная версия с плотной унифицированной архитектурой для обработки текста и изображений; в README также заявлена поддержка аудиовхода. Модель предназначена для диалогов, ответов на вопросы, многошаговых рассуждений, генерации кода и работы с визуальными входами. Квантизация JANG_4M использует 8-битные веса для attention и 4-битные для MLP. Авторы сообщают о сохранении возможностей базовой модели, включая vision и audio, и приводят результаты собственных проверок MMLU и HarmBench. Метаданные указывают библиотеку MLX и формат safetensors; для запуска README требует Apple Silicon и vMLX с поддержкой Gemma 4. Модель описана как abliterated: авторы заявляют об удалении отказов и высокой доле выполнения запросов из категорий HarmBench. Это важное ограничение для сценариев, где требуется безопасное ограничение ответов. Лицензия — Gemma; авторы указывают исследовательское назначение и возлагают на пользователей ответственность за соблюдение применимых законов.

Inkbot — разговорная языковая модель, разработанная автором репозитория Tostino и основанная на плотной архитектуре Llama. Она предназначена для генерации ответов по структурированным запросам, с дополнительным контекстом или без него. Модель насчитывает 12,9 млрд параметров, использует формат PyTorch и имеет нативное окно контекста 4096 токенов. В карточке описана настройка позиционных эмбеддингов для работы с контекстом до 8k токенов. Inkbot подходит для RAG-сценариев и ответов по предоставленному контексту, редактирования и упрощения текста, суммаризации, перефразирования, создания текстов и извлечения знаний в виде графа. Структурированный шаблон запроса принимает дату, задачу, системную инструкцию и контекст пользователя; модель рассчитана на более функциональные и лаконичные ответы. Для лучших результатов требуется соблюдать шаблон и ясно задавать контекст. На сложных задачах возможны зацикливание генерации, бесконечное добавление узлов графа знаний и потеря влияния пользовательского контекста через один-два запроса. Указана лицензия Llama 2.

QuantFactory/Llama-3.1-8B-Instruct-Fei-v1-Uncensored-GGUF — это квантизированная версия модели Llama-3.1-8B-Instruct-Fei-v1-Uncensored, созданная с использованием llama.cpp. Базовая модель разработана на основе Llama 3.1 от Meta, а исходную модификацию подготовил пользователь aifeifei799. Модель предназначена для генерации текста, диалоговых помощников и других задач обработки естественного языка, включая работу с кодом. Это текстовая авторегрессионная модель с оптимизированной архитектурой Transformer и Grouped-Query Attention (GQA), содержащая 8B параметров. Она поддерживает ввод текста и генерирует текст или код, имеет контекст до 128k токенов и рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Квантизация в формате GGUF предназначена для более эффективного запуска, в том числе через llama.cpp, однако README не указывает конкретный тип квантизации, требования к памяти или характеристики производительности. Версия обозначена как uncensored, поэтому её поведение в части отказов и защитных ограничений может отличаться от стандартной instruction-tuned модели Meta; ответы по-прежнему могут быть неточными или небезопасными. Использование регулируется кастомной коммерческой лицензией Llama 3.1 Community License и связанными ограничениями Acceptable Use Policy.

Mistral-Nemo-NT-Ko-12B-sft — многоязычная диалоговая модель на архитектуре Mistral, дообученная автором werty1248 на базе mistralai/Mistral-Nemo-Base-2407. Модель содержит 12,1 млрд параметров и распространяется в формате safetensors по лицензии Apache-2.0. Она предназначена для диалогов и генерации инструктивных ответов на английском, корейском, китайском и японском языках. Дообучение ориентировано на языковое выравнивание, перенос знаний между языками и форматирование ChatML; модель обычно отвечает на языке запроса, если не задан другой язык. В карточке приведены результаты тестирования на LogicKor и MT-Bench. Контекст обучения составил 8 тыс. токенов, хотя для базовой модели указано окно до 128 тыс. токенов. Это промежуточная версия без оптимизации предпочтений. Длина ответов зависит от языка: английские ответы обычно длиннее, корейские — короче; поведение на японском и китайском автор продолжает наблюдать. Рекомендуемая температура генерации — 0,3–0,7.

Mistral Small 3.2 24B Instruct 2506 GGUF — мультимодальная инструкционная модель, разработанная Mistral AI и распространяемая в формате GGUF сообществом LM Studio. Квантизация выполнена lmmy на основе llama.cpp. Модель принимает текстовые и графические данные и генерирует текст, поэтому предназначена для диалоговых систем, обработки инструкций, анализа изображений с текстовым ответом и других локальных сценариев работы с мультимодальными запросами. Модель поддерживает контекст длиной до 128 000 токенов и десятки языков, включая английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский, индонезийский, малайский, непальский, польский, румынский, сербский, шведский, турецкий, украинский, вьетнамский, хинди и бенгальский. Точный вариант архитектуры и параметры квантизации в README не указаны; из названия следует размер базовой модели 24B. Производительность вызова инструментов может быть снижена. Модель распространяется по лицензии Apache-2.0. Следует учитывать, что это community-сборка, а не оригинальная публикация разработчика: LM Studio не гарантирует её точность, безопасность, доступность или пригодность для конкретных задач, а сгенерированные ответы могут быть ошибочными или неприемлемыми.

Qwen3-1.7B-GGUF — квантизированная GGUF-версия текстовой модели Qwen3-1.7B, разработанной командой Qwen. Квантизацию выполнил bartowski на основе llama.cpp, релиз b5200. Модель предназначена для генерации текста, следования инструкциям, творческого письма, ролевых сценариев и многошаговых диалогов. Модель поддерживает контекст до 32 000 токенов, режимы с рассуждением и без него, а также команду /no_think для отключения рассуждений. Заявлена повышенная эффективность в математике, программировании и задачах на здравый смысл, а также поддержка более 100 языков и диалектов и расширенные возможности для агентских сценариев. К ограничениям относятся возможные неточности, вредное или неподходящее содержание, характерные для языковых моделей. README не содержит сведений о конкретной лицензии модели, поэтому условия коммерческого и иного использования необходимо уточнять по исходной модели Qwen3-1.7B и странице квантизированной версии.

INCModel2/Qwen3.5-397B-A17B-MXFP4-Mixed-CT-AutoRound — вариант Qwen3.5-397B-A17B, сжатый в формат MXFP4 с помощью intel/auto-round и представленный в формате llm_compressor. Это мультимодальная модель с архитектурой Qwen3.5 MoE, предназначенная для диалогов и обработки изображений вместе с текстом; заявлен интерфейс вызова инструментов. В репозитории доступны веса safetensors, а для запуска автор приводит пример с vLLM и контекстом до 131072 токенов. Модель подходит для вопросов по изображениям, диалогов, задач на рассуждение и сценариев с вызовом инструментов. В приведённых тестах MXFP4 сохраняет 99,5% среднего результата BF16 на GSM8K, MMLU, PIQA и HellaSwag. README предупреждает о возможных фактических ошибках, предвзятых или оскорбительных ответах и рекомендует проверять безопасность перед развертыванием. Указано следовать лицензии исходной модели; метаданные репозитория указывают Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-квантизация базовой модели Qwen/Qwen3.8-27B, выпущенная HauhauCS. Модель предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео. Вариант Aggressive ориентирован на прямые ответы, минимальное вступление и отсутствие отказного поведения, поэтому подходит для задач, где требуется максимально свободная генерация. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder. Архитектура включает 64 слоя языковой модели, скрытый размер 5120, размер FFN 17408, словарь из 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный механизм MTP/NextN, дополненный профилем ускорения HauhauCS FastMTP 32K. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддерживаются английский, китайский и другие языки. Для изображений и видео требуется отдельный BF16 vision projector. Сильными сторонами являются большой контекст, поддержка текста, рассуждений, агентских задач и мультимодального ввода, а также варианты квантизации от Q2 до Q8 для разного соотношения качества и требований к памяти. Aggressive-профиль может быть менее безопасным и менее подходящим для надёжных длинноконтекстных агентских сценариев, где рекомендуется более сбалансированная версия. Квантизация также может влиять на качество, а FastMTP и vision projector распространяются отдельными файлами. Модель и указанные компоненты распространяются по лицензии Apache-2.0.

desva0/Qwen3.8-27B-Uncensored-W4A16 — квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Репозиторий содержит сборку OrcaRouter с удалённым встроенным поведением отказа, дополнительно преобразованную в формат W4A16. Модель предназначена для работы с текстом и изображениями, поддерживает английский и китайский языки, рассуждения и вызов функций. Модель использует архитектуру Qwen3_5ForConditionalGeneration и содержит около 27 млрд параметров в исходной версии. Применена 4-битная симметричная квантизация весов с размером группы 128 в формате compressed-tensors pack-quantized; визуальные линейные слои сохранены в более высокой точности для поддержания возможностей анализа изображений. Размер весов составляет примерно 15 ГБ, благодаря чему модель рассчитана на запуск на одной видеокарте с 24 ГБ памяти, например RTX 3090. В README указана возможность использования контекста до 32768 токенов при настройке vLLM, причём фактическая длина зависит от доступной памяти под KV-кэш. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, поддержка function calling и возможность локального запуска на потребительском GPU. Ограничения связаны с потерями точности, возможными для 4-битной квантизации, зависимостью от совместимой версии vLLM и формата compressed-tensors, а также с отсутствием встроенного поведения отказа: модель может выполнять запросы, которые согласованная модель отклонила бы, поэтому ответственность за защитные меры и корректное применение лежит на пользователе. Модель распространяется по лицензии Apache-2.0; при перераспределении необходимо сохранять лицензию и атрибуцию.

OsaurusAI Qwen3.8-Flash-Next-JANG_2L — квантованный вариант Qwen/Qwen3.8-Flash-Next, подготовленный Jinho Jang для Apple Silicon и MLX. Это мультимодальная модель семейства Qwen с архитектурой Qwen4-архитектурного превью: смесь экспертов на 125 млрд параметров, из которых активны около 6 млрд, гибридные слои Gated DeltaNet и Qwen Sparse Attention, а также отдельные компоненты для изображений и видео. Веса сохранены в формате safetensors; заявленный объём набора — 65,3 ГиБ, а при обслуживании n-граммной таблицы с SSD в оперативной памяти требуется около 48 ГиБ. Модель предназначена для диалога, ответов с анализом изображений и видео, рассуждений и агентных сценариев с вызовом инструментов. Нативная длина контекста составляет 262 144 токена; с YaRN её можно расширить до 1 млн. В комплекте сохранена голова многотокенного предсказания для ускоренного декодирования в совместимых средах. По замерам на 5 931 позициях JANG_2L показывает медианный KL 0,0260 и top-1 совпадение 88,2% с bf16-версией. Модель требует совместимого runtime для MLX и Apple Silicon и значительных ресурсов памяти либо поддержки SSD-таблицы. Вызовы инструментов используют парсер Qwen XML; среды, поддерживающие только Hermes JSON, могут обрабатывать их с ошибками. Для скачанных до 5 сентября 2026 года комплектов требуется повторная загрузка из-за реорганизации вспомогательных файлов MTP. В метаданных указана лицензия other, без конкретных условий использования.

Sawfwair/Qwen3.8-Flash-Next-MLX-4bit — это воспроизводимая конверсия модели Qwen/Qwen3.8-Flash-Next в формат MLX, разработанная Sawfwair на основе исходной модели Qwen. Модель предназначена для задач генерации текста и обработки изображений с текстом, включая мультимодальные сценарии, совместимые с архитектурой Qwen4-Exp. Поддерживает нативный контекст до 262 144 токенов. Исходная модель насчитывает около 180 млрд параметров: 125 млрд параметров основной модели, 51 млрд параметров n-граммовых эмбеддингов и 4 млрд параметров MTP. Квантизация выполнена в формате MLX affine Q4: применяются Q4/group-64 для языковых, MTP- и vision-матриц и Q4/group-32 для таблицы n-грамм; маршрутизаторы, нормализации, смещения, свёртки и несовместимые формы оставлены в плотном формате. Размер артефактов составляет около 97,55 GiB. К сильным сторонам относятся большой контекст, поддержка текста и изображений, воспроизводимая конверсия и существенное уменьшение размера по сравнению с полноразмерным представлением. Для работы требуется runtime MLX с поддержкой архитектуры Qwen4-Exp; старые версии mlx-lm или mlx-vlm могут не поддерживать модель. Распространение осуществляется по Qwen Community License 1.0. Лицензия содержит требования к атрибуции и отображению для очень крупных коммерческих продуктов, а также отдельные условия для некоторых коммерческих Model-as-a-Service и AI Work Assistant-сценариев; перед использованием необходимо ознакомиться с её полным текстом.

Anthropic-ai/Aiaudiotranslate — мультиязычная разговорная языковая модель на архитектуре Qwen3.5 с 7,2 млрд параметров. Согласно карточке, это независимый проект открытой модели, дообученной для следования инструкциям, устойчивого поведения ассистента, рассуждений, письма, суммаризации и помощи с программированием. Метаданные указывают контекст до 262 144 токенов и варианты весов Safetensors и GGUF, включая квантизированные сборки. Модель предназначена для диалога и генерации текста на разных языках; в README также заявлены задачи транскрибирования и перевода аудио, но описание репозитория сосредоточено на текстовом ассистенте и не подтверждает аудиовход. Лицензия — MIT. Карточка называет проект независимым и неофициальным; приведённые в README показатели бенчмарков описаны как основанные на Qwen3.5 9B.

Galactic-Qwen-14B-Exp2 — языковая модель PrithivMLmods для генерации текста, диалогов и решения задач на рассуждение. Это плотная модель семейства Qwen2, содержащая 14 млрд параметров и дообученная на базе prithivMLmods/Lacerta-Opus-14B-Elite8 с использованием модели, обученной на длинных цепочках рассуждений, и специализированных наборов данных. В метаданных указаны библиотека Transformers и формат safetensors. Модель предназначена для ответов на вопросы, логических выводов, многошагового решения задач, следования инструкциям, объяснений, суммаризации и генерации структурированного текста, включая JSON. Она поддерживает контекст до 131 072 токенов; в карточке также заявлена генерация до 8 000 токенов за один ответ и поддержка более 29 языков, включая английский, китайский и русский. Заявленные сценарии включают образовательную помощь, чат-ботов, многоязычную коммуникацию и создание длинных текстов. Карточка приводит результаты IFEval (66,20%) и BBH (59,92%), но не содержит подробностей методики оценки. Среди ограничений указаны высокие требования к памяти при работе с длинным контекстом, возможная предвзятость и ошибки, чувствительность к формулировке запроса и отсутствие доступа к актуальным событиям. Лицензия — Apache-2.0.

granite-4.2-8b-MLX-4bit — 4-битная квантованная версия языковой модели granite-4.2-8b, разработанной командой IBM Granite (ibm-granite). Квантование выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon и предназначена для локальной генерации текста. Модель поддерживает задачи text generation, включая сценарии рассуждений, работы с инструментами и tool-calling, что отражено в заявленных тегах. Она обучена для работы с английским, немецким, испанским, французским, японским, португальским, арабским, чешским, итальянским, корейским, нидерландским и китайским языками. Архитектура и размер исходной модели обозначены как granite-4.2-8b; сведения о длине контекста и точной архитектуре в README не приведены. Ключевое преимущество варианта — сниженное потребление памяти по сравнению с полной точностью и оптимизация под Apple Silicon, что делает его подходящим для локального использования. Ограничениями являются возможная потеря качества из-за 4-битного квантования, зависимость производительности от оборудования и отсутствие в README подробных данных о качестве, бенчмарках и контекстном окне. Модель распространяется по лицензии Apache-2.0.

atakankutalp/LFM2.5-2.6B-heretic — это изменённая версия LiquidAI/LFM2.5-2.6B, созданная с помощью Heretic 1.4.0. В модели применена направленная абляция: из весов удалено направление, связанное с отказами. Число параметров не изменилось и составляет 2,69 млрд; архитектура LFM2 — плотная языковая модель из 30 слоёв, сочетающая блоки коротких свёрток и группированное внимание. Контекст — 131 072 токена. Репозиторий содержит веса Safetensors и варианты GGUF, включая квантизированные сборки. Модель предназначена для генерации текста в диалоге и агентных сценариев: вызова инструментов, извлечения данных, RAG и работы с длинным контекстом. Базовая LFM2.5 поддерживает 17 языков, включая русский, английский, китайский, арабский и другие; карточка не сообщает, насколько абляция влияет на качество по отдельным языкам. В сравнении с исходной моделью отказы на чувствительных запросах стали заметно реже, поэтому ответы не следует считать защищёнными фильтрами безопасности. Исходная карточка также не рекомендует базовую модель для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other, без конкретных условий в предоставленных данных.